参考
安装步骤
# 本地仓库的安装
dpkg -i nccl-local-repo-ubuntu2404-2.29.2-cuda13.1_1.0-1_amd64.deb
# 可以看到文件放到哪里了
dpkg -c nccl-local-repo-ubuntu2404-2.29.2-cuda13.1_1.0-1_amd64.deb
cp /var/nccl-local-repo-ubuntu2404-2.29.2-cuda13.1/nccl-local-*-keyring.gpg /usr/share/keyrings/
apt update
apt install libnccl2 libnccl-dev
# 验证安装
ls /usr/lib/x86_64-linux-gnu/libnccl.so*
strings /usr/lib/x86_64-linux-gnu/libnccl.so.2 | grep "NCCL version"
配置
tee /etc/nccl.conf << 'EOF'
# 强制启用 InfiniBand(禁用TCP回退)
NCCL_IB_DISABLE=0
# 指定IB接口(如果有多张网卡,逗号分隔)
# 自动检测通常可以,但显式指定更可靠
NCCL_IB_HCA=mlx5_0,mlx5_12,mlx5_13,mlx5_14,mlx5_3,mlx5_4,mlx5_5,mlx5_6
# 强制启用 GPUDirect RDMA(关键!)
NCCL_NET_GDR_LEVEL=5
# IB Traffic Class(对应Service Level,QoS)
NCCL_IB_TC=106
# GID索引(InfiniBand通常用0,RoCEv2用3)
NCCL_IB_GID_INDEX=0
# 每连接QP数(提高大带宽利用率)
NCCL_IB_QPS_PER_CONNECTION=4
# 调试日志(调试用,生产环境可关闭)
NCCL_DEBUG=INFO
NCCL_DEBUG_SUBSYS=INIT,GRAPH,NET
EOF
测试
git clone https://github.com/NVIDIA/nccl-tests.git
# or
git clone https://gitee.com/Elinpf/nccl-tests.git
cd nccl-tests
# 编译(关键!确保找到NCCL和MPI/UCX)
make CUDA_HOME=/usr/local/cuda-13.1 NCCL_HOME=/usr
# 单机测试
./build/all_reduce_perf -b 8 -e 1G -f 2 -g 8
- 多机测试需要安装OpenMPI(消息传递接口)
# Ubuntu/Debian 安装 OpenMPI sudo apt update sudo apt install openmpi-bin openmpi-common libopenmpi-dev # 检查安装位置 which mpicc # 通常是 /usr/bin/mpicc # 头文件在 /usr/include/mpi.h ls /usr/lib/x86_64-linux-gnu/openmpi/ include lib which mpicc.openmpi /usr/bin/mpicc.openmpi ls -la /usr/bin/mpicc.openmpi lrwxrwxrwx 1 root root 12 Apr 1 2024 /usr/bin/mpicc.openmpi -> opal_wrapper # 重新编译 make clean make MPI=1 \ MPI_HOME=/usr/lib/x86_64-linux-gnu/openmpi \ MPICC=/usr/bin/mpicc.openmpi \ CUDA_HOME=/usr/local/cuda-13.1 \ -j$(nproc) # 验证链接库 ldd ./build/all_reduce_perf | grep -E "(mpi|openmpi)"
测试过程(单机)
当使用单机测试的时候
./build/all_reduce_perf -b 8 -e 1G -f 2 -g 8
发现速率为45GB/s,也就是接近400Gbps的速率,但是对于单机的情况下,应该是走NVLink
性能预期应该是
| 配置 | 预期 busbw | 说明 |
|---|---|---|
| 当前(走 IB 网络) | ~45 GB/s | 瓶颈在 400G IB 网卡 |
| 走 NVLink Ring | ~600-800 GB/s | 利用 18x NVLink |
| 走 NVLink Tree | ~800-1000 GB/s | 更优的算法 |
| 走 NVLS | ~1000-1400 GB/s | 利用 NVLink Switch 做计算 offload |
说明即使是单机,走的仍然是IB网络
随后强制禁用IB后,测试
export NCCL_IB_DISABLE=1
./build/all_reduce_perf -b 8 -e 1G -f 2 -g 8
速率提高到了58GB/s,可能是退回到了PCIe,但是这个没有走NVLink速率仍然是远远小偶遇理论值的600GB/s+
检查P2P的拓扑,都是OK
nvidia-smi topo -p2p r
4台B200都按照相同步骤将NCCL都安装好后,全部进行单机测试,发现:
| 算法带宽 | 总线带宽 | 备注 | |
|---|---|---|---|
| 01 | 409GB/s | 716GB/s | ip a 中无IB网卡 |
| 02 | 无法完成,卡在 7 卡上 | ||
| 03 | 无法启动 system not yet initialized | ||
| 04 | 407GB/s | 713GB/s | 一切正常 |
测试过程(多机)
前置条件:
- 可以免密登录
/etc/hosts里面有信息/usr/bin/mpirun.openmpi \ # OpenMPI 的启动器(实际指向 orterun) -np 16 \ # 总进程数 = 16(2台 × 8卡) -H node:8,node2:8 \ # 主机列表:node1用8个slot,node2用8个slot -bind-to none \ # 不绑定 CPU 核心(让 NCCL 自己管理亲和性) -map-by slot \ # 按 slot 映射进程(确保 GPU 0-7 对应进程 0-7) -x NCCL_DEBUG=INFO \ # 传递环境变量:显示 NCCL 详细日志 -x NCCL_IB_DISABLE=0 \ # 传递环境变量:启用 InfiniBand -x LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu/openmpi/lib:$LD_LIBRARY_PATH \ # 传递环境变量:指定动态库路径 ./build/all_reduce_perf \ # 要运行的程序 -b 8M -e 1G -f 2 -g 1 -n 50 # 程序参数(数据量、迭代次数等) # /usr/bin/mpirun.openmpi \ -np 16 \ -H gpu-node-02:8,gpu-node-04:8 \ -bind-to none \ -map-by slot \ --allow-run-as-root \ -x NCCL_DEBUG=INFO \ -x NCCL_IB_DISABLE=0 \ -x LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu/openmpi/lib:$LD_LIBRARY_PATH \ ./build/all_reduce_perf \ -b 8M -e 1G -f 2 -g 1 -n 50
多机测试报错时,先回到单机确认每台机器的 NCCL、驱动和 IB 状态是否一致,再逐台排查。
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com