NCCL 安装、配置与性能测试

  1. 参考
  2. 安装步骤
  3. 配置
  4. 测试
  5. 测试过程(单机)
  6. 测试过程(多机)

参考

安装步骤

# 本地仓库的安装
dpkg -i nccl-local-repo-ubuntu2404-2.29.2-cuda13.1_1.0-1_amd64.deb 

# 可以看到文件放到哪里了 dpkg -c nccl-local-repo-ubuntu2404-2.29.2-cuda13.1_1.0-1_amd64.deb
cp /var/nccl-local-repo-ubuntu2404-2.29.2-cuda13.1/nccl-local-*-keyring.gpg /usr/share/keyrings/
apt update apt install libnccl2 libnccl-dev
# 验证安装 ls /usr/lib/x86_64-linux-gnu/libnccl.so* strings /usr/lib/x86_64-linux-gnu/libnccl.so.2 | grep "NCCL version"

配置

tee /etc/nccl.conf << 'EOF'
# 强制启用 InfiniBand(禁用TCP回退)
NCCL_IB_DISABLE=0

# 指定IB接口(如果有多张网卡,逗号分隔) # 自动检测通常可以,但显式指定更可靠 NCCL_IB_HCA=mlx5_0,mlx5_12,mlx5_13,mlx5_14,mlx5_3,mlx5_4,mlx5_5,mlx5_6
# 强制启用 GPUDirect RDMA(关键!) NCCL_NET_GDR_LEVEL=5
# IB Traffic Class(对应Service Level,QoS) NCCL_IB_TC=106
# GID索引(InfiniBand通常用0,RoCEv2用3) NCCL_IB_GID_INDEX=0
# 每连接QP数(提高大带宽利用率) NCCL_IB_QPS_PER_CONNECTION=4
# 调试日志(调试用,生产环境可关闭) NCCL_DEBUG=INFO NCCL_DEBUG_SUBSYS=INIT,GRAPH,NET EOF

测试

git clone https://github.com/NVIDIA/nccl-tests.git
# or
git clone https://gitee.com/Elinpf/nccl-tests.git
cd nccl-tests

# 编译(关键!确保找到NCCL和MPI/UCX) make CUDA_HOME=/usr/local/cuda-13.1 NCCL_HOME=/usr
# 单机测试 ./build/all_reduce_perf -b 8 -e 1G -f 2 -g 8
  • 多机测试需要安装OpenMPI(消息传递接口)
    # Ubuntu/Debian 安装 OpenMPI
    sudo apt update
    sudo apt install openmpi-bin openmpi-common libopenmpi-dev
    
    # 检查安装位置 which mpicc # 通常是 /usr/bin/mpicc # 头文件在 /usr/include/mpi.h
    ls /usr/lib/x86_64-linux-gnu/openmpi/ include lib
    which mpicc.openmpi /usr/bin/mpicc.openmpi
    ls -la /usr/bin/mpicc.openmpi lrwxrwxrwx 1 root root 12 Apr 1 2024 /usr/bin/mpicc.openmpi -> opal_wrapper
    # 重新编译 make clean make MPI=1 \ MPI_HOME=/usr/lib/x86_64-linux-gnu/openmpi \ MPICC=/usr/bin/mpicc.openmpi \ CUDA_HOME=/usr/local/cuda-13.1 \ -j$(nproc)
    # 验证链接库 ldd ./build/all_reduce_perf | grep -E "(mpi|openmpi)"

测试过程(单机)

当使用单机测试的时候

./build/all_reduce_perf -b 8 -e 1G -f 2 -g 8

发现速率为45GB/s,也就是接近400Gbps的速率,但是对于单机的情况下,应该是走NVLink

性能预期应该是

配置 预期 busbw 说明
当前(走 IB 网络) ~45 GB/s 瓶颈在 400G IB 网卡
走 NVLink Ring ~600-800 GB/s 利用 18x NVLink
走 NVLink Tree ~800-1000 GB/s 更优的算法
走 NVLS ~1000-1400 GB/s 利用 NVLink Switch 做计算 offload

说明即使是单机,走的仍然是IB网络

随后强制禁用IB后,测试

export NCCL_IB_DISABLE=1
./build/all_reduce_perf -b 8 -e 1G -f 2 -g 8

速率提高到了58GB/s,可能是退回到了PCIe,但是这个没有走NVLink速率仍然是远远小偶遇理论值的600GB/s+

检查P2P的拓扑,都是OK

nvidia-smi topo -p2p r

4台B200都按照相同步骤将NCCL都安装好后,全部进行单机测试,发现:

算法带宽 总线带宽 备注
01 409GB/s 716GB/s ip a 中无IB网卡
02 无法完成,卡在 7 卡上
03 无法启动 system not yet initialized
04 407GB/s 713GB/s 一切正常

测试过程(多机)

前置条件:

  1. 可以免密登录
  2. /etc/hosts 里面有信息
    /usr/bin/mpirun.openmpi \     # OpenMPI 的启动器(实际指向 orterun)
        -np 16 \                   # 总进程数 = 16(2台 × 8卡)
        -H node:8,node2:8 \       # 主机列表:node1用8个slot,node2用8个slot
        -bind-to none \            # 不绑定 CPU 核心(让 NCCL 自己管理亲和性)
        -map-by slot \             # 按 slot 映射进程(确保 GPU 0-7 对应进程 0-7)
        -x NCCL_DEBUG=INFO \       # 传递环境变量:显示 NCCL 详细日志
        -x NCCL_IB_DISABLE=0 \     # 传递环境变量:启用 InfiniBand
        -x LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu/openmpi/lib:$LD_LIBRARY_PATH \   # 传递环境变量:指定动态库路径
        ./build/all_reduce_perf \  # 要运行的程序
        -b 8M -e 1G -f 2 -g 1 -n 50  # 程序参数(数据量、迭代次数等)
    
    #
    /usr/bin/mpirun.openmpi \ -np 16 \ -H gpu-node-02:8,gpu-node-04:8 \ -bind-to none \ -map-by slot \ --allow-run-as-root \ -x NCCL_DEBUG=INFO \ -x NCCL_IB_DISABLE=0 \ -x LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu/openmpi/lib:$LD_LIBRARY_PATH \ ./build/all_reduce_perf \ -b 8M -e 1G -f 2 -g 1 -n 50

多机测试报错时,先回到单机确认每台机器的 NCCL、驱动和 IB 状态是否一致,再逐台排查。


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com