B200 服务器 CUDA 无法启动的排查

  1. 事件原因
  2. 解决思路
  3. 处理过程
  4. 结果

事件原因

gpu-node-02 和 gpu-node-03 无法启动cuda

但是 gpu-node-01 和 gpu-node-04 是正常的

需要排查问题

解决思路

  1. 首先确认cuda、fabricmanager等版本是否有不同,修改到相同版本
  2. 确认nvidia-fabricmanager是否在运行

处理过程

# 通过确认对比版本信息
dpkg -l | grep -E "nvidia|cuda"

发现nvidia-fabricmanager 的版本,gpu-node-03是升级了的,到了590.48

而其他的都是**590.44.01-0ubuntu1**

所以首先固定fabricmanager版本

apt install -y nvidia-fabricmanager=590.44.01-0ubuntu1

完成版本同步后,仍然是报802的错误

  • cuInit = 802→CUDA_ERROR_SYSTEM_NOT_READY
  • Persistence-M: Off(而正常工作的 gpu-node-04 是 On)(通过nvidia-smi可用查看到)
    对于 B200 + NVSwitch 架构,802 错误几乎总是意味着 Fabric Manager 没有完成拓扑初始化 或 GPU 持久化服务未启动,导致 CUDA 认为系统尚未就绪。
# 检查服务是否正在运行
sudo systemctl status nvidia-fabricmanager

# 如果没有 active (running),立即启动 sudo systemctl start nvidia-fabricmanager sudo systemctl enable nvidia-fabricmanager
# 查看日志确认无错误 sudo journalctl -u nvidia-fabricmanager -n 50 --no-pager sudo cat /var/log/fabricmanager.log | tail -n 50

但是fabricmanager好像没有问题,只是nvidia-smi执行比较慢

  • 发现Persistent Mode 是off状态,临时开启
    # 临时开启(立即生效)
    sudo nvidia-smi -pm 1
    
    # 验证 nvidia-smi -q | grep "Persistence Mode"
    # 永久开启(通过 persistenced 服务) sudo systemctl enable nvidia-persistenced sudo systemctl start nvidia-persistenced sudo systemctl status nvidia-persistenced

验证仍然失败,但是nvidia-smi启动的速度变快了

  • 检查所有状态
    systemctl status nvidia-*
    

发现nvidia-cdi-refresh.path这个服务没有起来,但是这个是CDI容器层面的东西,还没有到这一步,先忽略

  • 查看fabricmanager日志
    journalctl -u nvidia-fabricmanager -n 100 --no-pager | grep -E "ERROR|FAIL|success|initialized|topology"
    

都是成功的

  • 尝试通过trace方式来debug故障
    # 安装 strace(如需要)
    sudo apt-get install -y strace
    
    # 追踪 cuInit 的系统调用,查看在哪一步失败 strace -f -e trace=ioctl,openat,read,write python3 -c " import ctypes cuda = ctypes.CDLL('/usr/lib/x86_64-linux-gnu/libcuda.so.1') print(cuda.cuInit(0)) " 2>&1 | grep -E "nvidia|/dev|error|fail|return" | tail -30

对比 strace 输出,kimi提出

  • gpu-node-04(正常):频繁打开/dev/nvidiactl(控制设备),并访问 PCI 设备 NUMA 信息
  • gpu-node-03(异常):完全没有/dev/nvidiactl,只打开了/dev/nvidia-uvm和/dev/nvidia0-7
    nvidiactl是 NVIDIA 驱动的
    全局控制设备
    ,CUDA 运行时依赖它来管理 GPU 上下文。缺少该设备会导致cuInit = 802

但是通过对比检查设备,发现并没有缺失

root@gpu-node-03:~# ls -la /dev/nvidiactl /dev/nvidia-modeset /dev/nvidia-uvm /dev/nvidia*
crw-rw-rw- 1 root root 195,   0 Feb 10 15:15 /dev/nvidia0
crw-rw-rw- 1 root root 195,   1 Feb 10 15:15 /dev/nvidia1
crw-rw-rw- 1 root root 195,   2 Feb 10 15:15 /dev/nvidia2
crw-rw-rw- 1 root root 195,   3 Feb 10 15:15 /dev/nvidia3
crw-rw-rw- 1 root root 195,   4 Feb 10 15:15 /dev/nvidia4
crw-rw-rw- 1 root root 195,   5 Feb 10 15:15 /dev/nvidia5
crw-rw-rw- 1 root root 195,   6 Feb 10 15:15 /dev/nvidia6
crw-rw-rw- 1 root root 195,   7 Feb 10 15:15 /dev/nvidia7
crw-rw-rw- 1 root root 195, 255 Feb 10 15:15 /dev/nvidiactl
crw-rw-rw- 1 root root 195, 255 Feb 10 15:15 /dev/nvidiactl
crw-rw-rw- 1 root root 195, 254 Feb 10 15:15 /dev/nvidia-modeset
crw-rw-rw- 1 root root 195, 254 Feb 10 15:15 /dev/nvidia-modeset
crw-rw-rw- 1 root root 505,   0 Feb 10 15:19 /dev/nvidia-uvm
crw-rw-rw- 1 root root 505,   0 Feb 10 15:19 /dev/nvidia-uvm
crw-rw-rw- 1 root root 505,   1 Feb 10 15:19 /dev/nvidia-uvm-tools

/dev/nvidia-caps: total 0 drwxr-xr-x 2 root root 80 Feb 10 15:19 . drwxr-xr-x 22 root root 5460 Feb 10 15:19 .. cr-------- 1 root root 508, 1 Feb 10 15:19 nvidia-cap1 cr--r--r-- 1 root root 508, 2 Feb 10 15:19 nvidia-cap2
  • 继续通过trace的方式来进行深入debug
    strace -f python3 -c "import ctypes; print(ctypes.CDLL('libcuda.so').cuInit(0))" 2>&1 | grep -E "= -1|EACCES|EPERM|FAIL|802"
    

kimi说是/root/.nv 目录的权限问题,但是我检查了,并没有问题,准备更加深入的debug

  • 更加深入的debug
    strace -f -v -s 256 -o strace_gpu-node-03.log python3 -c "
    import ctypes
    cuda = ctypes.CDLL('/usr/lib/x86_64-linux-gnu/libcuda.so.1')
    print('Result:', cuda.cuInit(0))
    "
    

发现存在大量的sched_yield()

原因是驱动循环尝试初始化,并且让出CPU

// 驱动在尝试初始化时进入重试循环
for (i = 0; i < MAX_RETRIES; i++) {
    ioctl(fd, NV_IOCTL_CHECK_MODULE, &status);  // 0x46 0x2a
    if (status == READY) break;
    sched_yield();  // 让出 CPU,等待内核模块就绪
}
// 最终超时,返回 802(驱动不匹配/未就绪)
  • 再次检查驱动版本的一致性,需要保证内核态与用户态一致
    # 查看内核模块版本
    cat /proc/driver/nvidia/version
    NVRM version: NVIDIA UNIX Open Kernel Module for x86_64  590.44.01  Release Build  (dvs-builder@U22-I3-A14-02-4)  Fri Nov 21 13:14:57 UTC 2025
    GCC version:  gcc version 13.3.0 (Ubuntu 13.3.0-6ubuntu2~24.04)
    
    # 查看用户库版本 strings /usr/lib/x86_64-linux-gnu/libcuda.so.1 | grep -i "CUDA version" {"format":1,"CUDA version":"13.1","driver":[535,550,570,575,580,590],"device":[1,2,7,8,9,10,11,12,13,14]} CUDA forward compatibility is disabled, but CUDA version [%d.%d] does not match RM version [%d.%d].

均一致,并且使用的是开源内核,是符合安装规范的

  • 对比检查dmesg
    dmesg -T | grep -i "nvidia\|Xid"
    

03上缺少

nvidia 0000:17:00.0: Using 52-bit DMA addresses
nvidia 0000:3d:00.0: Using 52-bit DMA addresses
nvidia 0000:5f:00.0: Using 52-bit DMA addresses
nvidia 0000:70:00.0: Using 52-bit DMA addresses
nvidia 0000:97:00.0: Using 52-bit DMA addresses
nvidia 0000:ba:00.0: Using 52-bit DMA addresses
nvidia 0000:dc:00.0: Using 52-bit DMA addresses
nvidia 0000:ed:00.0: Using 52-bit DMA addresses

说明驱动未能分配DMA地址空间

缺少 “Using 52-bit DMA addresses”

  • 正常流程:驱动加载 → GSP 固件启动 → 分配 52-bit DMA 地址 → GPU 就绪
  • 故障流程:驱动加载 →GSP 固件启动失败→ 无法分配 DMA →cuInit 轮询超时 → 802 错误

检查GSP驱动(nvidia-firmware)文件

root@gpu-node-03:~# md5sum /lib/firmware/nvidia/590.44.01/gsp_*.bin
789145fbafb6ce0d23a20666871b0b48  /lib/firmware/nvidia/590.44.01/gsp_ga10x.bin
45ffe229e5e36b1aef46e3555adc4fbe  /lib/firmware/nvidia/590.44.01/gsp_tu10x.bin

文件对比没有损坏,则更有可能是GSP状态死锁

kimi表示需要硬重启,

  • 硬重启作用: 完全断电清除 GSP SRAM,重新加载固件

    结果

gpu-node-03 硬重启后解决


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com