事件原因
gpu-node-02 和 gpu-node-03 无法启动cuda
但是 gpu-node-01 和 gpu-node-04 是正常的
需要排查问题
解决思路
- 首先确认cuda、fabricmanager等版本是否有不同,修改到相同版本
- 确认
nvidia-fabricmanager是否在运行
处理过程
# 通过确认对比版本信息
dpkg -l | grep -E "nvidia|cuda"
发现nvidia-fabricmanager 的版本,gpu-node-03是升级了的,到了590.48
而其他的都是**590.44.01-0ubuntu1**
所以首先固定fabricmanager版本
apt install -y nvidia-fabricmanager=590.44.01-0ubuntu1
完成版本同步后,仍然是报802的错误
cuInit = 802→CUDA_ERROR_SYSTEM_NOT_READYPersistence-M: Off(而正常工作的 gpu-node-04 是 On)(通过nvidia-smi可用查看到)
对于 B200 + NVSwitch 架构,802 错误几乎总是意味着 Fabric Manager 没有完成拓扑初始化 或 GPU 持久化服务未启动,导致 CUDA 认为系统尚未就绪。
# 检查服务是否正在运行
sudo systemctl status nvidia-fabricmanager
# 如果没有 active (running),立即启动
sudo systemctl start nvidia-fabricmanager
sudo systemctl enable nvidia-fabricmanager
# 查看日志确认无错误
sudo journalctl -u nvidia-fabricmanager -n 50 --no-pager
sudo cat /var/log/fabricmanager.log | tail -n 50
但是fabricmanager好像没有问题,只是nvidia-smi执行比较慢
- 发现Persistent Mode 是off状态,临时开启
# 临时开启(立即生效) sudo nvidia-smi -pm 1 # 验证 nvidia-smi -q | grep "Persistence Mode" # 永久开启(通过 persistenced 服务) sudo systemctl enable nvidia-persistenced sudo systemctl start nvidia-persistenced sudo systemctl status nvidia-persistenced
验证仍然失败,但是nvidia-smi启动的速度变快了
- 检查所有状态
systemctl status nvidia-*
发现nvidia-cdi-refresh.path这个服务没有起来,但是这个是CDI容器层面的东西,还没有到这一步,先忽略
- 查看fabricmanager日志
journalctl -u nvidia-fabricmanager -n 100 --no-pager | grep -E "ERROR|FAIL|success|initialized|topology"
都是成功的
- 尝试通过trace方式来debug故障
# 安装 strace(如需要) sudo apt-get install -y strace # 追踪 cuInit 的系统调用,查看在哪一步失败 strace -f -e trace=ioctl,openat,read,write python3 -c " import ctypes cuda = ctypes.CDLL('/usr/lib/x86_64-linux-gnu/libcuda.so.1') print(cuda.cuInit(0)) " 2>&1 | grep -E "nvidia|/dev|error|fail|return" | tail -30
对比 strace 输出,kimi提出
- gpu-node-04(正常):频繁打开
/dev/nvidiactl(控制设备),并访问 PCI 设备 NUMA 信息 - gpu-node-03(异常):完全没有
/dev/nvidiactl,只打开了/dev/nvidia-uvm和/dev/nvidia0-7nvidiactl是 NVIDIA 驱动的全局控制设备,CUDA 运行时依赖它来管理 GPU 上下文。缺少该设备会导致cuInit = 802
但是通过对比检查设备,发现并没有缺失
root@gpu-node-03:~# ls -la /dev/nvidiactl /dev/nvidia-modeset /dev/nvidia-uvm /dev/nvidia*
crw-rw-rw- 1 root root 195, 0 Feb 10 15:15 /dev/nvidia0
crw-rw-rw- 1 root root 195, 1 Feb 10 15:15 /dev/nvidia1
crw-rw-rw- 1 root root 195, 2 Feb 10 15:15 /dev/nvidia2
crw-rw-rw- 1 root root 195, 3 Feb 10 15:15 /dev/nvidia3
crw-rw-rw- 1 root root 195, 4 Feb 10 15:15 /dev/nvidia4
crw-rw-rw- 1 root root 195, 5 Feb 10 15:15 /dev/nvidia5
crw-rw-rw- 1 root root 195, 6 Feb 10 15:15 /dev/nvidia6
crw-rw-rw- 1 root root 195, 7 Feb 10 15:15 /dev/nvidia7
crw-rw-rw- 1 root root 195, 255 Feb 10 15:15 /dev/nvidiactl
crw-rw-rw- 1 root root 195, 255 Feb 10 15:15 /dev/nvidiactl
crw-rw-rw- 1 root root 195, 254 Feb 10 15:15 /dev/nvidia-modeset
crw-rw-rw- 1 root root 195, 254 Feb 10 15:15 /dev/nvidia-modeset
crw-rw-rw- 1 root root 505, 0 Feb 10 15:19 /dev/nvidia-uvm
crw-rw-rw- 1 root root 505, 0 Feb 10 15:19 /dev/nvidia-uvm
crw-rw-rw- 1 root root 505, 1 Feb 10 15:19 /dev/nvidia-uvm-tools
/dev/nvidia-caps:
total 0
drwxr-xr-x 2 root root 80 Feb 10 15:19 .
drwxr-xr-x 22 root root 5460 Feb 10 15:19 ..
cr-------- 1 root root 508, 1 Feb 10 15:19 nvidia-cap1
cr--r--r-- 1 root root 508, 2 Feb 10 15:19 nvidia-cap2
- 继续通过trace的方式来进行深入debug
strace -f python3 -c "import ctypes; print(ctypes.CDLL('libcuda.so').cuInit(0))" 2>&1 | grep -E "= -1|EACCES|EPERM|FAIL|802"
kimi说是/root/.nv 目录的权限问题,但是我检查了,并没有问题,准备更加深入的debug
- 更加深入的debug
strace -f -v -s 256 -o strace_gpu-node-03.log python3 -c " import ctypes cuda = ctypes.CDLL('/usr/lib/x86_64-linux-gnu/libcuda.so.1') print('Result:', cuda.cuInit(0)) "
发现存在大量的sched_yield()
原因是驱动循环尝试初始化,并且让出CPU
// 驱动在尝试初始化时进入重试循环
for (i = 0; i < MAX_RETRIES; i++) {
ioctl(fd, NV_IOCTL_CHECK_MODULE, &status); // 0x46 0x2a
if (status == READY) break;
sched_yield(); // 让出 CPU,等待内核模块就绪
}
// 最终超时,返回 802(驱动不匹配/未就绪)
- 再次检查驱动版本的一致性,需要保证内核态与用户态一致
# 查看内核模块版本 cat /proc/driver/nvidia/version NVRM version: NVIDIA UNIX Open Kernel Module for x86_64 590.44.01 Release Build (dvs-builder@U22-I3-A14-02-4) Fri Nov 21 13:14:57 UTC 2025 GCC version: gcc version 13.3.0 (Ubuntu 13.3.0-6ubuntu2~24.04) # 查看用户库版本 strings /usr/lib/x86_64-linux-gnu/libcuda.so.1 | grep -i "CUDA version" {"format":1,"CUDA version":"13.1","driver":[535,550,570,575,580,590],"device":[1,2,7,8,9,10,11,12,13,14]} CUDA forward compatibility is disabled, but CUDA version [%d.%d] does not match RM version [%d.%d].
均一致,并且使用的是开源内核,是符合安装规范的
- 对比检查dmesg
dmesg -T | grep -i "nvidia\|Xid"
03上缺少
nvidia 0000:17:00.0: Using 52-bit DMA addresses
nvidia 0000:3d:00.0: Using 52-bit DMA addresses
nvidia 0000:5f:00.0: Using 52-bit DMA addresses
nvidia 0000:70:00.0: Using 52-bit DMA addresses
nvidia 0000:97:00.0: Using 52-bit DMA addresses
nvidia 0000:ba:00.0: Using 52-bit DMA addresses
nvidia 0000:dc:00.0: Using 52-bit DMA addresses
nvidia 0000:ed:00.0: Using 52-bit DMA addresses
说明驱动未能分配DMA地址空间
缺少 “Using 52-bit DMA addresses”
- 正常流程:驱动加载 → GSP 固件启动 → 分配 52-bit DMA 地址 → GPU 就绪
- 故障流程:驱动加载 →GSP 固件启动失败→ 无法分配 DMA →
cuInit轮询超时 → 802 错误
检查GSP驱动(nvidia-firmware)文件
root@gpu-node-03:~# md5sum /lib/firmware/nvidia/590.44.01/gsp_*.bin
789145fbafb6ce0d23a20666871b0b48 /lib/firmware/nvidia/590.44.01/gsp_ga10x.bin
45ffe229e5e36b1aef46e3555adc4fbe /lib/firmware/nvidia/590.44.01/gsp_tu10x.bin
文件对比没有损坏,则更有可能是GSP状态死锁
kimi表示需要硬重启,
gpu-node-03 硬重启后解决
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com