排查总结:服务器 gpu-node-02 第 7 块 NVMe 盘”丢失”
一、问题
这台服务器应有 7 块 NVMe 盘,但系统里只显示 6 块。
二、定位过程与结论
- 确认缺盘
- 系统侧只有
nvme0/1/3/4/5/6,缺nvme2 - 但
nvme2控制器在(PCIe0000:72:00.0,链路 x4/16GT/s 正常),驱动已加载,state=live
- 根因(OS 侧 SMART 日志)
critical_warning : 0xc → 0x04 子系统可靠性降级 + 0x08 介质已置只读0 读 / 0 写 / 通电仅 133 小时命名空间 1 存在但容量被清零(nsze=0)
即:盘固件自身判定内部可靠性异常,将介质锁为只读并把命名空间容量清零,内核因此不创建 nvme2n1 块设备。属盘内部故障(NAND/主控/固件侧),非线缆、枚举或驱动问题。
修复尝试(均失败)
手段 结果 rescan_controller ❌ 无命名空间 reset_controller ❌ 仍 0 命名空间、1 队列 nvme format ❌ 挂死无响应(后期管理命令也失联) 判定为故障盘
- 型号
MTFDKCC3T2TGQ-1BK1JABYY(Micron 7500 MAX 3.2T) - 序列号
182510CA0349
- 锁定物理位置(BMC Redfish 交叉验证)
- BMC
10.10.65.205读取NVMeSSD背板 7 个盘位序列号,与系统侧精确对应 - 故障盘 = BMC 列表
0,3(Disk.Bay.3),即 4 块 Micron 中的最后一块 - 佐证:
nvme2温度 49°C = BMCNVMe_SSDA Temp49°C;PCIe 槽位 134 = Bay.3三、数据影响
无影响。 该盘 0 读 0 写,从未加入 LVM vg_data(6月17日建 VG 时即只有 5 个 PV),也未承载系统(系统盘是 nvme3 / Bay.0)。
四、建议操作
- 更换
0,3盘位那块 Micron(SN182510CA0349),走 Microbiol 保修/RMA,报修时提供 SN +critical_warning=0xc+ 命名空间容量清零 - 物理定位:可在 BMC Web 界面(需写权限帐号)点该盘 Identify 点亮定位 LED 后热插拔
- ⚠️ 注意:BMC 带外对这块盘仍显示 “Health: OK / Enabled”,未识别出内部故障——不要依赖 BMC 绿灯判断,以本次排查结论为准
五、环境备注
- 主机:Supermicro
X14DBG-DAP/SYS-A22GA-NBRT,Ubuntu(内核 6.8) - 7 盘盘符↔盘位对照表(便于后续参照):
BMC 槽位 Bay 序列号 系统盘符 型号 状态 0,0 Bay.0 182510CA0348 nvme3 Micron 3.2T 正常(系统盘) 0,1 Bay.1 182510CA0310 nvme4 Micron 3.2T 正常 0,2 Bay.2 182510CA0323 nvme1 Micron 3.2T 正常 0,3 Bay.3 182510CA0349 nvme2 Micron 3.2T ❌ 故障,待更换 0,4 Bay.4 S64GNG0X433212 nvme5 Samsung 1.92T 正常 0,5 Bay.5 S64GNG0X433214 nvme6 Samsung 1.92T 正常 0,6 Bay.6 S64GNG0X433213 nvme0 Samsung
NVMe/磁盘”少盘”排查方法论总结
以本次”7 块盘只显示 6 块”为例,提炼一套可复用的排查方法。
一、核心思路:分层定位 + 双向对齐
关键原则:先分”盘在哪一层丢了”,再进行”系统盘符 ↔ 物理盘位”的双向对齐。前者回答”为什么少”,后者回答”该拔哪一块”。
应用/文件系统 └─ LVM / RAID ← ① 是否被上层占用 └─ 块设备 nvmeXn1 ← ② 块设备是否生成 └─ NVMe 控制器 ← ③ 控制器/命名空间状态 └─ PCIe 链路 ← ④ 链路是否降级/掉链 └─ 物理盘/背板/BMC ← ⑤ 硬件位置与带外
二、标准排查步骤
第 1 步:清点盘符,找”缺号”
bash
lsblk -d -o NAME,SIZE,MODEL,SERIALls /sys/block/ | grep nvme
关键动作:列出内核已识别的 nvme0~nvmex,看缺哪个编号。缺
nvme2就是第一线索。
第 2 步:判断控制器在不在(区分”盘没了”还是”设备没建”)
bash
ls -l /sys/class/nvme/ # 控制器是否注册grep -H . /sys/class/nvme/nvme*/model /sys/class/nvme/nvme*/serialcat /sys/class/nvme/nvme2/state # live / dead
关键分水岭:控制器在但无块设备 = 命名空间问题;控制器都不在 = PCIe/枚举问题。
第 3 步:查内核日志
bash
journalctl -k --no-pager | grep -iE 'nvme|reset|timeout|I/O error'
看开机枚举队列数、有无 reset/掉链。本例线索:同型号其他盘 255 队列,故障盘只有 1 队列 → 降级信号。
第 4 步:看命名空间状态(核心)
bash
nvme list-ns -a /dev/nvme2 # -a 包含未激活命名空间nvme id-ns /dev/nvme2 -n 1 # nsze/ncap/nuse 是否为 0
本例根因:命名空间存在但容量被清零 → 内核不建块设备。
第 5 步:读健康日志定性(软/硬故障)
bash
nvme smart-log /dev/nvme2 # critical_warning 是关键!nvme error-log /dev/nvme2nvme sanitize-log /dev/nvme2 # 排除"正在擦除导致的暂时不可见"
本例:
critical_warning=0xc= 可靠性降级 + 介质置只读,且 0 读 0 写 → 出厂早期失效。
第 6 步:尝试恢复(安全前提下,只动”空盘”)
bash
echo 1 > /sys/class/nvme/nvme2/rescan_controllerecho 1 > /sys/class/nvme/nvme2/reset_controllernvme format /dev/nvme2 # 仅在确认盘上无数据时
⚠️ 前提:先用 LVM/分区/挂载信息确认该盘无数据、不在 VG 中。本例三项全失败 → 坐实不可恢复。
第 7 步:双向对齐锁定物理盘位(换盘必备)
系统侧(盘符 → PCIe 槽位):
bash
cat /sys/class/nvme/nvme*/address # nvme2 → 0000:72:00.0lspci -vv -s 72:00.0 | grep -i 'Physical Slot' # → 物理槽位 134
BMC 侧(盘位 → 序列号):
bash
curl -sk --noproxy '*' -u 'user:pass' \ https://<BMC>/redfish/v1/Systems/1/Storage/NVMeSSD \ | tr ',' '\n' | grep -i drives# 读每个 Disk.Bay.N 的 SerialNumber,用序列号与系统侧对上
容量/型号 > 温度/槽位号。 本例用序列号
182510CA0349一击命中,45°C/49°C 温度作旁证。
三、方法论要点(可迁移)
| 要点 | 说明 |
|---|---|
| 编号缺口是起点 | 少盘先找”缺哪个编号”,不是先看物理 |
| 控制器 vs 块设备分层 | 决定排查方向(命名空间/枚举) |
| SMART critical_warning 定生死 | 0x04=可靠性降级,0x08=介质只读,0x0c=二者兼具 |
| 0 读 0 写看寿命 | 区分”磨损老化”还是”早期失效” |
| 序列号做跨层对齐 | 系统盘符与 BMC 盘位无直接映射,必须靠 SN 桥接 |
| 恢复前先验数据归属 | 确认不在 VG/无分区才可动,避免误毁数据 |
| 不信单一来源 | BMC 显示 Health OK 但盘已坏——带外监控可能漏报内部故障 |
四、本次沉淀的”陷阱”提醒
- BMC 绿灯不等于盘好:NVMe 内部故障(固件判定)带外常无法感知,以 OS SMART 为准。
- fstab/安装日志里的盘符会误导:
/dev/nvme2n1只是安装时的编号,盘符会漂移,认序列号。 - 盘符会重排:拔插后 nvme 编号会变,务必用 SN + WWN 记录。
- 管理命令挂死也是证据:
nvme format超时无响应,本身就是固件/主控不稳定的佐证。五、一句话总结方法论
「编号找缺口 → 分层判层级 → 日志定状态 → SMART 定生死 → 恢复验无数据 → 序列号对齐盘位」 —— 先把故障定位到”哪一层、什么性质”,再用序列号把逻辑盘符钉到物理盘位,最终给出”换哪一块”的确定答案。
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com