故障复盘:gpu-node-03 NVMe 误拔事件
一、故障时间线
| 时间 | 操作 | 后果 |
|---|---|---|
| T0 | 试图定位 nvme2n2 物理位置 |
无风险 |
| T1 | 随机拔了一块 NVMe | 抽到系统盘 nvme1n1(/ 根分区) |
| T2 | 系统命令报 Input/output error |
根分区离线,bash 靠内存缓存苟活 |
| T3 | 重启 | 系统无法启动(根盘离线) |
| T4 | 插回系统盘,再次重启 | 系统恢复,但设备名重枚举(n1→n2) |
| T5 | 发现 /root/localData 目录变成 d????????? |
XFS 元数据损坏(dirty page 未刷盘 + PV 离线) |
| T6 | 重建 LVM,清空数据 | 数据丢失,服务恢复 |
二、根因分析
1. 为什么会抽到系统盘?
核心问题:设备名不可靠 + 缺乏物理-逻辑映射。
- NVMe 设备名(
nvme0n1、nvme1n1)是内核枚举顺序,与物理槽位无关 - 你之前通过
lspci确认nvme2n2在Physical Slot: 134(Switch 下行口),但系统盘nvme1n1的物理位置你从未确认过 - 机箱前置背板上的盘外观几乎一样(都是 U.2/U.3 形态),没有软件点灯或 SN 标签核对,盲拔必然踩雷
致命假设:你以为”系统盘应该在固定的、好认的位置”,但实际上系统盘和其他数据盘混插在前置背板上。
2. 为什么没有 RAID?
这不是疏忽,是架构选择,但代价被低估了。
AI 训练/推理服务器的典型存储设计:
- 系统盘:单盘 XFS,无 RAID(追求简单、省盘位,认为”系统好重装”)
- 数据盘:裸盘组 LVM 或直挂,无 RAID(追求裸盘吞吐、容量聚合、避免 RAID 写放大)
问题:这种设计默认”数据可丢、可重建”,但忽略了元数据损坏的修复成本和业务中断时间。models/ 和 vllm_cache/ 虽然能从 ceph_shared 重拉,但重拉 966G 数据需要数小时,期间服务完全中断。
3. LVM 为何如此”脆弱”?
LVM 本身不脆弱,脆弱的是上层文件系统 + 缺乏保护机制。
| 层面 | 事实 | 脆弱点 |
|---|---|---|
| LVM | 靠 PV UUID 识别,设备名变化不影响 | ✅ 实际 survived,VG 没丢 |
| Device Mapper | 多 PV 聚合为单 LV | ⚠️ 任一 PV 离线,整个 LV 离线(类似 RAID0 的脆弱性) |
| XFS | 元数据 journaling,但不支持在线修复 | ❌ PV 离线时 dirty page 未落盘,superblock/inode 损坏 |
| 热拔 | NVMe 协议支持热插拔,但文件系统不支持 | ❌ 拔盘瞬间,内核缓冲区里的元数据写失败,文件系统进入不一致状态 |
关键认知:LVM 把多个物理盘虚拟成一个块设备,上层的 XFS 把它当成单块盘来用。当底层任意一块 PV 离线,XFS 看到的不是”某块盘坏了”,而是”整块盘在某个 offset 上突然返回 I/O error”。XFS 对这种部分离线的处理非常差,直接元数据崩溃。
三、如何避免
硬件/物理层
系统盘和数据盘分开放
- 系统盘用 M.2 或后置 SATA/SATADOM,前置背板全给数据盘
- 如果必须混插,系统盘插背板最边缘/有丝印标识的槽位,并在机箱贴标签
背板必须支持 SES-2 / 定位灯
- 通过
sg_ses或厂商工具(storcli、sas2ircu)点亮目标盘的 Fault/Locate LED - 部分机型
sg_ses不支持,这是硬件选型缺陷
- 通过
每块盘贴物理标签
永远用 SN/UUID/WWN 定位,不用设备名
# 正确做法:建立 SN → 设备名的动态映射 nvme id-ctrl /dev/nvme2n2 | grep sn ls -l /dev/disk/by-id/ | grep nvme-xxx拔盘前必须执行安全离线
# 1. 确认无挂载、无进程 lsof /dev/nvmeXnY cat /proc/mounts | grep nvmeXnY # 2. 如果是 LVM PV,先 pvmove 或至少确认 VG 不在线 pvs /dev/nvmeXnY # 3. 内核安全移除(必须做!) echo 1 > /sys/block/nvmeXnY/device/delete # 或 nvme disconnect /dev/nvmeXnY # 如果是 NVMe-oF系统盘做冗余
- 哪怕不做硬件 RAID,也建议系统盘用两块小容量盘做 mdadm RAID1
- 或系统盘用高耐久企业级 SATA SSD(不易坏,且与 NVMe 数据盘物理形态不同,不易拔错)
数据盘引入冗余或快照
建立”拔盘 checklist”,强制执行:
□ 目标盘的 SN 已通过 nvme id-ctrl 确认
□ 目标盘无挂载点 (cat /proc/mounts)
□ 目标盘无进程占用 (lsof/fuser)
□ 目标盘不是 LVM PV,或已从 VG 中移除 (pvmove + vgreduce)
□ 已执行 echo 1 > /sys/block/xxx/device/delete
□ 已通过 IPMI/SES 点亮定位灯,或 SN 标签已肉眼核对
□ 有第二人在场复核(关键生产环境)
四、标准 SOP
SOP-1:定位某块 NVMe 的物理位置
# Step 1: 获取逻辑身份
SN=$(nvme id-ctrl /dev/nvmeXnY | grep "^sn" | awk '{print $3}')
PCI=$(basename $(readlink -f /sys/block/nvmeXnY/device/../..))
SLOT=$(lspci -s $PCI -vv | grep "Physical Slot" | awk '{print $3}')
# Step 2: 获取上游拓扑,确认背板
UPSTREAM=$(basename $(readlink -f /sys/block/nvmeXnY/device/../../..))
lspci -s $UPSTREAM -nn | grep -i "switch\|bridge"
# Step 3: 如果背板支持,点灯
# (你的机器不支持,跳过)
# Step 4: 机房核对 SN 标签
echo "目标盘 SN: $SN, PCI: $PCI, Slot: $SLOT"
# 去机房找标签为 $SN 的盘,或让该盘产生 IO 观察指示灯
SOP-2:安全移除一块 NVMe(数据盘)
DEV=/dev/nvmeXnY
# 1. 确认身份(防止设备名漂移)
nvme id-ctrl $DEV | grep sn
# 2. 确认未挂载
mount | grep $DEV && exit 1
# 3. 确认不是系统关键设备
lsblk $DEV | grep -E "/$|/boot" && exit 1
# 4. 如果是 LVM PV,先迁移数据(生产环境)
# pvmove $DEV
# vgreduce vg_data $DEV
# 5. 内核安全移除
echo 1 > /sys/block/$(basename $DEV)/device/delete
# 6. 确认已从系统消失
lsblk | grep $(basename $DEV) && echo "移除失败" || echo "移除成功,可物理拔盘"
SOP-3:更换一块故障 NVMe
# 1. 按 SOP-2 安全移除旧盘
# 2. 插入新盘,等待内核识别
dmesg -w | grep nvme
# 3. 确认新盘健康
nvme smart-log /dev/nvmeNew
smartctl -a /dev/nvmeNew
# 4. 加入 LVM
pvcreate /dev/nvmeNew
vgextend vg_data /dev/nvmeNew
# 5. 如果是替换而非扩容,恢复数据
# pvmove --alloc anywhere /dev/nvmeNew # 从其他 PV 迁回数据
# 或从备份/ceph_shared 重拉
SOP-4:AI 服务器存储架构建议(AI 训练服务器)
| 层级 | 当前方案 | 建议方案 | 理由 |
|---|---|---|---|
| 系统盘 | 单 NVMe XFS | 双 M.2 RAID1 或 SATADOM | 物理形态不同,不会拔错;系统可快速恢复 |
| 模型缓存 | LVM 裸盘聚合 | CephFS/Rook 或本地 RAID10 | 单盘故障不丢数据,自动重建 |
| 临时数据 | 本地 XFS | 保持现状,但加 LVM 快照 | 可回滚,重建成本低 |
| 持久数据 | 本地盘 | 必须放 ceph_shared/NAS | 本地盘只放缓存,源数据永远在分布式存储 |
五、一句话总结
这次故障的本质不是”拔错了盘”,而是”在没有物理标识、没有安全离线流程、没有冗余保护的情况下,凭设备名盲拔”。 LVM 和 XFS 在热拔面前的表现是符合设计预期的——脆弱的不是技术,是流程。
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com