NVMe 误拔导致系统盘丢失的复盘

故障复盘:gpu-node-03 NVMe 误拔事件


一、故障时间线

时间 操作 后果
T0 试图定位 nvme2n2 物理位置 无风险
T1 随机拔了一块 NVMe 抽到系统盘 nvme1n1(/ 根分区)
T2 系统命令报 Input/output error 根分区离线,bash 靠内存缓存苟活
T3 重启 系统无法启动(根盘离线)
T4 插回系统盘,再次重启 系统恢复,但设备名重枚举(n1→n2)
T5 发现 /root/localData 目录变成 d????????? XFS 元数据损坏(dirty page 未刷盘 + PV 离线)
T6 重建 LVM,清空数据 数据丢失,服务恢复

二、根因分析

1. 为什么会抽到系统盘?

核心问题:设备名不可靠 + 缺乏物理-逻辑映射。

  • NVMe 设备名(nvme0n1、nvme1n1)是内核枚举顺序,与物理槽位无关
  • 你之前通过 lspci 确认 nvme2n2 在 Physical Slot: 134(Switch 下行口),但系统盘 nvme1n1 的物理位置你从未确认过
  • 机箱前置背板上的盘外观几乎一样(都是 U.2/U.3 形态),没有软件点灯或 SN 标签核对,盲拔必然踩雷

致命假设:你以为”系统盘应该在固定的、好认的位置”,但实际上系统盘和其他数据盘混插在前置背板上。

2. 为什么没有 RAID?

这不是疏忽,是架构选择,但代价被低估了。

AI 训练/推理服务器的典型存储设计:

  • 系统盘:单盘 XFS,无 RAID(追求简单、省盘位,认为”系统好重装”)
  • 数据盘:裸盘组 LVM 或直挂,无 RAID(追求裸盘吞吐、容量聚合、避免 RAID 写放大)

问题:这种设计默认”数据可丢、可重建”,但忽略了元数据损坏的修复成本和业务中断时间。models/ 和 vllm_cache/ 虽然能从 ceph_shared 重拉,但重拉 966G 数据需要数小时,期间服务完全中断。

3. LVM 为何如此”脆弱”?

LVM 本身不脆弱,脆弱的是上层文件系统 + 缺乏保护机制。

层面 事实 脆弱点
LVM 靠 PV UUID 识别,设备名变化不影响 ✅ 实际 survived,VG 没丢
Device Mapper 多 PV 聚合为单 LV ⚠️ 任一 PV 离线,整个 LV 离线(类似 RAID0 的脆弱性)
XFS 元数据 journaling,但不支持在线修复 ❌ PV 离线时 dirty page 未落盘,superblock/inode 损坏
热拔 NVMe 协议支持热插拔,但文件系统不支持 ❌ 拔盘瞬间,内核缓冲区里的元数据写失败,文件系统进入不一致状态

关键认知:LVM 把多个物理盘虚拟成一个块设备,上层的 XFS 把它当成单块盘来用。当底层任意一块 PV 离线,XFS 看到的不是”某块盘坏了”,而是”整块盘在某个 offset 上突然返回 I/O error”。XFS 对这种部分离线的处理非常差,直接元数据崩溃。


三、如何避免

硬件/物理层

  1. 系统盘和数据盘分开放

    • 系统盘用 M.2 或后置 SATA/SATADOM,前置背板全给数据盘
    • 如果必须混插,系统盘插背板最边缘/有丝印标识的槽位,并在机箱贴标签
  2. 背板必须支持 SES-2 / 定位灯

    • 通过 sg_ses 或厂商工具(storcli、sas2ircu)点亮目标盘的 Fault/Locate LED
    • 部分机型 sg_ses 不支持,这是硬件选型缺陷
  3. 每块盘贴物理标签

    • 装机时记录:Slot 1 = SN:XXXX = /dev/nvmeXnY = PCI:xx:xx.x
    • 用二维码标签贴在盘托架上

      软件层

  4. 永远用 SN/UUID/WWN 定位,不用设备名

    # 正确做法:建立 SN → 设备名的动态映射
    nvme id-ctrl /dev/nvme2n2 | grep sn
    ls -l /dev/disk/by-id/ | grep nvme-xxx
    
  5. 拔盘前必须执行安全离线

    # 1. 确认无挂载、无进程
    lsof /dev/nvmeXnY
    cat /proc/mounts | grep nvmeXnY
    
    # 2. 如果是 LVM PV,先 pvmove 或至少确认 VG 不在线 pvs /dev/nvmeXnY
    # 3. 内核安全移除(必须做!) echo 1 > /sys/block/nvmeXnY/device/delete # 或 nvme disconnect /dev/nvmeXnY # 如果是 NVMe-oF
  6. 系统盘做冗余

    • 哪怕不做硬件 RAID,也建议系统盘用两块小容量盘做 mdadm RAID1
    • 或系统盘用高耐久企业级 SATA SSD(不易坏,且与 NVMe 数据盘物理形态不同,不易拔错)
  7. 数据盘引入冗余或快照

    • LVM + RAID10/RAID6:牺牲 50% 容量换容错(如果数据重要)
    • LVM Thin Provisioning + 快照:定期 lvcreate -s 做快照,元数据损坏可回滚
    • 更好的方案:直接用 Ceph/Rook 做本地存储池,让分布式存储处理副本和故障恢复

      流程层

建立”拔盘 checklist”,强制执行:

□ 目标盘的 SN 已通过 nvme id-ctrl 确认
□ 目标盘无挂载点 (cat /proc/mounts)
□ 目标盘无进程占用 (lsof/fuser)
□ 目标盘不是 LVM PV,或已从 VG 中移除 (pvmove + vgreduce)
□ 已执行 echo 1 > /sys/block/xxx/device/delete
□ 已通过 IPMI/SES 点亮定位灯,或 SN 标签已肉眼核对
□ 有第二人在场复核(关键生产环境)

四、标准 SOP

SOP-1:定位某块 NVMe 的物理位置

# Step 1: 获取逻辑身份
SN=$(nvme id-ctrl /dev/nvmeXnY | grep "^sn" | awk '{print $3}')
PCI=$(basename $(readlink -f /sys/block/nvmeXnY/device/../..))
SLOT=$(lspci -s $PCI -vv | grep "Physical Slot" | awk '{print $3}')

# Step 2: 获取上游拓扑,确认背板 UPSTREAM=$(basename $(readlink -f /sys/block/nvmeXnY/device/../../..)) lspci -s $UPSTREAM -nn | grep -i "switch\|bridge"
# Step 3: 如果背板支持,点灯 # (你的机器不支持,跳过)
# Step 4: 机房核对 SN 标签 echo "目标盘 SN: $SN, PCI: $PCI, Slot: $SLOT" # 去机房找标签为 $SN 的盘,或让该盘产生 IO 观察指示灯

SOP-2:安全移除一块 NVMe(数据盘)

DEV=/dev/nvmeXnY

# 1. 确认身份(防止设备名漂移) nvme id-ctrl $DEV | grep sn
# 2. 确认未挂载 mount | grep $DEV && exit 1
# 3. 确认不是系统关键设备 lsblk $DEV | grep -E "/$|/boot" && exit 1
# 4. 如果是 LVM PV,先迁移数据(生产环境) # pvmove $DEV # vgreduce vg_data $DEV
# 5. 内核安全移除 echo 1 > /sys/block/$(basename $DEV)/device/delete
# 6. 确认已从系统消失 lsblk | grep $(basename $DEV) && echo "移除失败" || echo "移除成功,可物理拔盘"

SOP-3:更换一块故障 NVMe

# 1. 按 SOP-2 安全移除旧盘

# 2. 插入新盘,等待内核识别 dmesg -w | grep nvme
# 3. 确认新盘健康 nvme smart-log /dev/nvmeNew smartctl -a /dev/nvmeNew
# 4. 加入 LVM pvcreate /dev/nvmeNew vgextend vg_data /dev/nvmeNew
# 5. 如果是替换而非扩容,恢复数据 # pvmove --alloc anywhere /dev/nvmeNew # 从其他 PV 迁回数据 # 或从备份/ceph_shared 重拉

SOP-4:AI 服务器存储架构建议(AI 训练服务器)

层级 当前方案 建议方案 理由
系统盘 单 NVMe XFS 双 M.2 RAID1 或 SATADOM 物理形态不同,不会拔错;系统可快速恢复
模型缓存 LVM 裸盘聚合 CephFS/Rook 或本地 RAID10 单盘故障不丢数据,自动重建
临时数据 本地 XFS 保持现状,但加 LVM 快照 可回滚,重建成本低
持久数据 本地盘 必须放 ceph_shared/NAS 本地盘只放缓存,源数据永远在分布式存储

五、一句话总结

这次故障的本质不是”拔错了盘”,而是”在没有物理标识、没有安全离线流程、没有冗余保护的情况下,凭设备名盲拔”。 LVM 和 XFS 在热拔面前的表现是符合设计预期的——脆弱的不是技术,是流程。


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com