演练项目
1. 元数据灾难性丢失恢复
Monitor数据库重建:模拟所有Monitor节点数据损坏,测试从OSD重建monmap和cluster state
CRUSH map重建:模拟CRUSH map丢失,测试根据OSD内容反向推导拓扑结构
认证秘钥恢复:模拟
client.admin等关键秘钥丢失,测试从备份或OSD提取重建2. 从零开始重建集群
OSD数据抢救模式:模拟集群完全无法启动,测试仅挂载OSD数据盘提取原始对象
跨集群数据迁移:模拟集群不可修复,测试通过RBD镜像或CephFS同步将数据迁移到新集群
Rook资源重建:模拟Kubernetes层Rook CRD丢失,测试从Ceph状态反向生成Rook配置
3. 时间回溯恢复演练
一致性时间点恢复:模拟逻辑错误导致数据污染,测试回滚到指定时间点
快照级联恢复:测试通过多层快照链恢复到历史状态
元数据版本回退:模拟元数据损坏但数据完好场景,测试单独回退元数据版本
4. 分阶段渐进式恢复
只读模式恢复:模拟数据疑虑场景,测试以只读模式启动集群进行审计
最小化集群恢复:测试从单个OSD启动最小化集群,逐步扩容恢复
数据完整性优先模式:模拟数据可能损坏场景,测试跳过scrub快速启动后后台修复
5. 外部依赖失效场景
ETCD数据丢失:模拟Kubernetes ETCD损坏,测试Rook Operator与Ceph集群的解耦运行
网络配置丢失:模拟所有节点IP/路由变更,测试Ceph网络配置重置
时间同步异常:模拟NTP服务中断导致时钟漂移,测试Ceph对时间错误的容忍和恢复
6. 不可逆操作回滚演练
PG永久标记错误:模拟PG被误标记为lost,测试使用
ceph osd force-create-pg重建Pool误删除恢复:测试已删除pool的数据残余恢复(未覆盖情况下)
OSD永久移除恢复:模拟OSD被
ceph osd purge后,测试从备份OSD数据恢复7. 文档与流程验证
纸质文档恢复:模拟无电子文档可用,测试仅根据纸质记录重建集群
人员可用性:模拟关键人员缺席,测试备用人员按手册操作
供应商支持演练:模拟社区/商业支持不可用时的自主恢复能力
演练评估重点
数据可恢复性边界:明确哪些场景可100%恢复,哪些会丢失数据
恢复时间天花板:测试最坏情况下的RTO极限
最小信息需求:确定重建所需的最少配置备份清单
单点故障识别:发现导致集群崩溃的单点薄弱点
备份操作
# 备份 rook 目录
while read -r host; do
echo "正在处理 $host..."
ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null root@$host -i /root/.ssh/jump_rsa 'bash -s' <<'EOF'
rm -rf /var/lib/rook.bak
cp -r /var/lib/rook /var/lib/rook.bak
echo "备份成功"
EOF
done < hosts.txt
alias ceph-tools="kubectl -n rook-ceph exec -it deploy/rook-ceph-tools"
ceph-tools -- ceph fsid > ceph-fsid.txt
ceph-tools -- cat /etc/ceph/ceph.conf > ceph.conf.backup
ceph-tools -- ceph auth get client.admin > client.admin.keyring
ceph-tools -- ceph osd getcrushmap > crushmap.backup
ceph-tools -- ceph mon getmap > monmap.backup
ceph-tools -- ceph osd pool ls detail > pools.backup
ceph-tools -- ceph osd metadata > osd_metadata.backup
# 8. Rook configmap(包含mon endpoints)
kubectl -n rook-ceph get cm rook-ceph-mon-endpoints -o yaml > rook-mon-endpoints.yaml
kubectl -n rook-ceph get cm rook-ceph-csi-config -o yaml > rook-csi-config.yaml
Monitor 集群恢复重建
尝试删除掉 mon deploy
当强制删除掉全部 mon 的deploy后,operator 会帮忙自动恢复
所以此时不需要担心,过一会,mon就会自动恢复回来了
尝试删除掉节点中的/var/lib/rook
先备份
尝试删除一个节点的 /var/lib/rook 目录
删除后,ceph 会进入短暂的不可用,大约30秒,然后降级,2/3 mon 的状态
然后mon-pod 处于CrashLoopBackOff状态,然后等待600秒进行重建,此时虽然还是Error,但是目录已经创建完成了
如果不想等待,重启pod即可
如果一直等待600秒,mon会重新构建,也就是之前如果是mon-c,那么就会重新构建一个 mon-d 加入进来
(pool 有没有掉,存疑)
- 尝试删除所有节点的/var/lib/rook目录
当删除所有节点上的rook目录,虽然会重建,并且健康状态是OK的,但是osd, pool 都丢失无法看见
由于osd没有接管进来,所以所有数据都无法获取
尝试恢复OSD
# 暂停Operator,防止它自动创建新的空白OSD
kubectl -n rook-ceph scale deploy rook-ceph-operator --replicas=0
# 同时停止所有OSD pod
kubectl -n rook-ceph delete pod -l app=rook-ceph-osd
# 新学到的,通过debug 进入node节点
kubectl debug node/k8s-node-04 -it --image=harbor.example.com/rook-ceph/ceph:v18.2.4
进入节点后,会是 /var/lib/ceph 目录
- 然后检查osd,其实现在已经是空的了
# debug node pod 中检查 [root@k8s-node-04 ceph]# for osd_path in /var/lib/ceph/osd/ceph-*; do if [ -d "$osd_path" ]; then OSD_ID=$(basename $osd_path | cut -d- -f2) OSD_FSID=$(cat $osd_path/fsid 2>/dev/null) echo "Found OSD $OSD_ID with FSID: $OSD_FSID" fi done [root@k8s-node-04 ceph]# ceph-volume lvm list No valid Ceph lvm devices found # node 节点中直接检查 root@k8s-node-04:/var/lib/rook.bak# hexdump -C /dev/sdc | head -20 00000000 62 6c 75 65 73 74 6f 72 65 20 62 6c 6f 63 6b 20 |bluestore block | 00000010 64 65 76 69 63 65 0a 30 32 36 62 32 63 34 31 2d |device.026b2c41-| 00000020 34 32 30 30 2d 34 37 34 34 2d 61 61 63 63 2d 63 |4200-4744-aacc-c| 00000030 38 39 30 30 30 38 32 30 61 38 66 0a 02 01 3d 02 |89000820a8f...=.| 00000040 00 00 02 6b 2c 41 42 00 47 44 aa cc c8 90 00 82 |...k,AB.GD......| 00000050 0a 8f 00 00 00 00 05 00 00 00 c6 98 71 69 ac ed |............qi..| 00000060 d5 31 04 00 00 00 6d 61 69 6e 0f 00 00 00 0a 00 |.1....main......| 00000070 00 00 62 66 6d 5f 62 6c 6f 63 6b 73 07 00 00 00 |..bfm_blocks....| 00000080 35 32 34 32 38 38 30 12 00 00 00 62 66 6d 5f 62 |5242880....bfm_b| 00000090 6c 6f 63 6b 73 5f 70 65 72 5f 6b 65 79 03 00 00 |locks_per_key...| 000000a0 00 31 32 38 13 00 00 00 62 66 6d 5f 62 79 74 65 |.128....bfm_byte| 000000b0 73 5f 70 65 72 5f 62 6c 6f 63 6b 04 00 00 00 34 |s_per_block....4| 000000c0 30 39 36 08 00 00 00 62 66 6d 5f 73 69 7a 65 0b |096....bfm_size.| 000000d0 00 00 00 32 31 34 37 34 38 33 36 34 38 30 06 00 |...21474836480..| 000000e0 00 00 62 6c 75 65 66 73 01 00 00 00 31 09 00 00 |..bluefs....1...| 000000f0 00 63 65 70 68 5f 66 73 69 64 24 00 00 00 35 62 |.ceph_fsid$...5b| 00000100 62 63 65 65 39 64 2d 30 39 32 65 2d 34 65 61 37 |bcee9d-092e-4ea7| 00000110 2d 39 62 61 33 2d 38 66 63 30 33 39 32 31 34 65 |-9ba3-8fc039214e| 00000120 62 62 19 00 00 00 63 65 70 68 5f 76 65 72 73 69 |bb....ceph_versi| 00000130 6f 6e 5f 77 68 65 6e 5f 63 72 65 61 74 65 64 4c |on_when_createdL|
从磁盘中直接检查到sdc里面有OSD数据以及标签,说明问题只是Rook失去了对它们的识别能力
bluestore block device.026b2c41-4200-4744-aacc-c89000820a8f
ceph_fsid$...5bbcee9d-092e-4ea7-9ba3-8fc039214ebb
使用rook目录直接恢复
因为之前直接备份过 /var/lib/rook 整个目录,现在重新对这个目录进行全量恢复,恢复完成后,打开operator进行后续的自动修复
完成后集群状态恢复正常,osd,pool恢复正常
但是 ceph osd df 命令无法执行
检查原因是mgr没有起来,重启mgr的pod后,恢复正常
cephfs卷无法正常创建和挂载,需要重启下mds服务,即使表面上是正常
但是没有测试备份目录后,新增pool以及服务,然后恢复备份目录后有什么影响
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com