Ceph 常用命令

修改dashboard页面密码

最好直接在secrets里面修改,下面这个只是临时修改

直接进入工具箱

kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l app=rook-ceph-tools -o jsonpath='{.items[0].metadata.name}') -- bash

k8s 中部署相关操作

ceph k8s 部署操作

常用排错

ceph 故障处理集

常用标记

 # 常用,防止宕机后自动标记为out,避免不必要的数据迁移
ceph osd set noout

ceph osd set nobackfill ceph osd set norebalance
# 除非清楚要作什么,否则别打 ceph osd set nodown ceph osd set noin ceph osd set noup
# 清理标记 ceph osd unset <flag>

添加OSD的时候,出现noout标识

RBD

# 查看rbd
rbd ls rbd-pool -l
rbd info rbd-pool/testing

# 查看rbd 镜像使用的空间 rbd du -p rbd-pool rbd du rbd-pool/testing
rbd device list # 列出所有映射的 RBD 设备,找到对应 PV 的 RBD 镜像(比如 /dev/rbd1)

应用差分特性,方便快速查看使用容量

# 启动特性
rbd feature enable rbd-pool/csi-vol-aea54ad5-0d42-46b1-ad88-aa8bde682999  exclusive-lock
rbd feature enable rbd-pool/csi-vol-aea54ad5-0d42-46b1-ad88-aa8bde682999  object-map

# 重建对象映射 rbd object-map rebuild rbd-pool

释放空间

fstrim -v /root/rbd-volume

查看挂载rbd

# 查看 image -> showmapped
rbd du -p rbd-pool
rbd showmapped

# 映射到本地块设备(默认使用 /etc/ceph 中的 keyring) rbd map rbd-pool/testing rbd ummap /dev/rbd0

PG调整

# 检查是否开启了pg自动调整,如果是开启的on,必须先关闭,然后再调整,否则会先扩容,再自动缩容恢复
ceph osd pool autoscale-status 

# 关闭自动pg调整 ceph osd pool set rbd-pool pg_autoscale_mode off
# 1. 查看当前 PG 配置 ceph osd pool get mypool pg_num ceph osd pool get mypool pgp_num
# 2. 提升 PG 数量 ceph osd pool set mypool pg_num 128
# (可选)临时降低 backfill 优先级,减少业务影响 ceph config set osd osd_max_backfills 1 ceph config set osd osd_recovery_max_active 3 ceph config set osd osd_recovery_op_priority 3 # 默认是 10
# 4. 同步 pgp_num, 检查可以看到,其实修改pg_num 后, pgp_num 会自动变更 ceph osd pool set mypool pgp_num 128

格式化磁盘脚本

#!/bin/bash

devices=( "/dev/sde" )
# 显示将要操作的设备列表 echo "=== 将要清除以下设备 ===" for device in "${devices[@]}" do if [ -b "$device" ]; then echo " $device" else echo " $device (设备不存在)" fi done echo "==========================" echo
# 获取设备信息(可选) echo "设备信息:" for device in "${devices[@]}" do if [ -b "$device" ]; then size=$(lsblk -n -o SIZE "$device" 2>/dev/null | head -1 | tr -d ' ') model=$(lsblk -n -o MODEL "$device" 2>/dev/null | head -1) echo " $device: $size $model" fi done echo
# 确认操作 read -p "确认要清除以上所有设备吗?这将永久删除所有数据!(输入 Y 确认): " confirm
if [ "$confirm" != "Y" ] && [ "$confirm" != "y" ]; then echo "操作已取消" exit 0 fi
echo echo "开始清除设备..."
# 循环遍历设备列表 for device in "${devices[@]}" do if [ ! -b "$device" ]; then echo "跳过不存在的设备: $device" continue fi
echo "========================================" echo "正在处理 $device ..."
# 清除文件系统签名 #echo "清除 $device 上的文件系统签名..." wipefs -a "$device" 2>/dev/null || true
# 删除设备上的所有分区 #echo "删除 $device 上的所有分区..." sgdisk --zap-all "$device" 2>/dev/null || true
# 清除磁盘开头部分 #echo "清除 $device 的引导扇区..." dd if=/dev/zero of="$device" bs=1M count=100 oflag=direct,dsync status=none 2>/dev/null || true
echo "$device 已被清除!" done
echo echo "更新分区表..." # 仅对目标设备列表中的设备执行 partprobe for device in "${devices[@]}" do if [ -b "$device" ]; then echo "正在通知内核更新 $device 分区表..." partprobe "$device" 2>/dev/null || true fi done
echo echo "所有设备清除完成。"

mount Cephfs挂载

2026/08/04 - ceph上创建HDD的卷

删除 、 加入 osd

参考 https://blog.csdn.net/fancy106/article/details/121706998

# 标记 OSD 下线。 计划下线磁盘/维护节点的时候使用
ceph osd out <id>

# 重新上线OSD,恢复使用磁盘 ceph osd in <id>
# 手动标记OSD为单机,仅为测试操作 ceph osd down <id>
# 触发OSD重平衡,数据不均衡时使用 ceph osd reweight-by-utilization

删除OSD

# 首先必须确认osd对应的是哪个硬盘
ceph osd metadata osd.3  # 查看osd元数据,可以知道是哪个物理盘

# 驱逐并删除 ceph osd out osd.3 # 触发数据迁移
# k8s 的 cephcluster CRD 中删除掉相关 osd 硬盘
ceph osd crush remove osd.3 ceph auth rm osd.3 ceph osd rm 3
# 最后格式化硬盘即可

添加OSD

ceph osd set noup
# 等待osd上线,但是此时是down状态
ceph osd unset noup

创建快照克隆

可以用在需要修复的时候

# 创建快照可以在web界面里面创建
rbd snap create <pool>/<image>@before-fix

# 调整为保护模式,然后克隆 rbd snap protect <pool>/<image>@before-fix rbd clone <pool>/<image>@before-fix <pool>/<image>-repair
# 回滚快照 rbd snap rollback mypool/myrbd@snap1

rbd创建快照

# 快照
rbd snap create pool/image@mysnap  # 创建快照
rbd snap protect pool/image@mysnap  # 保护快照(如需创建克隆)
rbd snap unprotect pool/image@mysnap  # 取消保护
rbd snap rm pool/image@mysnap  # 删除快照

# 克隆 rbd snap create pool/image@mysnap # 创建快照 rbd snap protect pool/image@mysnap # 必须保护快照才能克隆 rbd clone pool/image@mysnap pool/clone-image # 创建克隆 rbd snap unprotect pool/image@mysnap # 克隆完成后可取消保护 rbd rm pool/clone-image # 删除克隆(不影响原始镜像)

cephfs创建快照

# 用法
ceph fs subvolume snapshot create <fs-name> <subvol-name> <snap-name> --group_name <group-name>
# 示例
ceph fs subvolume snapshot create public-fs shared-data-0 snap_manual_20251119 --group_name manual

cephfs还有快照自动调度器的功能,开启后,在dashboard中添加即可

ceph mgr module ls # 查看启动的管理模块
ceph mgr module enable snap_schedule # 启用快照调度器

恢复的话,分情况

  1. 少量文件恢复。挂载这个卷,然后进入到.snap这个隐藏文件夹(ls -la 都看不见),然后手动恢复
  2. 大量恢复,则需要克隆一份,然后挂载克隆这份,用克隆的镜像恢复,或者直接替换

删除 rbd

需要确认是否有快照和克隆,先清除这两个,再删除

# 查看是否有克隆
rbd children rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903

# 查看是否有快照 rbd snap ls rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903
# 删除克隆image rbd rm rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903-repair
# 清理所有快照 rbd snap unprotect pool/image@mysnap # 如果有克隆,就有保护,需要取消保护 rbd snap purge rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903
# 清理image rbd rm rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903

删除rgw

添加rgw时,出现cephobjectstore无法删除

删除cephfs

rook-ceph删除cephfs

CRUSH调整

调整CRUSH规则

# ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
ceph osd crush rule create-replicated SSD_rule default host ssd

# ceph osd pool set <pool-name> crush_rule <rule-name> ceph osd pool set ssd-pool crush_rule SSD_rule

桶分片

# 查看桶情况
radosgw-admin bucket stats  --rgw-realm=s3-dev-pool --bucket=zbzn-hardware-transport-test

# 分片,质数,一片 10w 对象 radosgw-admin bucket reshard --rgw-realm=s3-dev-pool --bucket=zbzn-hardware-transport-test --num-shards=227

RGW 冷热池分离

冷热盘分离调度

RGW生产环境全局调优

Ceph RGW 生产环境调优

2026/04/29 - RGW S3 test-bucket 桶权限


转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com