修改dashboard页面密码
最好直接在secrets里面修改,下面这个只是临时修改
直接进入工具箱
kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l app=rook-ceph-tools -o jsonpath='{.items[0].metadata.name}') -- bash
k8s 中部署相关操作
ceph k8s 部署操作
常用排错
ceph 故障处理集
常用标记
# 常用,防止宕机后自动标记为out,避免不必要的数据迁移
ceph osd set noout
ceph osd set nobackfill
ceph osd set norebalance
# 除非清楚要作什么,否则别打
ceph osd set nodown
ceph osd set noin
ceph osd set noup
# 清理标记
ceph osd unset <flag>
添加OSD的时候,出现noout标识
RBD
# 查看rbd
rbd ls rbd-pool -l
rbd info rbd-pool/testing
# 查看rbd 镜像使用的空间
rbd du -p rbd-pool
rbd du rbd-pool/testing
rbd device list # 列出所有映射的 RBD 设备,找到对应 PV 的 RBD 镜像(比如 /dev/rbd1)
应用差分特性,方便快速查看使用容量
# 启动特性
rbd feature enable rbd-pool/csi-vol-aea54ad5-0d42-46b1-ad88-aa8bde682999 exclusive-lock
rbd feature enable rbd-pool/csi-vol-aea54ad5-0d42-46b1-ad88-aa8bde682999 object-map
# 重建对象映射
rbd object-map rebuild rbd-pool
释放空间
fstrim -v /root/rbd-volume
查看挂载rbd
# 查看 image -> showmapped
rbd du -p rbd-pool
rbd showmapped
# 映射到本地块设备(默认使用 /etc/ceph 中的 keyring)
rbd map rbd-pool/testing
rbd ummap /dev/rbd0
PG调整
# 检查是否开启了pg自动调整,如果是开启的on,必须先关闭,然后再调整,否则会先扩容,再自动缩容恢复
ceph osd pool autoscale-status
# 关闭自动pg调整
ceph osd pool set rbd-pool pg_autoscale_mode off
# 1. 查看当前 PG 配置
ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num
# 2. 提升 PG 数量
ceph osd pool set mypool pg_num 128
# (可选)临时降低 backfill 优先级,减少业务影响
ceph config set osd osd_max_backfills 1
ceph config set osd osd_recovery_max_active 3
ceph config set osd osd_recovery_op_priority 3 # 默认是 10
# 4. 同步 pgp_num, 检查可以看到,其实修改pg_num 后, pgp_num 会自动变更
ceph osd pool set mypool pgp_num 128
格式化磁盘脚本
#!/bin/bash
devices=(
"/dev/sde"
)
# 显示将要操作的设备列表
echo "=== 将要清除以下设备 ==="
for device in "${devices[@]}"
do
if [ -b "$device" ]; then
echo " $device"
else
echo " $device (设备不存在)"
fi
done
echo "=========================="
echo
# 获取设备信息(可选)
echo "设备信息:"
for device in "${devices[@]}"
do
if [ -b "$device" ]; then
size=$(lsblk -n -o SIZE "$device" 2>/dev/null | head -1 | tr -d ' ')
model=$(lsblk -n -o MODEL "$device" 2>/dev/null | head -1)
echo " $device: $size $model"
fi
done
echo
# 确认操作
read -p "确认要清除以上所有设备吗?这将永久删除所有数据!(输入 Y 确认): " confirm
if [ "$confirm" != "Y" ] && [ "$confirm" != "y" ]; then
echo "操作已取消"
exit 0
fi
echo
echo "开始清除设备..."
# 循环遍历设备列表
for device in "${devices[@]}"
do
if [ ! -b "$device" ]; then
echo "跳过不存在的设备: $device"
continue
fi
echo "========================================"
echo "正在处理 $device ..."
# 清除文件系统签名
#echo "清除 $device 上的文件系统签名..."
wipefs -a "$device" 2>/dev/null || true
# 删除设备上的所有分区
#echo "删除 $device 上的所有分区..."
sgdisk --zap-all "$device" 2>/dev/null || true
# 清除磁盘开头部分
#echo "清除 $device 的引导扇区..."
dd if=/dev/zero of="$device" bs=1M count=100 oflag=direct,dsync status=none 2>/dev/null || true
echo "$device 已被清除!"
done
echo
echo "更新分区表..."
# 仅对目标设备列表中的设备执行 partprobe
for device in "${devices[@]}"
do
if [ -b "$device" ]; then
echo "正在通知内核更新 $device 分区表..."
partprobe "$device" 2>/dev/null || true
fi
done
echo
echo "所有设备清除完成。"
mount Cephfs挂载
2026/08/04 - ceph上创建HDD的卷
删除 、 加入 osd
参考 https://blog.csdn.net/fancy106/article/details/121706998
# 标记 OSD 下线。 计划下线磁盘/维护节点的时候使用
ceph osd out <id>
# 重新上线OSD,恢复使用磁盘
ceph osd in <id>
# 手动标记OSD为单机,仅为测试操作
ceph osd down <id>
# 触发OSD重平衡,数据不均衡时使用
ceph osd reweight-by-utilization
删除OSD
# 首先必须确认osd对应的是哪个硬盘
ceph osd metadata osd.3 # 查看osd元数据,可以知道是哪个物理盘
# 驱逐并删除
ceph osd out osd.3 # 触发数据迁移
# k8s 的 cephcluster CRD 中删除掉相关 osd 硬盘
ceph osd crush remove osd.3
ceph auth rm osd.3
ceph osd rm 3
# 最后格式化硬盘即可
添加OSD
ceph osd set noup
# 等待osd上线,但是此时是down状态
ceph osd unset noup
创建快照克隆
可以用在需要修复的时候
# 创建快照可以在web界面里面创建
rbd snap create <pool>/<image>@before-fix
# 调整为保护模式,然后克隆
rbd snap protect <pool>/<image>@before-fix
rbd clone <pool>/<image>@before-fix <pool>/<image>-repair
# 回滚快照
rbd snap rollback mypool/myrbd@snap1
rbd创建快照
# 快照
rbd snap create pool/image@mysnap # 创建快照
rbd snap protect pool/image@mysnap # 保护快照(如需创建克隆)
rbd snap unprotect pool/image@mysnap # 取消保护
rbd snap rm pool/image@mysnap # 删除快照
# 克隆
rbd snap create pool/image@mysnap # 创建快照
rbd snap protect pool/image@mysnap # 必须保护快照才能克隆
rbd clone pool/image@mysnap pool/clone-image # 创建克隆
rbd snap unprotect pool/image@mysnap # 克隆完成后可取消保护
rbd rm pool/clone-image # 删除克隆(不影响原始镜像)
cephfs创建快照
# 用法
ceph fs subvolume snapshot create <fs-name> <subvol-name> <snap-name> --group_name <group-name>
# 示例
ceph fs subvolume snapshot create public-fs shared-data-0 snap_manual_20251119 --group_name manual
cephfs还有快照自动调度器的功能,开启后,在dashboard中添加即可
ceph mgr module ls # 查看启动的管理模块
ceph mgr module enable snap_schedule # 启用快照调度器
恢复的话,分情况
- 少量文件恢复。挂载这个卷,然后进入到
.snap这个隐藏文件夹(ls -la 都看不见),然后手动恢复 - 大量恢复,则需要克隆一份,然后挂载克隆这份,用克隆的镜像恢复,或者直接替换
删除 rbd
需要确认是否有快照和克隆,先清除这两个,再删除
# 查看是否有克隆
rbd children rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903
# 查看是否有快照
rbd snap ls rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903
# 删除克隆image
rbd rm rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903-repair
# 清理所有快照
rbd snap unprotect pool/image@mysnap # 如果有克隆,就有保护,需要取消保护
rbd snap purge rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903
# 清理image
rbd rm rbd-pool/csi-vol-1f07da4f-a280-4c4a-89cf-fd9914b9a903
删除rgw
添加rgw时,出现cephobjectstore无法删除
删除cephfs
rook-ceph删除cephfs
CRUSH调整
调整CRUSH规则
# ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
ceph osd crush rule create-replicated SSD_rule default host ssd
# ceph osd pool set <pool-name> crush_rule <rule-name>
ceph osd pool set ssd-pool crush_rule SSD_rule
桶分片
# 查看桶情况
radosgw-admin bucket stats --rgw-realm=s3-dev-pool --bucket=zbzn-hardware-transport-test
# 分片,质数,一片 10w 对象
radosgw-admin bucket reshard --rgw-realm=s3-dev-pool --bucket=zbzn-hardware-transport-test --num-shards=227
RGW 冷热池分离
冷热盘分离调度
RGW生产环境全局调优
Ceph RGW 生产环境调优
2026/04/29 - RGW S3 test-bucket 桶权限
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com