实验目标
- crush相关创建和修改流程
- osd加入和移除的标准化流程
- 冷热分区部署流程
OSD上下线流程
实验项确认
- osd如何进行加入,保证在加入后不立即均衡
- 加入后调整osd类型
- 手动触发均衡
- 测试文件写入
- 正常驱逐OSD,并下线
- 测试异常OSD下线
测试流程
ceph osd status # 查看一下状态
# 标记暂停数据均衡和osd导入导出
ceph osd set norebalance
ceph osd set norecover
ceph osd set nobackfill
ceph osd set nodown
ceph osd set noup
# 测试调整了权重
# ceph osd crush reweight osd.3 0 # 一般不调整,由rook维护
ceph osd reweight osd.3 0 # 运行时调整权重,会将pg都驱逐掉,数据掉为0,默认是1
ceph osd unset norebalance
ceph osd unset norecover
ceph osd unset nobackfill
ceph osd unset nodown
ceph osd unset noup
# 测试osd的in 和 out
# 下线的标准做法
# 标准做法 reweight + out。但其实,只需要设置为out就可以了,reweight=0是自动完成的
root@ceph-1:/var/lib/ceph# ceph osd out osd.3
osd.3 is already out.
# 永久移除 osd
# 1. 关闭operator
# 2. 保证osd上pg数量为0
# 然后
ceph osd crush remove osd.3
ceph auth del osd.3
# 清理掉osd 的deployment,然后
ceph osd rm 3
# 此时就看不到osd了,最后清理cephcluster中的osd配置
# 添加 osd
# 先添加 noup flag,避免立即均衡
# reweight调整为0,但是当取消 noup 标记后,会立即reweight调整为1
# 所以此操作是无效的
# 就是要等准备均衡时,移除flag即可
设计实验
- 设备关机检修,pg 不迁移
- 加盘 + 关机重启
添加3台设备的osd
我在添加的时候,发现,即使调整为 osd down, pg仍然准备remapped?
是我这个的特例吗? 重新试一下,在此之前
尝试格式化一个磁盘:
发生了什么!
我格式化osd.5,然后等了半天,发现ceph -s 没有发现这个osd出现问题,df中也同样标记这个osd为up,无法主动判断是否异常
此时我手动在 k8s中将 osd.5 重启了下,然后osd.5就无法启动了
此时 osd.5 会被标记为 down,但是由于不是out,所以还是显示存在pg,但其实此时磁盘上已经被清空了
这时候有两个方案
- 等着10分钟,等osd失效,然后rook会拉起一个新osd.6, 来代替osd.5(推荐等待)
- reweight 调整为0,主动迁移
然后后面就正常删除 osd.5 即可
当一个osd down的时候, 会发生什么
osd 中会变成 down,但是状态还是in, pg变为0, 但是不会进行均衡(因为 reweight=1), 减掉的pg变为 undersized
尝试调整reweight为0
调整为0后, 会立即进行均衡
调整CRUSH规则
调整osd类型
ceph osd crush rm-device-class osd.6 # (可选)删除原有类型
ceph osd crush set-device-class ssd osd.6 # 设定新类型
# 调整前
root@ceph-1:~# ceph osd crush tree --show-shadow
ID CLASS WEIGHT TYPE NAME
-2 hdd 0.11691 root default~hdd
-4 hdd 0.03897 host ceph-2~hdd
0 hdd 0.01949 osd.0
3 hdd 0.01949 osd.3
-6 hdd 0.03897 host ceph-3~hdd
1 hdd 0.01949 osd.1
4 hdd 0.01949 osd.4
-8 hdd 0.03897 host ceph-4~hdd
2 hdd 0.01949 osd.2
6 hdd 0.01949 osd.6
-1 0.11691 root default
-3 0.03897 host ceph-2
0 hdd 0.01949 osd.0
3 hdd 0.01949 osd.3
-5 0.03897 host ceph-3
1 hdd 0.01949 osd.1
4 hdd 0.01949 osd.4
-7 0.03897 host ceph-4
2 hdd 0.01949 osd.2
6 hdd 0.01949 osd.6
# 调整后
root@ceph-1:~# ceph osd crush tree --show-shadow
ID CLASS WEIGHT TYPE NAME
-12 ssd 0.05846 root default~ssd
-9 ssd 0.01949 host ceph-2~ssd
3 ssd 0.01949 osd.3
-10 ssd 0.01949 host ceph-3~ssd
4 ssd 0.01949 osd.4
-11 ssd 0.01949 host ceph-4~ssd
6 ssd 0.01949 osd.6
-2 hdd 0.05846 root default~hdd
-4 hdd 0.01949 host ceph-2~hdd
0 hdd 0.01949 osd.0
-6 hdd 0.01949 host ceph-3~hdd
1 hdd 0.01949 osd.1
-8 hdd 0.01949 host ceph-4~hdd
2 hdd 0.01949 osd.2
-1 0.11691 root default
-3 0.03897 host ceph-2
0 hdd 0.01949 osd.0
3 ssd 0.01949 osd.3
-5 0.03897 host ceph-3
1 hdd 0.01949 osd.1
4 ssd 0.01949 osd.4
-7 0.03897 host ceph-4
2 hdd 0.01949 osd.2
6 ssd 0.01949 osd.6
可以看到多了个 default~ssd
调整crush的bucket结构
桶结构类型:root > datacenter > rack > host > osd
# 创建 SSD 专用的 root bucket
ceph osd crush add-bucket ssd-root root
# 创建主机 bucket(如已存在可跳过)
ceph osd crush add-bucket serverc-ssd host
# 将 host 移动到 ssd-root 下
ceph osd crush move serverc-ssd root=ssd-root
# 将 osd 移动到 serverc-ssd 这个host下(如果没有这个host,会自动创建)
ceph osd crush move osd.3 host=serverc-ssd
# (可选)删除命令
ceph osd crush rm ceph-2-ss
# 调整完后
root@ceph-1:~# ceph osd crush tree
ID CLASS WEIGHT TYPE NAME
-13 0.05846 root ssd-root
-14 0.05846 host serverc-ssd
3 ssd 0.01949 osd.3
4 ssd 0.01949 osd.4
6 ssd 0.01949 osd.6
-1 0.05846 root default
-3 0.01949 host ceph-2
0 hdd 0.01949 osd.0
-5 0.01949 host ceph-3
1 hdd 0.01949 osd.1
-7 0.01949 host ceph-4
2 hdd 0.01949 osd.2
此时对应的osd的pg也会进行迁移,因为原本的rule已经不包含现在的osd了
添加自定义Crush Rule
# 创建 SSD 专用规则(3副本,跨 host 分布)
ceph osd crush rule create-replicated ssd-rule ssd-root host
# 查看生成的规则
ceph osd crush rule dump ssd-rule
root@ceph-1:~# ceph osd crush rule dump ssd-rule
{
"rule_id": 25,
"rule_name": "ssd-rule",
"type": 1,
"steps": [
{
"op": "take",
"item": -13,
"item_name": "ssd-root"
},
{
"op": "chooseleaf_firstn",
"num": 0,
"type": "host"
},
{
"op": "emit"
}
]
}
创建pool
# 创建池并指定 CRUSH 规则
ceph osd pool create ssd-pool 8 8 replicated ssd-rule
# 查看池配置
ceph osd pool get ssd-pool crush_rule
# 调整池的CRUSH规则
ceph osd pool set ssd-pool crush_rule <dest_crush_rule>
导出crushmap
apt install ceph-base -y
ceph osd getcrushmap -o crushmap.bin
crushtool -d crushmap.bin -o crushmap.txt
测试存放位置
root@ceph-1:~# ceph osd map ssd-pool test-object
osdmap e3214 pool 'ssd-pool' (35) object 'test-object' -> pg 35.bf8f6aea (35.a) -> up ([4], p4) acting ([4,0,1], p4)
可以看到, 此时其实只有一个host, 所以故障域没有区分开, 只有一个OSD是up的
当一个osd down的时候, 会发生什么
osd 中会变成 down,但是状态还是in, pg变为0, 但是不会进行均衡(因为 reweight=1), 减掉的pg变为 undersized
冷热盘分离调度
点击链接查看和 Kimi 的对话 https://www.kimi.com/share/19b8bce2-fa52-81ff-8000-0000573f3b83
创建冷盘池
# 创建冷池
ceph osd crush rule create-replicated s3-dev-pool.rgw.buckets.cold-data ssd-root host
ceph osd pool create s3-dev-pool.rgw.buckets.cold-data 8 8 replicated s3-dev-pool.rgw.buckets.cold-data
ceph osd pool application enable s3-dev-pool.rgw.buckets.cold-data rgw
or
apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
name: "s3-dev-pool.rgw.buckets.cold-data"
namespace: rook-ceph
spec:
application: "rgw"
erasureCoded:
codingChunks: 0
dataChunks: 0
failureDomain: host
crushRoot: "hdd-root"
deviceClass: "hdd"
mirroring: {}
quotas: {}
replicated:
size: 3
statusCheck:
mirror: {}
错误方式绑定冷池(是错误的,留存)
待删除,不应该新建 placement-id
# 创建cold-placement并绑定
radosgw-admin zonegroup placement add \
--rgw-realm s3-dev-pool \
--rgw-zonegroup s3-dev-pool \
--placement-id cold-placement \
--data-pool s3-dev-pool.rgw.buckets.cold-data \
--index-pool s3-dev-pool.rgw.buckets.cold-data \
--data-extra-pool default.rgw.buckets.non-ec
# 为cold-placement添加COLD存储类
radosgw-admin zonegroup placement add \
--rgw-realm s3-dev-pool \
--rgw-zonegroup s3-dev-pool \
--placement-id cold-placement \
--storage-class COLD
# 提交配置
radosgw-admin period update --commit --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
# 验证配置
## zonegroup 中是看不到 placement 的 data-pool
radosgw-admin zonegroup get --rgw-realm s3-dev-pool --rgw-zonegroup=s3-dev-pool
## 在 zone 中查看
radosgw-admin zone get --rgw-zone=s3-dev-pool --rgw-realm=s3-dev-pool
radosgw-admin zonegroup placement list --placement-id default-placement --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
# 2.1 创建 COLD 存储类
radosgw-admin zone placement add \
--rgw-realm s3-dev-pool \
--rgw-zonegroup s3-dev-pool \
--rgw-zone s3-dev-pool \
--placement-id cold-placement \
--storage-class COLD \
--data-pool s3-dev-pool.rgw.buckets.cold-data \
--index-pool s3-dev-pool.rgw.buckets.cold-index
# 2.2 提交配置
radosgw-admin period update --commit --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
# 验证
# 3.1 查看 Zone 配置(这才是完整信息)
radosgw-admin zone get --rgw-zone=s3-dev-pool
# 3.2 确认默认 placement 是热池
radosgw-admin zonegroup get --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool | grep default_placement
# 应该输出:"default_placement": "default-placement"
# 3.3 检查周期信息是否提交
radosgw-admin period get --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
# 3.4 查看特定 placement 的详细信息
radosgw-admin zone placement get \
--rgw-zone=s3-dev-pool \
--placement-id=default-placement
radosgw-admin zone placement get \
--rgw-zone=s3-dev-pool \
--placement-id=cold-placement \
--storage-class=COLD
绑定冷池(验证成功)
配置zone和zonegroup的 placement_target
# 1. 为 default-placement 添加 COLD 存储类声明
radosgw-admin zonegroup placement add \
--rgw-realm s3-dev-pool \
--rgw-zonegroup s3-dev-pool \
--placement-id default-placement \
--storage-class COLD
# 检查一下 zonegroup
radosgw-admin zonegroup get --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
# 你应该能看到 default-placement 下面有了 storage_classes: [STANDARD, COLD]
# 2. 为 COLD 类绑定具体的 Data Pool
# 注意:Storage Class 通常共用 Index Pool,只需要指定 Data Pool
radosgw-admin zone placement add \
--rgw-realm s3-dev-pool \
--rgw-zonegroup s3-dev-pool \
--rgw-zone s3-dev-pool \
--placement-id default-placement \
--storage-class COLD \
--data-pool s3-dev-pool.rgw.buckets.cold-data \
--compression lz4 # (可选) 冷数据通常建议开启压缩
# 提交更改
radosgw-admin period update --commit --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
# 检查zone
radosgw-admin zone get --rgw-zone=s3-dev-pool
# 查看特定 placement 的详细信息
radosgw-admin zone placement get \
--rgw-zone=s3-dev-pool \
--placement-id=default-placement
s3 周期
先创建一个测试用的桶
rclone mkdir s3-dev-pool:/test-lifecycle编写个生命周期的策略
cat > lifecycle.json <<EOF { "Rules": [ { "ID": "move-to-cold-after-30d", "Status": "Enabled", "Filter": {}, "Transitions": [ { "Days": 30, "StorageClass": "COLD" } ], "Expiration": { // 删除周期 "Days": 365 } } ] } EOF使用 awscli 来配置生命周期,以及查看
# 太长了,简化下 alias awsep="aws --endpoint-url http://10.0.0.241:32002 --no-verify-ssl" # 如果是https alias awsep="aws --endpoint-url https://s3-dev-pool.example.com" alias awsep="aws --endpoint-url https://s3-prod-pool.example.com --profile s3-prod-pool" # 配置生命周期 awsep s3api put-bucket-lifecycle-configuration \ --bucket test-lifecycle \ --lifecycle-configuration file://lifecycle.json # 验证配置 awsep s3api get-bucket-lifecycle-configuration \ --bucket test-lifecycle # 查看所有桶的生命周期进度 radosgw-admin --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool lc list # 查看特定桶的详情 radosgw-admin --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool lc get --bucket=test-lifecycle
测试方案
使用1day +手动执行的方式
# 配置生命周期
awsep s3api put-bucket-lifecycle-configuration \
--bucket test-lifecycle-1day \
--lifecycle-configuration file://test-lifecycle-1day.json
# 验证配置
awsep s3api get-bucket-lifecycle-configuration \
--bucket test-lifecycle-1day
# 生成测试文件
dd if=/dev/urandom of=test-file-50k bs=1K count=50
# 复制到桶
rclone copy test-file-50k s3-dev-pool:/test-lifecycle-1day/
# 手动触发生命周期处理, 但是如果时间没有到还是不会迁移的
radosgw-admin --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool \
lc process \
--bucket=test-lifecycle-1day \
--include-all
# 查看池子里面是否有内容
rados ls --pool=s3-dev-pool.rgw.buckets.cold-data | grep test-file-50k
# 使用debug模式来手动触发执行
radosgw-admin lc process --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool --bucket=test-lifecycle-1day --debug-rgw=20
有几个注意点要明确:
- Zonegroup 是逻辑层,定义了有哪些placement_target
- 一个桶只会走一个placement_target
- StorageClass是Target内部标签,默认是
STANDARD,可以再添加
- Zone是定义了逻辑具体如何映射到pool中的,也就是在zone里面去定义
--data-pool
删除清理方法
# 从 zonegroup 删除 placement target
radosgw-admin zonegroup placement rm \
--rgw-realm s3-dev-pool \
--rgw-zonegroup s3-dev-pool \
--placement-id cold-placement
# 从 zone 删除对应的 placement pools(如果有)
radosgw-admin zone placement rm \
--rgw-realm s3-dev-pool \
--rgw-zone s3-dev-pool \
--placement-id cold-placement
# 删除生命周期的配置
awsep s3api delete-bucket-lifecycle \
--bucket test-lifecycle-1day
迁移后的现象
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
s3-dev-pool.rgw.buckets.data 30 32 0 B 2 0 B 0 23 GiB
s3-dev-pool.rgw.buckets.cold-data 43 32 150 KiB 2 456 KiB 0 19 GiB
root@ceph-1:~/rgw_lifecycle# rclone ls s3-dev-pool:
102400 test-lifecycle/test-file-100k
51200 test-lifecycle-1day/test-file-50k
root@ceph-1:~/rgw_lifecycle# rados ls --pool=s3-dev-pool.rgw.buckets.data
dd8337b8-686f-4aec-8230-c9de690de842.3532553.1_test-file-50k
dd8337b8-686f-4aec-8230-c9de690de842.3873882.1_test-file-100k
root@ceph-1:~/rgw_lifecycle# rados ls --pool=s3-dev-pool.rgw.buckets.cold-data
dd8337b8-686f-4aec-8230-c9de690de842.3873882.1__shadow_.1c3DFQaUmX3Bbkzx9Mxnme5RCbBPg_z_0
dd8337b8-686f-4aec-8230-c9de690de842.3532553.1__shadow_.Hk-0z7LUfa-N6_2wOGvpSnV51zFYenZ_0
# 查看对象的storage_class
root@ceph-1:~# radosgw-admin object stat --bucket=test-lifecycle-1day --object=test-file-50k --rgw-realm s3-dev-pool --rgw-zonegroup s3-dev-pool
...
"attrs": {
"user.rgw.content_type": "application/octet-stream",
"user.rgw.storage_class": "COLD",
"user.rgw.tail_tag": "_058pTUVn2i0ekPcJY6Q2hPDSBfgyrSK",
"user.rgw.x-amz-acl": "private",
"user.rgw.x-amz-content-sha256": "UNSIGNED-PAYLOAD",
"user.rgw.x-amz-date": "20260105T024318Z",
"user.rgw.x-amz-meta-mtime": "1767580966.239999143"
}
从池子中可以看到 data 池是两个0字节的对象,而cold-data池中是正常大小的两个重命名后的对象
为什么会这样:
- 这是生命周期迁移的标准动作
- 将用户数据块复制到冷池中,并且根据规则重命名
- 将原对象截断为0直接的影子对象
- 从索引中,将stroage_class 改到了 COLD里面
「生命周期迁移」= 数据块复制到新池 + 原对象变零字节影子 + 索引里改存储类;
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com