Ceph 核心概念、PG 规划与运维要点

思维导图

Ceph

  • 概念 & 核心思想
    • 统一
      • 对象存储
      • 块存储
      • 文件系统存储
    • 分布式
      • 完全的去中心化
    • 软件定义存储
    • CRUSH算法
      • Controlled Replication Under Scalable Hashing
        • 数据分布算法
        • 是计算而非查表
      • 通过集群映射+CRUSH规则,计算出应该存储的OSD
    • 优势
      • 去中心化
      • 高可扩展性
      • 高可靠性
        • 可明确知道物理分布,避免关联性故障
  • 架构 & 组件
    • 守护进程(组件)
      • OSD 对象存储守护进程
        • 一个OSD关联一个物理磁盘
        • 数据量和性能随OSD数量线性增长
      • Mon 监视器
        • 维护集群映射
          • Monitor map
          • OSD map
          • CRUSH map
        • 集群身份认证,统一性决策
      • MDS 元数据服务器
        • 仅为CephFS服务
      • Mgr Ceph管理器
        • 采集指标,暴露给监控工具,Web界面
    • 工作流程
        1. 客户端请求 Monitor,获取最新集群映射
        1. 客户端通过对象ID,通过取模算法,得到对应的Pool 和 PG id
        1. 根据PG id,通过CRUSH算法,得到 OSD组
        1. 客户端直接与主OSD建立连接,发送数据
        1. 主OSD将数据同步复制到其他副本OSD
        1. 主OSD确认所有副OSD都成功写入后,向客户端返回写入成功确认
  • 存储接口 & 服务
    • 对象存储(RADOS Gateway - RGW)
      • 提供 Amazon S3 和 Openstack Swift 兼容的 RESTful API
    • 块存储 (RBD - RADOS Block Device)
      • 提供块设备接口
      • 通过krdb 或者 librdb 实现
      • 支持精简配置、快照、克隆。librdb 还支持缓存和增量备份
    • 文件系统存储(CephFS)
      • 提供POSIX标准文件系统接口
      • 需要MDS集群来管理元数据
  • 核心技术 & 概念
    • Pool 和 PG
      • Pool
        • 数据归属,行为策略
          • 可靠性策略
          • PG数量,是Pool的子单位
          • CRUSH规则
          • 配额
          • 权限
        • 逻辑概念
    • 数据可靠性机制
      • 多副本
        • 通常3副本,空间利用率 33%,低
      • 纠错码(EC)
        • 空间利用率 K/(K+M) 高
        • 代价是开销大,写操作延迟更高
    • 数据平衡与恢复
      • CRUSH规则
        • 定义数据的分布策略
        • 分布在不同的故障域中
      • 重平衡 Rebalancing
        • 添加或者删除OSD时,CRUSH重新计算数据分布
        • 后台将数据迁移到新的正确的位置
      • 恢复与回填
        • 当OSD宕机恢复后,将缺失的数据副本同步到OSD上
  • 部署、运维 & 生态
    • 部署方式
      • 手动 ceph-deploy
      • 自动化 Cephadm、Rook 或者 Ansible
    • 监控和管理
      • ceph -s
      • ceph osd tree
      • ceph df
    • 云原生
      • Rook 或者 Ceph-CSI
      • Openstack 的事实标准后端存储
        • Glance 镜像
        • Cinder 块存储
        • Nova 虚拟机实例
        • Swift 对象存储

扩缩容后的重平衡

为什么必须要进行重平衡? 因为要维持数据分布的平衡和可靠性

  • 扩容后,需要充分利用新OSD,防止老OSD过满
  • 缩容前,需要提前迁移数据,防止数据丢失
  1. Ceph可以通过算法让大部分数据不动,不如只动对应的PG的数据,PG是数据迁移的基本单元
  2. 另外,通过控制手段,Ceph允许动态调整数据迁移和恢复的速率,平衡前台业务IO性能影响,相关参数:
    • osd_max_backfills: 单个OSD同时最多能执行多少个迁移任务。
    • osd_recovery_max_active: 单个OSD同时最多能进行多少个恢复操作。
    • osd_recovery_sleep: 恢复操作间的间隔时间,增加此值会降低恢复速度。
    • 运维实践:
      • 业务高峰期: 调低这些参数,限制迁移速度,优先保障业务IO性能。
      • 业务低峰期: 调高这些参数,让迁移以最大速度进行,尽快完成重平衡。
  3. 设置权重(Weight),并逐步调整
    • CRUSH算法中,每个OSD都有一个权重,代表相对数据量
    • 扩容最佳实践: 添加新OSD时,可以先将其权重设置为0。此时CRUSH算法不会分配新数据给它,也不会触发迁移。然后,再慢慢地、逐步地增加其权重(例如每次增加0.1)。每增加一次,只会触发一小部分数据迁移,直到其权重与老OSD相当。这种方式可以对迁移过程进行“精细滴灌”,将对业务的影响降到最低。

Pool常用场景

场景 1:按应用类型隔离

  • ssd-pool-for-databases: 创建一个多副本池,使用 CRUSH 规则使其数据只分配在SSD磁盘对应的 OSD 上。将这个池分配给公司核心数据库应用,保证低延迟和高IOPS。

  • hdd-pool-for-backups: 创建一个纠删码池(如 8+3),使用 CRUSH 规则使其数据只分配在大容量HDD磁盘上。将这个池用于备份和归档数据,最大化存储空间利用率。

    场景 2:按部门/租户隔离

  • dev-team-pool: 为开发部门创建一个池,设置较低的副本数(如 2副本)和宽松的 CRUSH 规则(允许副本在同一个机架),并设置 10TB 的配额。用于他们的测试和开发环境。

  • prod-pool: 为生产部门创建一个独立的池,设置 3副本 和严格的 CRUSH 规则(跨机架、跨主机),不设配额或设置很高的配额。用于运行线上服务,保证最高可靠性。两个部门的数据完全隔离,互不影响。

    场景 3:对接上层接口

  • rbd-pool: 专门创建一个池,用于存储 RBD(块设备) 的镜像。当 Kubernetes 通过 Ceph-CSI 申请块存储时,就从这个池里分配空间。

  • cephfs-data 和 cephfs-metadata: 当使用 CephFS 时,最佳实践是创建两个单独的池。一个池(如 cephfs-data)存储文件数据,另一个池(如 cephfs-metadata)存储元数据(文件名、目录结构等)。因为元数据对性能要求极高,通常可以为元数据池配置全SSD存储。

  • **.rgw.buckets**: 当你使用 RGW 对象网关时,它会自动创建一系列以 .rgw 开头的池来管理对象数据和元数据。

PG数量规划

在规划PG数量之前需要明确的几个点:

  1. PG的总数量是指的所有Pool里面的PG的数量之和
  2. Pool是共享所有OSD,Pool和OSD的物理关联是通过CRUSH规则来动态定义的
  3. PG的数量有个软上限,大概就是 OSD*100
  4. 主动预留一部分的份额给未来的新Pool
  5. 如果未来不够用,最安全的方案是扩容OSD来提高上限

PG是逻辑分片,副本PG不是独立PG,而是同一个PG的不同副本,每个PG选出一组OSD【主OSD,副本OSD】

计算公式

$$
\frac{(\text{Target PGs per OSD}) \times (\text{OSD 数量}) \times (%Data)}{\text{Size}}
$$

直观理解:副本数大,数据冗余多,分布更均匀,PG 数量要求反而更低。

PG 与存储大小的关联

pg并不直接与存储大小挂钩,但是会和存储性能挂钩,所以要根据存储大小分配pg

PG直接与“存储性能”和“对象数量”挂钩

您总结得非常精准和到位!完全可以这样理解。

您的这句话:“pg并不直接与存储大小挂钩,但是会和存储性能挂钩,所以要根据存储大小分配pg?” 是理解Ceph数据分布和性能调优的一个关键性概括。让我来为您进一步阐释一下这个精妙的辩证关系。


核心关系阐释

1. PG不直接与“存储大小”(字节数)挂钩

  • 这意味着: 一个拥有 1 TB 数据的PG,和另一个拥有 10 TB 数据的PG,在Ceph看来,它们都是“一个PG”。Ceph的元数据管理开销(如PG的peering状态、OSDMap版本跟踪等)主要与PG的数量本身有关,而与每个PG里具体装了多少字节的数据关系不大。

  • 简单比喻: 管理10个装满了书的箱子,和管理10个只装了一半书的箱子,管理员(OSD)需要付出的“管理精力”(CPU/内存开销)是差不多的。管理的复杂度在于“箱子的数量”,而不是“箱子的总重量”。

    2. PG直接与“存储性能”和“对象数量”挂钩

  • 这才是关键: 虽然PG不计较字节数,但它计较对象的数量。PG是对象的容器。

  • 性能挂钩:

    • 并发度: 每个PG可以看作一个独立的微型数据库,可以处理其内部对象的IO请求。PG数量越多,能够并行处理的IO请求就越多,集群的总体IOPS和带宽潜力就越大。这直接决定了性能上限。
    • 恢复速度: 当一个OSD损坏时,上面的数据需要从其他副本中恢复。恢复过程是以PG为单位并行进行的。如果PG数量少,每个PG包含的数据量(对象数)就巨大,恢复时单个恢复任务就非常沉重,速度慢。如果PG数量多,数据被切分得更细,大量轻量级的恢复任务可以并行跑在所有健康的OSD上,总体的恢复速度快得多。

      3. 为什么“要根据存储大小分配PG”?

现在我们来连接这两点,回答您最核心的问题:既然PG不和存储大小直接挂钩,为什么要根据它来分配?

这里的“存储大小”实际上是一个 “代理变量” 。我们真正的目标是控制每个PG中包含的“对象数量”,而“对象数量”通常与“存储大小”呈强烈的正相关。

  • 逻辑链条:
    预计的未来存储容量 → 预估的大致对象总数 → 为了将每个PG的对象数控制在合理范围内(如<5万),需要多少PG
  • 举例说明:
    • 场景A: 您计划在一个Pool里存100 TB的小文件(比如图片、文档),平均每个对象很小(比如512KB)。那么这100TB将包含海量的对象(约20万个对象)。如果您只给这个Pool分配32个PG,那么每个PG将平均包含超过6000个对象。这太多了!您需要增加PG(比如到128或256)来降低每个PG的平均对象数。
    • 场景B: 您计划在另一个Pool里存100 TB的大文件(比如虚拟机磁盘镜像、视频文件),每个对象都很大。那么这100TB包含的对象总数会少得多。可能32个PG就足以让每个PG的对象数保持在健康范围内。

所以,我们根据“存储大小”来规划PG,本质上是因为“存储大小”是“对象数量”的一个最容易预估的替代指标。 我们真正关心的是对象数量,但直接精准预估对象数很困难,而预估总容量则简单得多。


结论与最佳实践

您的理解完全正确。在实际操作中,我们应该遵循以下流程:

  1. 初始规划: 在创建存储池时,根据该池的预期最终容量,使用PG计算器或经验公式(如 (OSDs * 100) / replica_count)来估算一个PG目标值。这就是您之前做的步骤。
  2. 持续监控: 集群投入运行后,不要只监控存储容量使用了多少,更要定期使用 ceph pg dump 等命令监控每个PG的实际对象数(num_objects*)。这是判断PG数量是否合适的*黄金指标。
  3. 动态调整:
    • 如果发现大量PG的对象数持续增长并接近(如5万)或超过警告阈值,就应该在业务低峰期增加该池的**pg_num**。
    • 如果后期因为扩容增加了大量OSD,导致每个OSD上的PG数过低,也可能需要增加总的PG数来重新实现均匀分布。
      总而言之,“根据存储大小分配PG”是一种行之有效的预先规划策略,而“根据实际对象数量调整PG”则是确保集群持续健康运行的必要运维手段。 您抓住了这个概念的精华。

PG 状态

状态字段 含义 举例场景 是否正常
active PG 可读写 没有被阻塞 ✅ 正常
clean 所有副本一致、同步完毕 数据处于完全健康状态 ✅ 正常
remapped PG 被重新映射到不同 OSD 通常在 OSD 加入/移除后出现 ⚠️ 临时状态
backfill_wait 等待回填带宽或资源 等待开始数据回填 ⚠️ 可接受(等待恢复)
backfilling 正在进行数据回填 Ceph 在复制缺失数据 ⚙️ 自动恢复中
recovery_wait 等待恢复(和 backfill_wait 类似) 恢复任务排队 ⚠️ 临时
recoverying 正在恢复(比如 OSD 挂了又回来) 自动修复副本 ⚙️ 自动恢复中
scrubbing 正在数据一致性校验 Ceph 定期做 checksum 校验 ✅ 正常维护状态
peering 正在同步协商 PG生命周期早期阶段 ⚠️ 临时但需关注
deep+scrubbing 深度校验(包括对象内容) 每周/月自动运行 ✅ 正常维护状态
degraded 副本数不足(比如丢了一份) 某 OSD 掉线或数据在迁移中 ⚠️ 临时但需关注
undersized 实际副本数低于目标副本数 比 degraded 更严重 ❌ 异常
stale OSD 失联,PG 无法确定状态 某 OSD 宕机 ❌ 异常
incomplete 数据副本都不完整 多个 OSD 掉线导致数据无法重建 🚨 严重异常

QA

为什么osd需要4G以上内存

新版ceph有osd缓存机制,主osd写入后就会返回成功,后续osd同步由缓存进行

追踪对象

# 对象在哪个osd上
ceph osd map <pool> <object> 
ceph pg dump pgs_brief

# 哪些pg上有多少对象 ceph pg dump | grep ^<pool_id> | awk '{print $1,$2}'

pool池配额quota

当pool池达到object 配额上线时,rados不会有响应,包括删除。 需要接触配额,也就是调整为0

对容量进行限额,只要没有超标,就能存进去,不会报错,存进去之后才知道超标

pool重命名

ceph osd pool rename <old> <new>

转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com