Ceph RGW 生产环境调优

  1. 可调优配置
    1. 一、并发与线程类(高并发核心)
    2. 二、内存与缓存类
    3. 三、超时与健壮性类
    4. 四、索引与日志类
    5. 五、一句话回答用户问题
  2. 调优

可调优配置

完全对得上 —— 你列出的就是 Ceph Reef(18.x) 的默认 ceph config dump / radosgw-admin config show 输出,和我前面给出的「生产调优建议」基于同一套参数。

下面把「能看到」与「我建议改」两栏并列,方便你一眼决定:

你看到的参数 当前值 生产建议值 备注
rgw_max_concurrent_requests 1024 4096~8192 高并发场景先拉到 4096,压测后再涨。
rgw_thread_pool_size 512 CPU×2 且 ≥1024 决定同时做 RADOS I/O 的线程数,512 通常不够。
rgw_max_objs_per_shard 100000 100000 一般不动;桶对象 >1 亿时可再细分。
rgw_dynamic_resharding true true 保持开启,让桶自动再分片;已超大桶可关闭后手动规划。
rgw_bucket_default_quota_max_objects -1 -1(或业务值) 若需强制限额再改,否则保持无限。
rgw_user_max_buckets 1000 1000(或业务值) 单用户最大桶数,按租户规模调整。
rgw_init_timeout 300 600~1800 大集群启动慢时可拉长,避免 RGW 被 systemd 反复重启。
rgw_frontends beast port=7480 beast port=80 reuse_port=true ssl_port=443 生产放 80/443 并开 reuse_port 做多实例负载均衡。
rgw_log_http_headers 空 按需 排障时再填,平时留空减少日志量。

其余参数(quota、keystone、website 等)保持默认即可,与性能无关。


一句话总结:

先把 rgw_max_concurrent_requests 和 rgw_thread_pool_size 按上表调高,再视压测结果微调 rgw_gc_max_concurrent_io / rgw_op_thread_timeout 即可上线。

下面给出 Ceph RGW 生产环境 最常用的「并发/线程/内存/超时」四类调优参数、推荐值及一句话解释,并在最后用一句话回答 rgw_max_concurrent_requests 的含义与建议值。


一、并发与线程类(高并发核心)

参数 默认值 生产推荐值 说明
rgw_max_concurrent_requests 1024 4096~8196 Beast 前端最大「飞行」异步请求数;超过即排队,内存换吞吐,可先 4096 起步,压测后逐步上调。
rgw_thread_pool_size 512 CPU 核数 × 2 且 ≥1024 真正干活的线程池大小,决定同时能处理多少 RADOS I/O。
rgw_num_rados_handles 1 8~16 每个 RGW 实例与 OSD 的独立会话数,增大可缓解 OSD 端排队。
rgw_bucket_index_max_aio 32 64~128 对桶索引池发起的异步 I/O 上限,大桶 list/更新时减少等待。

二、内存与缓存类

参数 默认值 生产推荐值 说明
rgw_cache_enabled true true 元数据内存开关,必须开。
rgw_cache_size 134 MB 物理内存 10~20 % 缓存条目上限,条目淘汰按 LRU;足够大可显著降低索引池读。
rgw_max_objs_per_shard 100000 100000 单条索引对象内最大条目,通常不动;若桶对象>1 亿可再细分。

三、超时与健壮性类

参数 默认值 生产推荐值 说明
rgw_op_thread_timeout 600 s 1800~7200 s 单条 RADOS 操作最长生命期,大文件上传/删除时避免被提前中断。
rgw_request_timeout 300 s 1800~3600 s HTTP 层总超时,需 ≥ 上面值。
rgw_gc_obj_min_wait 7200 s 1800 s 删除后多久才允许 GC 回收;缩短可快速释放空间,但仍留 30 min 防客户端重读。
rgw_gc_max_concurrent_io 10 100~200 GC 线程同时发起的清理 I/O 数;删海量对象时调大,可显著缩短空间回收时间。

四、索引与日志类

参数 默认值 生产推荐值 说明
rgw_override_bucket_index_max_shards 0 预期对象数 ÷ 100 000 且为质数 桶索引分片数,>1000 万对象务必提前设,否则 list/更新会单 OSD 热点。
rgw_dynamic_resharding true true 允许运行时自动再分片;若桶已巨大可关闭后手动规划。
debug_rgw 0/20 0(关闭) 生产关闭 debug,减少 CPU 与磁盘日志开销;问题定位时再临时打开。

五、一句话回答用户问题

rgw_max_concurrent_requests 是 Beast 前端 同时允许“在飞”的最大异步请求数,默认 1024;

在 CPU/内存充裕的高并发场景,生产建议调到 4096~8192 并配合 rgw_thread_pool_size 横向扩容,可显著压低排队延迟、提升总吞吐。

调优

# 例:把最大并发请求从 1024 → 4096
ceph config set global rgw_max_concurrent_requests 4096

# 例:线程池 512 → 2048 ceph config set global rgw_thread_pool_size 2048
# 例:GC 并发 I/O 10 → 200 ceph config set global rgw_gc_max_concurrent_io 200
# 可不配置, 默认 beast 模块即可 ceph config set global rgw_frontends "beast port=80 reuse_port=true"
# 查看 config 配置 ceph config get mon.* ceph config get mon.* rgw_max_concurrent_requests

转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com