一、问题现象
1.1 报警入口
PV pvc-ef750b91-9da7-4547-84c8-7e1f33417638 持续报错,6 小时内触发 62 次 VolumeFailedDelete 事件:
Warning VolumeFailedDelete rpc error: code = Aborted desc = an operation with the given Volume ID already exists
Warning VolumeFailedDelete rpc error: code = DeadlineExceeded desc = context deadline exceeded
1.2 影响范围
| 资源 | 状态 | 说明 |
|---|---|---|
PV pvc-ef750b91... |
Released(卡住) | 300Gi Prometheus 数据卷,Reclaim=Delete,无法删除 |
PVC prometheus-...-prometheus-0 |
Pending | CSI 无法 provision 新卷 |
Pod prometheus-...-prometheus-0 |
Pending | 依赖 PVC |
Pod test-rbd-storage-... |
ContainerCreating | RBD 挂载失败 |
Pod test-cephfs-deployment-... |
ContainerCreating | CephFS 挂载失败 |
二、根因分析
2.1 直接原因:Ceph Monitor 不可达
RBD CSI Plugin 日志中反复出现:
failed to connect to volume : failed to get connection: connecting failed: rados: ret=-110, Connection timed out
failed to establish the connection: failed to get connection: connecting failed: rados: ret=-110, Connection timed out
ret=-110 = ETIMEDOUT,CSI Plugin 无法与 Ceph Monitor(10.0.0.201/10.0.0.202/10.0.0.203:6789)建立 RADOS 连接。
2.2 根因:Cilium cluster-pool-ipv4-cidr 与 Ceph Monitor IP 地址冲突
Cilium 配置:
cluster-pool-ipv4-cidr = 10.0.0.0/8
cluster-pool-ipv4-mask-size = 24
routing-mode = tunnel (VXLAN)
节点 Pod CIDR 分配:
k8s-pve-master-02 → 10.0.0.0/24 ← Ceph Monitor 10.0.0.201/202/203 恰好落在此网段!
k8s-pve-node-02 → 10.0.1.0/24
k8s-pve-master-01 → 10.0.2.0/24
k8s-pve-node-03 → 10.0.3.0/24
k8s-pve-master-03 → 10.0.4.0/24
k8s-pve-node-01 → 10.0.5.0/24
k8s-pve-node-05 → 10.0.6.0/24
k8s-pve-node-04 → 10.0.7.0/24
流量被劫持的原理:
Ceph Mon: 10.0.0.201/202/203 ──(应走物理网络)──→ Ceph 集群
│
↓ Cilium BPF 判定 10.0.0.0/8 属于集群 Pod 网络
↓ 将流量封装进 VXLAN 隧道 → k8s-pve-master-02
↓ 但 master-02 上并无 10.0.0.201 这个 Pod
↓
连接超时 (ETIMEDOUT)
↓
RBD/CEPHFS CSI: rados: ret=-110
↓
PV 删不了 + PVC 造不出 + Pod 起不来
- 从 Pod 出发(如
ceph-csi-rbd-provisioner,无 hostNetwork,IP 为10.0.1.201):Cilium BPF 判断目标10.0.0.201属于集群 Pod CIDR,将流量封装进 VXLAN 隧道发往k8s-pve-master-02,但目标地址上无 Pod 监听 → 超时 - 从 Node 宿主机出发(CSI nodeplugin 有 hostNetwork,但 Node 上也运行 Cilium Agent):Cilium 在宿主机网络栈注入 BPF 程序和路由规则,
10.0.0.0/8流量被劫持进隧道 → Node 上 ping 10.0.0.201 也不通
三、修复过程
3.1 修改 Cilium cluster-pool CIDR
将 cluster-pool-ipv4-cidr 从 10.0.0.0/8 改为 10.128.0.0/9,避开 Ceph Monitor 所在的 10.0.0.0/24 网段。
| 修改前 | 修改后 | |
|---|---|---|
| cluster-pool | 10.0.0.0/8 | 10.128.0.0/9 |
| 地址范围 | 10.0.0.0 ~ 10.255.255.255 | 10.128.0.0 ~ 10.255.255.255 |
| /24 子网容量 | 256 个 | 128 个(8 节点绰绰有余) |
| 与 Ceph 10.0.0.201-203 冲突 | ✅ 冲突 | ❌ 不冲突 |
3.2 操作步骤
# Step 1: 修改 Cilium ConfigMap
# cluster-pool-ipv4-cidr: 10.128.0.0/9
# Step 2: 重启 Cilium Operator(读取新 CIDR 配置)
kubectl -n kube-system rollout restart deployment cilium-operator
# Step 3: 清除所有 CiliumNode 的旧 podCIDR
for node in $(kubectl get nodes -o name | sed 's/node\///'); do
kubectl patch ciliumnode $node --type=merge -p '{"spec":{"ipam":{"podCIDRs":[]}}}'
done
# Step 4: 重启 Cilium DaemonSet(Agent 加载新路由,触发 Operator 重新分配 podCIDR)
kubectl -n kube-system rollout restart daemonset cilium
# Step 5: 确认新 podCIDR 分配成功
kubectl get ciliumnode -o custom-columns='NODE:.metadata.name,POD-CIDR:.spec.ipam.podCIDRs'
3.3 修复结果
Cilium Node podCIDR 重新分配(10.128.x.0/24):
| 节点 | 旧 Pod CIDR | 新 Pod CIDR |
|---|---|---|
| k8s-pve-master-01 | 10.0.2.0/24 | 10.128.0.0/24 |
| k8s-pve-master-02 | 10.0.0.0/24 | 10.128.1.0/24 |
| k8s-pve-master-03 | 10.0.4.0/24 | 10.128.2.0/24 |
| k8s-pve-node-01 | 10.0.5.0/24 | 10.128.3.0/24 |
| k8s-pve-node-02 | 10.0.1.0/24 | 10.128.4.0/24 |
| k8s-pve-node-03 | 10.0.3.0/24 | 10.128.5.0/24 |
| k8s-pve-node-04 | 10.0.7.0/24 | 10.128.6.0/24 |
| k8s-pve-node-05 | 10.0.6.0/24 | 10.128.7.0/24 |
PV/PVC 状态恢复:
| 资源 | 修复前 | 修复后 |
|---|---|---|
PV pvc-ef750b91... |
Released(卡住删除) | 已删除 |
PVC prometheus-...-prometheus-0 |
Pending | Bound(新 PV pvc-d7e333c7...) |
PV pvc-0ff55a90... (rbd-pvc-test) |
Bound | Bound |
PV pvc-2bf1aaf7... (test-cephfs) |
Bound | Bound |
PV pv-cephfs-shared-data-0 |
Bound | Bound |
Pod 状态恢复:
| Pod | 修复前 | 修复后 |
|---|---|---|
| test-rbd-storage | ContainerCreating | Running |
| test-cephfs-deployment | ContainerCreating | Running |
| prometheus-…-prometheus-0 | Pending | Running |
四、待处理事项
- 旧 IP Pod 重建:部分 Pod 仍持有旧 CIDR 的 IP(如
dev/k8s-agent-gateway-5449b89cd-g7d7vIP=10.0.1.163 CrashLoopBackOff),需手动 rollout restart 重建以获取新 IP - CiliumNetworkPolicy 例外网段:
dev/internet-only和test/internet-only策略中toCIDRSet的except列表包含10.0.0.0/8,建议同步更新为10.128.0.0/9,避免潜在的策略匹配问题
五、经验总结
| # | 教训 |
|---|---|
| 1 | Cilium cluster-pool-ipv4-cidr 应避免与集群外部基础设施网段(Ceph/存储网、管理网)重叠,10.0.0.0/8 太宽,容易”吞掉”其他服务 |
| 2 | Ceph Monitor 的 IP 地址在 Cilium cluster-pool 内,会导致 BPF 将 Ceph 流量劫持进 VXLAN 隧道,表现为所有 RBD/CephFS 操作超时 |
| 3 | 修改 cluster-pool-ipv4-cidr 后需三步联动:重启 Operator → 清除 CiliumNode 旧 podCIDR → 重启 Agent DaemonSet,仅改 ConfigMap 不会自动生效 |
| 4 | CSI 的 Aborted 和 DeadlineExceeded 错误是 Ceph 不可达的连锁反应,需从网络层排查根因,不要在应用层打转 |
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com