参考
- H3C无损网络最佳实践-6W102-新华三集团-H3C
- 【PFC】PFC使能 H3C交换机设置和主机设置–编辑中_rdma h3c交换机配置-CSDN博客
- RoCEv2网络部署—-Mellanox网卡配置_rocev2+ceph-CSDN博客
无损网络概述
RDMA是使用的IB网络,必须使用专用IB网卡以及IB交换机才可以实现,成本高,并且不能与现有网络兼容。
RoCE(RDMA over Converged Ethernet)孕育而生,支持二层和三层以太网承载的RDMA。
- RoCE v1:以太网承载RDMA,只能支持二层网络
- RoCE v2:TCP/UDP承载RDMA,可以支持三层网络
但是RoCE协议在设计之初就缺乏了完善的丢包保护机制,这将导致任意的一次丢包都会导致大量的重传,严重影响转发性能。
而高性能计算和分布式存储相关应用的特征是多对一通讯的Incast流量模型,容易造成瞬时的拥塞丢包,导致性能下降。
所以,需要建立无损的网络部署,才能支持RoCEv2以及相关应用。
如何构建无损网络
想要满足无损网络,保证在网络传输的过程中不丢包,需要支持以下关键特性:
- 数据缓冲区管理和监控:根据监控到的流量特点调整端口和队列的缓冲区使用大小
- (必选)PFC(Priority-based Flow Control,基于优先级的流量控制):逐跳提供PFC,实现运行多种类型的流量而不互相影响
- (必选)ECN(Explicit Congestion Notification,显示拥塞通知):使用IP报文中的ECN字段,标识发生拥塞,由接收端发送降低速率的CNP(Congestion Notification Packet,拥塞通知报文),实现端到端的拥塞管理,减缓拥堵的扩散恶化
- (建议)DCBX(Data Center Bridging Exchange Protocol,数据中心桥能力交换协议):使用LLDP自动协商DCB能力参数,包括PFC和ETS等。一般用在接入交换机连接服务器的端口,与服务器网卡进行能力协商。
- (可选)ETS(Enhanced Transmission Selection,增强传输选择):将流量按服务类型分组,在提供不同流量的最小带宽保证的同时提高链路利用率,保证重要流量的带宽百分比。需要逐跳提供。
PFC和ECN对比
| 比较项目 | PFC | ECN |
|---|---|---|
| 网络位置 | 二层 | 网络层及传输层 |
| 作用范围 | 点到点 | 端到端 |
| 是否需要全网支持 | 是 | 否 |
| 被控制对象 | 网络中上一节点,如果服务器网卡支持PFC,PFC对网卡也能生效 | 发送主机 |
| 报文缓存位置 | 中间网络节点及发送端 | 发送端 |
| 受影响的流量 | 网络设备中8个转发队列中某个队列的所有流量 | 发生拥塞应用的连接 |
| 响应速度 | 快 | 慢 |
数据缓冲区
数据缓冲区用来临时存储报文,其中又分为三类:
- 接收缓冲区
- 发送缓冲区:当网络拥塞时,不能及时发送,又不能丢,所以先存着
- Headroom缓冲区:在PFC生效后用来缓存在途报文的一块空间
默认状态下,所有队列均分共享区域和固定区域
简介
PFC是构建无损网络的必选功能,能够逐条的提供基于优先级的流量控制。
当设备的端口出现拥塞并触发PFC的反压帧触发门限(XOFF)时,设备将向数据进入的方向发送PAUSE帧反压,上游设备接收到PAUSE帧后停止发送数据,如果其本地端口缓存消耗超过阈值,则继续向上游反压。如此逐级向上反压,直到发出流量的服务器收到PAUSE帧后,在PAUSE帧中指定的Pause Time内暂停发送数据,从源头上减少流量的发送,从而消除网络节点因拥塞造成的丢包。
PAUSE帧产生过程
- 设备收到报文后,放入相应队列,因为开启了PFC,所以会统计MMU(Memory Manage Unit,存储器管理单元),计算可用cell资源。
- 如果不够,发送PAUSE给上一跳
- 上一跳设备接收到PAUSE后,暂停给下一跳设备发送报文,并缓存起来
- 上一跳设备有两种反应
设备将不同的优先级的报文放到对应的队列中
分为两大种:
- 优先级信任模式方式
- dot1p:信任报文自带的802.1p优先级,VLAN网络
- dscp:信任IP报文自带的DSCP优先级
- 端口优先级:对设备接入的端口进行优先级排列
但是在接口配置了PFC功能时,只能使用dot1p和dscp,设备根据不同的优先级标记不同的本地优先级(LP),根据本地优先级进行队列调度
PFC配置限制和指导
- 必须配置dot1p或者dscp(
qos trust { dot1p | dscp }),并且路径上所有都必须保持一致 - 不建议在dot1p优先级为0、6、7时配置PFC功能
- Overlay网络中,需要配置
qos trust tunnel-dot1p命令,PFC才能生效 - 路径上所有端口都需要相同配置
介绍
PFC提供的门限设置:
- Headroom缓存门限:某队列的最大使用cell资源,当cell资源全部使用完后,该接口丢弃收到的报文
- 反压帧触发门限(XOFF):共享缓存空间cell资源达到设置的门限后,触发PFC功能发送PAUSE帧。XOFF又分为两种
- 动态XOFF:设置cell资源的百分比
- 静态XOFF:设置cell资源的固定值
- 反压帧停止门限与触发门限间的偏移量(Ingress-threshold-offset):降低到XON后,停止发送PAUSE帧
- PFC预留门限(reserved-buffer):固定缓存空间中为某优先级预留的cell资源
配置指导
缺省值在一般的组网环境下是效果较好的参数组合,一般不建议调整。如需配置参考原文档
介绍
当出现链路故障时,可能由于重新收敛造成短暂环路,而这个环路恰好又触发了PFC,那么PFC就会陷入一个循环发送PAUSE的状态,也就是锁死了。
解决办法是通过毫秒级的PFC锁死检测,发现后忽略PAUSE帧或者关闭PFC功能,同时对buffer中的报文进行转发或丢弃,来规避PFC锁死这种极端情况。
锁死功能恢复方式
分为手动和自动恢复,通常情况下自动恢复即可。
通常这种环路是可以通过收敛自动解除的,所以锁死也会自动恢复。
但是如果是出现了环路无法消除的情况,那么通过配置在指定周期内发生PFC锁死的上限次数,达到次数后,自动关闭PFC功能。
在排除网络故障后,执行undo priority-flow-control deadlock threshold命令恢复FPC功能
PFC预警门限
通过配置预警门限,可以提醒及时关注网络状况。
系统会生成Trap和日志信息进行提醒,提前发现异样:
- 对端设备网卡故障,不停地持续高速发送PFC帧,可以配置入方向预警门限进行监控。
- 本设备故障后不停发送PFC帧,可以配置出方向预警门限进行监控。
- 如果有双向监控需求的,可以在入和出方向都配置预警门限进行监控。
简介
ECN是构建无损网络的必选手段。
定义了基于IP层的端到端的拥塞通知机制。支持该设备的终端通过报文内容,判断路径上发生了拥塞,从而调整发送方式,避免拥塞加剧
工作机制
ECN功能对IP的DSCP域的最后两位(称为ECN域)进行了如下定义:
- 6比特位:发送端是否支持ECN功能,称为ECT位(ECN-Capable Transport)
- 7比特位:标识在传输路径上是否经历了拥塞,称为CE位(Congestion Experienced)
工作机制:
- 发送ECN域为10,告知路径上的设备和接收端,发送端支持ECN功能
- 中间设备发生拥塞并达到门限,拥塞设备设置ECN报文为11,报文正常转发
- 接收端收到ECN报文后,由传输层发送CNP(Congestion Notification Packet,拥塞通知报文)通知发送端
- 发送端收到CNP报文后,对相应的优先级队列进行降速处理
- 经过配置的一段时间或者数量数据后,恢复原有速率
网卡配置思路
网卡详细配置参考原文档
- 网卡必须支持PFC和ECN功能
- 配置网卡接口信任报文的DSCP优先级
- 设置CNP报文的DSCP优先级
- 开启RoCE队列的PFC功能
- 开启RoCE队列的ECN功能
观察是否丢包
- 观察是否丢包,
display packet-drop interface <iface> - 出现数据缓冲区不足(insufficient data buffer)丢包处理
- 出现input droped,修改headroom门限大小
- 出现output droped,修改共享缓存区占比,确定是否执行了
buffer apply
- 出现WRED类型(WRED droped)丢包处理
在不丢包的情况下,可以调整ECN和PFC的部分参数,进而降低延迟。
原则:
在拥塞环境下,占用buffer越小,时延越低,吞吐量越小
不拥塞的环境下,ECN和PFC均不生效
调整原则:尽量在低buffer占用,不丢包的情况下触发ECN和PFC
优先调整ECN
服务器双上行方案
- Leaf配置
S-MLAG实现服务器双上行,服务器需要修改内核实现ARP双发 - Leaf设备配置ARP生成32位主机路由功能,当其中一台出现故障后,可以及时更新路由,将流量切换到同组Leaf另一台设备
- 为抑制Leaf设备的ARP防洪广播报文,做以下配置:
- Leaf设备配置QoS,只允许业务网段VLAN接口发送ARP报文,禁止其他ARP报文转发
- Leaf开启代理ARP,使同组Leaf同网段主机可以三层互通
- Leaf配置Monitor Link,当上行全部down后,下行接口也同时down,使流量可以切换到另一台Leaf
路由配置方案
使用BGP,每台Leaf的AS都不同
通过配置路由/路由策略实现,节约路由资源
配置PFC
- RDMA报文携带dot1p优先级5,对优先级5的报文开启PFC功能
- 路径上所有端口均开启PFC
配置ECN
PFC的配置,使用dot1p或者DSCP,并且优先级都保持一致
同组Leaf的两台成员设备,VLAN接口需要配置相同IP和MAC
配置案例
参考原文
核心配置,打开PFC和ECN,信任dscp
qos wred queue table QOS-EGRESS-100G-PORT
queue 0 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
queue 0 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
queue 0 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
queue 0 ecn
queue 1 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
queue 1 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
queue 1 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
queue 1 ecn
queue 2 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
queue 2 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
queue 2 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
queue 2 ecn
queue 3 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
queue 3 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
queue 3 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
queue 3 ecn
queue 4 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
queue 4 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
queue 4 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
queue 4 ecn
queue 5 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20
queue 5 drop-level 1 low-limit 1000 high-limit 2000 discard-probability 20
queue 5 drop-level 2 low-limit 1000 high-limit 2000 discard-probability 20
queue 5 weighting-constant 0
queue 5 ecn
queue 6 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
queue 6 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
queue 6 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
queue 6 ecn
queue 7 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20
queue 7 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20
queue 7 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20
queue 7 ecn
interface HundredGigE1/0/1
port link-mode bridge
port access vlan 100
link-delay up 2
priority-flow-control deadlock enable
priority-flow-control enable
priority-flow-control no-drop dot1p 0-7
qos trust dscp
qos wfq byte-count
qos wfq ef group 1 byte-count 60
qos wfq cs6 group sp
qos wfq cs7 group sp
qos wred apply QOS-EGRESS-100G-PORT
qos gts queue 6 cir 50000000 cbs 16000000
配置检查
##### 查看 PFC 开启状况
dis priority-flow-control interface
<QHXNSJY01-M19-41-HSF-AS-S6825-117>dis priority-flow-control interface
Conf -- Configured mode Ne -- Negotiated mode P -- Priority
Interface Conf Ne Dot1pList P Recv Sent Inpps Outpps
GE1/0/33 Off Off
GE1/0/34 Off Off
HGE1/0/1 On On 0-7 0 22652660 25426960 0 0
1 22652660 0 0 0
2 22652660 0 0 0
3 22652660 0 0 0
4 22652660 0 0 0
5 22652660 0 0 0
6 22652660 0 0 0
7 22652660 0 0 0
HGE1/0/2 On On 0-7 0 39674390 14626510 0 0
1 39674390 0 0 0
2 39674390 0 0 0
3 39674390 0 0 0
4 39674390 0 0 0
5 39674390 0 0 0
6 39674390 0 0 0
7 39674390 0 0 0
HGE1/0/3 On On 0-7 0 0 160 0 0
HGE1/0/4 On On 0-7 0 55344 0 0 0
1 55344 0 0 0
2 55344 0 0 0
##### 检查端口是否信任了dscp
dis qos trust interface <iface>
<QHXNSJY01-M19-41-HSF-AS-S6825-117>dis qos trust interface HundredGigE 1/0/2
Interface: HundredGigE1/0/2
Port priority information
Port priority: 0
Port dscp priority: -
Port priority trust type: dscp
##### 检查是否开始ECN
display qos wred table
<QHXNSJY01-M19-41-HSF-AS-S6825-117>display qos wred table
Table name: QOS-EGRESS-100G-PORT
Table type: Queue based WRED
QID gmin gmax gpro ymin ymax ypro rmin rmax rpro exp ECN
--------------------------------------------------------------------------------
0 3000 15000 20 3000 15000 20 3000 15000 20 9 Y
1 3000 15000 20 3000 15000 20 3000 15000 20 9 Y
2 3000 15000 20 3000 15000 20 3000 15000 20 9 Y
3 3000 15000 20 3000 15000 20 3000 15000 20 9 Y
4 3000 15000 20 3000 15000 20 3000 15000 20 9 Y
5 1000 2000 20 1000 2000 20 1000 2000 20 0 Y
6 3000 15000 20 3000 15000 20 3000 15000 20 9 Y
7 37999 38000 20 37999 38000 20 37999 38000 20 9 Y
##### 检查是否有丢包,是否有ECN标记被捕捉到了,如果没有ECN mark,那很可能就是服务器配置的问题
reset packet-drop interface <iface>
display packet-drop interface <iface>
<QHXNSJY01-M19-41-HSF-AS-S6825-117>display packet-drop interface HundredGigE 1/0/2
HundredGigE1/0/2:
Packets dropped due to Fast Filter Processor (FFP): 0
Packets dropped due to Egress Filter Processor (EFP): : 0
Packets dropped due to STP non-forwarding state: 0
Packets dropped due to insufficient data buffer. Input dropped: 0 Output dropped: 0
Packets of ECN marked: 34194
Packets of WRED droped: 0
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com