H3C 高性能无损网络(HPC)

参考

RDMA是使用的IB网络,必须使用专用IB网卡以及IB交换机才可以实现,成本高,并且不能与现有网络兼容。

RoCE(RDMA over Converged Ethernet)孕育而生,支持二层和三层以太网承载的RDMA。

  • RoCE v1:以太网承载RDMA,只能支持二层网络
  • RoCE v2:TCP/UDP承载RDMA,可以支持三层网络
    但是RoCE协议在设计之初就缺乏了完善的丢包保护机制,这将导致任意的一次丢包都会导致大量的重传,严重影响转发性能。

而高性能计算和分布式存储相关应用的特征是多对一通讯的Incast流量模型,容易造成瞬时的拥塞丢包,导致性能下降。

所以,需要建立无损的网络部署,才能支持RoCEv2以及相关应用。

如何构建无损网络

想要满足无损网络,保证在网络传输的过程中不丢包,需要支持以下关键特性:

  1. 数据缓冲区管理和监控:根据监控到的流量特点调整端口和队列的缓冲区使用大小
  2. (必选)PFC(Priority-based Flow Control,基于优先级的流量控制):逐跳提供PFC,实现运行多种类型的流量而不互相影响
  3. (必选)ECN(Explicit Congestion Notification,显示拥塞通知):使用IP报文中的ECN字段,标识发生拥塞,由接收端发送降低速率的CNP(Congestion Notification Packet,拥塞通知报文),实现端到端的拥塞管理,减缓拥堵的扩散恶化
  4. (建议)DCBX(Data Center Bridging Exchange Protocol,数据中心桥能力交换协议):使用LLDP自动协商DCB能力参数,包括PFC和ETS等。一般用在接入交换机连接服务器的端口,与服务器网卡进行能力协商。
  5. (可选)ETS(Enhanced Transmission Selection,增强传输选择):将流量按服务类型分组,在提供不同流量的最小带宽保证的同时提高链路利用率,保证重要流量的带宽百分比。需要逐跳提供。

    PFC和ECN对比

比较项目 PFC ECN
网络位置 二层 网络层及传输层
作用范围 点到点 端到端
是否需要全网支持 是 否
被控制对象 网络中上一节点,如果服务器网卡支持PFC,PFC对网卡也能生效 发送主机
报文缓存位置 中间网络节点及发送端 发送端
受影响的流量 网络设备中8个转发队列中某个队列的所有流量 发生拥塞应用的连接
响应速度 快 慢

数据缓冲区

数据缓冲区用来临时存储报文,其中又分为三类:

  1. 接收缓冲区
  2. 发送缓冲区:当网络拥塞时,不能及时发送,又不能丢,所以先存着
  3. Headroom缓冲区:在PFC生效后用来缓存在途报文的一块空间
    默认状态下,所有队列均分共享区域和固定区域

简介

PFC是构建无损网络的必选功能,能够逐条的提供基于优先级的流量控制。

当设备的端口出现拥塞并触发PFC的反压帧触发门限(XOFF)时,设备将向数据进入的方向发送PAUSE帧反压,上游设备接收到PAUSE帧后停止发送数据,如果其本地端口缓存消耗超过阈值,则继续向上游反压。如此逐级向上反压,直到发出流量的服务器收到PAUSE帧后,在PAUSE帧中指定的Pause Time内暂停发送数据,从源头上减少流量的发送,从而消除网络节点因拥塞造成的丢包。

PAUSE帧产生过程

  1. 设备收到报文后,放入相应队列,因为开启了PFC,所以会统计MMU(Memory Manage Unit,存储器管理单元),计算可用cell资源。
  2. 如果不够,发送PAUSE给上一跳
  3. 上一跳设备接收到PAUSE后,暂停给下一跳设备发送报文,并缓存起来
  4. 上一跳设备有两种反应
    1. 如果在缓存区上限前接收到下一跳设备发来的XON报文,那么就继续发送
    2. 如果达到了缓存区门限,那么就生成PAUSE帧,继续发给上一跳

      报文优先级和队列映射关系

设备将不同的优先级的报文放到对应的队列中

分为两大种:

  1. 优先级信任模式方式
    1. dot1p:信任报文自带的802.1p优先级,VLAN网络
    2. dscp:信任IP报文自带的DSCP优先级
  2. 端口优先级:对设备接入的端口进行优先级排列
    但是在接口配置了PFC功能时,只能使用dot1p和dscp,设备根据不同的优先级标记不同的本地优先级(LP),根据本地优先级进行队列调度

PFC配置限制和指导

  • 必须配置dot1p或者dscp(qos trust { dot1p | dscp }),并且路径上所有都必须保持一致
  • 不建议在dot1p优先级为0、6、7时配置PFC功能
  • Overlay网络中,需要配置qos trust tunnel-dot1p命令,PFC才能生效
  • 路径上所有端口都需要相同配置

介绍

PFC提供的门限设置:

  1. Headroom缓存门限:某队列的最大使用cell资源,当cell资源全部使用完后,该接口丢弃收到的报文
  2. 反压帧触发门限(XOFF):共享缓存空间cell资源达到设置的门限后,触发PFC功能发送PAUSE帧。XOFF又分为两种
    1. 动态XOFF:设置cell资源的百分比
    2. 静态XOFF:设置cell资源的固定值
  3. 反压帧停止门限与触发门限间的偏移量(Ingress-threshold-offset):降低到XON后,停止发送PAUSE帧
  4. PFC预留门限(reserved-buffer):固定缓存空间中为某优先级预留的cell资源

    配置指导

缺省值在一般的组网环境下是效果较好的参数组合,一般不建议调整。如需配置参考原文档

介绍

当出现链路故障时,可能由于重新收敛造成短暂环路,而这个环路恰好又触发了PFC,那么PFC就会陷入一个循环发送PAUSE的状态,也就是锁死了。

解决办法是通过毫秒级的PFC锁死检测,发现后忽略PAUSE帧或者关闭PFC功能,同时对buffer中的报文进行转发或丢弃,来规避PFC锁死这种极端情况。

锁死功能恢复方式

分为手动和自动恢复,通常情况下自动恢复即可。

通常这种环路是可以通过收敛自动解除的,所以锁死也会自动恢复。

但是如果是出现了环路无法消除的情况,那么通过配置在指定周期内发生PFC锁死的上限次数,达到次数后,自动关闭PFC功能。

在排除网络故障后,执行undo priority-flow-control deadlock threshold命令恢复FPC功能

PFC预警门限

通过配置预警门限,可以提醒及时关注网络状况。

系统会生成Trap和日志信息进行提醒,提前发现异样:

  • 对端设备网卡故障,不停地持续高速发送PFC帧,可以配置入方向预警门限进行监控。
  • 本设备故障后不停发送PFC帧,可以配置出方向预警门限进行监控。
  • 如果有双向监控需求的,可以在入和出方向都配置预警门限进行监控。

简介

ECN是构建无损网络的必选手段。

定义了基于IP层的端到端的拥塞通知机制。支持该设备的终端通过报文内容,判断路径上发生了拥塞,从而调整发送方式,避免拥塞加剧

工作机制

ECN功能对IP的DSCP域的最后两位(称为ECN域)进行了如下定义:

  • 6比特位:发送端是否支持ECN功能,称为ECT位(ECN-Capable Transport)
  • 7比特位:标识在传输路径上是否经历了拥塞,称为CE位(Congestion Experienced)
    工作机制:
  1. 发送ECN域为10,告知路径上的设备和接收端,发送端支持ECN功能
  2. 中间设备发生拥塞并达到门限,拥塞设备设置ECN报文为11,报文正常转发
  3. 接收端收到ECN报文后,由传输层发送CNP(Congestion Notification Packet,拥塞通知报文)通知发送端
  4. 发送端收到CNP报文后,对相应的优先级队列进行降速处理
  5. 经过配置的一段时间或者数量数据后,恢复原有速率

网卡配置思路

网卡详细配置参考原文档

  1. 网卡必须支持PFC和ECN功能
  2. 配置网卡接口信任报文的DSCP优先级
  3. 设置CNP报文的DSCP优先级
  4. 开启RoCE队列的PFC功能
  5. 开启RoCE队列的ECN功能

观察是否丢包

  1. 观察是否丢包, display packet-drop interface <iface>
  2. 出现数据缓冲区不足(insufficient data buffer)丢包处理
    1. 出现input droped,修改headroom门限大小
    2. 出现output droped,修改共享缓存区占比,确定是否执行了buffer apply
  3. 出现WRED类型(WRED droped)丢包处理
    1. 检查RoCE队列是否开启ECN功能,display qos wred table
    2. 检查是否携带了ECN标志位

      观察延迟是否满足需求

在不丢包的情况下,可以调整ECN和PFC的部分参数,进而降低延迟。

原则:

  1. 在拥塞环境下,占用buffer越小,时延越低,吞吐量越小

  2. 不拥塞的环境下,ECN和PFC均不生效
    调整原则:

  3. 尽量在低buffer占用,不丢包的情况下触发ECN和PFC

  4. 优先调整ECN

服务器双上行方案

  1. Leaf配置S-MLAG 实现服务器双上行,服务器需要修改内核实现ARP双发
  2. Leaf设备配置ARP生成32位主机路由功能,当其中一台出现故障后,可以及时更新路由,将流量切换到同组Leaf另一台设备
  3. 为抑制Leaf设备的ARP防洪广播报文,做以下配置:
    1. Leaf设备配置QoS,只允许业务网段VLAN接口发送ARP报文,禁止其他ARP报文转发
    2. Leaf开启代理ARP,使同组Leaf同网段主机可以三层互通
  4. Leaf配置Monitor Link,当上行全部down后,下行接口也同时down,使流量可以切换到另一台Leaf

路由配置方案

  1. 使用BGP,每台Leaf的AS都不同

  2. 通过配置路由/路由策略实现,节约路由资源

    1. Spine学习到所有网段和主机路由
    2. 每组Leaf学习到所有网段和同组另一台设备的主机路由

      RDMA功能配置

  3. 配置PFC

    1. RDMA报文携带dot1p优先级5,对优先级5的报文开启PFC功能
    2. 路径上所有端口均开启PFC
  4. 配置ECN

    1. 路径上所有端口均开启ECN

      注意事项

  5. PFC的配置,使用dot1p或者DSCP,并且优先级都保持一致

  6. 同组Leaf的两台成员设备,VLAN接口需要配置相同IP和MAC

    配置案例

参考原文

核心配置,打开PFC和ECN,信任dscp

纯文本
qos wred queue table QOS-EGRESS-100G-PORT
 queue 0 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
 queue 0 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
 queue 0 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
 queue 0 ecn   
 queue 1 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
 queue 1 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
 queue 1 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
 queue 1 ecn
 queue 2 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
 queue 2 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
 queue 2 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
 queue 2 ecn
 queue 3 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
 queue 3 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
 queue 3 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
 queue 3 ecn
 queue 4 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
 queue 4 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
 queue 4 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
 queue 4 ecn
 queue 5 drop-level 0 low-limit 1000 high-limit 2000 discard-probability 20
 queue 5 drop-level 1 low-limit 1000 high-limit 2000 discard-probability 20
 queue 5 drop-level 2 low-limit 1000 high-limit 2000 discard-probability 20
 queue 5 weighting-constant 0
 queue 5 ecn
 queue 6 drop-level 0 low-limit 3000 high-limit 15000 discard-probability 20
 queue 6 drop-level 1 low-limit 3000 high-limit 15000 discard-probability 20
 queue 6 drop-level 2 low-limit 3000 high-limit 15000 discard-probability 20
 queue 6 ecn
 queue 7 drop-level 0 low-limit 37999 high-limit 38000 discard-probability 20
 queue 7 drop-level 1 low-limit 37999 high-limit 38000 discard-probability 20
 queue 7 drop-level 2 low-limit 37999 high-limit 38000 discard-probability 20
 queue 7 ecn

interface HundredGigE1/0/1 port link-mode bridge port access vlan 100 link-delay up 2 priority-flow-control deadlock enable priority-flow-control enable priority-flow-control no-drop dot1p 0-7 qos trust dscp qos wfq byte-count qos wfq ef group 1 byte-count 60 qos wfq cs6 group sp qos wfq cs7 group sp qos wred apply QOS-EGRESS-100G-PORT qos gts queue 6 cir 50000000 cbs 16000000

配置检查

纯文本
##### 查看 PFC 开启状况
dis priority-flow-control interface
<QHXNSJY01-M19-41-HSF-AS-S6825-117>dis priority-flow-control interface
Conf -- Configured mode   Ne -- Negotiated mode   P -- Priority
Interface     Conf Ne  Dot1pList   P Recv       Sent       Inpps      Outpps    
GE1/0/33      Off  Off             
GE1/0/34      Off  Off             
HGE1/0/1      On   On  0-7         0 22652660   25426960   0          0         
                                   1 22652660   0          0          0         
                                   2 22652660   0          0          0         
                                   3 22652660   0          0          0         
                                   4 22652660   0          0          0         
                                   5 22652660   0          0          0         
                                   6 22652660   0          0          0         
                                   7 22652660   0          0          0         
HGE1/0/2      On   On  0-7         0 39674390   14626510   0          0         
                                   1 39674390   0          0          0         
                                   2 39674390   0          0          0         
                                   3 39674390   0          0          0         
                                   4 39674390   0          0          0         
                                   5 39674390   0          0          0         
                                   6 39674390   0          0          0         
                                   7 39674390   0          0          0         
HGE1/0/3      On   On  0-7         0 0          160        0          0         
HGE1/0/4      On   On  0-7         0 55344      0          0          0         
                                   1 55344      0          0          0         
                                   2 55344      0          0          0        

##### 检查端口是否信任了dscp dis qos trust interface <iface> <QHXNSJY01-M19-41-HSF-AS-S6825-117>dis qos trust interface HundredGigE 1/0/2 Interface: HundredGigE1/0/2 Port priority information Port priority: 0 Port dscp priority: - Port priority trust type: dscp
##### 检查是否开始ECN display qos wred table <QHXNSJY01-M19-41-HSF-AS-S6825-117>display qos wred table Table name: QOS-EGRESS-100G-PORT Table type: Queue based WRED QID gmin gmax gpro ymin ymax ypro rmin rmax rpro exp ECN -------------------------------------------------------------------------------- 0 3000 15000 20 3000 15000 20 3000 15000 20 9 Y 1 3000 15000 20 3000 15000 20 3000 15000 20 9 Y 2 3000 15000 20 3000 15000 20 3000 15000 20 9 Y 3 3000 15000 20 3000 15000 20 3000 15000 20 9 Y 4 3000 15000 20 3000 15000 20 3000 15000 20 9 Y 5 1000 2000 20 1000 2000 20 1000 2000 20 0 Y 6 3000 15000 20 3000 15000 20 3000 15000 20 9 Y 7 37999 38000 20 37999 38000 20 37999 38000 20 9 Y ##### 检查是否有丢包,是否有ECN标记被捕捉到了,如果没有ECN mark,那很可能就是服务器配置的问题 reset packet-drop interface <iface> display packet-drop interface <iface> <QHXNSJY01-M19-41-HSF-AS-S6825-117>display packet-drop interface HundredGigE 1/0/2 HundredGigE1/0/2: Packets dropped due to Fast Filter Processor (FFP): 0 Packets dropped due to Egress Filter Processor (EFP): : 0 Packets dropped due to STP non-forwarding state: 0 Packets dropped due to insufficient data buffer. Input dropped: 0 Output dropped: 0 Packets of ECN marked: 34194 Packets of WRED droped: 0

转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 365433079@qq.com