随着大语言模型和万亿参数 AI 训练的爆发传统的网络架构正面临前所未有的挑战。在 Netdev 0x1A 会议上来自 OpenAI、微软、AMD 和博通等技术巨头展示了一项跨越行业合作的突破性成果如何利用极简的 SRv6Segment Routing IPv6与创新的多平面 RoCE 数据包喷洒Packet Spraying技术构建一个具备极高弹性的超大规模 AI 超级计算机网络。本文将深入解析这场技术变革背后的演进脉络探究 RDMA、RoCEv2、SRv6 这三大技术如何融为一体彻底解决现代 AI 集群中令人头疼的“尾延迟”和单点故障问题。一、 奠定算力基石RDMA 与 RoCEv2 的演进要理解这一全新弹性网络的精妙之处必须先回到一切通信的起点——RDMA远程直接内存访问。1. 什么是 RDMA传统的 TCP/IP 网络传输需要耗费大量的内核 CPU 算力进行协议栈封装并在用户空间与内核空间之间进行多次数据拷贝。这导致了高延迟与 CPU 占用。而RDMA 技术实现了内核旁路Kernel Bypass与零拷贝Zero-Copy。它允许网卡直接访问另一台服务器的内存不消耗 CPU 算力将网络延迟降低到微秒$\mu s$级别成为了高性能计算HPC和 AI 训练的刚需。2. 从 InfiniBand 到可路由的 RoCEv2RDMA 最早搭载于专有的InfiniBandIB架构中。IB 虽性能强悍但其非以太网生态导致设备和维护成本异常高昂。为了让 RDMA 跑在普适的以太网上业界开始了漫长的探索RoCEv12010年将 RDMA 直接封装在以太网二层但由于缺乏 IP 层无法跨三层路由器传输。RoCEv22014年IBTA 发布了 RoCEv2。它将 RDMA 报文封装在标准的UDP/IP报头中默认目标 UDP 端口 4791使 RoCE 具备了三层路由能力。虽然 RoCEv2 大大降低了部署门槛但由于以太网本身是“尽力而为”的丢包网络为了保证 RoCE 的无损传输网络设计者不得不引入极为复杂的 PFC基于优先级的流控和 ECN显式拥塞通知机制。二、 极简网络可编程SRv6 的历史与痛点解决随着 AI 训练网络节点规模从数千扩展到数万甚至数十万底层的路由控制也变得臃肿不堪。SRv6基于 IPv6 的段路由应运而生。1. 什么是 SRv6SRv6 是将段路由Segment Routing架构与IPv6 数据平面深度融合的技术。它直接利用 128 bit 的 IPv6 地址作为段标识符SID将网络路径和具体的业务行为Segment编码到 IPv6 的扩展报头SRH中。通过这种“源路由”机制源端网卡即可决定报文在网络中所经的每一跳而沿途交换机只需进行标准的 IPv6 转发极大地解放了网络控制面消除了复杂的 MPLS 或 RSVP-TE 协议。2. 为什么 AI 算力网络需要 SRv6在传统的 RoCEv2 网络中流量依靠 ECMP等价多路径路由进行哈希分流。当出现多对一Incast的高并发流量时哈希碰撞会导致某些链路严重拥塞甚至触发 PFC 导致整个网络“雪崩”和“尾延迟”Tail Latency激增。在 Netdev 0x1A 介绍的架构中SRv6 与主机端直接结合允许网卡精确、确定性地操纵网络路径。三、 Netdev 0x1A 核心议题如何构建高度弹性的 AI 超级计算机在 Netdev 0x1A 会议上行业专家分享了如何将RoCE 喷洒、多平面拓扑以及SRv6融合打破传统 AI 网络瓶颈的实践方案。1. AI 训练的硬性挑战不允许任何“掉队者”在 AI 大模型预训练中数十万张 GPU 都在进行相同的计算并周期性地进行全局梯度数据交换。尾延迟决定成败如果有任意一个 GPU 变慢比如因为网络冲突其余所有 GPU 都必须停下等待它。如果能通过优化网络减少 $30\%$ 的同步等待时间原本需要 3 个月的训练任务仅需 2 个月即可完成。重试代价极大如果单点网络连接彻底中断整个 AI 训练任务就会崩溃只能被迫从上一个 Checkpoint 重新开始这会造成巨大的时间和电能浪费。2. 破局之道 (一)数据包分发Packet Spraying传统的 RoCE 靠单一流Flow发送容易在某条链路上撞车。 为了解决这一问题Netdev 0x1A 方案引入了数据包喷洒Packet Spraying机制网卡将同一个 QPQueue Pair的数据包拆散均匀喷洒到所有可用的物理路径上。虽然这会导致接收端网卡收到乱序的报文但通过在每个包内加入内存偏移量指示GSO 优化接收网卡可以直接将乱序数据 DMA 写入 GPU 内存完美解决乱序重组的缓存瓶颈。3. 破局之道 (二)多平面网络拓扑与单点故障免疫为了支撑超过 13 万个 GPU 的超大型集群网络设计采用了“多平面Multi-plane”架构。 他们将原本的一张 800G 网卡拆分为 $8 \times 100G$ 端口接入 8 个完全独立的物理网络平面。极高的容错率如果某根光纤被踩断或者某个交换机电源烧毁该 GPU 只是损失了 $1/8$$12.5\%$的带宽训练会稍微变慢但绝对不会崩溃。SRv6 动态屏蔽坏路径网卡内部集成了主动探测机制。一旦发现某个 SRv6 定义的路径发生丢包比如某个 Spine 交换机端口闪烁网卡会自动将该路径移入“坏路径列表Bad List”将流量动态喷洒至其他健康的物理路径整个过程对业务完全无感。4. 为什么选择 SRv6 控制这一切通过在网卡侧生成特定的 SRv6 目的地址并进行封装数据中心内部的转发流程变得极其纯粹极简数据中心交换机无需运行 BGP 收敛、无需处理 ECMP 路由哈希纯粹根据 SRv6 地址进行高速静态转发。主动回环测试Custom Mapper利用 SRv6 的源路由特性网卡甚至可以发送一个“回环包”——经过指定的 Spine 交换机后再绕回自己。无需依赖其他服务器的响应即可单向诊断出任意一条具体链路是否工作正常从而在训练启动前自动避开故障链路。四、 总结与展望从早期的 InfiniBand到普及的以太网 RoCEv2再到 Netdev 0x1A 上惊艳亮相的多平面 RoCE SRv6 弹性网络AI 算力网络的演进方向极其清晰用端侧网卡的智能数据包喷洒、路径探测、SRv6 封装去换取数据中心交换网的极致简化与超高容错。在这个由上万条光纤、数万张 GPU 组成的复杂巨系统中网络不再害怕局部的故障和丢包。借助 SRv6 赋予的确定性路由能力和 RoCE 的极致性能AI 训练网络正在变得像电力网一样坚韧而高效为万亿参数级通用人工智能AGI的诞生筑起最坚实的底层通道。