ITBear旗下自媒体矩阵:

超大规模智算集群如何减少设备等待?中科曙光高速网络实践

   时间:2026-11-16 17:02:15 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

当训练任务被拆分到大量计算设备上,设备之间的数据交换效率会直接影响计算资源是否陷入闲置等待。中科曙光高速网络互联产品部总工程师万伟在第八届中国超级算力大会(ChinaSC 2026)暨中国智能计算产业联盟理事会年会上,围绕超大规模智算集群高速网络架构设计与工程实践展开分享,强调高速互连是算力基础设施实现规模扩展的重要基础。

这一判断与集群建设中的实际需求相呼应:计算设备数量增加后,网络必须同步具备连接、传输和管理能力,新增算力才能真正投入任务运行。大会发布的《万卡级智算集群网络技术发展与国产化研究报告》是首份聚焦万卡级智算集群网络技术发展的研究报告,其中提到,集群规模扩大后,网络互联、存储吞吐与资源调度等环节的协同效率更加突出;建设者除了采购设备,还要考虑设备之间如何配合。网络设计影响数据传输路径,交换设备的连接能力则决定集群能够以何种架构扩展。

在架构层面,中科曙光把超节点内部互连与超节点之间的组网结合起来。超节点可被视为一组紧密连接的计算单元,内部依靠低时延连接满足频繁数据交换;多个超节点之间再通过高速网络完成更大范围的协作。这样的安排分别面向局部通信和整体扩展,使不同范围的连接适应相应任务需求。实际设计还需兼顾供电散热、布线及维护条件,以满足工程建设要求。

网络芯片为这套架构提供连接和交换能力。交换芯片的端口数量决定单台交换设备可连接多少设备,数据处理能力则影响大量通信同时发生时能否及时完成转发。中科曙光自研的scaleFabric高速网络将网卡芯片、交换芯片与组网架构结合,采用多平面组网,在单一子网内实现大规模互连,并结合任务特点和网络连接关系优化通信。芯片与架构相互配合,才能在连接更多计算资源时兼顾设备间的协作效率。

设备连接之后,网络还要面对大量数据能否及时、完整送达的问题。大模型训练中,部分计算步骤需要等待相关节点数据到齐后才能继续;传输过程中若出现拥塞,或数据丢失后需要重发,等待时间就会增加。对于反复交换数据的训练任务,这些通信开销会逐步累积,影响计算资源的实际利用效率。scaleFabric采用无损传输机制,通过流量控制与链路层重传等方式保障传输可靠性,减少传输异常对任务的影响。流量控制协调数据发送与接收,链路层重传处理链路传输中的错误,两者与通信优化配合,目标是让数据更稳定地到达计算节点,减少通信问题造成的等待。

通信发起过程同样存在开销。面向大模型训练与推理,scaleFabric通过IBGDA等技术支持GPU直接发起网络通信,减少CPU参与通信调度带来的开销,缩短节点间的通信等待。目前,scaleFabric已完成DeepEP通信框架适配,为大模型多节点协作与Token生成效率提升提供支持。高速网络的优化由此进一步衔接应用软件,帮助实际任务用好硬件提供的通信能力。

通信效率还需要在持续运行中保持稳定,链路故障也必须及时处理。scaleFabric支持毫秒级链路切换,且路由恢复时间不随集群规模增长而延长,这关系到网络扩展后的实际可用性。连接规模继续增大时,网络仍需及时恢复通信,才能减少局部故障对并行任务的影响。

故障恢复之外,运维人员需要准确掌握网络状态。FabricView高速网络管理平台将配置部署、健康筛查与运行监测结合起来,支持在任务上线前筛查异常节点,在任务执行过程中定位繁忙链路和异常端口。应用运行变慢时,这些信息有助于运维人员判断网络是否存在问题,缩小排查范围。网络硬件与管理软件由此衔接,共同服务于集群日常运行。

相关网络设计已在曙光8000中得到工程验证,scaleFabric与曙光8000的工程实践也被上述研究报告收录。大会期间,中科曙光获评“2026中国算力领军企业”,scaleFabric高速网络入选“2026中国算力应用典型案例”。两项荣誉分别体现了行业对中科曙光算力系统研制能力与高速网络应用成效的认可,也让从自主研发到工程应用的技术积累有了具体呈现。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version