天河-1A互连系统的接口设计

J4 ›› 2013, Vol. 35 ›› Issue (2): 18-25.

天河-1A互连系统的接口设计

刘路,张磊,谢旻,王永庆

（国防科学技术大学计算机学院,湖南长沙 410073）

收稿日期:2011-08-15 修回日期:2011-12-10 出版日期:2013-02-25 发布日期:2013-02-25
基金资助:
国家863计划资助项目（2009AA01A128）

Design of network interface in Tianhe1A interconnection system

LIU Lu，ZHANG Lei，XIE Min，WANG Yongqing

(School of Computer Science,National University of Defense Technology,Changsha 410073,China)

Received:2011-08-15 Revised:2011-12-10 Online:2013-02-25 Published:2013-02-25

摘要/Abstract

摘要：

NIC是高性能互连网络THNet的网络接口芯片，基于自主研发的通信协议，它高效地实现了无连接、零拷贝、用户级通信的RDMA传输机制，基于该机制的MPI实现具有极高的系统可扩展性。实现了基于控制报文触发的描述符队列处理机制，以支持卸载的聚合通信,包括广播和栅栏同步。使用NIC芯片的网络接口卡在测试中获得了1.57μs的最小单边延迟和6.34GB/s的带宽。NIC已成功应用于2010年TOP500排名世界第一的天河1A超级计算机。

关键词: 互连网络, 网络接口, 用户级通信, RDMA, 聚合通信, 天河1A

Abstract:

NIC is the network interface chip of the high performance interconnection network THNet. Based on proprietary protocol, it supports nonconnection oriented, zerocopy, Userlevel communication RDMA mechanism which provides high system scalability on MPI implementation. The proposed handle method of descriptor queue which can be triggered by incoming control packet supports offload collective communication such as broadcast and barrier. In tests, the network interface using the NIC chip obtained the lowest oneway latency 1.57μs and 6.34GB/s peak bandwidth. NIC has been applied in Tianhe1A supercomputer which was ranked NO.1 in World’s TOP500 Supercomputers 2010.

Key words: interconnection networks;network interface;user level communication;RDMA;collective communication;Tianhe1A

刘路,张磊,谢旻,王永庆. 天河-1A互连系统的接口设计[J]. J4, 2013, 35(2): 18-25.

LIU Lu，ZHANG Lei，XIE Min，WANG Yongqing. Design of network interface in Tianhe1A interconnection system[J]. J4, 2013, 35(2): 18-25.

[1]	徐金波, 戴艺, 翦杰. 基于直接内存访问和动态共享缓冲区的超长向量归约操作硬件卸载结构与方法[J]. 计算机工程与科学, 2025, 47(04): 571-581.
[2]	董勇, 邬会军, 杨梨花, 张伟, 王睿伯, 周恩强. 基于天河互连的并行文件系统网络驱动[J]. 计算机工程与科学, 2025, 47(03): 392-399.
[3]	朱琦, 戴艺, 彭晋韬, 谢旻, 梁崇山, 刘鹏, 杨博, 刘杰, . 基于“天河二号”聚合通信卸载特性的 MPI_Barrier优化[J]. 计算机工程与科学, 2025, 47(03): 400-411.
[4]	孙岩, 张建民, 黎渊, 孙舜禹. 面向高性能计算的互连网络拥塞控制分析与评估[J]. 计算机工程与科学, 2024, 46(02): 209-216.
[5]	黄泽彪, 董德尊, 齐星云. Gloo+：利用在网计算技术加速分布式深度学习训练[J]. 计算机工程与科学, 2024, 46(01): 28-36.
[6]	施得君, 李宏亮, 胡舒凯. 基于Clos网络的高阶路由器结构[J]. 计算机工程与科学, 2023, 45(12): 2099-2112.
[7]	王笑雨, 董德尊. 一种面向分布式深度学习的轻量级聚合通信库[J]. 计算机工程与科学, 2022, 44(07): 1191-1198.
[8]	曹继军. 面向HPC和DC的可重构光互连网络体系结构综述[J]. 计算机工程与科学, 2022, 44(06): 951-963.
[9]	梁崇山, 戴艺, 徐炜遐. 一种基于Chiplet集成技术的超高阶路由器设计[J]. 计算机工程与科学, 2022, 44(02): 207-213.
[10]	汪鑫, 林放, 刘轶, 钱德沛. 基于OMNet++的大规模InfiniBand互连网络模拟系统[J]. 计算机工程与科学, 2021, 43(05): 792-798.
[11]	王超, 曹继军, 罗章, 赖明澈, 徐炜遐. 面向HPC互连网络的低延迟前向纠错编码研究与实现[J]. 计算机工程与科学, 2020, 42(11): 1965-1972.
[12]	王浩, 张伟, 谢旻, 董勇. 基于天河互连MPI聚合通信归约操作卸载优化[J]. 计算机工程与科学, 2020, 42(11): 1981-1987.
[13]	谢旻, 张伟, 周恩强, 董勇. 面向天河互连网络的可扩展通信框架实现技术[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1720-1729.
[14]	蒋句平, 董德尊, 唐虹, 齐星云, 常俊胜, 庞征斌. 大规模高性能互连拓扑性能分析[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1730-1736.
[15]	孙晓乐, 钱亚龙, 齐新新, 张云放, 陈娟, 袁远, 董勇. 片上互连网络的功耗特征分析与优化[J]. 计算机工程与科学, 2020, 42(07): 1141-1150.