面向网络通信的高实时压缩引擎设计

计算机工程与科学

面向网络通信的高实时压缩引擎设计

任秀江1，王磊1，周建毅1，谢向辉2

（1.江南计算技术研究所,江苏无锡 214083;2.数学工程与先进计算国家重点实验室,江苏无锡 214125）

收稿日期:2017-09-10 修回日期:2017-11-08 出版日期:2018-04-25 发布日期:2018-04-25
基金资助:
核高基项目（2013ZX01028001001001）

A real-time compression engine

for network communication

REN Xiujiang1,WANG Lei1,ZHOU Jianyi1,XIE Xianghui2

（1.Jiangnan Institute of Computing Technology,Wuxi 214083;

2.State Key Laboratory of Mathematical Engineering and Advanced Computing,Wuxi 214125,China）

Received:2017-09-10 Revised:2017-11-08 Online:2018-04-25 Published:2018-04-25

摘要/Abstract

摘要：

随着集成电路工艺的发展，高性能计算系统中互连网络性能提升速度远低于处理器性能的提升，互连网络带宽已成为制约高性能计算性能提高的瓶颈之一。从减少网络注入数据量的角度出发，对网络通信实时压缩技术进行了研究，给出了一种面向网络通信的硬件实时压缩引擎RTCE的设计，在网络通信过程中，硬件自动实现对网络包的压缩传输。采用SPEC2006、Graph500、CFD算法测试数据进行测试，压缩后的网络包数据量平均减少32.8%~48.7%。

关键词: 数据压缩, 互连网络, 实时

Abstract:

With the development of integrated circuit technology, the performance of the interconnection network in highperformance computing systems is increasing much slower than the performance of the processor. The bandwidth of interconnection network has become one of the bottlenecks restricting the performance improvement of highperformance computing. From the point of view of reducing the amount of data injected into the network, the realtime compression technology for network communication is studied. A hardware realtime compression engine RTCE is designed, which can automatically compress the packets during their transmission. Experiments on SPEC2006, Graph500 and CFD show that the compressed network packet data are reduced by 32.8%~48.7% on average.

Key words: data compression, interconnect network, real-time

任秀江1，王磊1，周建毅1，谢向辉2. 面向网络通信的高实时压缩引擎设计[J]. 计算机工程与科学.

REN Xiujiang1,WANG Lei1,ZHOU Jianyi1,XIE Xianghui2.

A real-time compression engine

for network communication

[J]. Computer Engineering & Science.

[1]	郑道文1, 周一开1, 唐忆滨2, 3, 刘博生1, 武继刚1. ReHuff：基于ReRAM的Huffman编码硬件结构设计[J]. 计算机工程与科学, 2025, 47(6): 988-997.
[2]	董勇, 邬会军, 杨梨花, 张伟, 王睿伯, 周恩强. 基于天河互连的并行文件系统网络驱动[J]. 计算机工程与科学, 2025, 47(3): 392-399.
[3]	王宇飞, 刘强, 张唯贞, 伍晓洁, 李佳雯, 王煜恒. rtTorTIM：基于多模态特征融合和Stacking集成学习的实时Tor流量识别方法#br#[J]. 计算机工程与科学, 2025, 47(2): 238-246.
[4]	马心宇, 李彤, 曹景堃, 吴波, 孙永谦, 赵乙. 基于QoS-QoE预测的传输瓶颈定位[J]. 计算机工程与科学, 2024, 46(11): 1989-1996.
[5]	白先平, 姚袭欣, 陈香兰, 刘翀, 李曦. 基于时间自动机的AADL端到端流规约验证方法[J]. 计算机工程与科学, 2023, 45(5): 810-819.
[6]	姚袭欣, 章博, 陈香兰, 乔磊, 李曦. 一种基于Event-B语言的时间触发系统建模方法[J]. 计算机工程与科学, 2023, 45(4): 613-621.
[7]	贾志, 李茂军, 李婉婷. 基于改进YOLOv5+DeepSort算法模型的交叉路口车辆实时检测[J]. 计算机工程与科学, 2023, 45(4): 674-682.
[8]	施得君, 李宏亮, 胡舒凯. 基于Clos网络的高阶路由器结构[J]. 计算机工程与科学, 2023, 45(12): 2099-2112.
[9]	吴志豪, 张德军, 吴亦奇, 陈壹林. 一种基于MLP的高效高精度三维视线估计方法[J]. 计算机工程与科学, 2023, 45(11): 1982-1990.
[10]	杨斌, 王敬宇, 刘世超, 邵明山, 肖伟, 陈起, 何晓斌, 刘卫国, 薛巍, . Beacon+：面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统[J]. 计算机工程与科学, 2022, 44(9): 1521-1531.
[11]	杨子言, 胡纯栋, 赵远哲. CFETR中性束注入实验数据绘制分析系统开发[J]. 计算机工程与科学, 2022, 44(8): 1433-1439.
[12]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(7): 1141-1151.
[13]	曹继军. 面向HPC和DC的可重构光互连网络体系结构综述[J]. 计算机工程与科学, 2022, 44(6): 951-963.
[14]	梁崇山, 戴艺, 徐炜遐. 一种基于Chiplet集成技术的超高阶路由器设计[J]. 计算机工程与科学, 2022, 44(2): 207-213.
[15]	王冠博, 赵一帆, 李波, 杨俊东, 丁洪伟. 改进YOLO v4-tiny的火焰实时检测[J]. 计算机工程与科学, 2022, 44(12): 2196-2205.