结合通信重排和消息合并的通信调度方法研究

计算机工程与科学

结合通信重排和消息合并的通信调度方法研究

彭晋韬1，杨章1,2,刘青凯1,2,张倩1

（1.北京应用物理与计算数学研究所，北京 100088;2.中国工程物理研究院高性能数值模拟软件中心，北京 100088）

收稿日期:2019-08-11 修回日期:2019-10-21 出版日期:2020-02-25 发布日期:2020-02-25
基金资助:
科学挑战专题资助（TZ2017002）;国家自然科学基金青年基金（62902031）

A communication scheduling method combining

communication rearrangement and message merging

PENG Jin-tao1,YANG Zhang1,2,LIU Qing-kai1,2，ZHANG Qian1

(1.Institute of Applied Physics and Computational Mathematics,Beijing 100088;

2.Software Center for High Performance Numerical Simulation,China Academy of Engineering Physics,Beijing 100088,China)

Received:2019-08-11 Revised:2019-10-21 Online:2020-02-25 Published:2020-02-25

摘要/Abstract

摘要：

网络通信对于高性能计算机应用至关重要。当前,随着数值模拟应用的复杂化和并行规模的不断提升，应用软件对于缓解拥塞和减少通信协议开销的需求愈发迫切。传统的消息合并方法只以减少通信协议开销和延迟为目标，所以针对小消息进行合并。与之不同的是，从调度算法的角度提出了一种通过消息重排以减缓大消息网络拥塞，并基于优先级合并消息来提高网络有效利用率的算法。实验表明，该算法针对真实应用的通信性能最大可以提升41%，平均对每个应用提升了10%。

关键词: 通信优化, 调度算法, 通信重排, 消息合并

Abstract:

Abstract:
Network communication is critical for high-performance computer applications. At present, with the complication of numerical simulation applications and the increasing scale of parallelism, the need for application software to alleviate congestion and reduce communication protocol overhead is becoming more and more urgent. The traditional message merging method only merges small messages with the goal of reducing the communication protocol overhead and latency. In contrast, from the perspective of scheduling algorithms, this paper proposes an algorithm for reducing the network congestion of large messages through message rearrangement and improving the effective utilization of the network by merging messages based on priority. Experiments show that our algorithm can increase the communication performance of real applications by up to 41%, and on average by 10% for each application.

Key words: communication optimization, scheduling algorithm, communication rearrangement, message merging

彭晋韬1，杨章1,2,刘青凯1,2,张倩1. 结合通信重排和消息合并的通信调度方法研究[J]. 计算机工程与科学.

PENG Jin-tao1,YANG Zhang1,2,LIU Qing-kai1,2，ZHANG Qian1.

A communication scheduling method combining

communication rearrangement and message merging

[J]. Computer Engineering & Science.

[1]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[2]	嵇友浪, 朱君, 邹云峰１, 周子馨, 陈兴. 面向在线客服系统的调度算法研究[J]. 计算机工程与科学, 2020, 42(12): 2242-2251.
[3]	关川江, 李建鹏, 史国振, 毛明. 基于关联数据本地化的多密码作业流调度算法[J]. 计算机工程与科学, 2020, 42(11): 1988-1995.
[4]	李于锋1,2，莫则尧2，肖永浩1，熊敏1. 并行任务图的优化调度算法[J]. 计算机工程与科学, 2019, 41(06): 955-962.
[5]	杨胜哲，于俊清,唐九飞. 数据流程序动态调度与优化[J]. 计算机工程与科学, 2017, 39(07): 1201-1210.
[6]	李克武,张功萱,朱昭萌. 云环境中基于分解的多目标工作流调度算法[J]. 计算机工程与科学, 2016, 38(08): 1588-1594.
[7]	杜家宜，李仁发，堵琳娜. 多核嵌入式系统内联网络优化调度[J]. J4, 2016, 38(04): 617-623.
[8]	秦勃1，朱勇1，秦雪2. 基于Spark框架的乘潮水位计算与可视化平台[J]. J4, 2015, 37(12): 2216-2221.
[9]	檀明. 主从交换式以太网中跨多Switch传输消息实时调度研究[J]. J4, 2015, 37(10): 1862-1868.
[10]	丁晓波1,2，马中1,3，戴新发3，黄伟华3. 一种基于资源预分配的虚拟机软实时调度方法[J]. J4, 2015, 37(05): 865-872.
[11]	万聪，王翠荣，王聪，吕艳霞，贾朔. 基于排队网络的多优先级MapReduce作业调度算法[J]. J4, 2014, 36(12): 2286-2295.
[12]	乔付. 具有模糊多目标的网格任务调度算法[J]. J4, 2014, 36(09): 1644-1649.
[13]	班冬松1，杨威2，宋磊3，蒋杰3，窦文华3. 栅栏覆盖最大化生存周期调度算法[J]. J4, 2012, 34(12): 16-21.
[14]	朱春玲，李庆华，潘军. 网格经济模型中基于信任机制的调度算法[J]. J4, 2010, 32(4): 86-89.
[15]	焦铬1,2，李仁发2，彭日光2，李浪1,2，邹祎1. 一种动态可重构系统的实时任务调度算法[J]. J4, 2010, 32(12): 145-148.