提升大规模集群上并行计算软件系统可靠性和服务性的方法与实践

J4 ›› 2015, Vol. 37 ›› Issue (1): 1-6.

• 论文 • 下一篇

提升大规模集群上并行计算软件系统可靠性和服务性的方法与实践

林彦宇,陈虎,苗军,韩佳龙媚,赖路双

(华南理工大学软件学院,广东广州 510006)

收稿日期:2013-09-24 修回日期:2013-12-18 出版日期:2015-01-25 发布日期:2015-01-25

Methods to enhance reliability and serviceability of parallel
computing software on large scale clusters

LIN Yanyu,CHEN Hu,MIAO Jun,HAN Jialongmei,LAI Lushuang

(School of Software,South China University of Technology,Guangzhou 510006,China)

Received:2013-09-24 Revised:2013-12-18 Online:2015-01-25 Published:2015-01-25

摘要/Abstract

摘要：

大规模集群上的并行计算软件需要具备处理部分节点、网络等失效的容错能力，也需要具有易于管理、维护、移植和可扩展的服务能力。针对星形计算模型，研究和开发了一套并行计算框架。利用调度节点内部的可变粒度分解器、相关队列等方法，实现了全系统容错，且具有较好的易用性、可移植性和可扩展性。系统目前可以实现300 TFlops计算能力下连续运行超过150 h，而且还具有进一步的可扩展能力。

关键词: 可靠性, 可扩展性, 服务性, 大规模集群, 并行计算软件

Abstract:

Parallel computing software on largescale clusters requires not only fault tolerance against local nodes or network failure,but also manageability,maintainability,portability and scalability. Based on the star model,we design a parallel computing framework and achieve systemwide fault tolerance, usability,portability and scalability,using methods such as the variable granularity decomposer and associated queue on the scheduling nodes.Our system can continuously run over 150 hours with 300 TFlops computational capability.Besides,the system is scalable.

Key words: availability;scalability;serviceability;large scale cluster;parallel computing software

林彦宇,陈虎,苗军,韩佳龙媚,赖路双. 提升大规模集群上并行计算软件系统可靠性和服务性的方法与实践[J]. J4, 2015, 37(1): 1-6.

LIN Yanyu,CHEN Hu,MIAO Jun,HAN Jialongmei,LAI Lushuang. Methods to enhance reliability and serviceability of parallel
computing software on large scale clusters [J]. J4, 2015, 37(1): 1-6.

[1]	孙玉波1, 周宏伟2, 3, 孙星语2, 3, 何星洋2, 3, 宋朝阳2, 3, 陈志强2, 3. 面向芯粒互联的Retimer结构及关键技术研究[J]. 计算机工程与科学, 2025, 47(8): 1381-1390.
[2]	于勤, 吴非, 张猛, 谢长生. 全息存储中的纠错码研究综述[J]. 计算机工程与科学, 2024, 46(4): 571-579.
[3]	胡绍柳, 蔡岳平. 时间敏感网络中基于边不相交路径对选择的帧复制与消除机制[J]. 计算机工程与科学, 2024, 46(11): 1979-1988.
[4]	熊国杰, 张津铭, 贺光辉. 一种面向Chiplet互连的高效传输协议设计与实现[J]. 计算机工程与科学, 2023, 45(8): 1339-1346.
[5]	张立, 黎铁军, 张建民. 一种面向蒙特卡洛程序的128核可扩展体系结构[J]. 计算机工程与科学, 2023, 45(4): 590-598.
[6]	孙智超, 张策, 江文倩, 刘凯卫, 范苗苗, 李文毓, 温雅菲. 故障检测率对软件可靠性影响实证分析[J]. 计算机工程与科学, 2022, 44(12): 2162-2173.
[7]	袁远, 李世杰, 邢建英, 蒋句平. E级高性能计算机系统中监控分系统的挑战与设计[J]. 计算机工程与科学, 2021, 43(8): 1366-1375.
[8]	雷擎. 基于Kubemark的微服务性能仿真测试研究[J]. 计算机工程与科学, 2020, 42(7): 1151-1157.
[9]	张策1，伊文敏2，白睿1，盛晟1，徐早辉1，高天翼1，王瞰宇1，苏嘉尧1. SRGM下失效数据集效用与验证分析[J]. 计算机工程与科学, 2020, 42(6): 1012-1020.
[10]	惠子青,刘晓燕,严馨. 基于排错等待延迟的广义动态集成神经网络模型[J]. 计算机工程与科学, 2020, 42(4): 641-648.
[11]	陆平静, 赖明澈, 王博超, 常俊胜. 一种计算互连融合网络体系结构[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1737-1741.
[12]	王磊，瞿佳明. 基于协同过滤和Slope One算法的Web服务可靠性预测[J]. 计算机工程与科学, 2018, 40(8): 1390-1397.
[13]	冯璇，胡舒凯，王谛，宋新亮，李宏亮. 一种改进的高速链路前向纠错编码[J]. 计算机工程与科学, 2017, 39(5): 885-891.
[14]	路文斌，宋新亮，卢宏生，丁亚军. 一种高阶混合互连网络拓扑结构[J]. 计算机工程与科学, 2017, 39(10): 1781-1787.
[15]	李雪松，叶雪梅，蔡艳宁，范青刚. 车载自组网中最远转发机制的可靠性改进[J]. 计算机工程与科学, 2016, 38(9): 1784-1789.

提升大规模集群上并行计算软件系统可靠性和服务性的方法与实践

Methods to enhance reliability and serviceability of parallel
computing software on large scale clusters

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价

提升大规模集群上并行计算软件系统可靠性和服务性的方法与实践

Methods to enhance reliability and serviceability of parallel computing software on large scale clusters

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价

Methods to enhance reliability and serviceability of parallel
computing software on large scale clusters