并行科学计算应用中采样数据的聚集I/O

计算机工程与科学

并行科学计算应用中采样数据的聚集I/O

曹立强,罗红兵

(北京应用物理与计算数学研究所，北京 100088)

收稿日期:2017-06-14 修回日期:2017-10-17 出版日期:2018-09-25 发布日期:2018-09-25
基金资助:
国家自然科学基金重大研究计划重点项目（9143028）;国家自然科学基金面上项目（11372049）

An aggregated I/O method of sampled data

for parallel computing applications

CAO Liqiang,LUO Hongbing

(Institute of Applied Physics and Computational Mathematics,Beijing 100088,China)

Received:2017-06-14 Revised:2017-10-17 Online:2018-09-25 Published:2018-09-25

摘要/Abstract

摘要：

采样数据的并行I/O制约一些并行应用的运行效率。设计、实现了采样数据的聚集并行I/O方法。该方法在客户端部署采样数据缓存，然后合并数据到输出进程，再存储到文件。为了保障并行程序长时间运行过程中采样数据的存储一致性，该方法在JASMIN框架中监测应用程序的运行状态，当并行程序发生负载平衡或者重启动时刷新或者恢复数据。I/O过程中，进一步使用HDF5的分块I/O提高列存储数据的读写效率。测试表明，新方法不仅具有较好的可扩展性，还能在具有负载平衡与重启动等复杂功能的并行应用中提高采样数据的并行 I/O 效率7.5倍以上。

关键词: 科学计算, 采样数据, 并行I/O, 性能优化, 聚合缓存

Abstract:

Parallel I/O of sampled data constrains the operational efficiency of some parallel applications. We design and implement a parallel aggregation I/O method of sampled data. The method first uses the sampled data cache deployed on the client to reduce the number of I/O, and then collects the data to the output process by aggregating the traffic and stores it in the file. To guarantee the storage consistency of sampled data during the longrunning process of parallel programs, we monitor the running state of the application in the JASMIN framework and refresh or restore the data when parallel programs load or restart. During the output process, we use HDF5's chunk I/O to improve I/O efficiency. Test results show that the new method not only has good scalability, but also improves the parallel IO efficiency of sampled data by more than 7.5 times in parallel applications with complex functions such as load balancing or restart.

Key words: scientific computing, sampled data, parallel I/O, performance optimization, aggregated buffer

曹立强,罗红兵. 并行科学计算应用中采样数据的聚集I/O[J]. 计算机工程与科学.

CAO Liqiang,LUO Hongbing.

An aggregated I/O method of sampled data

for parallel computing applications

[J]. Computer Engineering & Science.

[1]	陈文锦. QTorch:基于独立的量子程序设计语言的量子-经典混合机器学习框架[J]. 计算机工程与科学, 2025, 47(3): 412-421.
[2]	施禹, 董攀, 张利军. 一种不规则稀疏矩阵的SpMV方法[J]. 计算机工程与科学, 2024, 46(7): 1175-1184.
[3]	李飞, 郭绍忠, 周蓓, 宋广辉, 郝江伟, 许瑾晨. RISC-V基础数学库性能优化[J]. 计算机工程与科学, 2023, 45(9): 1532-1543.
[4]	康宇晗, 时洋, 陈照云, 文梅. 面向迈创+MatrixZone异构系统的深度学习编程框架[J]. 计算机工程与科学, 2023, 45(7): 1149-1158.
[5]	沈佳杰, 卢修文, 向望, 赵泽宇, 王新, . 分布式存储系统读写一致性算法性能优化研究综述[J]. 计算机工程与科学, 2022, 44(4): 571-583.
[6]	莫舒恒, 卢圣有, 黄聃, 卢宇彤. 基于即时编译的GNU Octave性能优化[J]. 计算机工程与科学, 2022, 44(12): 2091-2101.
[7]	周静, 关玉蓉. 基于SDN的DWSN技术分析及性能优化研究[J]. 计算机工程与科学, 2021, 43(8): 1413-1421.
[8]	朱良杰, 沈佳杰, 周扬帆, 王新, . 云际存储系统性能优化研究现状与展望[J]. 计算机工程与科学, 2021, 43(5): 761-772.
[9]	徐海坤, 匡邓晖, 刘杰, 龚春叶, . 基于RMC的蒙特卡罗程序性能优化[J]. 计算机工程与科学, 2021, 43(4): 634-640.
[10]	张驭洲, 曹武迪, 卜景德, 谭光明, 吉青. GROMACS 2020在ROCm平台上的移植与优化[J]. 计算机工程与科学, 2021, 43(11): 1901-1909.
[11]	王武1，王舒扬1,2，姜金荣1,孟虹松3. 快速多极子方法在申威众核处理器上的实现和优化[J]. 计算机工程与科学, 2019, 41(7): 1161-1167.
[12]	刘万伟,毛晓光,张春元,李暾,周会平. CSE教学实施过程与思考[J]. 计算机工程与科学, 2018, 40(增刊S1): 27-31.
[13]	聂含伊，杨希，张文喆. 面向多领域的高性能计算机应用综述[J]. 计算机工程与科学, 2018, 40(增刊S1): 145-153.
[14]	廖旺坚1,2,黄永峰1,2,包从开1,2. Spark并行计算框架的内存优化[J]. 计算机工程与科学, 2018, 40(4): 587-593.
[15]	李帅1，吴斌2，杜修明3，陈玉峰3. 基于Spark的BIRCH算法并行化的设计与实现[J]. 计算机工程与科学, 2017, 39(1): 35-41.