短程力分子模拟在Hadoop上的实现及优化

J4 ›› 2013, Vol. 35 ›› Issue (2): 26-31.

短程力分子模拟在Hadoop上的实现及优化

焦善飞1,2，何晨2，豆育升2，唐红1,2

（1.重庆邮电大学计算机科学与技术学院,重庆 400065; 2.重庆邮电大学高性能计算与应用研究所，重庆 400065）

收稿日期:2012-02-20 修回日期:2012-05-09 出版日期:2013-02-25 发布日期:2013-02-25
基金资助:
国家自然科学基金资助项目（21073242）

Implementation and optimization of shortrange molecular dynamics simulation on Hadoop

JIAO Shanfei1,2,HE Chen2,DOU Yusheng2,TANG Hong1,2

(1.College of Computer Science and Technology，Chongqing University of Posts and Telecommunications,Chongqing 400065; 2. Institute of High Performance Computing and Application,
Chongqing University of Posts and Telecommunications,Chongqing 400065,China)

Received:2012-02-20 Revised:2012-05-09 Online:2013-02-25 Published:2013-02-25

摘要/Abstract

摘要：

在Hadoop开源云计算平台上运行分子模拟程序，具有节省软硬件投资、缩短模拟时间等研究意义。然而，该平台并不擅长科学计算类应用中所涉及的快速迭代和子任务间通信。为此，在原子分解法基础上提出了三种解决方案并利用“读写HDFS同步法”实现短程作用力有效的分子动力学模拟的并行算法。在一个Hadoop集群上测试和分析了程序的可扩展性、加速比和各部分耗时情况，结果表明在大规模体系模拟中有较好的效果，最高取得了28倍的加速比。实验证明，Hadoop并行技术在分子模拟中有着较高的经济价值和实用价值。

关键词: 分子动力学, 云计算, 原子分解法, 并行算法, Hadoop平台

Abstract:

Running molecular dynamics simulation programs on Hadoop has many research meanings such as saving hardware and software investment and shortening simulation time. However, Hadoop is not good at implementing the quick iteration and communication between subtasks in these scientific computing applications. Base on atomdecomposition method, the paper proposes three solutions and implements the parallel algorithm of molecular dynamics simulation by using "HDFS read/write synchronization method". We tested it on a Hadoop cluster and analyzed expansibility, speedup ratio and costtime of various parts, and then obtained good results as high as 28x speedup in largescale system simulations. The experiment results show molecular dynamics simulation on Hadoop is more economical and practical.

Key words: molecular dynamics;cloud computing;atomdecomposition;parallel algorithm;Hadoop

焦善飞1,2，何晨2，豆育升2，唐红1,2. 短程力分子模拟在Hadoop上的实现及优化[J]. J4, 2013, 35(2): 26-31.

JIAO Shanfei1,2,HE Chen2,DOU Yusheng2,TANG Hong1,2. Implementation and optimization of shortrange molecular dynamics simulation on Hadoop[J]. J4, 2013, 35(2): 26-31.

[1]	李卫平1,2，武海燕2，杨杰1. 基于效益博弈的云计算资源动态可协调分配策略研究[J]. J4, 20160101, 38(01): 57-61.
[2]	徐嘉, 张骥先, 王喆民, 刘林杰. 基于NUMA云计算架构的多资源分配可信拍卖机制[J]. 计算机工程与科学, 2024, 46(05): 761-775.
[3]	马柯帆, 李宝峰, 周悦锦, 武园园, 余永兰, 多瑞华. 基于ZYNQ 芯片的基板管理控制器设计与实现[J]. 计算机工程与科学, 2024, 46(02): 217-223.
[4]	肖调杰, 周峰, 郑翾宇, 刘剑, 陈琳, 刘杰, 易明宽, 陈旭光, 龚春叶, 杨博, 甘新标, 李胜国, 左克, . 大规模三维频率域电磁积分方程法数值模拟[J]. 计算机工程与科学, 2023, 45(11): 1901-1910.
[5]	许晓阳, 王斯棋. 基于粒子分解的SPH并行算法研究与应用[J]. 计算机工程与科学, 2022, 44(06): 964-970.
[6]	杨柏蔼, 赵山, 刘芳. 无服务器计算技术研究综述[J]. 计算机工程与科学, 2022, 44(04): 611-619.
[7]	张驭洲, 曹武迪, 卜景德, 谭光明, 吉青. GROMACS 2020在ROCm平台上的移植与优化[J]. 计算机工程与科学, 2021, 43(11): 1901-1909.
[8]	李波, 侯鹏, 牛力, 武浩, 丁洪伟. 基于软件定义网络的云边协同架构研究综述[J]. 计算机工程与科学, 2021, 43(02): 242-257.
[9]	刘杰, 龚春叶, 杨博, 郭晓威, 甘新标, 李胜国, 李超, 陈旭光, 肖调杰, 穆利安, 宋敏, 赵冬勇, 鞠羽中. YH-ACT：热工流体力学并行应用程序[J]. 计算机工程与科学, 2021, 43(01): 58-69.
[10]	李雯, 迟利华, 张会, 张哲, 刘杰, . 潜艇使用自航式声诱饵防御鱼雷模型并行计算方法研究[J]. 计算机工程与科学, 2020, 42(12): 2163-2168.
[11]	廖建锦, 孙庆骁, 杨海龙, 栾钟治, 钱德沛. 满足工作流执行时限的可抢占虚拟机实例配置和调度方法研究[J]. 计算机工程与科学, 2020, 42(11): 1956-1964.
[12]	林涛, 冯竞凯, 郝章肖, 黄少群. 基于组合预测模型的云计算资源负载预测研究[J]. 计算机工程与科学, 2020, 42(07): 1168-1173.
[13]	史文杰，詹雨奇，李奎. 一种面向多平台航电资源建模及其调度算法[J]. 计算机工程与科学, 2019, 41(11): 1976-1984.
[14]	刘梓璇，周建涛. 负载均衡的主导资源公平分配算法[J]. 计算机工程与科学, 2019, 41(09): 1574-1580.
[15]	曹云梦1,2,周胜军3,刘晨1,2,韩燕波1,2. 面向服务的云-端动态协作方法[J]. 计算机工程与科学, 2019, 41(04): 598-605.