一种基于Hadoop+CUDA实现相关器的方法

J4 ›› 2016, Vol. 38 ›› Issue (01): 46-51.

一种基于Hadoop+CUDA实现相关器的方法

苏丽，孙彦猛，张博为，杨先博，朱颖

（北京遥测技术研究所，北京 100076）

收稿日期:2015-08-07 修回日期:2015-10-09 出版日期:2016-01-25 发布日期:2016-01-25

A correlator implementation method
based on Hadoop+CUDA

SU Li,SUN Yanmeng,ZHANG Bowei,YANG Xianbo,ZHU Ying

（Beijing Research Institute of Telemetry,Beijing 100076,China）

Received:2015-08-07 Revised:2015-10-09 Online:2016-01-25 Published:2016-01-25

摘要/Abstract

摘要：

根据21CMA相关器的算法特点，在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上，提出了一种基于Hadoop+CUDA平台实现软相关器的方法。本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势，设计相关器的并行模型，使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升。同时，本文选择广泛应用于大数据处理平台的Hadoop软件架构，利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行，非常便捷地获得了集群系统的线性加速比。Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠，为后续的大数据分析提供了支撑环境。

关键词: Hadoop, CUDA, 21CMA, 相关器

Abstract:

According to the characteristics of the 21CMA correlator algorithm, we propose a novel highefficient method to implement this specific algorithm on the Hadoop+CUDA platform, and it outperforms the MPI alone and MPI+CUDA solutions. The proposed method improves the parallel model of the correlator. Compared to the earlier MPI solution, it greatly enhances the running performance by utilizing the advantages of GPU for FFT processing, vector multiplication and vector addition. The Hadoop software architecture, a bigdata platform, is employed in the method by using Hadoop Streaming tool to realize parallel execution of nonJava programs running on distributed systems, and linear speedups on clusters are easily obtained. In addition， the result data and procedure logs can be flexibly managed in the parallel file system of the Hadoop HDFS, which provides a well precondition for future bigdata analysis.

Key words: Hadoop;CUDA;21CMA;correlator

苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 2016, 38(01): 46-51.

SU Li,SUN Yanmeng,ZHANG Bowei,YANG Xianbo,ZHU Ying. A correlator implementation method
based on Hadoop+CUDA [J]. J4, 2016, 38(01): 46-51.

参考文献［8］

［1］	Su Li.Realization and optimization of 21CMA correlator based on cluster［D］.Lanzhou:Lanzhou University，2005:2425. （in Chinese）
［2］	Pen U L，Wu X P,Peterson J. Forecast for epochofreionization as viewable by the PrimevAl structure telescope （PAST）［J］. Chinese Journal of Astronomy and Astrophysics，2004，arxiv:astroph0404083v1.
［3］	Wen Jianguo. Optimization and computer simulation of optical synthetic aperture telescope subaperture array［J］. Science Bulletin,2002，47（15）:11401144.（in Chinese）
［4］	Thoinpson A R，Moran J M,Swenson G W. Interferometry and synthesis in radio astrononmy［M］.USA:A WileyInterscience Publication,2001:77.
［5］	NVIDIA Corporation.CUDA C Programming Guide［EB/OL］.［20150607］.http://docs.nvidia.com/cuda/cudacprogrammingguide/index.html.
［6］	https://developer.nvidia.com/cufft.
［7］	Du Zhihui. High performance computing parallel programming technologyMPI parallel programming design［M］.Beijing:Tsinghua University Press，2001:2328. （in Chinese）
［8］	Tom White. Hadoop:The definitive guide(Third Edition)［M］. Data Science and Engineering Research Institute of East China Normal University,Translate. Beijing:Tsinghua University Press，2011:112. （in Chinese）
［9］	Ding Mengwei，Zheng Long，Lu Yanchao，et al. More convenient more overhead:The performance evaluation of hadoop streaming［C］∥Proc of the 2011 ACM Symposium on Research in Applied Computation，2011:307313．
	附中文参考文献:
［1］	苏丽. 基于集群的21CMA相关器的实现与优化［D］.兰州：兰州大学，2005：2425．
［3］	文建国.光综合孔径望远镜子孔径阵列的优化和计算仿真［J］.科学通报,2002，47（15）:11401144．
［7］	都志辉.高性能计算并行编程技术——MPI并行程序设计［M］.北京:清华大学出版社，2001：2328．
［8］	Tom White著.Hadoop权威指南（第三版）［M］. 华东师范大学数据科学与工程研究院，译.北京:清华大学出版社，2011：112．

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	陈强, 谭林, 王云丽, 肖靖. 工业区块链中基于CUDA的数据并行处理方法[J]. 计算机工程与科学, 2022, 44(12): 2102-2110.
[3]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[4]	左宪禹1,2，张哲1,5，黄祥志4,5，葛强1,2，张理涛3，臧文乾4,5. 一种适用于GPU图像处理算法的合并存储结构[J]. 计算机工程与科学, 2020, 42(02): 197-202.
[5]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[6]	段兴锋1,2,任鸿翔1,神和龙1. 基于CUDA的弱可压SPH流体建模与仿真[J]. 计算机工程与科学, 2018, 40(08): 1375-1382.
[7]	王永坤1,罗萱1,金耀辉1,2. 基于私有云和物理机的混合型大数据平台设计及实现[J]. 计算机工程与科学, 2018, 40(02): 191-199.
[8]	刘鹏1,2，叶帅3，孟磊1,2，王灿4. 基于Spark的并行遗传算法求解多峰函数极值[J]. 计算机工程与科学, 2018, 40(02): 210-217.
[9]	肖文，胡娟，周晓峰. PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法[J]. 计算机工程与科学, 2018, 40(01): 15-23.
[10]	蔡武越1,王珂2，郝玉洁2，段晓冉2. 一种Hadoop集群下的行为异常检测方法[J]. 计算机工程与科学, 2017, 39(12): 2185-2191.
[11]	吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优[J]. 计算机工程与科学, 2017, 39(06): 1042-1047.
[12]	黄伟建，杨海龙. Hadoop下改进布隆过滤器算法的网页去重[J]. 计算机工程与科学, 2017, 39(02): 285-290.
[13]	刘金1，2，吴志健1，2，吴双可2，王晖3，邓长寿4. GPU上的维度并行随机吸引策略萤火虫算法[J]. 计算机工程与科学, 2016, 38(10): 1961-1966.
[14]	张波，徐蔚鸿，陈沅涛，朱玲. 基于Hash改进的k-means算法并行化设计[J]. 计算机工程与科学, 2016, 38(10): 1980-1985.
[15]	雷力1，钱斌海1，郭俊1，顾雄礼2，刘鹏1. 集成I/O硬件压缩加速器的Hadoop系统结构[J]. 计算机工程与科学, 2016, 38(08): 1524-1529.