一种基于Hadoop+CUDA实现相关器的方法

J4 ›› 2016, Vol. 38 ›› Issue (01): 46-51.

一种基于Hadoop+CUDA实现相关器的方法

苏丽，孙彦猛，张博为，杨先博，朱颖

（北京遥测技术研究所，北京 100076）

收稿日期:2015-08-07 修回日期:2015-10-09 出版日期:2016-01-25 发布日期:2016-01-25

A correlator implementation method
based on Hadoop+CUDA

SU Li,SUN Yanmeng,ZHANG Bowei,YANG Xianbo,ZHU Ying

（Beijing Research Institute of Telemetry,Beijing 100076,China）

Received:2015-08-07 Revised:2015-10-09 Online:2016-01-25 Published:2016-01-25

摘要/Abstract

摘要：

根据21CMA相关器的算法特点，在对比基于CPU并行的MPI集群、MPI+CUDA异构并行集群和Hadoop+CUDA异构并行集群的架构特点的基础上，提出了一种基于Hadoop+CUDA平台实现软相关器的方法。本方法利用GPU在计算FFT、向量乘和向量加等密集型计算模型的优势，设计相关器的并行模型，使其性能较前期在CPU并行的MPI集群实现的相关器有了大幅提升。同时，本文选择广泛应用于大数据处理平台的Hadoop软件架构，利用Hadoop Streaming工具实现非Java编写的程序在分布式系统中并行执行，非常便捷地获得了集群系统的线性加速比。Hadoop HDFS并行文件系统管理结果数据和过程日志更加灵活可靠，为后续的大数据分析提供了支撑环境。

关键词: Hadoop, CUDA, 21CMA, 相关器

Abstract:

According to the characteristics of the 21CMA correlator algorithm, we propose a novel highefficient method to implement this specific algorithm on the Hadoop+CUDA platform, and it outperforms the MPI alone and MPI+CUDA solutions. The proposed method improves the parallel model of the correlator. Compared to the earlier MPI solution, it greatly enhances the running performance by utilizing the advantages of GPU for FFT processing, vector multiplication and vector addition. The Hadoop software architecture, a bigdata platform, is employed in the method by using Hadoop Streaming tool to realize parallel execution of nonJava programs running on distributed systems, and linear speedups on clusters are easily obtained. In addition， the result data and procedure logs can be flexibly managed in the parallel file system of the Hadoop HDFS, which provides a well precondition for future bigdata analysis.

Key words: Hadoop;CUDA;21CMA;correlator

苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 2016, 38(01): 46-51.

SU Li,SUN Yanmeng,ZHANG Bowei,YANG Xianbo,ZHU Ying. A correlator implementation method
based on Hadoop+CUDA [J]. J4, 2016, 38(01): 46-51.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	陈强, 谭林, 王云丽, 肖靖. 工业区块链中基于CUDA的数据并行处理方法[J]. 计算机工程与科学, 2022, 44(12): 2102-2110.
[3]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[4]	左宪禹1,2，张哲1,5，黄祥志4,5，葛强1,2，张理涛3，臧文乾4,5. 一种适用于GPU图像处理算法的合并存储结构[J]. 计算机工程与科学, 2020, 42(02): 197-202.
[5]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[6]	段兴锋1,2,任鸿翔1,神和龙1. 基于CUDA的弱可压SPH流体建模与仿真[J]. 计算机工程与科学, 2018, 40(08): 1375-1382.
[7]	王永坤1,罗萱1,金耀辉1,2. 基于私有云和物理机的混合型大数据平台设计及实现[J]. 计算机工程与科学, 2018, 40(02): 191-199.
[8]	刘鹏1,2，叶帅3，孟磊1,2，王灿4. 基于Spark的并行遗传算法求解多峰函数极值[J]. 计算机工程与科学, 2018, 40(02): 210-217.
[9]	肖文，胡娟，周晓峰. PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法[J]. 计算机工程与科学, 2018, 40(01): 15-23.
[10]	蔡武越1,王珂2，郝玉洁2，段晓冉2. 一种Hadoop集群下的行为异常检测方法[J]. 计算机工程与科学, 2017, 39(12): 2185-2191.
[11]	吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优[J]. 计算机工程与科学, 2017, 39(06): 1042-1047.
[12]	黄伟建，杨海龙. Hadoop下改进布隆过滤器算法的网页去重[J]. 计算机工程与科学, 2017, 39(02): 285-290.
[13]	刘金1，2，吴志健1，2，吴双可2，王晖3，邓长寿4. GPU上的维度并行随机吸引策略萤火虫算法[J]. 计算机工程与科学, 2016, 38(10): 1961-1966.
[14]	张波，徐蔚鸿，陈沅涛，朱玲. 基于Hash改进的k-means算法并行化设计[J]. 计算机工程与科学, 2016, 38(10): 1980-1985.
[15]	雷力1，钱斌海1，郭俊1，顾雄礼2，刘鹏1. 集成I/O硬件压缩加速器的Hadoop系统结构[J]. 计算机工程与科学, 2016, 38(08): 1524-1529.