基于Hadoop生态系统的大数据解决方案综述

计算机工程与科学 ›› 2013, Vol. 35 ›› Issue (10): 25-35.

基于Hadoop生态系统的大数据解决方案综述

陈吉荣，乐嘉锦

（东华大学算机科学与技术学院，上海 201620）

收稿日期:2013-02-25 修回日期:2013-05-29 出版日期:2013-10-25 发布日期:2013-10-25
基金资助:
国家核高基项目(2010ZX01042-001-003)

Reviewing the big data solution based on Hadoop ecosystem

CHEN Ji rong,LE Jia jin

（School of Computer Science and Technology,Donghua University,Shanghai 201620,China）

Received:2013-02-25 Revised:2013-05-29 Online:2013-10-25 Published:2013-10-25

摘要/Abstract

摘要：

一个大数据解决方案需要面对三个关键问题：大数据的存储、大数据的分析和大数据的管理。首先综述了大数据和Hadoop生态系统的定义;然后从商业产品和Hadoop生态系统两个方面来探讨如何面对大数据，重点分析了Hadoop生态系统是如何解决的：分别用HDFS、HBase和OpenTSDB解决存储问题，用Hadoop MapReduce(Hive)和HadoopDB解决分析问题，用Sqoop和Ganglia等解决管理问题。对于每个成员，分别分析了其系统架构、实现原理和特点；对于重点成员，分别分析了其存在的一些问题或缺点，并在总结当前学术和应用的进展基础上，结合我们自身的研究进展，提出了解决方法、解决思路和观点。可以预见，Hadoop生态系统将是中小企业在面对大数据问题时的首选解决方案。

关键词: 大数据, Hadoop生态系统, MapReduce, HDFS, 列存储数据库

Abstract:

Solving big data must deal with three crucial problems: big data storage, big data analysis and big data management. Firstly, the definitions of big data and Hadoop ecosystem are summarized respectively. Secondly, how to face big data is discussed from the two aspects of commercial products and Hadoop ecosystem. The paper focuses on reviewing the big data solution based on Hadoop ecosystem:(1) HDFS, HBase and OpenTSDB are used to deal with storage problems;(2) Hadoop MapReduce(Hive) and HadoopDB do analytical problems; and (3) Sqoop and Ganglia solve management problems. For each partner, its architecture, principles and features are analyzed. And for some defects or problems existing in some key partners, we propose some solutions, ideas and viewpoints based on our research progress. It is predicted that Hadoop ecosystem is the preferable solution for the small and mediumsized enterprises.

Key words: big data, Hadoop ecosystem, MapReduce, HDFS, columnoriented database

陈吉荣, 乐嘉锦. 基于Hadoop生态系统的大数据解决方案综述[J]. 计算机工程与科学, 2013, 35(10): 25-35.

CHEN Ji rong, LE Jia jin. Reviewing the big data solution based on Hadoop ecosystem [J]. Computer Engineering & Science, 2013, 35(10): 25-35.

[1]	陈侨安1，李峰1，曹越1，龙明盛1,2. 基于运行数据分析的Spark任务参数优化[J]. J4, 20160101, 38(01): 11-19.
[2]	钟权, 陈志广, 高蓝光. EMRI-Tree：面向多分辨率可视化的层次式数据结构[J]. 计算机工程与科学, 2024, 46(05): 776-784.
[3]	杨浩艺, 陈微, 姚泽欢, 谭郁松, 李非. 基于转录组学数据的抗真菌药物预测方法研究[J]. 计算机工程与科学, 2023, 45(02): 246-251.
[4]	葛旭冉, 刘洋, 陈志广, 肖侬. 基于MPI的并行大数据集生成器[J]. 计算机工程与科学, 2022, 44(07): 1152-1161.
[5]	刘世缘, 李云春, 陈晨, 杨海龙. 面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现[J]. 计算机工程与科学, 2022, 44(04): 584-593.
[6]	杨柏蔼, 赵山, 刘芳. 无服务器计算技术研究综述[J]. 计算机工程与科学, 2022, 44(04): 611-619.
[7]	吕高锋, 王玉鹏, 杨鎔嘉, 唐竹. 基于聚合的FlowRadar网络数据采集加速模型设计[J]. 计算机工程与科学, 2022, 44(02): 220-226.
[8]	张元鸣, 虞家睿, 陆佳炜, 高飞, 肖刚. 基于Spark Streaming的视频大数据并行处理方法[J]. 计算机工程与科学, 2021, 43(10): 1736-1743.
[9]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(07): 1173-1184.
[10]	刘亚波, 吴秋轩. 基于长短时记忆网络的电商大数据同一性标定[J]. 计算机工程与科学, 2021, 43(03): 407-415.
[11]	李琼, 宋振龙, 袁远, 谢徐超. 一种基于NVMeoF存储池的分域共享并发存储架构[J]. 计算机工程与科学, 2020, 42(10高性能专刊): 1711-1719.
[12]	马满福1,2，员欣淼1,2，李勇1,2，刘元喆1,2，王常青3. 虚拟空间中社会分层行为研究[J]. 计算机工程与科学, 2020, 42(05): 803-811.
[13]	林连海1,田立勤1,2,蔡铭楷1,李升宏1. 方差辗转的软集参数约简算法[J]. 计算机工程与科学, 2020, 42(02): 250-258.
[14]	覃福钿,李晶. 大数据对高校教学研的影响与探索[J]. 计算机工程与科学, 2019, 41(增刊S1): 238-241.
[15]	陈月娟. 大数据时代高校图书馆数字阅读平台研究与实践[J]. 计算机工程与科学, 2019, 41(增刊S1): 245-248.