压缩对Hadoop性能影响研究

J4 ›› 2015, Vol. 37 ›› Issue (02): 207-212.

压缩对Hadoop性能影响研究

向丽辉，缪力,张大方

（湖南大学信息科学与工程学院，湖南长沙 410086）

收稿日期:2013-10-10 修回日期:2013-12-03 出版日期:2015-02-25 发布日期:2015-02-25
基金资助:
国家973计划资助项目（2012CB315805）；国家自然科学基金资助项目（61173167）

Effect of compression on Hadoop:A case study of
improving I/O performance on Hadoop

XIANG Lihui，MIAO Li，ZHANG Dafang

（College of Computer Science and Electronic Engineering,Hunan University,Changsha 410086,China）

Received:2013-10-10 Revised:2013-12-03 Online:2015-02-25 Published:2015-02-25

摘要/Abstract

摘要：

当今，磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度，并且网络I/O资源稀缺，所以I/O常常成为数据处理的瓶颈。Hadoop能存储PB级数据，因此I/O问题愈加显著。压缩是I/O调优的一个重要方法，它能减少I/O的负载，加快磁盘和网络上的数据传输。首先通过分析Hadoop中各压缩算法的特点，得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩，并用实验得以验证补充。基于该策略，一些Hadoop应用在合理使用压缩后，效率能提高65%。

关键词: Hadoop, MapReduce, I/O, 压缩

Abstract:

Nowadays, the development of disk I/O never catches up with CPU according to the Moore’s law, and Network I/O is scarce, so I/O often becomes a bottleneck of data processing. Hadoop can store PBlevel data where I/O problem becomes more obvious. Compression is an important method to optimize I/O, which can reduce I/O load and speed up data transmission on disk and network. In Hadoop, the benefits of using compression have not been completely exploited. In this paper we first analyze the compression algorithms supported by Hadoop, then propose a strategy to help Hadoop users identify how to use compression and how to verify through experiment. By using compression, the performance of some Hadoop applications can be improved up to 65%.

Key words: Hadoop;MapReduce;I/O;compression

向丽辉，缪力,张大方. 压缩对Hadoop性能影响研究[J]. J4, 2015, 37(02): 207-212.

XIANG Lihui，MIAO Li，ZHANG Dafang. Effect of compression on Hadoop:A case study of
improving I/O performance on Hadoop [J]. J4, 2015, 37(02): 207-212.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	俞丁翠, 罗龙飞, 宋云鹏, 李文通, 石亮. 面向高密度闪存的内存页大小探索[J]. 计算机工程与科学, 2024, 46(07): 1167-1174.
[3]	王洁, 付丹阳, . 基于RISC-V的超标量处理器的ROB压缩方法[J]. 计算机工程与科学, 2024, 46(07): 1185-1192.
[4]	齐永锋, 裴晓旭, 吕雪超, 王静. 基于同步压缩和DCGAN的癫痫脑电信号检测方法[J]. 计算机工程与科学, 2022, 44(12): 2273-2280.
[5]	杨斌, 王敬宇, 刘世超, 邵明山, 肖伟, 陈起, 何晓斌, 刘卫国, 薛巍, . Beacon+：面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统[J]. 计算机工程与科学, 2022, 44(09): 1521-1531.
[6]	邓文博, 刘帅, 刘福才, 黄茹楠. 基于压缩感知和DNA编码的图像加密算法[J]. 计算机工程与科学, 2022, 44(09): 1574-1582.
[7]	葛旭冉, 刘洋, 陈志广, 肖侬. 基于MPI的并行大数据集生成器[J]. 计算机工程与科学, 2022, 44(07): 1152-1161.
[8]	张玉杰, 董蕊. 用于人体检测的YOLOv3改进及压缩算法的研究[J]. 计算机工程与科学, 2022, 44(02): 312-320.
[9]	徐海坤, 匡邓晖, 刘杰, 龚春叶, . 基于RMC的蒙特卡罗程序性能优化[J]. 计算机工程与科学, 2021, 43(04): 634-640.
[10]	郭媛, 王充, 杜松英. 基于广义变参Fibonacci混沌系统的压缩感知测量矩阵构造算法[J]. 计算机工程与科学, 2021, 43(03): 503-510.
[11]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[12]	李佳颖1,2，朱文泉3，孟繁蕴1,2. 基于降低映射预测残差的高光谱图像压缩算法[J]. 计算机工程与科学, 2020, 42(05): 820-824.
[13]	王丽，刘增力. 基于质心特征和重要敏感区域分类的分形图像压缩算法[J]. 计算机工程与科学, 2020, 42(05): 869-878.
[14]	吴振华1,沈虎峻1,2,公佐权1,冯平1,龚彤艳1,3,邓明森1. 一种基于自适应分块八叉树颜色量化的图像压缩技术[J]. 计算机工程与科学, 2020, 42(02): 291-298.
[15]	李凤英，杨恩乙，董荣胜. 图数据压缩技术综述[J]. 计算机工程与科学, 2020, 42(01): 89-97.