压缩对Hadoop性能影响研究

J4 ›› 2015, Vol. 37 ›› Issue (2): 207-212.

压缩对Hadoop性能影响研究

向丽辉，缪力,张大方

（湖南大学信息科学与工程学院，湖南长沙 410086）

收稿日期:2013-10-10 修回日期:2013-12-03 出版日期:2015-02-25 发布日期:2015-02-25
基金资助:
国家973计划资助项目（2012CB315805）；国家自然科学基金资助项目（61173167）

Effect of compression on Hadoop:A case study of
improving I/O performance on Hadoop

XIANG Lihui，MIAO Li，ZHANG Dafang

（College of Computer Science and Electronic Engineering,Hunan University,Changsha 410086,China）

Received:2013-10-10 Revised:2013-12-03 Online:2015-02-25 Published:2015-02-25

摘要/Abstract

摘要：

当今，磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度，并且网络I/O资源稀缺，所以I/O常常成为数据处理的瓶颈。Hadoop能存储PB级数据，因此I/O问题愈加显著。压缩是I/O调优的一个重要方法，它能减少I/O的负载，加快磁盘和网络上的数据传输。首先通过分析Hadoop中各压缩算法的特点，得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩，并用实验得以验证补充。基于该策略，一些Hadoop应用在合理使用压缩后，效率能提高65%。

关键词: Hadoop, MapReduce, I/O, 压缩

Abstract:

Nowadays, the development of disk I/O never catches up with CPU according to the Moore’s law, and Network I/O is scarce, so I/O often becomes a bottleneck of data processing. Hadoop can store PBlevel data where I/O problem becomes more obvious. Compression is an important method to optimize I/O, which can reduce I/O load and speed up data transmission on disk and network. In Hadoop, the benefits of using compression have not been completely exploited. In this paper we first analyze the compression algorithms supported by Hadoop, then propose a strategy to help Hadoop users identify how to use compression and how to verify through experiment. By using compression, the performance of some Hadoop applications can be improved up to 65%.

Key words: Hadoop;MapReduce;I/O;compression

向丽辉，缪力,张大方. 压缩对Hadoop性能影响研究[J]. J4, 2015, 37(2): 207-212.

XIANG Lihui，MIAO Li，ZHANG Dafang. Effect of compression on Hadoop:A case study of
improving I/O performance on Hadoop [J]. J4, 2015, 37(2): 207-212.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	郑道文1, 周一开1, 唐忆滨2, 3, 刘博生1, 武继刚1. ReHuff：基于ReRAM的Huffman编码硬件结构设计[J]. 计算机工程与科学, 2025, 47(6): 988-997.
[3]	赵雪妍, 张钊, 贾静雯, 周红艳, 陈雪波. 基于双混沌系统的双随机相位编码和压缩感知的图像加密算法[J]. 计算机工程与科学, 2025, 47(5): 885-893.
[4]	徐雯, 于瓅. 基于迭代收缩阈值与深度学习的压缩感知图像重构网络[J]. 计算机工程与科学, 2025, 47(3): 485-493.
[5]	李名, 信鑫. 基于同态加的压缩感知加密域信息隐藏算法[J]. 计算机工程与科学, 2024, 46(9): 1598-1605.
[6]	薛梅婷, 俞万刚, 张纪林, 曾艳, 袁俊峰, 周丽. 一种基于动态空间划分和压缩布隆过滤器相结合的分布式元数据负载均衡算法#br#[J]. 计算机工程与科学, 2024, 46(8): 1381-1389.
[7]	俞丁翠, 罗龙飞, 宋云鹏, 李文通, 石亮. 面向高密度闪存的内存页大小探索[J]. 计算机工程与科学, 2024, 46(7): 1167-1174.
[8]	王洁, 付丹阳, . 基于RISC-V的超标量处理器的ROB压缩方法[J]. 计算机工程与科学, 2024, 46(7): 1185-1192.
[9]	杨斌, 王敬宇, 刘世超, 邵明山, 肖伟, 陈起, 何晓斌, 刘卫国, 薛巍, . Beacon+：面向E级超级计算机的轻量级端到端I/O性能监控与分析诊断系统[J]. 计算机工程与科学, 2022, 44(9): 1521-1531.
[10]	邓文博, 刘帅, 刘福才, 黄茹楠. 基于压缩感知和DNA编码的图像加密算法[J]. 计算机工程与科学, 2022, 44(9): 1574-1582.
[11]	葛旭冉, 刘洋, 陈志广, 肖侬. 基于MPI的并行大数据集生成器[J]. 计算机工程与科学, 2022, 44(7): 1152-1161.
[12]	张玉杰, 董蕊. 用于人体检测的YOLOv3改进及压缩算法的研究[J]. 计算机工程与科学, 2022, 44(2): 312-320.
[13]	齐永锋, 裴晓旭, 吕雪超, 王静. 基于同步压缩和DCGAN的癫痫脑电信号检测方法[J]. 计算机工程与科学, 2022, 44(12): 2273-2280.
[14]	徐海坤, 匡邓晖, 刘杰, 龚春叶, . 基于RMC的蒙特卡罗程序性能优化[J]. 计算机工程与科学, 2021, 43(4): 634-640.
[15]	郭媛, 王充, 杜松英. 基于广义变参Fibonacci混沌系统的压缩感知测量矩阵构造算法[J]. 计算机工程与科学, 2021, 43(3): 503-510.