基于柯西码的HDFS存储优化策略

计算机工程与科学

基于柯西码的HDFS存储优化策略

谢果君，沈记全，杨焕焕

(河南理工大学计算机科学与技术学院,河南焦作 454000)

收稿日期:2018-04-26 修回日期:2018-07-12 出版日期:2019-03-25 发布日期:2019-03-25
基金资助:
河南省基础与前沿研究项目（152300410212）

An HDFS storage optimization strategy based on Cauchy code

XIE Guojun,SHEN Jiquan,YANG Huanhuan

（School of Computer Science and Technology,Henan Polytechnic University,Jiaozuo 454000,China）

Received:2018-04-26 Revised:2018-07-12 Online:2019-03-25 Published:2019-03-25

摘要/Abstract

摘要：

随着大数据时代的到来，数据存储正接受着严峻的考验。为了改进传统Hadoop分布式文件系统HDFS存在的冗余度高、负载均衡能力不足等问题，提出了一种基于柯西码的动态分散式存储优化策略CDDS。对于系统中的数据块，在保证数据可用性的基础上，依据其热度的不同生成相应的存储方案。对于系统中的冷数据与热数据，分别采用基于柯西码的纠删码技术进行单副本与多副本存储，既保证了数据的可靠性又保证了系统的I/O能力。经测试，运用该策略存储数据所需要的存储空间减小为原来的75%,系统的可靠性与负载均衡能力也得到了增强。

关键词: 数据存储, 柯西码, 动态副本, 负载均衡

Abstract:

With the advent of the big data era, data storage is facing severe challenges. The traditional Hadoop distributed file system (HDFS) has problems such as high storage redundancy and insufficient load balancing. Aiming at these problems, based on Cauchy code, we propose a Cauchy dynamic decentralized storage (CDDS) strategy. For the data blocks in the system, this strategy can generate different storage schemes based on their heat levels while ensuring data availability. For the cold data and hot data in the system, we adopt the Cauchy based erasure code technology to perform singlecopy storage and multicopy storage respectively, which guarantees the reliability of the data and the I/O capability of the system. Test results show that the CDDS strategy reduces data storage space to 75% of the original, and enhances the system’s reliability and load balancing capability.

Key words: data storage, Cauchy code, dynamic replica, load balancing

谢果君，沈记全，杨焕焕. 基于柯西码的HDFS存储优化策略[J]. 计算机工程与科学.

XIE Guojun,SHEN Jiquan,YANG Huanhuan. An HDFS storage optimization strategy based on Cauchy code [J]. Computer Engineering & Science.

[1]	王艳, 皮婵娟, 刘亚东, 施君豪. 带宽异构网络下的精确修复再生码数据修复方案[J]. 计算机工程与科学, 2024, 46(06): 1001-1012.
[2]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[3]	徐浩桐, 黄山, 孙国璋, 贺菲莉, 段晓东, . 面向云环境的Flink负载均衡策略[J]. 计算机工程与科学, 2022, 44(05): 779-787.
[4]	刘世缘, 李云春, 陈晨, 杨海龙. 面向大数据存储的主动与被动相结合的性能评测方法体系结构与实现[J]. 计算机工程与科学, 2022, 44(04): 584-593.
[5]	罗晓霞, 王佳, 罗香玉, 李嘉楠 . 一种基于GN算法的动态图划分方法[J]. 计算机工程与科学, 2022, 44(02): 306-311.
[6]	李力, 汪硕, 黄韬, 刘韵洁, . 数据中心网络四层负载均衡技术综述[J]. 计算机工程与科学, 2022, 44(01): 48-59.
[7]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(07): 1173-1184.
[8]	陈俊彦, 李玥, 梁楚欣, 雷晓春. SDN多控制器部署及流量均衡研究[J]. 计算机工程与科学, 2021, 43(05): 830-835.
[9]	丁峻宏, 苗新强, 李根国. 面向异构超算的结构分析高效并行计算方法[J]. 计算机工程与科学, 2020, 42(12): 2133-2140.
[10]	王丽, 郭振华, 曹芳, 高开, 赵雅倩, 赵坤. 面向模型并行训练的模型拆分策略自动生成方法[J]. 计算机工程与科学, 2020, 42(09): 1529-1537.
[11]	张开琦, 刘晓燕, 王信, 吉春山, 严馨. 基于动态权重的一致性哈希微服务负载均衡优化[J]. 计算机工程与科学, 2020, 42(08): 1339-1344.
[12]	刘梓璇，周建涛. 负载均衡的主导资源公平分配算法[J]. 计算机工程与科学, 2019, 41(09): 1574-1580.
[13]	孙婷婷，黄皓，王嘉伦，翁楚良. 面向CPU-GPU异构系统的数据分析负载均衡策略[J]. 计算机工程与科学, 2019, 41(03): 417-423.
[14]	陈华鹏1,2,林杰1. 基于负载基尼系数的服务网络公平均衡调度[J]. 计算机工程与科学, 2018, 40(07): 1155-1164.
[15]	樊自甫，张丹，李书. 基于软件定义网络的数据中心网络负载均衡算法研究[J]. 计算机工程与科学, 2018, 40(06): 1017-1022.