基于MapReduce模型单点恢复时阻塞问题的解决方法研究

doi:10.3969/j.issn.1007130X.2011.

J4 ›› 2011, Vol. 33 ›› Issue (3): 146-151.doi: 10.3969/j.issn.1007130X.2011.

基于MapReduce模型单点恢复时阻塞问题的解决方法研究

张钊宁,彭宇行

(并行与分布处理国防科技重点实验室,湖南长沙 410073)

收稿日期:2009-10-21 修回日期:2010-01-09 出版日期:2011-03-25 发布日期:2011-03-25
作者简介:张钊宁(1984),男,河北保定人，硕士，研究方向为分布式计算。彭宇行(1963),男,湖南茶陵人，博士，研究员，研究方向为分布式计算.

A Method for Solving the Congestion Issue During the Single Node Recovering Based on the MapReduce Model

ZHANG Zhaoning,PENG Yuxing

(National Laboratory for Parallel and Distributed Processing,Changsha 710073,China)

Received:2009-10-21 Revised:2010-01-09 Online:2011-03-25 Published:2011-03-25

摘要/Abstract

摘要：

MapReduce分布式编程模型为大规模数据密集型计算提供了重要的应用基础平台。其任务调度模型为单点控制模型，这种模型使得体系结构简单，任务调度易于控制，但同时也存在中心节点失效的问题。在Hadoop系统中，当中心节点失效后，为了使得整个工作集群中的作业不中断，在不同版本的Hadoop中采取了按需同步、恢复历史记录和抛弃三种恢复机制。本文详细分析了这三种恢复机制中出现的数据阻塞、结果一致性和效率下降等问题，并针对MapReduce模型中两种基本任务依赖关系的特点，提出了传递依赖关系信息的同步机制，通过在同步过程中传递任务间已有的依赖关系，有效地解决已有机制中存在的问题。

关键词: MapReduce, Hadoop, 任务调度, 单点失效恢复, 任务依赖关系

Abstract:

The MapReduce model has provided strong support for the dataintensive supercomputing as a fundamental application flat. It has a singlenode task scheduler, which has a simple architecture and is convenient to control the worker nodes, while there exists the single node error problem. In Hadoop (Open Source MapReduce) released versions, it has three different mechanisms such as synchronization on demand, recovery from history logging and dropping. This paper analyses the data jam, result errors and efficiency decline in the three methods, and then gives a method for delivering the information of task dependencies to solve the problems.

Key words: MapReduce;Hadoop;task scheduling;single node error recovery;task dependency

张钊宁,彭宇行. 基于MapReduce模型单点恢复时阻塞问题的解决方法研究[J]. J4, 2011, 33(3): 146-151.

ZHANG Zhaoning,PENG Yuxing. A Method for Solving the Congestion Issue During the Single Node Recovering Based on the MapReduce Model[J]. J4, 2011, 33(3): 146-151.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	孙庆骁, 刘轶, 杨海龙, 王一晴, 贾婕, 栾钟治, 钱德沛. GNNSched：面向GPU的图神经网络推理任务调度框架[J]. 计算机工程与科学, 2024, 46(01): 1-11.
[3]	温瑞林, 樊春, 马银萍 , 王政丹, 向广宇 , 付振新. SlurmX：基于Slurm使用面向对象设计方法重构的任务调度系统[J]. 计算机工程与科学, 2022, 44(09): 1532-1541.
[4]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[5]	罗磊, 陈照云, 王俪璇. 用户QoS感知的GPU集群深度学习任务动态调度[J]. 计算机工程与科学, 2021, 43(08): 1331-1340.
[6]	杨坚伟, 孟敏, 黄家乐, 武继刚. 分布式训练异构任务调度算法研究[J]. 计算机工程与科学, 2021, 43(07): 1160-1167.
[7]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(07): 1173-1184.
[8]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[9]	邢红星, 魏叶华, 乐懿. 硬件成本缩减的异构分布式嵌入式系统调度算法[J]. 计算机工程与科学, 2021, 43(02): 258-265.
[10]	胡亚红1，盛夏2，毛家发1. 资源不均衡Spark环境任务调度优化算法研究[J]. 计算机工程与科学, 2020, 42(02): 203-209.
[11]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[12]	朱永超1，周川1，崔玉伟2，郭健1，吴益飞1. 基于模拟退火算法的改进主/副版本调度算法[J]. 计算机工程与科学, 2019, 41(09): 1534-1540.
[13]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.
[14]	吉慧，周磊. 面向温度优化的片上网络任务调度方法[J]. 计算机工程与科学, 2018, 40(09): 1527-1533.
[15]	童钊1,2，陈洪剑1,2，陈明1,2，梅晶1,2，刘宏1,2. 一种云环境下基于混合型BBO的任务调度算法[J]. 计算机工程与科学, 2018, 40(05): 765-772.

基于MapReduce模型单点恢复时阻塞问题的解决方法研究

A Method for Solving the Congestion Issue During the Single Node Recovering Based on the MapReduce Model

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价