Hadoop平台中空闲时间调度器的设计与实现

J4 ›› 2013, Vol. 35 ›› Issue (10): 125-130.

Hadoop平台中空闲时间调度器的设计与实现

杨浩，滕飞，李天瑞，李曌

（西南交通大学信息科学与技术学院，四川成都 610031）

收稿日期:2013-06-15 修回日期:2013-09-10 出版日期:2013-10-25 发布日期:2013-10-25
基金资助:
国家自然科学基金资助项目(61202043,61175047)；中央高校基本科研业务费专项资金（SWJTU11ZT08,SWJTU12CX098）

Design and implementation of
a least spare time scheduler for Hadoop

YANG Hao，TENG Fei，LI Tianrui，LI Zhao

（School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China）

Received:2013-06-15 Revised:2013-09-10 Online:2013-10-25 Published:2013-10-25

摘要/Abstract

摘要：

Hadoop作为开源的云计算平台，被广泛应用于自然语言处理、机器学习、大规模图像处理等领域。随着云计算与各行业广泛而深入的结合，多样化的服务对于时效性要求越来越高。现有的Hadoop调度器多关注于缩短响应时间，而非满足作业的时限要求。为了提高集群处理硬实时作业的性能，设计并实现了一种基于空闲时间的硬实时调度器LSS。在调度过程中，LSS动态估算作业的空闲时间，并据此实时更新作业队列中作业的优先级顺序。实验结果表明LSS能够有效地提高集群处理硬实时作业的成功率。

关键词: 云计算, 实时作业, 调度, 空闲时间

Abstract:

As an open source platform of cloud computing, Hadoop is widely used in many fields, such as natural language processing, machine learning and largescale image processing. With the increase of the types of cloud services, the realtime requirement is strengthened by cloud users. Most existing schedulers are designed to shorten the response time which cannot guarantee a specific deadline. Least Sparetime Scheduler (LSS) is designed and implemented to improve the performance of hard realtime jobs in Hadoop. The spare time is estimated dynamically and the LSS updates the job priority of the job queue in realtime. Experimental results show that the LSS can improve the success ratio of the cluster dealing with hard realtime jobs.

Key words: Hadoop;realtime jobs;scheduling;spare time

杨浩，滕飞，李天瑞，李曌. Hadoop平台中空闲时间调度器的设计与实现[J]. J4, 2013, 35(10): 125-130.

YANG Hao，TENG Fei，LI Tianrui，LI Zhao. Design and implementation of
a least spare time scheduler for Hadoop [J]. J4, 2013, 35(10): 125-130.

[1]	李卫平1,2，武海燕2，杨杰1. 基于效益博弈的云计算资源动态可协调分配策略研究[J]. J4, 20160101, 38(01): 57-61.
[2]	徐嘉, 张骥先, 王喆民, 刘林杰. 基于NUMA云计算架构的多资源分配可信拍卖机制[J]. 计算机工程与科学, 2024, 46(05): 761-775.
[3]	马柯帆, 李宝峰, 周悦锦, 武园园, 余永兰, 多瑞华. 基于ZYNQ 芯片的基板管理控制器设计与实现[J]. 计算机工程与科学, 2024, 46(02): 217-223.
[4]	孙庆骁, 刘轶, 杨海龙, 王一晴, 贾婕, 栾钟治, 钱德沛. GNNSched：面向GPU的图神经网络推理任务调度框架[J]. 计算机工程与科学, 2024, 46(01): 1-11.
[5]	周小华, 王学志, 周园春, 孟珍, . 面向大区域碳卫星数据的分布式Kriging插值算法优化[J]. 计算机工程与科学, 2023, 45(11): 1911-1921.
[6]	林佳烁, 李伟超, 成剑, 詹双平, 冯景斌, 王涛, 黄倩怡, 唐博, 汪漪, . 时间敏感网络下的一种新型灵活门控机制[J]. 计算机工程与科学, 2023, 45(09): 1553-1562.
[7]	陈冬林, 马一帆, 邹安琪, . 基于可再生能源消纳的数据中心负荷调度研究综述[J]. 计算机工程与科学, 2023, 45(05): 790-801.
[8]	白耀文, 杜亚江, 李宗刚, . 基于多步长的多机器人分布式巡逻算法研究[J]. 计算机工程与科学, 2023, 45(02): 313-320.
[9]	温瑞林, 樊春, 马银萍 , 王政丹, 向广宇 , 付振新. SlurmX：基于Slurm使用面向对象设计方法重构的任务调度系统[J]. 计算机工程与科学, 2022, 44(09): 1532-1541.
[10]	孙浩男, 王飞, 魏迪, 尹万旺, 史俊达 . 一种面向大规模并发的Gatherv优化方法[J]. 计算机工程与科学, 2022, 44(09): 1542-1549.
[11]	朱正东, 吴寅超, 胡亚红, 蒋家强. 基于LSTM的集群用户作业执行时间预测模型[J]. 计算机工程与科学, 2022, 44(08): 1331-1341.
[12]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[13]	陈奉贤. 基于NR-Transformer的集群作业运行时间预测[J]. 计算机工程与科学, 2022, 44(07): 1181-1190.
[14]	杨柏蔼, 赵山, 刘芳. 无服务器计算技术研究综述[J]. 计算机工程与科学, 2022, 44(04): 611-619.
[15]	邵晶波, 王丹, 王岩, 张瑞雪. 一种部分流水的多塔三维SoC测试时间优化算法[J]. 计算机工程与科学, 2021, 43(11): 1934-1943.