资源不均衡Spark环境任务调度优化算法研究

计算机工程与科学

资源不均衡Spark环境任务调度优化算法研究

胡亚红1，盛夏2，毛家发1

(1.浙江工业大学计算机学院,浙江杭州 310023;2.宁波银行股份有限公司,浙江宁波 315100)

收稿日期:2019-08-15 修回日期:2019-11-04 出版日期:2020-02-25 发布日期:2020-02-25
基金资助:
国家重点研发计划(2018YFB0204003)

Task scheduling optimization in Spark

environment with unbalanced resources

HU Ya-hong1,SHENG Xia2,Mao Jia-fa1

(1.College of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023;

2.Bank of Ningbo,Ningbo 315100,China)

Received:2019-08-15 Revised:2019-11-04 Online:2020-02-25 Published:2020-02-25

摘要/Abstract

摘要：

由于硬件资源的更新换代，集群中各个节点的计算能力会变得不一致。集群异构的出现导致集群计算资源不均衡。目前Spark大数据平台在任务调度时未考虑集群的异构性以及节点资源的利用情况，影响了系统性能的发挥。构建了集群节点的评价指标体系，提出利用节点的优先级来表示其计算能力。提出的节点优先级调整算法能够根据任务执行过程中节点的状态动态调整各个节点的优先级。基于节点优先级的Spark动态自适应调度算法（SDASA）则根据实时的节点优先级值完成任务的分配。实验表明，SDASA能够缩短任务在集群中的执行时间，从而提升集群整体计算性能。

关键词: 异构集群, 任务调度, 节点优先级, Spark

Abstract:

Due to the updating of hardware resources, the computing capacity of nodes in a cluster becomes inconsistent. The emergence of cluster heterogeneity leads to the imbalance of cluster computing resources. At present, Spark big data platforms does not consider the cluster heterogeneity and the node resource utilization in task scheduling, which affects the system performance. This paper constructs a performance evaluation index system of cluster nodes, and proposes to use the priority of nodes to express their computing capacity. The proposed node priority adjustment algorithm can dynamically adjust the priority of each node according to the status of the node during task execution. The Spark Dynamic Adaptive Scheduling Algorithm (SDASA) based on node priority completes task assignment according to the real-time node priority. Experiments show that SDASA can shorten the execution time of tasks in the cluster and improve the overall computing performance of the cluster.

Key words: heterogeneous cluster, task scheduling, node priority, Spark

胡亚红1，盛夏2，毛家发1. 资源不均衡Spark环境任务调度优化算法研究[J]. 计算机工程与科学.

HU Ya-hong1,SHENG Xia2,Mao Jia-fa1.

Task scheduling optimization in Spark

environment with unbalanced resources

[J]. Computer Engineering & Science.

[1]	陈侨安1，李峰1，曹越1，龙明盛1,2. 基于运行数据分析的Spark任务参数优化[J]. J4, 20160101, 38(01): 11-19.
[2]	孙庆骁, 刘轶, 杨海龙, 王一晴, 贾婕, 栾钟治, 钱德沛. GNNSched：面向GPU的图神经网络推理任务调度框架[J]. 计算机工程与科学, 2024, 46(01): 1-11.
[3]	王星苏, 熊文, 张瑞. 海量地铁乘客轨迹相似性连接方法：以深圳地铁为例[J]. 计算机工程与科学, 2023, 45(08): 1383-1392.
[4]	胡艳芳, 熊文, 高炜. 基于 Spark 平台的网络游戏用户流失预测方法[J]. 计算机工程与科学, 2022, 44(10): 1730-1737.
[5]	温瑞林, 樊春, 马银萍 , 王政丹, 向广宇 , 付振新. SlurmX：基于Slurm使用面向对象设计方法重构的任务调度系统[J]. 计算机工程与科学, 2022, 44(09): 1532-1541.
[6]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[7]	卞琛, 修位蓉, 于炯. 异构Spark集群数据倾斜修正调度策略[J]. 计算机工程与科学, 2022, 44(04): 620-630.
[8]	罗磊, 陈照云, 王俪璇. 用户QoS感知的GPU集群深度学习任务动态调度[J]. 计算机工程与科学, 2021, 43(08): 1331-1340.
[9]	杨坚伟, 孟敏, 黄家乐, 武继刚. 分布式训练异构任务调度算法研究[J]. 计算机工程与科学, 2021, 43(07): 1160-1167.
[10]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(07): 1173-1184.
[11]	邢红星, 魏叶华, 乐懿. 硬件成本缩减的异构分布式嵌入式系统调度算法[J]. 计算机工程与科学, 2021, 43(02): 258-265.
[12]	胡亚红1,王一洲2,毛家发1. 基于PageRank和基准测试的异构集群节点性能评价算法研究[J]. 计算机工程与科学, 2020, 42(03): 391-396.
[13]	何登平1，2，3，何宗浩1,2，李培强1,2. 基于Spark的并行化高效用项集挖掘算法[J]. 计算机工程与科学, 2019, 41(10): 1723-1730.
[14]	朱永超1，周川1，崔玉伟2，郭健1，吴益飞1. 基于模拟退火算法的改进主/副版本调度算法[J]. 计算机工程与科学, 2019, 41(09): 1534-1540.
[15]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.