用户QoS感知的GPU集群深度学习任务动态调度

计算机工程与科学 ›› 2021, Vol. 43 ›› Issue (8): 1331-1340.

用户QoS感知的GPU集群深度学习任务动态调度

罗磊，陈照云，王俪璇

（国防科技大学计算机学院，湖南长沙 410073）

收稿日期:2020-06-09 修回日期:2020-09-23 出版日期:2021-08-25 发布日期:2021-08-24
基金资助:
国家自然科学基金（61872377）;国家重点研发计划(2018YFB0204301)

User QoS-aware deep learning task dynamic scheduling on GPU clusters

LUO Lei,CHEN Zhao-yun,WANG Li-xuan

（College of Computer Science and Technology,National University of Defense Technology,Changsha 410073,China）

Received:2020-06-09 Revised:2020-09-23 Online:2021-08-25 Published:2021-08-24

摘要/Abstract

摘要：

提出一种GPU集群下用户服务质量QoS感知的深度学习研发平台上的动态任务调度方法。采用离线评估模块对深度学习任务进行离线评测并构建计算性能预测模型。在线调度模块基于性能预测模型，结合任务的预期QoS，共同开展任务放置和任务执行顺序的调度。在一个分布式GPU集群实例上的实验表明，该方法相比其他基准策略能够实现更高的QoS保证率和集群资源利用率。

关键词: 深度学习, GPU集群, 任务调度, QoS

Abstract:

A QoS (Quality of Service)-aware deep learning task dynamic scheduling method on GPU clusters is proposed. The offline evaluation module is used to perform offline evaluation of deep learning tasks and build a computational performance prediction model. Based on the performance prediction model, combined with the expected QoS of the task, the online scheduling module carries out the scheduling of task placement and task execution sequence. Experiments on a distributed GPU cluster demonstrate that the proposed method can achieve higher QoS-guarantee percentage and cluster resource utilization than other baseline schedulers.

Key words: deep learning, GPU cluster, task scheduling；QoS

罗磊, 陈照云, 王俪璇. 用户QoS感知的GPU集群深度学习任务动态调度[J]. 计算机工程与科学, 2021, 43(8): 1331-1340.

LUO Lei, CHEN Zhao-yun, WANG Li-xuan. User QoS-aware deep learning task dynamic scheduling on GPU clusters[J]. Computer Engineering & Science, 2021, 43(8): 1331-1340.

[1]	罗婧, 叶志晟, 杨泽华, 傅天豪, 魏雄, 汪小林, 罗英伟, . 研发类GPU集群任务数据集的构建及分析[J]. 计算机工程与科学, 2024, 46(12): 2128-2137.
[2]	孙庆骁, 刘轶, 杨海龙, 王一晴, 贾婕, 栾钟治, 钱德沛. GNNSched：面向GPU的图神经网络推理任务调度框架[J]. 计算机工程与科学, 2024, 46(1): 1-11.
[3]	温瑞林, 樊春, 马银萍 , 王政丹, 向广宇 , 付振新. SlurmX：基于Slurm使用面向对象设计方法重构的任务调度系统[J]. 计算机工程与科学, 2022, 44(9): 1532-1541.
[4]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(7): 1141-1151.
[5]	杨坚伟, 孟敏, 黄家乐, 武继刚. 分布式训练异构任务调度算法研究[J]. 计算机工程与科学, 2021, 43(7): 1160-1167.
[6]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(7): 1173-1184.
[7]	邢红星, 魏叶华, 乐懿. 硬件成本缩减的异构分布式嵌入式系统调度算法[J]. 计算机工程与科学, 2021, 43(2): 258-265.
[8]	胡亚红1，盛夏2，毛家发1. 资源不均衡Spark环境任务调度优化算法研究[J]. 计算机工程与科学, 2020, 42(02): 203-209.
[9]	朱永超1，周川1，崔玉伟2，郭健1，吴益飞1. 基于模拟退火算法的改进主/副版本调度算法[J]. 计算机工程与科学, 2019, 41(09): 1534-1540.
[10]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.
[11]	吉慧，周磊. 面向温度优化的片上网络任务调度方法[J]. 计算机工程与科学, 2018, 40(09): 1527-1533.
[12]	童钊1,2，陈洪剑1,2，陈明1,2，梅晶1,2，刘宏1,2. 一种云环境下基于混合型BBO的任务调度算法[J]. 计算机工程与科学, 2018, 40(05): 765-772.
[13]	贺智明，刘敏. 云环境下基于偏好的资源公平分配策略[J]. 计算机工程与科学, 2017, 39(11): 1991-1999.
[14]	莫文导1，利业鞑2，温昂展3，林伟伟3. 面向移动设备的温度感知的任务调度算法[J]. 计算机工程与科学, 2017, 39(04): 627-633.
[15]	郭会云1,2，房俊1,2，李冬1,2. 基于负载均衡的多源流数据实时存储系统[J]. 计算机工程与科学, 2017, 39(04): 641-647.