云计算环境下基于关联量的数据部署与任务调度

J4 ›› 2013, Vol. 35 ›› Issue (8): 1-7.

• 论文 • 下一篇

云计算环境下基于关联量的数据部署与任务调度

郭力争1,2，赵曙光1，姜长远1

（1. 东华大学信息学院，上海 201620；2.河南城建学院计算机科学与工程系，河南平顶山 467036）

收稿日期:2012-10-29 修回日期:2013-01-07 出版日期:2013-08-25 发布日期:2013-08-25
基金资助:
国家自然科学基金资助项目（70971020）；河南省教育厅科学技术研究重点项目（12A520006）

Data placement and task scheduling based on
associated amount in cloud computing

GUO Lizheng1,2,ZHAO Shuguang1,JIANG Changyuan1

(1.College of Information Science and Technology,Donghua University,Shanghai 201620；
2.Department of Computer Science and Engineering,Henan University of Urban Construction,Pingdingshan 467036,China)

Received:2012-10-29 Revised:2013-01-07 Online:2013-08-25 Published:2013-08-25

摘要/Abstract

摘要：

科学工作流处理的问题复杂，依赖于集群或网格平台，云计算的出现为科学工作流又提供了一个可供选择的平台；云计算环境下数据密集型应用的科学工作流处理和传输的数据量巨大，减少数据中心不同集群间数据的传输次数和传输量是个挑战性的问题。科学工作流要处理的数据间存在依赖关系，基于数据间的依赖关系最大关联量建立关联矩阵，通过键能算法对关联矩阵进行聚类，把最大相关的数据聚集到一起，然后通过K分割方法，把聚类矩阵分割为k个部分，每个部分部署到数据中心相关的集群里。仿真结果表明，本方法能有效地减少数据中心不同集群间数据的移动次数和移动量。

关键词: 云计算, 关联量, 键能算法, 数据部署, 任务调度

Abstract:

In scientific workflows, cluster or grid platform is used to deal with complex problems, and the emergence of cloud computing offers an alternative. The transferred data are huge in the dataintensive scientific workflows in cloud computing. Reducing the count and amount of the data transfers between different clusters in a datacenter is a challenging problem. There exists dependency in data of the scientific workflow. Firstly, a relational matrix is built based on the associate amount. Secondly, the relational matrix is clustered using bond energy algorithm. Thirdly, the clustered matrix is partitioned to k parts and each part is deployed to corresponding clusters in the datacenter. The simulation results show that the proposed method reduces the count and amount of the data transfers between clusters in a datacenter.

Key words: cloud computing;associated amount;bond energy algorithm;data placement;task scheduling

郭力争1,2，赵曙光1，姜长远1. 云计算环境下基于关联量的数据部署与任务调度[J]. J4, 2013, 35(8): 1-7.

GUO Lizheng1,2,ZHAO Shuguang1,JIANG Changyuan1. Data placement and task scheduling based on
associated amount in cloud computing[J]. J4, 2013, 35(8): 1-7.

[1]	李卫平1,2，武海燕2，杨杰1. 基于效益博弈的云计算资源动态可协调分配策略研究[J]. J4, 20160101, 38(01): 57-61.
[2]	徐嘉, 张骥先, 王喆民, 刘林杰. 基于NUMA云计算架构的多资源分配可信拍卖机制[J]. 计算机工程与科学, 2024, 46(05): 761-775.
[3]	马柯帆, 李宝峰, 周悦锦, 武园园, 余永兰, 多瑞华. 基于ZYNQ 芯片的基板管理控制器设计与实现[J]. 计算机工程与科学, 2024, 46(02): 217-223.
[4]	孙庆骁, 刘轶, 杨海龙, 王一晴, 贾婕, 栾钟治, 钱德沛. GNNSched：面向GPU的图神经网络推理任务调度框架[J]. 计算机工程与科学, 2024, 46(01): 1-11.
[5]	温瑞林, 樊春, 马银萍 , 王政丹, 向广宇 , 付振新. SlurmX：基于Slurm使用面向对象设计方法重构的任务调度系统[J]. 计算机工程与科学, 2022, 44(09): 1532-1541.
[6]	李文佳, 史岚, 季航旭, 罗意彭. 面向Flink的负载均衡任务调度算法的研究与实现[J]. 计算机工程与科学, 2022, 44(07): 1141-1151.
[7]	杨柏蔼, 赵山, 刘芳. 无服务器计算技术研究综述[J]. 计算机工程与科学, 2022, 44(04): 611-619.
[8]	罗磊, 陈照云, 王俪璇. 用户QoS感知的GPU集群深度学习任务动态调度[J]. 计算机工程与科学, 2021, 43(08): 1331-1340.
[9]	杨坚伟, 孟敏, 黄家乐, 武继刚. 分布式训练异构任务调度算法研究[J]. 计算机工程与科学, 2021, 43(07): 1160-1167.
[10]	黄山, 房六一, 徐浩桐, 段晓东, . 面向容器环境的Flink的任务调度优化研究[J]. 计算机工程与科学, 2021, 43(07): 1173-1184.
[11]	李波, 侯鹏, 牛力, 武浩, 丁洪伟. 基于软件定义网络的云边协同架构研究综述[J]. 计算机工程与科学, 2021, 43(02): 242-257.
[12]	邢红星, 魏叶华, 乐懿. 硬件成本缩减的异构分布式嵌入式系统调度算法[J]. 计算机工程与科学, 2021, 43(02): 258-265.
[13]	廖建锦, 孙庆骁, 杨海龙, 栾钟治, 钱德沛. 满足工作流执行时限的可抢占虚拟机实例配置和调度方法研究[J]. 计算机工程与科学, 2020, 42(11): 1956-1964.
[14]	林涛, 冯竞凯, 郝章肖, 黄少群. 基于组合预测模型的云计算资源负载预测研究[J]. 计算机工程与科学, 2020, 42(07): 1168-1173.
[15]	胡亚红1，盛夏2，毛家发1. 资源不均衡Spark环境任务调度优化算法研究[J]. 计算机工程与科学, 2020, 42(02): 203-209.

云计算环境下基于关联量的数据部署与任务调度

Data placement and task scheduling based on
associated amount in cloud computing

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价

云计算环境下基于关联量的数据部署与任务调度

Data placement and task scheduling based on associated amount in cloud computing

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价

Data placement and task scheduling based on
associated amount in cloud computing