一种基于Spark在线Web服务的高效低延迟调度资源算法

计算机工程与科学

一种基于Spark在线Web服务的高效低延迟调度资源算法

丁晶晶，张功萱

（南京理工大学计算机科学与工程学院,江苏南京 210094）

收稿日期:2016-04-15 修回日期:2016-06-11 出版日期:2016-08-25 发布日期:2016-08-25
基金资助:
国家自然科学基金（61272420）

A high efficient and low-latency resource scheduling method for Spark on Web service

DING Jing-jing，ZHANG Gong-xuan

(School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094,China)

Received:2016-04-15 Revised:2016-06-11 Online:2016-08-25 Published:2016-08-25

摘要/Abstract

摘要：

Spark作为流行的分布式数据处理框架，其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度。针对Spark资源调度问题，在Spark自身考虑的资源因素内存和空余核数下，提出新的调度算法。算法通过实时监视工作节点资源利用情况，增加对节点CPU处理速度和CPU剩余利用率的考虑，重新调度与分配资源，为Spark作为Web服务高并发请求、低延迟响应提供优化，还可以减少传统方式没有考虑的资源因素导致出现的资源利用倾斜现象，提高资源的利用率。实验表明，改进的资源调度算法有较好的效果。

关键词: Spark, Web服务, 资源监视, 资源调度

Abstract:

The processing speed of Spark which is a big data processing structure is highly influenced by resource scheduling modes and whether we can utilize the resource sufficiently. Taking memories and the number of free cores into consideration, we propose a new scalable resource scheduling method. In this method, we monitor the resource utilization of nodes in real time and examine CPU processing speed and CPU residual utilization. This method can be used to optimize Spark Web service so as to meet the requirements of high concurrent request and low latency response and efficiently reduce the imbalance of resource utilization, thus improving resource utilization. Experimental results show that our method can obtain better results.

Key words: Spark, Web service, resource monitoring, resource scheduling

丁晶晶，张功萱. 一种基于Spark在线Web服务的高效低延迟调度资源算法[J]. 计算机工程与科学.

DING Jing-jing，ZHANG Gong-xuan. A high efficient and low-latency resource scheduling method for Spark on Web service [J]. Computer Engineering & Science.

参考文献

［1］Shi Heng-liang.Task scheduling of cloud computing［D］.Nanjing:Nanjing University of Science and Technology,2012.(in Chinese)
［2］Wieczorek M, Hoheisel A, Prodan R. Towards a general model of the multi-criteria workflow scheduling on the grid［J］. Future Generation Computer Systems,2009,25(3):237-256.
［3］Ma Dan. Inter task dependency based parallel job scheduling algorithm［D］. Wuhan:Huazhong University of Science and Technology,2007.(in Chinese)
［4］Liang Qing-zhong. Multi-objective task scheduling algorithm based on hybrid cloud platform［D］. Wuhan:China University of Geosciences,2015.(in Chinese)
［5］Chen H,Wang F Z. Spark on entropy: A reliable & efficient scheduler for low-latency parallel jobs in heterogeneous cloud［C］∥Proc of IEEE International Workshop on Cloud-based Networks and Applications(CloudNA 2015), 2015:708-713.
［6］Tang S,Lee B S,He B. Fair resource allocation for data-intensive computing in the cloud［J］. IEEE Transactions on Services Computing,2016,99(1):1-1.
［7］Chen H, Wang F, Na H. A cost-efficient and reliable resource allocation model based on cellular automaton entropy for cloud project scheduling［J］. International Journal of Advanced Computer Science & Applications,2013,4(4):7-14.
［8］Feng Lin. Implementation of memory optimization in cluster computing engine Spark［D］. Beijing:Tsinghua University,2013.(in Chinese)
［9］Marcel K,Erickson J. Cloudera impala: Real time queries in apache hadoop,for real［EB/OL］.［2012-11-13］.http://blog.cloudera.com/blog/2012/10/cloudera-impala-real-time-queries-in-apachehadoop-for-real.
［10］Topcuoglu H,Hariri S,Wu M Y. Performance-effective and low-complexity task scheduling for heterogeneous computing［J］. IEEE Transactions on Parallel & Distributed Systems,2002,13(3):260-274.
［11］Chua L O. Local activity is the origin of complexity［J］. International Journal of Bifurcation & Chaos,2011,15(11):3435-3456.
［12］Botón-Fernández M, Castrillo F P, Vega-Rodríguez M A. Nature-inspired algorithms applied to an efficient and self-adaptive resources selection model for grid applications［C］∥Proc of the 1st International Conference on Theory and Practice of Natural Computing, 2012:84-96.
［13］Trilles S,Schade S,scar Belmonte,et al. Real-time anomaly detection from environmental data streams［M］∥Lecture Notes in Geoinformation and Cartography. Switzerland:Springer International Publishing, 2015:125-144.
附中文参考文献：
［1］史恒亮. 云计算任务调度研究［D］. 南京:南京理工大学,2012.
［3］马丹. 任务间相互依赖的并行作业调度算法研究［D］. 武汉：华中科技大学,2007.
［4］梁庆中. 混合云平台上多目标任务调度算法研究［D］. 武汉：中国地质大学,2015.
［8］冯琳. 集群计算引擎Spark中的内存优化研究与实现［D］.北京：清华大学,2013.

[1]	陈侨安1，李峰1，曹越1，龙明盛1,2. 基于运行数据分析的Spark任务参数优化[J]. J4, 20160101, 38(01): 11-19.
[2]	王星苏, 熊文, 张瑞. 海量地铁乘客轨迹相似性连接方法：以深圳地铁为例[J]. 计算机工程与科学, 2023, 45(08): 1383-1392.
[3]	胡艳芳, 熊文, 高炜. 基于 Spark 平台的网络游戏用户流失预测方法[J]. 计算机工程与科学, 2022, 44(10): 1730-1737.
[4]	卞琛, 修位蓉, 于炯. 异构Spark集群数据倾斜修正调度策略[J]. 计算机工程与科学, 2022, 44(04): 620-630.
[5]	胡亚红1，盛夏2，毛家发1. 资源不均衡Spark环境任务调度优化算法研究[J]. 计算机工程与科学, 2020, 42(02): 203-209.
[6]	周碧莹1，王爱平1，费长江2，虞万荣2，赵宝康2. 基于强化学习的卫星网络资源调度机制[J]. 计算机工程与科学, 2019, 41(12): 2134-2142.
[7]	史文杰，詹雨奇，李奎. 一种面向多平台航电资源建模及其调度算法[J]. 计算机工程与科学, 2019, 41(11): 1976-1984.
[8]	何登平1，2，3，何宗浩1,2，李培强1,2. 基于Spark的并行化高效用项集挖掘算法[J]. 计算机工程与科学, 2019, 41(10): 1723-1730.
[9]	刘婷1,2,杨秋翔1. 基于混沌机制与Levy变异烟花算法的服务组合优化[J]. 计算机工程与科学, 2019, 41(09): 1618-1626.
[10]	何娟娟1,刘冬梅1,朱鸿2,杜益宁1,周子健1,郑小宇1. 面向Web服务测试的单线执行序列生成方法[J]. 计算机工程与科学, 2019, 41(06): 1034-1043.
[11]	杨杰超，许江淳，岳秋燕，曾德斌，陆万荣. 基于SPARK与随机森林的短信诈骗用户识别研究[J]. 计算机工程与科学, 2019, 41(06): 1136-1144.
[12]	杨广明，张涛，TRUONG Thanhtung，王瑞，马连博. 基于Spark的并行化头脑风暴优化算法及复杂多峰函数优化[J]. 计算机工程与科学, 2019, 41(03): 393-399.
[13]	龚文聪1，袁景凌1,2，陈旻骋1，向尧1,赵子康1. 基于用户体验延迟的QoE层次评估模型[J]. 计算机工程与科学, 2019, 41(03): 479-484.
[14]	齐平1,2,王福成1,王必晴1,梁昌勇2. 云计算环境下基于可靠性感知的任务调度算法[J]. 计算机工程与科学, 2018, 40(11): 1925-1935.
[15]	陈婷1,2,刘建勋1,2,曹步清1,2,李润2. 基于BTM主题模型的Web服务聚类方法研究[J]. 计算机工程与科学, 2018, 40(10): 1737-1745.