面向CPU-GPU异构系统的数据分析负载均衡策略

计算机工程与科学

面向CPU-GPU异构系统的数据分析负载均衡策略

孙婷婷，黄皓，王嘉伦，翁楚良

（华东师范大学数据科学与工程学院,上海 200062）

收稿日期:2018-09-03 修回日期:2018-11-08 出版日期:2019-03-25 发布日期:2019-03-25
基金资助:
国家重点研发计划（2018YFB1003400）

A load balancing strategy on heterogeneous

CPU-GPU data analytic systems

SUN Tingting，HUANG Hao，WANG Jialun，WENG Chuliang

（School of Data Science and Engineering,East China Normal University,Shanghai 200062,China）

Received:2018-09-03 Revised:2018-11-08 Online:2019-03-25 Published:2019-03-25

摘要/Abstract

摘要：

应用于高性能计算领域的通用GPU拥有强大的并行计算能力，以通用GPU作为主处理器的数据分析系统相较于传统数据库能够提供更好的性能。在大数据场景下，如何根据CPU和GPU的资源在处理器之间合理分配工作负载是亟待解决的问题。提出了一种CPUGPU异构数据分析系统上的负载均衡处理策略。该策略采用流水线模型将工作负载分解，基于流水线设计了负载均衡模型，将工作负载合理分配至异构处理器，减少系统总执行时间开销，实现了性能提升。实验结果表明，提出的基于流水线的负载均衡模型能适应不同查询请求下的不同数据量场景，具有良好的性能。

关键词: GPU, 异构负载均衡, 流水线并行, 数据分析处理

Abstract:

With strong parallel computation power, GPU-based data analytic systems can achieve better performance than traditional CPU-based data analytic systems. However, how to leverage the resources of CPU and GPU to dispatch workloads appropriately in massive data scenarios remains to be solved. We propose a load balancing strategy on heterogeneous CPU-GPU data analytic systems. It adopts a pipeline model to split workloads, and a load balancing model based on pipeline is proposed to dispatch workloads to heterogeneous processors reasonably and appropriately, which reduces the total execution time of the system and enhances the performance. Experimental results show that the load balancing model based on pipeline is suitable for various queries with different dataset volumes and has great performance.

Key words: GPU, heterogeneous workload balancing, pipeline parallelism, data analytics and processing

孙婷婷，黄皓，王嘉伦，翁楚良. 面向CPU-GPU异构系统的数据分析负载均衡策略[J]. 计算机工程与科学.

SUN Tingting，HUANG Hao，WANG Jialun，WENG ChuliangSUN Tingting，HUANG Hao，WANG Jialun，WENG Chuliang.

A load balancing strategy on heterogeneous

CPU-GPU data analytic systems

[J]. Computer Engineering & Science.

[1]	王宇华, 何俊飞, 张宇琪, 徐悦竹, 崔环宇. DRM:基于迭代归并策略的GPU并行SpMV存储格式[J]. 计算机工程与科学, 2024, 46(03): 381-394.
[2]	张勇, 张曦, 万云博, 何先耀, 赵钟, 卢宇彤. 非结构有限体积CFD计算的网格重排序优化[J]. 计算机工程与科学, 2022, 44(10): 1721-1729.
[3]	朱浩, 周博洋, 卢雪山, 杜溢墨. OpenCL计算软件栈评估[J]. 计算机工程与科学, 2021, 43(12): 2105-2114.
[4]	罗磊, 陈照云, 王俪璇. 用户QoS感知的GPU集群深度学习任务动态调度[J]. 计算机工程与科学, 2021, 43(08): 1331-1340.
[5]	龚昊, 刘莹, 冯建周, 赵仁良, 冷佳旭, . 基于GPU加速的脉冲多普勒雷达信号处理[J]. 计算机工程与科学, 2021, 43(07): 1141-1149.
[6]	孙兆鹏, 周宽久. 基于PCIe的高性能FPGA-GPU-CPU异构编程架构[J]. 计算机工程与科学, 2021, 43(04): 641-651.
[7]	魏金晖, 李晨, 鲁建壮. 多GPU系统虚实地址转换架构研究[J]. 计算机工程与科学, 2021, 43(02): 228-234.
[8]	张亮, 常旭, 秦志楷, 沈立. 量子线路模拟器QuEST在多GPU平台上的性能优化[J]. 计算机工程与科学, 2021, 43(01): 17-23.
[9]	李荣春，周鑫，潘衡岳，牛新，高蕾，窦勇. 基于GPU的并行Turbo乘积码译码器[J]. 计算机工程与科学, 2020, 42(05): 761-769.
[10]	徐频捷1,2，王诲喆1,2，李策3，唐丹1，赵地1. 基于脉冲神经网络与移动GPU计算的图像分类算法研究与实现[J]. 计算机工程与科学, 2020, 42(03): 397-403.
[11]	左宪禹1,2，张哲1,5，黄祥志4,5，葛强1,2，张理涛3，臧文乾4,5. 一种适用于GPU图像处理算法的合并存储结构[J]. 计算机工程与科学, 2020, 42(02): 197-202.
[12]	安婷玉1，郭宝宝2. 基于国产软硬件的OpenCL计算平台研究[J]. 计算机工程与科学, 2019, 41(11): 1919-1923.
[13]	沈立，杨耀华，王志英. 通过部分Warp重组消除GPGPU控制流的不一致性[J]. 计算机工程与科学, 2019, 41(08): 1335-1342.
[14]	张诗情，杨耀华，沈立，王志英. 通过部分页迁移实现CPU-GPU高效透明的数据通信[J]. 计算机工程与科学, 2019, 41(07): 1168-1175.
[15]	王湘新1，时洋2，文梅2. CNN卷积计算在移动GPU上的加速研究[J]. 计算机工程与科学, 2018, 40(01): 34-39.