基于训练数据动态分配的深度学习并行优化机制

计算机工程与科学

基于训练数据动态分配的深度学习并行优化机制

颜子杰，陈孟强，吴维刚

（中山大学数据科学与计算机学院，广东广州 510006）

收稿日期:2018-07-13 修回日期:2018-09-20 出版日期:2018-11-26 发布日期:2018-11-25
基金资助:
国家重点研发计划（2016YFB0200404）；国家自然科学基金（U1711263）

Deep learning parallel optimization mechanism

based on dynamic distribution of training data

YAN Zijie,CHEN Mengqiang,WU Weigang

(School of Data and Computer Science,Sun Yatsen University,Guangzhou 510006,China)

Received:2018-07-13 Revised:2018-09-20 Online:2018-11-26 Published:2018-11-25

摘要/Abstract

摘要：

基于MXNet框架，针对同步并行下参数同步耗时过长这一问题，提出了一种多机同步并行下的训练数据动态分配算法。基于计算节点的计算效率，每一次迭代后将动态调整节点需要处理的样本数据量。这样的机制使模型既能同步并行也降低了等待梯度更新的耗时。最后，利用天河二号超级计算机对此优化算法进行了对比实验，实验结果表明，所提出的优化机制达到了预期效果。

关键词: 深度学习, 数据分配, 同步并行, 并行训练, 超级计算

Abstract:

To solve the timeconsuming problem of collecting gradient updates under synchronous parallel training, we present a dynamic training data distribution algorithm under parallel synchronization of multiple machines. By calculating the computational efficiency of nodes, the amount of sample data that needs to be processed by nodes is dynamically assigned after each round of iteration. Such a mechanism allows the model to parallelize synchronously and reduce the waiting time it takes for gradient update. Finally, the mechanism is implemented via MXNet and evaluated at Tianhe2 supercomputers. Experimental results show that the proposed optimization mechanism achieves expected results.

Key words: deep learning, data assignment, synchronous parallel, parallel training, supercomputing

颜子杰，陈孟强，吴维刚. 基于训练数据动态分配的深度学习并行优化机制[J]. 计算机工程与科学.

YAN Zijie,CHEN Mengqiang,WU Weigang.

Deep learning parallel optimization mechanism

based on dynamic distribution of training data

[J]. Computer Engineering & Science.

[1]	尹春勇, 张小虎. 基于Transformer和Text-CNN的日志异常检测[J]. 计算机工程与科学, 2025, 47(03): 448-458.
[2]	徐雯, 于瓅. 基于迭代收缩阈值与深度学习的压缩感知图像重构网络[J]. 计算机工程与科学, 2025, 47(03): 485-493.
[3]	刘拥民, 许成, 黄浩, 张钱垒, 赵俊杰, . 基于SAE和WGAN的入侵检测方法研究[J]. 计算机工程与科学, 2025, 47(02): 256-264.
[4]	许天佑, 高光勇. 基于可逆生成对抗网络的鲁棒图像隐藏[J]. 计算机工程与科学, 2025, 47(02): 288-297.
[5]	吴玉虹, 王建. 基于Patches-CNN的模拟电路故障诊断[J]. 计算机工程与科学, 2025, 47(01): 35-44.
[6]	徐超, 阮荣耀, 陈勇, . 一种基于区块链的医疗数据审计方法[J]. 计算机工程与科学, 2025, 47(01): 95-106.
[7]	陈欣然, 刘宁, 闫中敏, 刘磊, 崔立真. 基于注意力指导的双粒度跨模态医学特征学习框架[J]. 计算机工程与科学, 2025, 47(01): 150-159.
[8]	罗婧, 叶志晟, 杨泽华, 傅天豪, 魏雄, 汪小林, 罗英伟, . 研发类GPU集群任务数据集的构建及分析[J]. 计算机工程与科学, 2024, 46(12): 2128-2137.
[9]	敬超, 闭玉申. 面向深度学习作业的干扰感知在线调度算法研究[J]. 计算机工程与科学, 2024, 46(12): 2138-2148.
[10]	黄山, 吴煜凡, 吕鹤轩, 段晓东, . 异构微差同步并行训练算法[J]. 计算机工程与科学, 2024, 46(11): 1949-1959.
[11]	陈磊, 梁正友, 孙宇, 蔡俊民. 多尺度特征融合的移动端单目深度估计研究[J]. 计算机工程与科学, 2024, 46(09): 1616-1524.
[12]	刘强, 李沐春, 伍晓洁, 王煜恒. S-JSMA：一种低扰动冗余的快速JSMA对抗样本生成方法[J]. 计算机工程与科学, 2024, 46(08): 1395-1402.
[13]	丁建平, 李卫军, 刘雪洋, 陈旭. 命名实体识别研究综述[J]. 计算机工程与科学, 2024, 46(07): 1296-1310.
[14]	胡昭华, 王长富, . 改进Faster R-CNN的遥感图像小目标检测算法[J]. 计算机工程与科学, 2024, 46(06): 1063-1071.
[15]	谭郁松, 王伟, 蹇松雷, 易超雄. 基于异常保持的弱监督学习网络入侵检测模型[J]. 计算机工程与科学, 2024, 46(05): 801-809.