基于训练数据动态分配的深度学习并行优化机制

计算机工程与科学

基于训练数据动态分配的深度学习并行优化机制

颜子杰，陈孟强，吴维刚

（中山大学数据科学与计算机学院，广东广州 510006）

收稿日期:2018-07-13 修回日期:2018-09-20 出版日期:2018-11-26 发布日期:2018-11-25
基金资助:
国家重点研发计划（2016YFB0200404）；国家自然科学基金（U1711263）

Deep learning parallel optimization mechanism

based on dynamic distribution of training data

YAN Zijie,CHEN Mengqiang,WU Weigang

(School of Data and Computer Science,Sun Yatsen University,Guangzhou 510006,China)

Received:2018-07-13 Revised:2018-09-20 Online:2018-11-26 Published:2018-11-25

摘要/Abstract

摘要：

基于MXNet框架，针对同步并行下参数同步耗时过长这一问题，提出了一种多机同步并行下的训练数据动态分配算法。基于计算节点的计算效率，每一次迭代后将动态调整节点需要处理的样本数据量。这样的机制使模型既能同步并行也降低了等待梯度更新的耗时。最后，利用天河二号超级计算机对此优化算法进行了对比实验，实验结果表明，所提出的优化机制达到了预期效果。

关键词: 深度学习, 数据分配, 同步并行, 并行训练, 超级计算

Abstract:

To solve the timeconsuming problem of collecting gradient updates under synchronous parallel training, we present a dynamic training data distribution algorithm under parallel synchronization of multiple machines. By calculating the computational efficiency of nodes, the amount of sample data that needs to be processed by nodes is dynamically assigned after each round of iteration. Such a mechanism allows the model to parallelize synchronously and reduce the waiting time it takes for gradient update. Finally, the mechanism is implemented via MXNet and evaluated at Tianhe2 supercomputers. Experimental results show that the proposed optimization mechanism achieves expected results.

Key words: deep learning, data assignment, synchronous parallel, parallel training, supercomputing

颜子杰，陈孟强，吴维刚. 基于训练数据动态分配的深度学习并行优化机制[J]. 计算机工程与科学.

YAN Zijie,CHEN Mengqiang,WU Weigang.

Deep learning parallel optimization mechanism

based on dynamic distribution of training data

[J]. Computer Engineering & Science.

[1]	罗婧, 叶志晟, 杨泽华, 傅天豪, 魏雄, 汪小林, 罗英伟, . 研发类GPU集群任务数据集的构建及分析[J]. 计算机工程与科学, 2024, 46(12): 2128-2137.
[2]	敬超, 闭玉申. 面向深度学习作业的干扰感知在线调度算法研究[J]. 计算机工程与科学, 2024, 46(12): 2138-2148.
[3]	黄山, 吴煜凡, 吕鹤轩, 段晓东, . 异构微差同步并行训练算法[J]. 计算机工程与科学, 2024, 46(11): 1949-1959.
[4]	陈磊, 梁正友, 孙宇, 蔡俊民. 多尺度特征融合的移动端单目深度估计研究[J]. 计算机工程与科学, 2024, 46(09): 1616-1524.
[5]	刘强, 李沐春, 伍晓洁, 王煜恒. S-JSMA：一种低扰动冗余的快速JSMA对抗样本生成方法[J]. 计算机工程与科学, 2024, 46(08): 1395-1402.
[6]	丁建平, 李卫军, 刘雪洋, 陈旭. 命名实体识别研究综述[J]. 计算机工程与科学, 2024, 46(07): 1296-1310.
[7]	胡昭华, 王长富, . 改进Faster R-CNN的遥感图像小目标检测算法[J]. 计算机工程与科学, 2024, 46(06): 1063-1071.
[8]	谭郁松, 王伟, 蹇松雷, 易超雄. 基于异常保持的弱监督学习网络入侵检测模型[J]. 计算机工程与科学, 2024, 46(05): 801-809.
[9]	高珊, 李世杰, 蔡志平. 基于深度学习的中文文本分类综述[J]. 计算机工程与科学, 2024, 46(04): 684-692.
[10]	罗月童, 李超, 周波, 张延孔. 面向工业缺陷分类的交互式易混淆缺陷分离方法研究[J]. 计算机工程与科学, 2024, 46(03): 463-470.
[11]	吕伏, 韩晓天, 冯永安, 项梁. 基于自适应纹理特征融合的纹理图像分类方法[J]. 计算机工程与科学, 2024, 46(03): 488-498.
[12]	吉旭瑞, 魏德健, 张俊忠, 张帅, 曹慧. 中文电子病历信息提取方法研究综述[J]. 计算机工程与科学, 2024, 46(02): 325-337.
[13]	黄泽彪, 董德尊, 齐星云. Gloo+：利用在网计算技术加速分布式深度学习训练[J]. 计算机工程与科学, 2024, 46(01): 28-36.
[14]	邱晓梦, 王琳, 谷文俊, 宋伟, 田浩来, 胡誉. 光流法修正的时序图像语义分割模型[J]. 计算机工程与科学, 2024, 46(01): 102-110.
[15]	崔浩, 万亚平, 钟华, 聂明星, 肖杨. 基于LoRa设备的人体活动识别研究[J]. 计算机工程与科学, 2024, 46(01): 111-121.