基于Winograd稀疏算法的卷积神经网络加速器设计与研究

计算机工程与科学

基于Winograd稀疏算法的卷积神经网络加速器设计与研究

徐睿，马胜，郭阳，黄友，李艺煌

（国防科技大学计算机学院，湖南长沙 410073）

收稿日期:2018-12-11 修回日期:2019-04-08 出版日期:2019-09-25 发布日期:2019-09-25
基金资助:
国家自然科学基金（61672526）;国防科技大学科研项目（ZK17-03-06）

A convolutional neural network accelerator

based on Winograd-Sparse algorithm

XU Rui，MA Sheng，GUO Yang，HUANG You，LI Yi-huang

（School of Computer,National University of Defense Technology,Changsha 410073,China）

Received:2018-12-11 Revised:2019-04-08 Online:2019-09-25 Published:2019-09-25

摘要/Abstract

摘要：

随着卷积神经网络得到愈加广泛的应用，针对其复杂运算的定制硬件加速器得到越来越多的重视与研究。但是，目前定制硬件加速器多采用传统的卷积算法，并且缺乏对神经网络稀疏性的支持，从而丧失了进一步改进硬件，提升硬件性能的空间。重新设计一款卷积神经网络加速器，该加速器基于Winograd稀疏算法，该算法被证明有效降低了卷积神经网络的计算复杂性，并可以很好地适应稀疏神经网络。通过硬件实现该算法，本文的设计可以在减少硬件资源的同时，获得相当大的计算效率。实验表明，相比于传统算法，该加速器设计方案将运算速度提升了近4.15倍；从乘法器利用率的角度出发，相比现有的其他方案，该方案将利用率最多提高了近9倍。

关键词: 卷积神经网络, 加速器, Winograd算法, 稀疏网络

Abstract:

As convolutional neural networks are widely used, more researchers pay attention to customized hardware accelerators to solve the problem of complex computation. However, current hardware accelerators mostly use the traditional convolution algorithm. There is lack of support for sparse neural networks, and there is little improvement space for these accelerators from an algorithmic perspective. We redesign a convolutional neural network accelerator based on the Winograd-Sparse algorithm, and we prove that it can effectively reduce the computational complexity of convolutional neural networks and also well adapts to sparse neural networks. A combination of hardware and the algorithm can achieve considerable computational efficiency while reducing hardware resources. Experiments show that compared with the traditional algorithm, our accelerator can improve the computation speed by nearly 4.15 times. From the perspective of multiplier utilization, we have increase the utilization rate by up to 9 times in comparison with other existing designs

Key words: convolutional neural network, accelerator, Winograd algorithm, sparse network

徐睿，马胜，郭阳，黄友，李艺煌. 基于Winograd稀疏算法的卷积神经网络加速器设计与研究[J]. 计算机工程与科学.

XU Rui，MA Sheng，GUO Yang，HUANG You，LI Yi-huang.

A convolutional neural network accelerator

based on Winograd-Sparse algorithm

[J]. Computer Engineering & Science.

[1]	田红鹏, 吴璟玮. RIB-NER：基于跨度的中文命名实体识别模型[J]. 计算机工程与科学, 2024, 46(07): 1311-1320.
[2]	尹春勇, 赵峰. 基于双层注意力和深度自编码器的时间序列异常检测模型[J]. 计算机工程与科学, 2024, 46(05): 826-835.
[3]	马长林, 孙状. 基于实体知识的远程监督关系抽取[J]. 计算机工程与科学, 2024, 46(05): 945-950.
[4]	陈杰, 李程, 刘仲. 面向多核向量加速器的卷积神经网络推理和训练向量化方法[J]. 计算机工程与科学, 2024, 46(04): 580-589.
[5]	曹浩东, 汪海涛, 贺建峰. 融合序列局部信息的日期感知序列推荐算法[J]. 计算机工程与科学, 2024, 46(04): 734-742.
[6]	秦文强, 吴仲城, 张俊, 李芳, . 基于异构平台的卷积神经网络加速系统设计[J]. 计算机工程与科学, 2024, 46(01): 12-20.
[7]	周理, 赵祉乔, 潘国腾, 铁俊波, 赵王. 基于RISC-V的图卷积神经网络加速器设计[J]. 计算机工程与科学, 2023, 45(12): 2113-2120.
[8]	余子丞, 凌捷. 基于Transformer和多特征融合的DGA域名检测方法[J]. 计算机工程与科学, 2023, 45(08): 1416-1423.
[9]	刘俊奇, 涂文轩, 祝恩. 图卷积神经网络综述[J]. 计算机工程与科学, 2023, 45(08): 1472-1481.
[10]	易啸, 马胜, 肖侬. 深度学习加速器在不同剪枝策略下的运行优化[J]. 计算机工程与科学, 2023, 45(07): 1141-1148.
[11]	康宇晗, 时洋, 陈照云, 文梅. 面向迈创+MatrixZone异构系统的深度学习编程框架[J]. 计算机工程与科学, 2023, 45(07): 1149-1158.
[12]	崔克彬, 崔叶微. 基于卷积和Transformer的断路器动触头跟踪方法研究[J]. 计算机工程与科学, 2023, 45(07): 1236-1244.
[13]	刘晓航, 姜晶菲, 许金伟. 基于脉动阵列的层融合注意力模型加速器结构[J]. 计算机工程与科学, 2023, 45(05): 802-809.
[14]	排日旦·阿布都热依木, 吐尔地·托合提, 艾斯卡尔·艾木都拉, . 基于深度学习的实体关系抽取方法研究[J]. 计算机工程与科学, 2023, 45(05): 895-902.
[15]	董芃杉, 张晶, 金日泽. 基于双通道门控复合网络的中文产品评论情感分析[J]. 计算机工程与科学, 2023, 45(05): 911-919.