基于像素注意力的双通道立体匹配网络

计算机工程与科学

基于像素注意力的双通道立体匹配网络

桑海伟1,3，徐孩2，熊伟程1，左羽1，赵勇1,2

（1.贵州师范学院数学与大数据学院,贵州贵阳 550018；2.北京大学深圳研究生院信息工程学院，广东深圳 518055；

3.贵州大学计算机科学与技术学院，贵州贵阳 550025）

收稿日期:2019-09-02 修回日期:2019-11-01 出版日期:2020-05-25 发布日期:2020-05-25
基金资助:
国家自然科学基金（61771321）；贵州省科技计划项目（黔科合支撑［2019］239号，黔科合基础［2019］1250号）；贵州省第四批千人创新创业人才；深圳科技计划科研布局项目（JCYJ201605066172651253）

Pixel attention based siamese convolution

neural network for stereo matching

SANG Hai-wei1,3,XU Hai2,XIONG Wei-cheng1,ZUO Yu1,ZHAO Yong1,2

(1．School of Mathematics and Big Data,Guizhou Education University,Guiyang 550018;

2.School of Electronic and Computer Engineering,Shenzhen Graduate School,Peking University,Shenzhen 518055;

3.College of Computer Science and Technology,Guizhou University,Guiyang 550025，China)

Received:2019-09-02 Revised:2019-11-01 Online:2020-05-25 Published:2020-05-25

摘要/Abstract

摘要：

针对现有立体匹配算法在弱纹理、重复纹理、反射表面等病态区域误匹配率高的问题，提出一种基于像素注意力的双通道立体匹配卷积神经网络PASNet，该网络包括双通道注意力沙漏型子网络和注意力U型子网络。首先，通过双通道注意力沙漏型子网络提取输入图像的特征图；其次，通过关联层得到特征图的代价矩阵；最后，利用注意力U型子网络对代价矩阵进行代价聚合，输出视差图。在KITTI数据集上的实验结果表明，所提出的网络能有效解决病态区域误匹配率高等问题，提升立体匹配精度。

关键词: 立体匹配, 像素注意力, 沙漏型子网络, U型子网络, 双通道

Abstract:

Aiming at the problem that the existing stereo matching algorithm has high mismatch rate in ill-posed regions such as weak texture, repeated texture and reflective surface, a new pixel attention siamese neural network is proposed. Our method consists of siamese attention hourglass subnetwork and attention U-shaped subnetwork . Firstly, the feature map of the input image is extracted by the siamese attention hourglass subnetwork. Secondly, the cost matrix of the feature graph is obtained through the correlation layer. Finally, the cost matrix is aggregated by the attention U-shaped subnetwork, and the disparity map is output. Experiments on the KITTI dataset demonstrate that the proposed algorithm can effectively solve the ill-posed problem and improve the stereo matching accuracy.

Key words: stereo matching, pixel attention, hourglass subnet, U-shaped subnet, siamese

桑海伟1,3，徐孩2，熊伟程1，左羽1，赵勇1,2. 基于像素注意力的双通道立体匹配网络[J]. 计算机工程与科学.

SANG Hai-wei1,3,XU Hai2,XIONG Wei-cheng1,ZUO Yu1,ZHAO Yong1,2.

Pixel attention based siamese convolution

neural network for stereo matching

[J]. Computer Engineering & Science.

[1]	郭盼盼, 陈梦雪, 梁祖达, 马晓畅, 许邦建. 面向FT-M7002平台点积算法的优化实现[J]. 计算机工程与科学, 2022, 44(11): 1909-1917.
[2]	欧永东，谢小鹏. 基于改进Census变换的多特性立体匹配算法[J]. 计算机工程与科学, 2020, 42(06): 1030-1036.
[3]	柴钰，曹小京，刘杰. 基于改进绝对差值代价和动态窗口的立体匹配算法[J]. 计算机工程与科学, 2019, 41(10): 1809-1815.
[4]	郭鑫1,2，王延杰1，付东辉1,2，樊博1,2. 三种测度融合的加权引导滤波匹配算法[J]. 计算机工程与科学, 2019, 41(06): 1044-1049.
[5]	王召月，陈丽芳. 基于mean-shift全局立体匹配方法[J]. 计算机工程与科学, 2017, 39(07): 1333-1337.
[6]	胡涛，朱黎，郑明辉，毛雷. 基于视差和SIFT的双目视觉移动目标识别和追踪的研究[J]. J4, 2015, 37(10): 1947-1951.
[7]	谭海. 基于KILL规则的双通道3D众核NoC原型构建[J]. J4, 2013, 35(7): 11-15.
[8]	钟金荣,梁宇,林嘉宇. 一种双通道语音增强方法[J]. J4, 2012, 34(5): 172-177.
[9]	胡庭波吴涛贺汉根. 基于立体匹配技术的光流场计算方法[J]. J4, 2006, 28(10): 50-53.
[10]	刘劲松张江陵王芳. 异构双通道网络磁盘阵列系统的设计[J]. J4, 2004, 26(1): 7-10.