基于深度学习特征点法的单目视觉里程计

计算机工程与科学

基于深度学习特征点法的单目视觉里程计

熊炜1,2，金靖熠1，王娟1，刘敏1，曾春艳1

(1.湖北工业大学电气与电子工程学院，湖北武汉 430068；

2.南卡罗来纳大学计算机科学与工程系，哥伦比亚 29201)

收稿日期:2019-07-13 修回日期:2019-08-30 出版日期:2020-01-25 发布日期:2020-01-25
基金资助:
国家自然科学基金（61571182，61601177）;湖北省自然科学基金（2019CFB530）;国家留学基金（201808420418）

Monocular visual odometry based on

deep learning feature point method

XIONG Wei1,2,JIN Jing-yi1,WANG Juan1,LIU Min1,ZENG Chun-yan1

(1.School of Electrical and Electronic Engineering,Hubei University of Technology,Wuhan 430068,China;

2.Department of Computer Science and Engineering,University of South Carolina,Columbia SC 29201,USA)

Received:2019-07-13 Revised:2019-08-30 Online:2020-01-25 Published:2020-01-25

摘要/Abstract

摘要：

针对特征点法的视觉里程计VO中光度、视点变化对特征点提取稳定性降低的不利影响，提出一种基于深度学习特征点法的单目VO方法。采用自监督深度学习网络训练得到DSP特征点检测器。首先使用亮度非线性逐点调整方法对训练图像进行光度调整；然后使用非极大值抑制方法剔除冗余DSP特征点，改进最邻近方法得到双向最邻近方法，解决特征点匹配问题；最后建立最小化重投影误差方程求解优化位姿及空间点参数。在Hpatches、Visual Odometry数据集上进行验证，实验结果表明：DSP特征点检测器增强了特征匹配对光度、视点变化的鲁棒性；无后端优化的条件下，本方法定位均方根误差比ORB方法明显降低，且保证了系统实时性，为特征点法的VO提供新的解决思路。

关键词: 视觉里程计, 深度学习, 亮度非线性逐点调整, 特征匹配, 重投影误差

Abstract:

Aiming at the adverse effect of luminosity and viewpoint change on feature point extraction stability in Visual Odometry (VO) of feature point method, a monocular VO method based on deep learning feature point method is proposed. The deep learning SuperPoint (DSP) feature point detector is obtained by self-supervised deep learning network training. Firstly, the brightness of the training image is adjusted by the brightness nonlinear point-by-point adjustment method. Secondly, the redundant DSP feature points are eliminated by using the non-maximum value suppression method. The two-way nearest neighbor algorithm is improved based on the nearest neighbor algorithm to solve the feature point matching problem. Finally, the equation for minimizing the reprojection error is established to solve the optimal pose and spatial point parameters. The experimental results on Hpatches and Visual Odometry datasets show that the DSP feature point detector enhances the robustness of feature matching to luminosity and viewpoint changes. Without the backend optimization, this method reduces the root mean square error obviously in comparison to ORB method. The real-time performance of the system is guaranteed, which provides a new solution for the VO of feature-based method.

Key words: Visual Odometry (VO), deep learning, brightness nonlinear point-by-point adjustment, feature matching, reprojection error

熊炜1,2，金靖熠1，王娟1，刘敏1，曾春艳1. 基于深度学习特征点法的单目视觉里程计[J]. 计算机工程与科学.

XIONG Wei1,2,JIN Jing-yi1,WANG Juan1,LIU Min1,ZENG Chun-yan1.

Monocular visual odometry based on

deep learning feature point method

[J]. Computer Engineering & Science.

[1]	丁建平, 李卫军, 刘雪洋, 陈旭. 命名实体识别研究综述[J]. 计算机工程与科学, 2024, 46(07): 1296-1310.
[2]	胡昭华, 王长富, . 改进Faster R-CNN的遥感图像小目标检测算法[J]. 计算机工程与科学, 2024, 46(06): 1063-1071.
[3]	谭郁松, 王伟, 蹇松雷, 易超雄. 基于异常保持的弱监督学习网络入侵检测模型[J]. 计算机工程与科学, 2024, 46(05): 801-809.
[4]	赵千贺, 王锐, . ELPVO:基于I/O流水优化的超低功耗视觉里程计[J]. 计算机工程与科学, 2024, 46(05): 846-851.
[5]	高珊, 李世杰, 蔡志平. 基于深度学习的中文文本分类综述[J]. 计算机工程与科学, 2024, 46(04): 684-692.
[6]	罗月童, 李超, 周波, 张延孔. 面向工业缺陷分类的交互式易混淆缺陷分离方法研究[J]. 计算机工程与科学, 2024, 46(03): 463-470.
[7]	吕伏, 韩晓天, 冯永安, 项梁. 基于自适应纹理特征融合的纹理图像分类方法[J]. 计算机工程与科学, 2024, 46(03): 488-498.
[8]	吉旭瑞, 魏德健, 张俊忠, 张帅, 曹慧. 中文电子病历信息提取方法研究综述[J]. 计算机工程与科学, 2024, 46(02): 325-337.
[9]	黄泽彪, 董德尊, 齐星云. Gloo+：利用在网计算技术加速分布式深度学习训练[J]. 计算机工程与科学, 2024, 46(01): 28-36.
[10]	邱晓梦, 王琳, 谷文俊, 宋伟, 田浩来, 胡誉. 光流法修正的时序图像语义分割模型[J]. 计算机工程与科学, 2024, 46(01): 102-110.
[11]	崔浩, 万亚平, 钟华, 聂明星, 肖杨. 基于LoRa设备的人体活动识别研究[J]. 计算机工程与科学, 2024, 46(01): 111-121.
[12]	张骞, 陈紫强, 孙宗威, 赖镜安. 融合高分辨率网络的雾天目标检测算法[J]. 计算机工程与科学, 2023, 45(11): 1970-1981.
[13]	刘雨墨, 刘剑飞, 郝禄国, 曾文彬. 基于多尺度特征融合网络的HEVC帧内编码单元快速划分研究[J]. 计算机工程与科学, 2023, 45(11): 1991-1998.
[14]	李卓璇, 周亚同. 改进DBNet的电商图像文字检测算法研究[J]. 计算机工程与科学, 2023, 45(11): 2008-2017.
[15]	马志峰, 张浩, 刘劼. 基于深度学习的短临降水预报综述[J]. 计算机工程与科学, 2023, 45(10): 1731-1753.