基于多尺度特征融合的小目标行人检测

计算机工程与科学

基于多尺度特征融合的小目标行人检测

张思宇1,2，张轶1,2

(1.四川大学计算机学院，四川成都 610065；

2.四川大学视觉合成图形图像技术国家重点学科实验室，四川成都 610065)

收稿日期:2019-01-25 修回日期:2019-04-24 出版日期:2019-09-25 发布日期:2019-09-25

Small target pedestrian detection

based on multi-scale feature fusion

ZHANG Si-yu1,2,ZHANG Yi1,2

(1.College of Computer Science,Sichuan University,Chengdu 610065;

2.National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610065,China)

Received:2019-01-25 Revised:2019-04-24 Online:2019-09-25 Published:2019-09-25

摘要/Abstract

摘要：

针对SSD当前存在的小目标漏检以及误检问题，结合反卷积与特征融合思想，提出hgSSD模型。将原SSD特征层反卷积后与较浅层特征结合，实现复杂场景下小目标行人检测。为了保留浅层网络特征，提高算法实时性，节省计算资源，hgSSD模型基础网络使用VGG16，而非更深层的ResNet101。为了加强对小目标的检测，将VGG16中的Conv3_3改进为特征层加入训练。融合后的网络相对于SSD较为复杂，但基本保证实时性，且成功检测到大部分SSD网络漏检的小目标，检测精度相比于SSD模型也有提升。在选择框置信度得分阈值为0.3的情况下，基本检测到SSD漏检小目标。在VOC2007+2012中相对于SSD行人检测的Average Precision值从0.765提升为0.83。

关键词: 小目标行人检测, 多尺度预测, 特征融合, 反卷积神经网络, 深度学习

Abstract:

Given the problems of missing detection and detection failure for small targets in the single shot multibox detector (SSD), we propose an hourglass SSD model based on the idea of deconvolution and feature fusion, called hgSSD model. It deconvolutes the conventional SSD feature, which is then combined with shallower features to detect small target pedestrians in complex scenes. In order to preserve shallow network characteristics, ensure real-time detection and save computing resources, we use the VGG-16 instead of the deeper RestNet-101 as the basic network. In order to enhance the detection of small targets, Conv3_3 in VGG16 is improved as the feature layer added into the training. The fused network is more complex than the conventional SSD, but the real-time performance is basically guaranteed. It can successfully detect most of the small targets that are missed by the conventional SSD network, and the network has a higher accuracy than the conventional SSD model. In the case where the default box confidence threshold of 0.3, it basically detects the small targets undetected by the conventional SSD. In VOC 2007+2012, the pedestrian average precision value is increased from 0.765 to 0.83 in comparison with the conventional SSD.

Key words: small target pedestrian detection, multi-scale prediction, feature fusion, deconvolutional neural network, deep learning

张思宇1,2，张轶1,2. 基于多尺度特征融合的小目标行人检测[J]. 计算机工程与科学.

ZHANG Si-yu1,2,ZHANG Yi1,2.

Small target pedestrian detection

based on multi-scale feature fusion

[J]. Computer Engineering & Science.

[1]	丁建平, 李卫军, 刘雪洋, 陈旭. 命名实体识别研究综述[J]. 计算机工程与科学, 2024, 46(07): 1296-1310.
[2]	胡昭华, 王长富, . 改进Faster R-CNN的遥感图像小目标检测算法[J]. 计算机工程与科学, 2024, 46(06): 1063-1071.
[3]	谭郁松, 王伟, 蹇松雷, 易超雄. 基于异常保持的弱监督学习网络入侵检测模型[J]. 计算机工程与科学, 2024, 46(05): 801-809.
[4]	李新洁, 王文君, 董凌, 赖华, 余正涛, 高盛祥, . 基于多特征交互融合的老挝语无监督音素分割方法[J]. 计算机工程与科学, 2024, 46(05): 937-944.
[5]	王谢中, 陈旭, 景永俊, 王叔洋. 基于异构图神经网络的半监督网站主题分类[J]. 计算机工程与科学, 2024, 46(04): 635-646.
[6]	余天赐, 高尚. 融合多结构信息的代码注释生成模型[J]. 计算机工程与科学, 2024, 46(04): 667-675.
[7]	高珊, 李世杰, 蔡志平. 基于深度学习的中文文本分类综述[J]. 计算机工程与科学, 2024, 46(04): 684-692.
[8]	罗月童, 李超, 周波, 张延孔. 面向工业缺陷分类的交互式易混淆缺陷分离方法研究[J]. 计算机工程与科学, 2024, 46(03): 463-470.
[9]	吕伏, 韩晓天, 冯永安, 项梁. 基于自适应纹理特征融合的纹理图像分类方法[J]. 计算机工程与科学, 2024, 46(03): 488-498.
[10]	杨晓强, 黄加诚. 基于动态定位和特征融合的多分支细粒度识别方法[J]. 计算机工程与科学, 2024, 46(02): 253-263.
[11]	吉旭瑞, 魏德健, 张俊忠, 张帅, 曹慧. 中文电子病历信息提取方法研究综述[J]. 计算机工程与科学, 2024, 46(02): 325-337.
[12]	黄泽彪, 董德尊, 齐星云. Gloo+：利用在网计算技术加速分布式深度学习训练[J]. 计算机工程与科学, 2024, 46(01): 28-36.
[13]	江志鹏, 王自全, 张永生, 于英, 程彬彬, 赵龙海, 张梦唯. 基于改进Deformable DETR的无人机视频流车辆目标检测算法[J]. 计算机工程与科学, 2024, 46(01): 91-101.
[14]	邱晓梦, 王琳, 谷文俊, 宋伟, 田浩来, 胡誉. 光流法修正的时序图像语义分割模型[J]. 计算机工程与科学, 2024, 46(01): 102-110.
[15]	崔浩, 万亚平, 钟华, 聂明星, 肖杨. 基于LoRa设备的人体活动识别研究[J]. 计算机工程与科学, 2024, 46(01): 111-121.