基于计算机视觉及深度学习的无人机手势控制系统

计算机工程与科学

基于计算机视觉及深度学习的无人机手势控制系统

马乐乐,李照洋,董嘉蓉,侯永宏

（天津大学电子信息工程学院，天津 300072）

收稿日期:2016-08-16 修回日期:2016-12-07 出版日期:2018-05-25 发布日期:2018-05-25

UAV gesture control system based on

computer vision and deep learning

MA Le-le,LI Zhao-yang,DONG Jia-rong,HOU Yong-hong

（School of Electric Information Engineering，Tianjin University，Tianjin 300072，China）

Received:2016-08-16 Revised:2016-12-07 Online:2018-05-25 Published:2018-05-25

摘要/Abstract

摘要：

传统的无人机人机交互需要专门的设备和专业的训练，便捷新颖的交互方式往往更令人青睐。利用普通相机，对基于计算机视觉以及深度学习的无人机手势控制系统进行了研究。该系统首先利用快速跟踪算法在视频序列中提取出操作者所在区域，大大减少后续视频处理压力的同时去除了复杂背景以及相机漂移的影响。其次，根据动作的时间信息，用不同颜色编码光流特征，叠加在一张图片上，将视频转换为同时包含时间特征以及空间特征的彩色纹理图。最后，利用卷积神经网络对彩色纹理图进行学习及分类，根据分类结果生成控制无人机的指令。该系统每0.4 s对1.6 s内的动作进行一次判定，利用卷积神经网络对图片的分类实现实时性的人机交互，系统在60 m范围内的识别准确率在93%以上，在室内和室外环境下，操作者可以通过模仿指令动作方便地控制无人机。

关键词: 人机交互, 深度学习, 卷积神经网络, 无人机, 手势控制

Abstract:

The traditional Unmanned Aerial Vehicle (UAV) human-machine interaction requires specialized equipment and professional training, and convenient and innovative ways of interaction are often more popular. In this paper, with ordinary cameras, we study the UAV gesture control system based on computer vision and deep learning. The system first uses the fast tracking algorithm to extract the operator’s region in the video sequence, greatly reducing the pressure of subsequent video processing while removing the influence of complex background and camera drift. Secondly, according to the time information of the actions, the optical flow features are encoded in different colors and superimposed on a picture, and the video is converted into a color texture map that contains both temporal features and spatial features. Finally, colored texture images are well learned and classified by a deep Convolutional Neural Network (CNN) and UAV controlling commands are generated according to the classified results. The proposed system estimates actions within 1.6s every 0.4s and uses CNN to classify pictures so as to achieve real-time human-computer interaction. The system has a recognition accuracy of over 93% within 60 meters. In indoor and outdoor environments, the operator can conveniently control the UAV by imitating command actions.

Key words: human machine interface, deep learning, CNN, UAV, gesture control

马乐乐,李照洋,董嘉蓉,侯永宏. 基于计算机视觉及深度学习的无人机手势控制系统[J]. 计算机工程与科学.

MA Le-le,LI Zhao-yang,DONG Jia-rong,HOU Yong-hong.

UAV gesture control system based on

computer vision and deep learning

[J]. Computer Engineering & Science.

编辑推荐

Metrics

阅读次数

全文

476

HTML			PDF

最新录用	在线预览	正式出版	最新录用	在线预览	正式出版
0	0	0	476	0	0

来源	本网站	其他网站

次数	376	100
比例	79%	21%

摘要

223

最新录用	在线预览	正式出版

223	0	0

	来源	本网站

	次数	224
	比例	100%

[1]	吴玉虹, 王建. 基于Patches-CNN的模拟电路故障诊断[J]. 计算机工程与科学, 2025, 47(01): 35-44.
[2]	徐超, 阮荣耀, 陈勇, . 一种基于区块链的医疗数据审计方法[J]. 计算机工程与科学, 2025, 47(01): 95-106.
[3]	陈欣然, 刘宁, 闫中敏, 刘磊, 崔立真. 基于注意力指导的双粒度跨模态医学特征学习框架[J]. 计算机工程与科学, 2025, 47(01): 150-159.
[4]	罗婧, 叶志晟, 杨泽华, 傅天豪, 魏雄, 汪小林, 罗英伟, . 研发类GPU集群任务数据集的构建及分析[J]. 计算机工程与科学, 2024, 46(12): 2128-2137.
[5]	敬超, 闭玉申. 面向深度学习作业的干扰感知在线调度算法研究[J]. 计算机工程与科学, 2024, 46(12): 2138-2148.
[6]	徐欣, 李若诗, 袁野, 刘娜. 基于可学习图像滤波器的雾天驾驶场景图像语义分割[J]. 计算机工程与科学, 2024, 46(11): 2027-2034.
[7]	付燕, 杨旭, 叶鸥. 基于CNN和Transformer特征融合的烟雾识别方法[J]. 计算机工程与科学, 2024, 46(11): 2045-2052.
[8]	陈磊, 梁正友, 孙宇, 蔡俊民. 多尺度特征融合的移动端单目深度估计研究[J]. 计算机工程与科学, 2024, 46(09): 1616-1524.
[9]	刘强, 李沐春, 伍晓洁, 王煜恒. S-JSMA：一种低扰动冗余的快速JSMA对抗样本生成方法[J]. 计算机工程与科学, 2024, 46(08): 1395-1402.
[10]	潘雨青, 于浩, 李峰. 基于加权非负矩阵分解的异常声音检测方法研究[J]. 计算机工程与科学, 2024, 46(08): 1425-1432.
[11]	丁建平, 李卫军, 刘雪洋, 陈旭. 命名实体识别研究综述[J]. 计算机工程与科学, 2024, 46(07): 1296-1310.
[12]	田红鹏, 吴璟玮. RIB-NER：基于跨度的中文命名实体识别模型[J]. 计算机工程与科学, 2024, 46(07): 1311-1320.
[13]	胡昭华, 王长富, . 改进Faster R-CNN的遥感图像小目标检测算法[J]. 计算机工程与科学, 2024, 46(06): 1063-1071.
[14]	谭郁松, 王伟, 蹇松雷, 易超雄. 基于异常保持的弱监督学习网络入侵检测模型[J]. 计算机工程与科学, 2024, 46(05): 801-809.
[15]	尹春勇, 赵峰. 基于双层注意力和深度自编码器的时间序列异常检测模型[J]. 计算机工程与科学, 2024, 46(05): 826-835.