基于单目摄像头的3D动态手势交互

计算机工程与科学

基于单目摄像头的3D动态手势交互

王岩全，孙博文

(哈尔滨理工大学计算机科学与技术学院,黑龙江哈尔滨 150080)

收稿日期:2017-05-22 修回日期:2017-09-14 出版日期:2018-09-25 发布日期:2018-09-25

Dynamic 3D hand gesture interaction

based on single camera

WANG Yanquan，SUN Bowen

(School of Computer Science and Technology,Harbin University of Science and Technology,Harbin 150080,China)

Received:2017-05-22 Revised:2017-09-14 Online:2018-09-25 Published:2018-09-25

摘要/Abstract

摘要：

传统的手势交互都需要借助于Leap Motion或Kinect等专用交互设备。以图像通道转换、二值化等图像处理方式提取手势，以手势平面坐标值的变化获取手势的平面移动信息，以手势面积的变化解决了手势深度的问题。通过绘制手势轮廓结合自创的图像匹配算法计算不同图像的匹配率，用最高匹配率选择相对应的手势运动信息。通过摄像头坐标系到3D场景坐标系之间的转换，结合三维图形的几何变换计算变换矩阵，实现手的空间移动与旋转。在不借助专用的手势交互设备的情况下，实现单目摄像头的动态手势交互。

关键词: 图像处理, 图像匹配算法, 几何变换, 手势交互

Abstract:

Traditional gesture interaction requires special interaction equipments such as Leap Motion or Kinect. In this paper, image channel conversion, binarization and other image processing methods are used to extract gestures. The planar motion information of gestures is obtained by the change of the coordinate value of the hand gestures. The problem of gesture depth is solved by the change of gesture area.The matching rate of different images is calculated by drawing the hand contour and using the image matching algorithm, and the highest matching rate is used to selecting the corresponding hand gesture motion information. The transformation matrix is calculated by the transformation from the camera coordinate system to the 3D scene coordinate system and the geometric transformation of 3D graphics, thus achieving the spatial movement and rotation of hand. Finally, the dynamic hand gesture interaction is realized without any specific gesture interaction devices.

Key words: image processing, image matching algorithm, geometric transformation, gesture interaction

王岩全，孙博文. 基于单目摄像头的3D动态手势交互[J]. 计算机工程与科学.

WANG Yanquan，SUN Bowen.

Dynamic 3D hand gesture interaction

based on single camera

[J]. Computer Engineering & Science.

[1]	陈海永, 吕承杰, 杜春, 陈鹏. 孪生注意力门控融合的遥感图像变化检测编解码网络[J]. 计算机工程与科学, 2023, 45(09): 1593-1601.
[2]	马冬梅, 黄欣悦, 李煜. 基于特征融合和注意力机制的图像语义分割[J]. 计算机工程与科学, 2023, 45(03): 495-503.
[3]	刘从军, 徐佳陈, 肖志勇, 柴志雷. 基于深度学习的心脏核磁共振图像自动分割算法[J]. 计算机工程与科学, 2022, 44(09): 1646-1654.
[4]	刘榕, 伍欣, 敖斌, 文青, 李宽. 用于CD56图像分割的细胞标注精细化与自适应加权损失[J]. 计算机工程与科学, 2022, 44(05): 870-878.
[5]	左宪禹1,2，张哲1,5，黄祥志4,5，葛强1,2，张理涛3，臧文乾4,5. 一种适用于GPU图像处理算法的合并存储结构[J]. 计算机工程与科学, 2020, 42(02): 197-202.
[6]	陈凯峰，梁鉴如. 用于图像处理的FPGA存储器优化分配[J]. 计算机工程与科学, 2019, 41(11): 1924-1929.
[7]	徐顺1,2,刘倩1,2,张宝花1,2,何连花1,2,金钟1,2. 基于Intel MIC平台大规模耗散粒子动力学模拟的设计与优化[J]. 计算机工程与科学, 2017, 39(08): 1391-1396.
[8]	倪尧，鲍宇. 基于目标轮廓几何特征的电容元件定位方法[J]. 计算机工程与科学, 2017, 39(08): 1476-1482.
[9]	麦超，邹维宝. 稀疏受限玻尔兹曼机研究综述[J]. 计算机工程与科学, 2017, 39(07): 1379-1384.
[10]	刘祝华，袁文. 向导滤波器的整数FPGA设计结构[J]. 计算机工程与科学, 2017, 39(02): 336-342.
[11]	陈清江，张彦博，柴昱洲，魏冰蔗 . 结合区域特性的有限离散剪切波图像融合[J]. 计算机工程与科学, 2017, 39(02): 351-358.
[12]	顾佼佼1，刘卫华1，赵建军1，刘吉伟2. 基于几何变换的MAGA求解多纳什均衡[J]. J4, 2016, 38(01): 108-113.
[13]	成一功1,2 ，李国和1,2,3，林仁杰1,2，何云1,2，吴卫江1,2,3，洪云峰3，周晓明3. 基于iPhone手机的数字码实时识别与应用[J]. J4, 2015, 37(12): 2399-2404.
[14]	黄文辉，冯瑞. 基于Spark Streaming的视频/图像流处理与新的性能评估方法[J]. J4, 2015, 37(11): 2055-2060.
[15]	邹焕新，周石琳，雷琳，计科峰，孙浩. “数字图像处理”课程双语教学的探索和实践[J]. J4, 2014, 36(A2): 226-230.