基于表观特征分析的手势识别及其应用

J4 ›› 2015, Vol. 37 ›› Issue (01): 139-145.

基于表观特征分析的手势识别及其应用

屈燕琴，李昕，卢夏衍

（上海大学机电工程与自动化学院，上海 200072）

收稿日期:2013-04-15 修回日期:2013-07-24 出版日期:2015-01-25 发布日期:2015-01-25

Hand gesture recognition based on analysis
of appearance features and its application

QU Yanqin，LI Xin，LU Xiayan

（School of Mechatronic Engineering and Automation，Shanghai University，Shanghai 200072,China）

Received:2013-04-15 Revised:2013-07-24 Online:2015-01-25 Published:2015-01-25

摘要/Abstract

摘要：

针对复杂背景下的手势识别容易受到环境干扰造成的识别困难问题，通过分析手势的表观特征，提出并实现了一种可用于自然人机交互的手势识别算法。该算法基于Kinect深度图像实现手势区域分割，然后提取手势手指弧度、指间弧度、手指数目等具有旋转缩放不变性的表观特征，运用最小距离法实现快速分类。并将该算法成功运用于实验室三指灵巧手平台，达到了理想的控制效果。实验表明该算法具有良好的鲁棒性，针对九种常用手势，平均识别率达到94.3%。

关键词: 计算机视觉, 深度图像, 手指弧度, 表观特征, 手势识别

Abstract:

Hand gesture recognition in complex background is susceptible to environmental interference, thus leading to recognition difficulty. According to this recognition problem, by analyzing the appearance features of hand gesture, a hand gesture recognition algorithm for natural human computer interaction is proposed and implemented. By using depth images which obtain from Kinect, we extract features like gesture finger radians, radians between fingers and the number of fingers, and properly utilize minimum distance algorithm for achieving fast and efficient classification. Experimental results show that the algorithm is robust and real-time with an average recognition rate of 94.3% for nine frequently-used gestures.

Key words: computer vision；depth image；finger radian；appearance features；gesture recognition

屈燕琴，李昕，卢夏衍. 基于表观特征分析的手势识别及其应用[J]. J4, 2015, 37(01): 139-145.

QU Yanqin，LI Xin，LU Xiayan. Hand gesture recognition based on analysis
of appearance features and its application [J]. J4, 2015, 37(01): 139-145.

参考文献

［1］Tang Zhiyan，Feng Zhe．A gesture recognition system used on robot vision［J］．Computer Engineering and Applications，2005，41（6）：5154．(in Chinese)
［2］Chen Yimin, Zhang Yunhua. Research on humanrobot interaction technique based on hand gesture recognition［J］. ROBOT, 2009, 31(4):353356. (in Chinese)
［3］Tan Chang, Xiao Nanfeng. Static hand gesture recognition based on improved RCE neural network and RBF neural network［J］. Computer Engineering and Applications, 2011, 47(7):172176. (in Chinese)
［4］Dardas N H，Georganas N D．Realtime hand gesture detection and recognition［J］．Computer Vision and Image Understanding，2011，60（11）：35923607．
［5］Takahashi T，Shino F K．Hand gesture coding based on experiments using a hand gesture interface device［J］．SIGCHI Bulletin，1991，23（2）：6773．
［6］Lee J, Kunii T L. Model based analysis of hand posture［J］. Computer Graphics and Applications, 1995, 5(5):7786.
［7］Ren Haibing，Zhu Yuanxin，Xu Guangyou, et al．Hand gesture segmentation and recognition with complex backgrounds［J］．ACTA Automatica SINICA，2002，28（2）：118121．(in Chinese)
［8］Francke H,RuizdelSolar J,Verschae R.Realtime hand gesture detection and recognition using boosted classifiers and active learning［C］∥Proc of PSIVT’07,2007:533547.
［9］Yang Bo, Song Xiaona, Feng Zhiquan, et al. Gesture recognition in complex background based on distribution features of hand［J］. Journal of ComputerAided Design & Computer Graphics, 2010, 22(10):18411848. (in Chinese)
［10］Peng Shengyu, Wattanachote K, Lin Hweijen, et al. A realtime hand gesture recognition system for daily information retrieval from Internet［C］∥Proc of IEEE the 4th International Conference on UbiMedia Computing, 2011:146151.
［11］Chen Duansheng,Liu Zhengkai.A survey of skin color detection［J］. Chinese Journal of Computers, 2006, 29(2):194207. (in Chinese)
附中文参考文献：
［1］汤志彦，冯哲．适用于机器人视觉的手势识别系统［J］．计算机工程与应用，2005，41（16）：5154．
［2］陈一民，张云华．基于手势识别的机器人人机交互技术研究［J］．机器人，2009，31（4）：353356．
［3］谭昶，肖南峰．基于改进的RCE和RBF神经网络的静态手势识别［J］．计算机工程与应用，2011，47（7）：172176．
［7］任海兵, 祝远新, 徐光祐, 等. 复杂背景下的手势分割与识别［J］. 自动化学报, 2002, 28(2):118121.
［9］杨波，宋晓娜，冯志全．复杂背景下基于空间分布特征的手势识别算法［J］．计算机辅助设计与图形学学报，2010，22（10）：18411848．
［11］陈锻生，刘政凯．肤色检测技术综述［J］．计算机学报，2006，29（2）：194207．

[1]	胡宗承, 段晓威, 周亚同, 何昊. 基于多模态融合的动态手势识别研究[J]. 计算机工程与科学, 2023, 45(04): 665-673.
[2]	赵艺. 基于路径签名的改进时空图卷积网络[J]. 计算机工程与科学, 2022, 44(12): 2213-2219.
[3]	王伟喆, 郭威彤, 杨鸿武, . 手语到情感语音的转换[J]. 计算机工程与科学, 2022, 44(10): 1869-1876.
[4]	苟淞, 赵绪言, 侯松, 李威. 基于多尺度优化感知网络的口罩检测方法[J]. 计算机工程与科学, 2022, 44(08): 1440-1448.
[5]	张蕾, 王园宇, 张文涛. 融合感知损失的单幅雾霾图像深度估计[J]. 计算机工程与科学, 2022, 44(03): 486-494.
[6]	张鑫, 冯秀芳. WiFi环境下基于CGRU-ELM混合模型的手势识别[J]. 计算机工程与科学, 2022, 44(02): 298-305.
[7]	刘国华1,2，段建春1. 基于Kinect相机的深度图像空洞修复及超像素分割算法[J]. 计算机工程与科学, 2020, 42(05): 851-858.
[8]	袁浩翔，陈姝，林敏. 基于多约束优化的图像深度信息估计[J]. 计算机工程与科学, 2019, 41(09): 1650-1655.
[9]	谭志国1，2,欧建平1,张军1,沈先耿2. 多特征组合的深度图像分割算法[J]. 计算机工程与科学, 2018, 40(08): 1429-1434.
[10]	刘辉，代照坤，王龙. 基于Hu-GLCM的手势识别方法研究[J]. 计算机工程与科学, 2018, 40(03): 525-532.
[11]	孙浩，邹焕新，计科峰，周石琳. 基于SPOC的“计算机视觉导论”课程混合式教学设计[J]. 计算机工程与科学, 2016, 38(增刊): 127-131.
[12]	郑传远，李良福，肖樟树，陆铖. 一种改进的各向异性扩散深度图像增强算法[J]. 计算机工程与科学, 2016, 38(09): 1823-1829.
[13]	高冠东1,2,王晶1,刘菲1,段庆1,朱杰1. 一种基于极坐标变换的点模式匹配算法[J]. J4, 2016, 38(02): 331-337.
[14]	宋海声，刘平和，王全州，赵学深，王海燕. 基于人体骨骼和深度图像信息的指尖检测方法[J]. J4, 2014, 36(09): 1788-1794.
[15]	许凯，王敏. 基于手轮廓的深度图像手势识别方法[J]. J4, 2014, 36(05): 941-946.