本科综合课程设计报告模板参考.doc

青 岛 科 技 大 学本科综合课程设计报告 基于视觉的手势识别技术 及静态手势库的建立题 目 _ _及静态手势库的建立_张淑军指导教师_张淑军辅导教师_殷丽丽学生姓名_ 0708020225学生学号_072电子信息工程信息科学技术学院 _（部）_专业_班2011年 12月28日课程设计地点弘毅楼C区501实验室课程设计时间2010.12.20-2011.1.7课程设计目的近年来计算机已经成为人们日常生活的一部分，人们与计算机的交互也日益成为科研领域的热点。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术，而手势识别的研究也可促进手语识别的发展，从而消除健全人与聋哑人之间的交流障碍，使他们能获得健全人的正常生活，帮忙他们参加社会的各项活动。文中介绍了（1）手势识别方法的发展、手势识别的技术难点，具体阐述了基于视觉的手势识别系统原理和组成，手势的建模以及在手势识别中常用的技术方法以及其发展，使人们比较全面得了解手势识别技术及其发展。（2）静态手势库的建立，培养了动手能力以及系统分析能力。指导教师评语 指导教师签字：验收（答辩）意见 验收（答辩）人员签字：系（教研室）意 见 教研室主任签字：成 绩（百分制） 基于视觉的手势识别技术及静态手势库的建立摘要：近年来计算机已经成为人们日常生活的一部分，人们与计算机的交互也日益成为科研领域的热点。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术，而手势识别的研究也可促进手语识别的发展，从而消除健全人与聋哑人之间的交流障碍，使他们能获得健全人的正常生活，帮忙他们参加社会的各项活动。文中介绍了手势识别方法的发展、手势识别的技术难点，具体阐述了基于视觉的手势识别系统原理和组成，手势的建模以及在手势识别中常用的技术方法以及其发展，此外还有静态手势库的建立。1. 课题背景及研究意义随着社会信息化的发展，计算机的应用在我们日常生活和工作中成为越来越重要的组成部分，如何让人与计算机更方便、自然地交互也逐渐成为人们研究的热点问题。键盘是基于文本方式的初始用户接口，而鼠标的发明把我们带到一个图形用户接口的时代。然而，不管是键盘还是鼠标，都还是停留在2D层面上，很难进行3D和高度自由的输入，在自然直接交互方面是不方便和不适用的。随着计算机技术的迅猛发展，研究符合人机交流习惯的新颖人机交互技术变得异常活跃，也取得了可喜的进步。这些研究包括人脸识别、面部表情识别、唇读、头部运动跟踪、凝视跟踪、手势识别、以及体势识别等等。总的来说，人机交互技术已经从以计算机为中心逐步转移到以人为中心，是多种媒体、多种模式的交互技术。基于视觉的手势识别研究正是顺应了这一潮流。手势是一种自然、直观、易于学习的人机交互手段，以人手直接作为计算机的输入设备，人机之间的通讯将不再需要中间媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制。以人手直接作为输入手段与其他输入方法相比，具有自然性、简洁性，和丰富性、直接性的特点，因此用计算机来识别手势提供了一个更自然的人机接口。但是由于手势本身具有的多样性、多义性以及时间和空间上的差异性等特点，加之人手是复杂变形体以及视觉本身的不适定性，因此基于视觉的手势识别是一个多学科交叉的、富有挑战性的研究课题。手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工作条件，为他们提供更好的服务：另外，手势的研究涉及到教学、计算机图形学、机器人运动学、医学等多个学科，因此，手势识别的研究是一个非常有意义的课题。手势识别不仅具有的深远的研究意义，而且具有广阔的应用前景，主要表现在以下几个方面：(1)能够使聋哑人，尤其是使得文化程度比较低的聋哑人，使用手语和正常人交流等；(2)从认知科学的角度，研究人的视觉语言理解的机制，提高计算机对人类语言的理水平；(3)对语音识别起着辅助作用；(4)利用手势控制VR中的智能化；(5)机器人的示范学习；(6)虚拟现实系统中的多模式接口。2. 国内外手势识别领域研究现状和技术难点2.1 国外手势识别领域研究现状 手势识别的研究开始于1982年1，Shantz和Poinzner实现了一个合成美国手语的计算机程序。之后，中国、美国、日本、德国等许多国家都进行了自己国家的手语合成研究，并取得了许多重要的研究成果。在利用数据手套等典型传感设备的方法中，CMU的Christopher Lee和Xu在1995年完成了一个操纵机器人的手势控制系统2；MWKadous3用Power Gloves作为手语输入设备，识别由95个孤立词构成的词汇集，正确率为80；Fels和Hinton4、5，开发了一个用VPL DataGlove MarkII数据手套和Polhemus跟踪器作为输入设备的系统，使用神经网络对手势进行聚类。在基于视觉手势识别方面，具有代表性的研究成果包括：1991年富士通实验室完成了对46个手语符号的识别工作6；JDavis和MShah7将戴上指尖具有高亮标记的视觉手套的手势作为系统的输入，可识别7种手势；Stamer等在对美国手语中带有词性的40个词汇随机组成的短句子识别率达到9928、9；KGrobel和MAssam从视频录像中提取特征，采用HMM技术识别262个孤立词，正确率为91310；美国密执安州立大学计算机系的Cui和Weng11、12的手势识别系统，他们研究了最具区分性特征(MDF)和最具有表达性特征(MEF)的不同，并且通过从图像中提取肩胸区域和手形序列，采用模板匹配的方法，实现了一个可以识别26个手势的系统，识别率为93。同时他们还采用学习的归纳验证方法实现了一个基于视觉输入的最多可识别40个手势的识别系统。Triesch和Malsburgf13开发了一种弹性图模板匹配技术对复杂背景下的手形进行分类，在相对复杂的背景下的识别率达到862。这种方法具有缩放无关和用户独立的特点，但受到视角影响的限制。Quek和Zhao14给出了一个基于启发式学习的系统，它能够从不连续的普通模式(DNF)中提取出规则，每个DNF描述一个手形，每个在DNF中的连接代表一个规则。系统使用了28个特征，识别率达到94。此外，Vogler与Metaxas将基于视觉和基于数据手套两种方法结合用于美国手语识别，交互采用一个位置跟踪器及三个互相垂直的摄像机作为手语输入设备，完成了53个孤立词的识别，识别率为89915。在手势的实时识别方面，国外的研究有很多，其中很多都是基于视觉的识别研究。Leonid VTsap采用动态区域范围计算的方法，通过颜色空间的特征计算，对运动手势进行跟踪，最好的情况下能达到每秒l0帧的速率，取得较好的效果16。Zhu Xu和Kriegrnan采用手势的颜色、运动和和形状特征进行分析，对实时的手势进行识别，也能到810帧秒的速度，经过训练后的识别率在80.90。ChanWallNg和SurendraRanganath研究的人机交互系统也是用手势模拟计算机的操作，采用HMM和神经网络的方法，识别率能达到90.94，但是系统的识别速度只有4-5帧秒17。效果最好的是Birketal18，报告成功率能达到99.70(1500幅图片失败6次)。但是他们系统需要208个PCA组件来对训练集分类，计算量过于庞大。2.2国内手势识别领域研究现状 在国内，哈尔滨工业大学的吴江琴、高文等给出了ANN与HMM的混合方法作为手语的训练识别方法，以增加识别方法的分类特性和减少模型的估计参数的个数，将ANN-HMM混合方法应用于有1 8个传感器的CyberGlove型号数据手套的中国手语识别系统中，孤立词识别率为90，简单语句级识别率为9219。接下来高文等又选取Cyberglove型号数据手套作为手语输入设备，并采用了DGMM(DynamicGaussian Mixture Model)作为系统的识别技术，即利用一个随时间变化的具有M个分量的混合Gaussian N元混合密度来模型化手语信号，可识别中国手语字典中274个词条，识别率为98220。与基于HMM的识别系统比较，这种模型的识别精度与HMM模型的识别精度相当，其训练和识别速度比HMM的训练与识别速度有明显的改善。他们为了进一步提高识别速度，识别模块中选取多层识别器，可识别中国手语字典中的274个词条，识别率为97421、22。与基于单个DGMM的识别系统比较，这种模型的识别精度与单个DGMM模型的识别精度基本相同，但其识别速度比单个DGMM的识别速度有明显的提高。2000年在国际上他们首次实现了5000词以上的连续中国手语识别系统23。另外，清华大学的祝远新、徐光祜等给出了一种基于视觉的动态孤立手势识别技术口制24，借助于图像运动的变阶参数模型和鲁棒回归分析，提出一种基于运动分割的图像运动估计方法，基于图像运动参数，构造了两种表现变化模型分别作为手势的表现特征，利用最大最小优化算法来创建手势参考模板，并利用基于模板的分类技术进行识别，对12种手势的识别率超过90；在进一步研究中，他们又给出了有关连续动态手势的识别，融合手势运动信息和皮肤颜色信息，进行复杂背景下的手势分割，通过结合手势的时序信息、运动表现及形状表现，提出动态手势的时空表现模型，并提出基于颜色、运行以及形状等多模式信息的分层融合策略抽取时空表观模型的参数。最后，提出动态时空规整算法用于手势识别，对12种手势，平均识别率高达9725。台湾大学的Liang26等人利用单个VPL数据手套作为手语输入设备，可识别台湾手语课本中的250个基本词条，识别率为905。2.3手势的定义27 由于手势(gesture)本身具有多样性和多义性，具有在时空空间上的差异性，加上不同文化背景的影响对手势的定义是不同的。从手势（语)识别的角度考虑可以把手势定义为：手势是人手或者手和臂结合所产生的各种姿势和动作，它包括静态手势(指姿态，单个手形) 和动态手势(指动作，由一系列姿态组成)。静态手势对应模型参数空间里的一个点，动态手势对应着模型参数空闻里的一条轨迹，需要使用随时间 变化的空间特征来表述。2.4手势识别的技术难点 尽管已经实现了大词汇量的手势识别系统，但手势识别仍然面临许多挑战性课题，如手势不变特征的提取、手势之间的过渡模型、手语识别的最小识别基元、自动分割识别元、词汇量可扩展的识别方法、手语识别的辅助信息、非特定人的手语识别问题、混合手指语秘 手势语的手势识别以及中国手势语语法等。其技术难点有以下两点：（1）手势目标检测的困难 目标的检测是指在复杂的背景条件下从图像流中截取出目标来，也就是把人们感兴趣的目标提取出来。在基于单目视觉的手势识别方法中，把图像中的人手区域与其它背景区域划分开来始终是一个难点，这主要是由于背景各种各样、环境因素也不可预见，所以实现起来困难重重，非常复杂。（2）手势目标识别的困难 手势识别是根据人手的姿态以及变化过程来解释其高层次的含义，提取出具有几何不变性的特征是其关键技术。手势具有以下特点：1）手是弹性物体，故同一种手势之间差别很大，而且有很多不同手势它们之间很相似。人手有二十多个自由度，因而运动越来十分灵活、复杂。因此，同样的手势不同的人做出手势的运动也会存在差别，同一个人在不同的时间、地点做出的手势也不一样，如图1所示： A1 A2 A3 图1 不同演示者和不同角度的手势A的图像而且有很多手势非常相似，如中国文字改革委员会、教育部等单位于1963年联合公布实施汉语手指字母方案如图2所示：图2 汉语手指字母表在所有手指字母识别中，对于一些相似的手势图像，如h与v。h与X等，如图3所示： H V （a）H和V的比较 H X (b)H和X的比较 图3 两种不同手势的比较识别效果仍不是很理想。可见手势的随机性很大，这给识别带来了很大的困难。2） 手有大量冗余信息，由于人识别手势关键是识别手指特征，故手掌特征是冗余信息。3）手的位置是在三维空间向二维的投影，因此投影方向非常关键。4）由于手的表面是非光滑的，因此易产生阴影。由于手势的这些特点，上述两个问题目前还没有很好解决，具体是现实必须加一定的限制条件。3. 基于视觉的手势识别技术 一个基于图像的手势识别系统的总体构成如图4所示：图4 连续动态手势识别系统构成图首先通过摄像机获取视频数据流系统，根据手势输入的交互模型检测数据流里是否有手势出现，如果有则把该手势从视频信号中切分出来。然后选择手势进行手势分析，分析过程包括特征检测和模型参数估计。识别阶段，根据模型参数对手势进行分类并根据需要生成手势描述。最后，系统根据生成的描述去驱动具体应用。具体步骤如下：Step 1. 帧分离。将手势图像从视频帧数据流中分离出来并进行相应的预处理供系统调用。Step 2. 手势分割。手势分割是基于图像的手势识别过程的第一步，也是最为关键的一步，是图像识别与理解的前提。手势分割的好坏直接影响后面的手势分析和手势识别的结果。手势分割就是将有意的区域手势从摄取的手势图像中划分出来，手势分割的目的是在前景中仅保留手势部分。在此领域，已经有人做了不少的工作，具有代表性的方法有以下几种：(1) 增加限制方法：如使用黑色或白色的墙壁、深颜色的服装来简化背景，或者戴特殊的手 套，通过强调前景来简化手和背景域的划分，加深两者之间的对比，但是这些人为的限制使得手势交流失去了自由性。(2) 差影法及其改进算法：差影法就是将目标图像和背景图像相减，此方法对消除背景图像 具有很明显的效果，但它的致命弱点就是一定要保证背景图像和手势图像的对应像点位于空间同一目标点上，否则会造成很大的误差。(3) 轮廓跟踪方法：典型的有基于Snake模型的手势分割，利用Snake模型对噪声和对比度的敏感性来有效跟踪目标的形变和非刚体的复杂运动，达到将目标从复杂背景中分割出来的目的。(4) 基于肤色模型法：主要是根据肤色在空间分布的特点，快速地找到手可能的候选区域，缩小后续细检测的范围。在手势图像中，肤色信息是最为有效的，在人手区域中，肤色一定是占主导地位的像素色彩值。肤色虽然因人而异，但是肤色在色彩空间中的一定范围内呈聚类特征，特别是在排除了光照亮度变化影响和经过变换的色彩空间中，聚类特性更明显。Step 3. 手势建模。 手势模型对于手势识别系统至关重要，特别是对确定识别范围起关键性作用，一般来说手建模方法被分为两大类：基于表观的手势建模和基于3D模型的手势建模。前者是直接从观察到的视频图像去推断手势；而后者考虑了手势产生的中间媒体(手和臂)。图5是对两种建模方法的进一步分类。 图5 手势模型的分类Step 4. 手势分析。 手势分析阶段的任务就是估计选定的手势模型的参数，它由特征检测和参数估计两个串行任务组成。在特征检测过程中，首先必须定位手势的主体(人手)。根据所用的线索不同，可以把定位技术分为基于颜色定位，基于运动定位、以及多模式定位等三种。特征检测结束之后，就可以进行参数估计。Step 5.手势识别。 手势识别就是把模型参数空间的轨迹(或点)分类到该空间里某个子集的过程。目前采用的手势识别技术有以下几种：(1) 模板匹配：模板匹配法是一种最简单的识别技术，它将输入手势的特征点与各标准手势的特征点进行匹配，通过测量两者之间的相似度来完成识别任务。(2) 人工神经网络：人工神经网络通过把大量的简单处理单元(神经元)广泛地连接起来构成一种复杂的信息处理网络，它在不同程度和层次上模仿人脑神经系绕的信息处理、存储和检索功能，具有学习、记忆、计算等各种能力。(3) 隐马尔可夫模型：隐马尔可夫模型(HMM)已成功地用于连续的语音识别、手写体识别等领域，是目前动态识别领域的主流方法。用HMM模型化手势语的语形，使得处理手势行为的高度随机性成为可能。(4) 基于几何特征的手势识别：基于几何特征的手势识别技术是利用手势的边缘特征和手势区域特征作为识别特征，具体实现则有各种不同的做法。4. 手势识别在人机交互中的应用 在虚拟现实环境中的应用，可以对环境和虚拟物体进行控制。在目标操作界面上使用手来完成虚拟环境下的浏览，选择和操纵利用不同定义的手势，来控制虚拟物体的前进和弯曲或者通过真实的手部运动来控制增强现实环境中的镜像手部运动。Segen等人提出了一个利用人手手势在虚拟世界漫游的界面系统外科手术模拟仪器和训练系统，也需要复杂的操纵控制物体的能力计算机控制的神经领域的诊断和治疗，可以在沉浸环境下进行自适应检测。 智能家电、控制领域的应用Un等人建立了手势歌曲编辑系统fllJ美洲虎公司推出了基于手势识别的车载汽车控制系统另外有通过手势远程控制电视的系统，也有视频游戏的用户界面I朔，也可以通过手势命令如。放大、全景和倾斜控制视频摄像机，Black等人在系统中对面板使用了初始化的命令诸如“打印、保存、清除和剪切”，让使用者手持较为明显的颜色标记来协助跟踪和定位。Davis等人研制了一个虚拟的健身训练器在计算机控制的设备和音乐播放中，手部被视作为灵活高效的控制设备。 在机器人控制和远程机器人操作中得到了应用在危险地点、太空或者特殊场合，不便直接操控，需要更自然的人机界面瞄 儿童、老人或聋哑人的教育和生活通过人机接口。可以完成聋哑人算机的自然交流，提高其受教育的能力同时可以建立起正常人和沟通的管道，让正常人能够听懂聋哑人的话,Cutier等人为计了一个手势操控的交互环境表演“Simon says”游戏并用来管理音乐聋哑人教育方面也有一系列的手语识别系统问世。目前较为流行的应用实例：体感操控游戏盛行。体感操控是现今主机游戏的一大热门词汇，比如“Kinect”，就是由微软主导开发的一种新的游戏技术。这种革命性的设备借助一个3D摄像头和手势识别软件让人们利用身体的自然活动玩游戏，从而取代原始的掌上控制如图6所示： 图6 Kinect游戏实例Softkinetic正是一家在动作识别技术领域处于领先地位的公司。Softkinetic在2009年创建了一个手势游戏的工作室，发布了游戏照片剪影（Silhouette），接着，公司宣布和Optrima合作，Optrima致力于研究手势感应相机技术，它的其中一个产品OptriCam 是一个基于深度感应技术（DepthSense）的图像传感器并且应用了其他一系列专利技术的三维TOF成像器。在今年三月份Softkinetic表示微软原体感技术监制Mike Nichols离开微软加盟该公司，主理基于手势的游戏开发。而Softkinetic提供的名为iisu的中间件，是目前最先进的3D手势识别软件，适用于任何三维成像系统，可让游戏开发商避开三维深度感应系统的技术，简化游戏开发过程。Softkinetic首席执行官迈克尔汤姆布罗夫把他们的技术称为可能是一种“瓦解智能手机触摸屏的玩意儿”，未来世界里，你简简单单地挥挥手就可以操控你的家用电器，汤姆布罗夫表示，Softkinetic的动作识别技术通过一个安装在电视机或者电脑显示器上的3D摄像头实现。和玩Wii游戏不同，你无需再手握任何东西，或者使用其他什么特殊的装备。摄像头会自动分析你的动作。5. 静态手势库的建立 我们定义阿拉伯数字09的手语手势，如图7所示： 图7 表示阿拉伯数字09的十种静态手势作为我们的十种标准的静态手势，在各种条件下进行拍摄，例如在不同的背景、分辨率及光照条件下，用工业摄像机采集图片，然后分组标注并保存。各种情况如表1所示：纯色背景复杂背景光照1（弱光）光照2（强光）光照1（弱光）光照2（强光）分辨率1（640*480）分辨率1（640*480）分辨率1（640*480）分辨率1（640*480）分辨率2（800*600）分辨率2（800*600）分辨率2（800*600）分辨率2（800*600）分辨率3（1024*768）分辨率3（1024*768）分辨率（1024*768）分辨率3（1024*768）分辨率4（1280*960）分辨率4（1280*960）分辨率4（1280*960）分辨率4（1280*960）表1 摄像机的各种工作情况注释：强光即在有日光的情况下，弱光即是在无日光与灯光的条件下具体流程：在纯白背景、弱光照、分辨率640*480下，多角度拍摄，每个手势拍十张，从以A01A100命名。将这400张相片，归为第一组，文件夹命名为纯色弱光。 在纯白背景、弱光照、分辨率800*600下，多角度拍摄，每个手势拍十张，以B01B100命名。在纯白背景、弱光照、分辨率1024*768下，多角度拍摄，每个手势拍十张，以C01C100命名。在纯白背景、弱光照、分辨率1280*960下，多角度拍摄，每个手势拍十张，以D01D100命名。静态手 势 库文件夹命名为纯色强光将第一组的条件弱光改为强光，其它不变，拍出第二组图片。文件夹命名为复杂强光将第四组的条件弱光改为强光，其它不变，拍出第三组图片。在复杂背景、弱光照、分辨率640*480下，多角度拍摄，每个手势拍十张，从以A01A100命名。将这400张相片，归为第四组，文件夹命名为复杂弱光。在复杂背景、弱光照、分辨率800*600下，多角度拍摄，每个手势拍十张，从以B01B100命名。在复杂背景、弱光照、分辨率1024*780下，多角度拍摄，每个手势拍十张，从以C01C100命名。在复杂背景、弱光照、分辨率1280*960下，多角度拍摄，每个手势拍十张，从以D01D100命名。静态手势库中的部分图片如下所示：第一组： 复杂背景强光下 第二组： 纯色背景强光下 第三组：复杂背景弱光下第四组：纯色背景弱光下6. 结论 本文调研了现有的静态手势识别方法，并实际建立了静态手势库。具体阐述了基于视觉的手势识别系统原理和组成，手势的建模以及在手势识别中常用的技术方法以及其发展。并且在多种实验条件下使用工业摄像机完成了手势库的建立，为下一步进行手势识别系统设计奠定了基础。参考文献：1Shantz，M.Poizner，HA computer program to synthesize American sign languageJ. Behavior Research Methods and Instrumentation，1982，14(5)：467-4742CLee，YXuOnline interactive leaming of gestures for humanrobot interfacesIn Proceeding of IEEE IntConfon Robotics and Automation1 996，3(1)：30423Mohammed Waleed KadousMachine recognition of Auslan sighs using Power Gloves：Towards lager-lexicon recognition of sigh languageIn Lynn Messing，editor, Proceeding of the Workshop on the integration of Gesture in language and Speech，pages 1 651 74，Applied Science and Engineering Laboratories Newark，Delaware andWilmington，Delaware，October 1 9964Fels ，Hinton G Glove Talk：A neural network interface between a data glove and a speech synthesizerJIEEE Trans Neural Networks，1 993，4(1)：2-85Fels，Glove Talk II：Mapping hand gestures to speech using neural networks-all approach to building adaptive interfacesPhD dissertationJ-Computer Science Department University of Toroto, Torono 19946TTakahashi and EKShinoHand gesture coding based On experiments using a hand gesture interface deviceJSIGCHI Bulletin，23(2)：6773，1 99 17Davis，MShahVisual gesture recognitionIn IEEE Proceeding on VisionImage Signal Proceeding1 994，141(2)：3213328Stamer, PentlandA Realtime American Sign Language Recognition from video Using Hidden Markov ModelsTechnical Report TR375，Media Lab，MIT,1 9969Kirsti Grobel, Marcell AssamIsolated sign language recognition using Hidden Markov modelsIn Proceedings of the IEEE International Conference on Systems，Man and Cybemetics，1997Orlando，FL，1997：1621671 0CVogler,DMetaxasAadapting Hidden Markov Models for ASL recognition by using threedimensional computer vision methodsSMC97：1 561 611 1Y Cui, J WengHand segmentation using learningbased prediction and verification for hand sign languageCIn：Proc of ICCV6，19961 2Y Cui，D L Swets，J J WengLearning-based hand sign language using SHOSLMC，In：Proc of ICCV96，1996：616361 3Triesch J，Malsburg CRobust Classification of Hand Postures Against Complex BackgroundCIn：Intl Confon automatic Face and Gesture Recognition，19981 4 Quek F，Zhao MInductive Learning in Hand Pose RecognitionJIEEE Automatic Face and Gesture Recognition，19961 5CVogler and DMetaxasAdapting Hidden Markov Models for ASL recognition by using threedimensional computer vision methodsSMC97，PP1 561 611 6Leonid VTsGesture_tracking in real time witll dynamic regional range computationRealTime Imaging，8，11 5-1 26(2002)1 7Chan Wah Ng，Surendra RanganathRealtime