动态手势轨迹跟踪与HMM模式识别

1、动态手势轨迹跟踪与HMM模式识别林伟强 庄宝山（福州大学数学与计算机科学学院）摘要 为了理解用户手势的含义，本文首先利用摄像头捕获连续运动的手势，随后将其进行部分图像的预处理操作，利用手势分割技术将手势部分分割出来，并提取手势的质心以及面积的大小作为特征向量，用于建立隐马尔可夫模型的参数，最终形成一个能理解用户手势操作的系统，并对其进行应用。关键词 手势识别 隐马尔可夫模型 手势分割Dynamic Hand Gesture Trajectory Tracking And Hidden Markov Model RecognitionLin Wei-qiang Zhuang Bao-shan(D

2、epartment of Mathematics and Computer Science, Fuzhou University)Abstract To understand the meaning of users hand gestures, first of all, this article uses cameras to capture a series pictures of moving hands and then predo these pictures by using the technology of hand gestures segment to identify

3、hands, extracting the central position and calculating the areas of hands, using these elements to build hidden markov model. Finally to form a system which can understand the meaning of users hand movement.Keywords Hand Gesture Trajectory Tracking, HMM, Hand Gesture Segment一、引言随着科技技术的日新月异，计算机科学的蓬勃发

4、展，计算机已经成为了人们生活中不可获取的一个主要物品。而在其间，人机交互技术大大的方便了人们的生活，俨然成为了众多学者研究学习的主要内容。由于手势动作能够很好的表现人们想要传达的意思，使之成为计算机与人交互的主要方式之一，因此手势的识别在这些研究课题中成为了热门话题。本文是基于摄像头捕获图像后，利用图像处理技术进行动态手势轨迹的跟踪与HMM模式的识别。其内容包括图像预处理、手势分割与定位、手势的分析以及基于HMM模式的手势识别四大块的研究，并给出了自己的设计方案。在手势识别过程当中，不论是静态手势还是动态手势，都必须首先获得手势的图像，随后进行手势的检测，手势分割，手势的分析，最后进行手势的识

5、别。具体流程如图1所示。手势分析手势检测与分割图像获取手势识别图1 手势识别的流程迄今为止，隐马尔可夫模型在识别领域已经有着形形色色的应用。如Schlenzig【1】利用隐马尔可夫模型进行的手势识别，研究过程中为每个手势赋予一个隐马尔可夫模型用于后续识别手势含义。再如Nam与Wohn【2】研究的手势识别系统，通过该研究很好的让计算机理解时空手势的含义。卡内基梅隆大学的Christopher Lee与 Yangsheng Xu【3】，他们利用隐马尔可夫模型，开发了一套手势识别的系统，判断手势含义。二、HMM理论基础隐马尔可夫模型是可用于标注问题的统计学习模型。该模型描述由隐藏的马尔可夫模型随机生

6、成观测序列的过程，其中状态的转移以及观测序列的输出都是随机的。其中状态转移的随机过程是隐式的，通过观察序列的随机过程表达出来 4。由于人的手势的运动（包括其运动方向和形态的变化）存在着很大的随机性，所以用HMM模型来描述手势的运动，可以满足手势的随机运动及变化的特性。在文献1中对隐马尔可夫模型做出了定义，隐马尔可夫模型是由初始概率向量、状态转移概率矩阵A和观测概率矩阵B决定。和A决定状态序列，B决定观测序列。因此，隐马尔可夫模型可以用三元符号表示，即=(A,B,)这种模型的结构主要有两种，一种是各类状态都经历的模型，一种是从左到右模型。其中从左到右的模型可以用来模拟手势随时间变化的特征状态，所

7、以本文选择了从左到右的HMM模型结构。从左-右的隐马尔可夫模型包括两种（三状态转移和两状态转移），对于手势的运动表达他们都能取得很好的效果。本文采用的是二转移的HMM。本文在构建基于隐马尔可夫模型的识别系统之前，需要对其3个关键的问题给予解决方法，他们分别是对于一个观测序列与一个隐马尔可夫模型=(A,B,)：用什么方法去计算已知模型参数下观测序列O下的概率PO。如何选择一条最优的路径，用来最好的解释观测序列O。怎样选择模型的三个参数，使得PO达到最大。只有在解解决了这三个问题以后，才能够运用隐马尔可夫模型。首先在求观测序列的概率PO可以使用前向概率和后向概率算法，获得PO的值，求最佳状态序列可

8、以采用Viterbi算法，最后要是模型概率达到最高值，使用Baum-Welch算法。得到模型的参数=(A,B,)后，就可以运用HMM模型，进行手势的识别。三、手势分析手势分析是完成手势识别的关键技术，其结果将直接影响到识别阶段的识别率。通过手势的分析阶段的工作，可以获得手势的一些特征，并将其运用到识别阶段。这些特征可以包括手势的形状特征、运动的轨迹、面积大小等，他们与手势所表达的意义直接相连。本文采用手的质心位置的变化特征以及手部分面积变化来对运动的手势含义进行分析。在对手势进行分析之前，首先需要将手势部分很好的分割出来，因为是否能准确分割出手的部分对后续的特征提取以及手势的识别阶段的准确率会

9、造成巨大的影响。但是由于光照强度不同的问题，往往会对手势分割带来巨大的困难。为了解决光照问题对手势分割的影响，本文采用帧间差分结合肤色建模的方法来分割手势。3.1、帧间差分技术帧间差分法【5】是通过相邻两帧图像做相减操作后，得到运动部分图像的方法，只要获取的图像内物体有变化运动，那么帧间差分法就能很容易的将他们提取与识别出来。在具体运用当中常常设置一个阈值，当摄像头捕获的相邻两帧图像相减过后的值大于所设置的阈值之时，就可以判断当前图像中有存在运动的物体。在手势识别系统当中运用了这种方法，用于判断在图像中处于运动的手势的位置，为后续提取手势的特征打下基础。3.2、肤色建模在手势分割前，手势图像的

10、提取十分的重要，然而在手势图像获取的过程当中，由于获取的是彩色的图像，所以对光照的影响十分的敏感。但是，肤色在彩色图像当中比较独特，它不会由于物体大小、姿态、光照、形状等因素的变化而受到影响，并且和其他背景相比起来，肤色与之区别很大，由此考虑应用肤色建模，就可以提高手势在不同背景以及光照的影响下下的识别率。本文采用的肤色建模方式是基于文献6中在YCbCr的颜色空间下的，在摄像头捕获图像之后，将其转换到YCbCr空间下进行分析建模。在YCbCr颜色空间下的肤色模型表示方法【6】中,光强Y对肤色的影响很小。本文在实现过程中采用了文献6中光强的取值方法，以及边界方程的选取方法,给出如下边界定义：if

11、(Y128)1=-2+(256-Y)/16;2=20-(256-Y)/16;3=6;4=-8;if(Y128)1=6;2=12;3=2+Y/32;4=-16+Y/16;Cr-2(Cb+24);Cr-(Cb+17);Cr-4(Cb+32);Cr2.5(Cb+1);Cr3;Cr-0.5(Cb-4);Cr-(Cb-220)/6;Cr-1.34(Cb-2)。 规定对于一个确定的Y,求出确定的的值，再确定蓝色分量和红色分量的取值范围,如果样本中的肤色点在此范围内,就认为此点就在边界之内,否则就认为在边界之外。运用帧间差分与肤色建模，就能够很好的将运动的手势部分分割出来，因为在手势运动的过程当中，很有可能

12、除手部分以外的背景物运动而造成对手势提取的不准确。利用肤色建模结合帧间差分首先确定肤色部分，然后叠加运动部分，就能准确的分割出运动的手。在提取完运动的手势部分，需要提取特征用来支持最后的识别阶段。由于本文对手势运动的结果划分为上、下、左、右、放大、缩小以及旋转，针对上下左右分别对已经通过帧间差分以及肤色建模分割出手的部分利用函数计算出手部分的质心位置作为特征向量，用于判断质心的走势，由此将他们分为上下左右。而对于放大缩小和旋转来说，放大、缩小以及旋转是通过函数计算分割出手势部分的面子变化作为特征向量，面积变大的为放大操作，面积变小的为缩小操作，面积基本保持不变的为旋转操作。四、HMM手势识别在

13、运用HMM模型进行手势识别的过程中，首先通过摄像头采集图像，对其进行简单的去噪与增强操作以后，利用手势分割阶段的技术（结合肤色建模以及帧间差分法）将手势分割出来，接着运用函数提取手势的质心，面积等特征向量给手势识别阶段的HMM模型建模过程，运用训练样本训练完隐马尔可夫模型参数之后，最后使用测试样本对生成的模型的识别率进行测试。在这整个过程当中在手势分析阶段分割出的手势以及提取的特征向量的基础上，采用学习率为0.6的HMM模型参数学习的方法对动态手势进行训练。本文选取上、下、左、右、放大、缩小以及旋转7个手势，采用大量样本对其的HMM模型进行训练。在HMM建模阶段，每个手势对应一个HMM模型，除

14、放大、缩小和旋转通过面积大小的变化判断之外（面积变大为放大，面积变小为缩小，面积基本不变为旋转），其余4个手势通过建立HMM模型来进行判断。HMM手势识别的流程如下图所示：图3 手势识别流程图在这几种手势的HMM模型参数都训练出来之后，将剩下的动态手势样本作为测试其识别的准确度。训练阶段的初始模型(0)=(A(0),B(0),(0)随后运用已有的训练样本对参数进行训练结束后，以向上手势的HMM模型参数=(A,B,)为例，得到如下：A = B = = 其他手势亦可类比。在得到这些手势的HMM模型之后，就可以调用测试样本，利用HMM模型对手势识别率的准确度进行测试。 五、系统实现与实验结果 本节重

15、点介绍系统实现的过程，从手势图像的提取，手势分割的技术，手势特征的提取，HMM模型的训练，以及最终的HMM手势的识别等几个部分来介绍整个系统的实现流程，并且给出最终系统识别的结果与识别率。5.1、图像获取及手势的分割本文在摄像头采集完手势运动的图像以后，首先对图像进行降噪，然后使用拉普拉斯算子对彩色图像进行锐化，处理的目的是为了提高了手势检测和分割的准确性。随后，利用帧间差分法，结合肤色建模，很好的将运动的手的部分分割出来。实验结果图如下。 图4帧间差分后的效果图5利用肤色建模将手的部分分割出来图6帧间差分与肤色建模合并的效果图5.2、手势特征的提取本文通过分割出手之后，判断其质心位置的变化，

16、来确定其运动的方向。分别分为上、下、左、右。此外，还通过计算手势面积的大小变化，来判断其是扩大还是缩小。面积放大缩小部分以缩小才做为例，剩余的放大和旋转亦可类比，得到如下结果：图8缩小操作图9缩小操作面积大小的变化数据质心位置移动以向右的手势运动为例，其余的上下左亦可类比，得到如下结果：图10标出质心的位置用以判断手势运动方向5.3 HMM模型参数的训练以及基于HMM模型的手势识别HMM模型训练阶段，运用存有个各个形态的手势去训练HMM模型，运用Baum-Welch算法，对HMM模型的参数=(A,B,)进行不断的迭代更新，最终按照各个手势运动的类型形成7个HMM模型，分别代表向上，向下，向左，

17、向右，放大，缩小，旋转的姿势。在训练完HMM模型之后，用几组数据对HMM模型的识别率进行检测。实验结果如下向右： 9 5 5 4 6 5 5 5 5Name. right match rate is 8.544e-006 最大，识别为向右的手势Name. up match rate is 6.0688e-016Name. down match rate is 7.3297e-093Name. left match rate is 5.3424e-117Name. nomove match rate is 9.3901e-0185.4、识别率分析及改进点手势名称测试数目正确数目错误数据识别率向上

18、2019195%向下20200100%向左2018290%向右2019195%放大2015575%缩小2016480%旋转2013765%总体统计1401202085.71%表1 识别率统计表实验结果表明，利用质心移动进行判断手势走向的识别率较高，而通过计算面积进行识别的放大、缩小及旋转的识别率相对于通过质心移动判断的方法来说要低。这是由于按照质心走势的运动方向对于手势的运动判断相对的直观，质心在图像内的某个方向上的坐标变化相对明显（如向上手势，朝着向上方向的坐标变化就相对明显），因此比较容易辨别出手势的运动方向，所以识别率相对较高。然而，对于通过计算面积变化来判断手势含义的放大、缩小以及旋转

19、三个手势来说，由于手势分割阶段分割出的手的部分还不算好，以及手势在做上下左右运动时候摄像头拍摄到手势的角度不同，所以导致计算面积变化的时候误差相对较大，以至于旋转部分的手势很容易会识别成为放大或者缩小，向左向右的手势由于摄像头的采集图像角度不同而造成面积的变化，导致识别率的降低。对此要想对识别率得以提升，必须增加部分特征向量，上下左右的运动不仅依靠坐标的变化，放大缩小旋转变化不局限于面积的变化，这样增加了限定条件之后，可以更精确的定义每一个手势，以此来提高手势的识别率。六、结束语本文主要通过外部设备自行采集连续的图像之后，对其进行分析，从中提取出手势的部分，对其的运动状态进行判断，从而从计算机的角度理解用户的交互行为。实现通过摄像头获取手势动作的内容，