一种多操作特征的手势分割与is检测方法

一种多操作特征的手势分割与is检测方法

0指纹检测技术在l基于视觉的认知和理解，它以文字、虚拟或其他形式解释人类的各种行为。手脚的形状、姿势、位置、运动和其他信息由手脚抽象。广泛应用于各种虚拟机系统。其中,手势分割和指尖检测是手势识别和理解过程中的第一步,也是最基础的一步,手势分割与指尖检测的效果直接影响后续的手势跟踪、手势特征提取以及手势识别的结果。手势分割是把图像中的人手区域(前景)与其它区域(背景区域)划分开来,是手势识别和理解系统中的一项基础性工作,不少研究人员采用对手势图像加上种种限制的方法,如使用黑色或白色的墙壁、深色的服装等简化背景,或要求人手戴特殊颜色的手套等强调前景,来简化手区域与背景区域的划分,也有使用热红外摄像机来捕捉图像以得到清晰的前景分割,这些方法降低了手势分割的难度和计算复杂度。人为增加了诸多的限制,不利于自然的人机交互,但如果对背景图像不加限制又会降低手势分割的鲁棒性。在早期的一些系统或特别环境中,指尖检测问题的解决也依赖于辅助颜色的标记。如让用户戴有明显标识的手套,对用户指尖染色等。现有研究主要集中解决裸手的指尖检测,采用的方法基本上可以分为模板匹配和轮廓分析两大类,这两种指尖检测算法也是在手势分割的基础上进行的,因为手势分割可以使指尖检测算法只在感兴趣的区域运行,从而减少计算量和提高检测的准确度。如文献[9-10]在手势分割的基础上采用模板匹配方法检测指尖实现手势识别。文献通过计算掌心与轮廓边缘的距离检测单个指尖的位置实现与虚拟环境的交互。当然,指尖检测也还有一些比较特殊的方法,比如采用多个摄像机检测深度获取单个指尖位置等,但这些方法对环境要求比较特殊,只针对特定系统,并不通用。针对上述手势分割和指尖检测的需求,文中研究并实现了一种实时手势分割和指尖检测方法,此方法不借助任何外界设备,也不对外界环境做特殊限制,能对手势进行精确的分割并实现多个指尖的检测,实验证明此方法鲁棒性强,可应用于实际系统中。1操作中断手势分割的目的是实现前景和背景的实时分离,并保证分割的准确度,本文采用以下三个步骤进行手势分割,实现前景的逐步分割。1.1基于ycbcr的阈值转换手图像的肤色信息进行手分割的基础,在计算机视觉中,色彩空间主要有RGB,HSV,YIQ,YCbCr等。根据EnaminDZarit等人对肤色在这些彩色空间的分布,以及实际在检测中性能的分析结果,选择在YCrCb彩色空间中进行肤色检测。RGB空间到YCrCb空间的转换公式如下:检测过程中,YCbCr空间中亮度和色度的分离度越大越好,但在实际的操作中色度值对亮度值总是存在着一定的非线性的依赖关系。因此需要对YCbCr空间进行了一次非线性的转换,用来消除色度对亮度的依赖关系,用Cl(Y)表示原始颜色空间Cl′(Y),表示非线性转换后空间,转换公式为式(3)中变量均为实验得到的常数值。依据上述式(1)、(2)、(3),计算像素点的Cb,Cr值与肤色平均值之差,如果小于一个预先设定的阈值Cthre,则判定该点为肤色。实际环境中,为增强分割的鲁棒性,采用直方图聚类方法实现阈值的自适应更新。对于检测第一帧,手动选取手图像部分区域对其进行直方图聚类,根据此直方图波峰与波谷特征确定肤色均值与阈值Cthre。当前帧图像检测完毕后再对已经分割好的手轮廓内的像素进行直方图统计得到下一帧检测的肤色均值和阈值Cthre,其中手轮廓的提取将在文中后两节介绍。从实时性考虑,文中没有采用较大运算量的背景模型,而仅通过直方图得到的阈值对像素进行简单的阈值分割,由于此方法只需对像素进行一次遍历,时间效率非常高,尽管在初始分割过程中会存在一些干扰噪点和空洞点(如图4中(b)所示),后续步骤中将通过其他方法对初步分割的图像进行修正。1.2廓像素点分布轮廓提取的目的是能够找到感兴趣区域与背景的闭合曲线,文中采用Freeman链码搜索算法对所有离散像素点进行轮廓搜寻,并通过链码轮廓的几何信息来消除干扰点以及填充空洞点。假设初步分割后的轮廓像素点分布如图1所示,根据Freeman链码的性质,可以对一个像素点(设为p)的八邻域进行试探识别。如果是边缘像素,则该点(设为q)就是p点的后继边缘点,但p点邻域存在2个非轮廓点F1和F2,跟踪轮廓的关键是屏蔽这2个点。假设跟踪轮廓的方向为顺时针,则前驱链码字为0(从o点到p点),对p点的后继边缘点的跟踪按照链码方向3,2,1,0,7,6,5,4的顺序进行判断,一旦判断出灰度值不为0的像素q,这点就是后继边缘点,非轮廓点F1和F2已经屏蔽并且内部空洞点已经填充。根据几何信息只保留面积大于一定阈值的轮廓,其他细小轮廓视为干扰源丢弃,如图4中(c)所示。1.3均匀采样法拟合形貌经过链码提取的轮廓已经将手前景图像进行了初步分割,但边缘仍存在干扰像素引起的锯齿或者凹凸,因此文中进一步通过等分抽取手轮廓边缘点进行分段三次样条曲线拟合方法对边缘进行拟合和平滑,处理后的轮廓视觉上更加合理同时也将更加有利于手指的精确定位,拟合算法阐述如下:从三次样条函数拟合方法可知根据四个型值点p0,p1,p2,p3的值可以确定p1,p2之间的样条函数公式。根据这个公式和一定的步长step,就可以插值出p1,p2之间的一系列点q1,q2,...,qn。依次用线段连接这些点,就得到用折线段按拟合出来的样条曲线。如图2所示。根据上述算法,对手图像边缘点进行等分均匀采样,可以得到型值点p0,p1,p2,...,pn-3,pn-2,pn-1,对其依次采用分段拟合方法:1)拟合p0,p1,p2,p3得到p1,p2间的点:q11,q12,q13,...,q1m。2)拟合q1m,p2,p3,p4得到p2,p3间的点:q21,q22,q23,...,q2m。按上述步骤可一直拟合出:pn-3,pn-2间的点。由于分割出的图像边缘的不同部分有不同的曲率,曲率变化频繁的部分(如指尖部位)就需更精细的拟合,故可采用对样条曲线曲率阈值进行判定的自适应算法来进一步拟合手图像的边缘。首先计算出相邻的两型值点及其构造的样条曲线段的中值点所确定的圆的曲率半径,并将计算值与对应的边缘分割线上相邻两个等分点及其中点所确定圆的曲率半径进行比较,若差值大于设定的阈值,则对该段三次样条曲线段进行型值点的内插以及三次样条曲线段的重构。边缘分割线上曲率变化越频繁的地方,其所抽取的型值点就越密集,因而选取这样的型值点序列来构三次样条曲线将有利于对边缘分割线的拟合,可以实现优化的自适应选择拟合。如图3中所示,大圆是样条曲线段的端点型值点及其样条线中点(即pipimpi+1)构成的曲率圆,小圆是由边缘分割线上相邻的等分点及其中点(即qiqimqi+1,其中qi=pi,qi+1=pi+1)所确定的曲率圆。计算出型值点pi和pi+1之间的样条曲率圆半径Rb与分割线样点曲率圆半径Rc之差为将ΔR与预设的阈值进行比较,以决定是否将qim作为细分该样条曲线段的新的型值点内插到原先的qi、qi+1之间,以便使重新构造的三次样条曲线段进一步逼近轮廓线。选取每段等分段边缘像素点个数12(图像分辨率640×480),拟合后的结果如图4中(d)所示,可见手轮廓边缘已经更加精准平滑。以上三个步骤实现了手势分割,虽然步骤较多但每个步骤算法均简单快速,此方法分割后的手图像前景与背景分割完全,图4显示了前景图像由粗到细的分割过程,这为后期指尖位置的检测以及各种手势特征的提取做了很好的准备。2齿轮型值点的检测目前指尖检测算法中,模板匹配方法的使用最为广泛的,但由于其算法必须滑动模板遍历图像进行匹配,而且其时间效率并不高。轮廓分析方法是根据轮廓边缘的几何特征实现指尖定位,如文献中根据轮廓边缘曲率检测轮廓,文献中采用最小二乘椭圆拟合的方式检测指尖,这类算法对轮廓精度要求较高,但检测精度高、速度快。从本文手势分割的结果可以发现手指的形状是由两条近似平行的直线和直线之间接近半圆的曲线组成,因此可以利用此特征对指尖进行检测。首先根据上节拟合过程中得到的曲率圆半径值把整个轮廓型值点格式化为直线和曲线的集合。设定一个曲率圆半径阈值Kthre,根据此阈值对边缘型值点进行分类。假设已经得到型值点对应的曲率圆半径大于Kthre的一段连续的点pm+1,pm+2,pn(n≥m),则求出其中第一个点pm和最后一个点pn之间的距离,设定一个直线长度的阈值,若pm和pn之间的距离大于该阈值,则连接pm和pn作为一条直线。其余轮廓上直线以外的点和点之间作为曲线。这样,所有轮廓边缘型值点被格式化为直线与曲线相间的集合。对于集合中的每条直线li若同时满足以下两个条件:1)li与相邻的下一条直线li+1的夹角小于一个阈值Lthre,则可认为li与li+1近似平行。2)li与li+1之间的曲线Ci的长度大于一个阈值Lthre,而且两直线间的型值点曲率圆半径值在一定阈值范围之内,则可认为Ci是指尖轮廓的曲线。两条直线li,li+1以及二者之间的曲线Ci共同构成手指的轮廓。而曲线Ci的中点即可被认为是指尖的位置。3实验结果和分析为测试文中方法的正确性,随机选取了处理过程中的50帧图片来统计手势分割和指尖检测结果。硬件采用PentiumD2.4G计算机,罗技USB摄像机。图5给出了一些实验结果。结果表明在光照不发生突变的情况下分割手轮廓准确,定位指尖精准,对于手指的指向、手指运动的快慢、摄像头的高度、左右手的指尖检测是非常鲁棒的。表1中记录了处理不同分辨率图像下各算法过程平均所花费的时间。表2中记录了本文方法与曲率法和椭圆拟合法检测指尖的时间和精度(指尖实际位置由人眼判断)。从结果可以看出本文指尖定位算法时间效率与检测精度都较高,指尖检测过程中产生误差的原因有两个,一是手势分割时的轮廓精度不足影响指尖检测,二是由于在某些手势下指尖不一定位于曲线中点处导致误差产生。4系统的选择及应用文中提出了一种鲁棒而快速的人手指尖检测方法。该方法和传