答辩基于计算机视觉手势识别技术

会计学1答辩基于计算机视觉手势识别技术手势识别技术的研究背景及意义手势识别技术研究的意义

手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个非常有意义的课题。

静态手势识别的基本流程第1页/共22页全文介绍本文主要研究内容

手势图像预处理

手势图像分割

手势特征提取

手势图像分类识别第2页/共22页手势图像预处理图像的平滑空域平滑滤波：

均值滤波法：用所选窗口的所有像素点的平均值来代替窗口中心点的灰度值。

中值滤波法：把邻域中的图像的像素按灰度级排序后选择该组的中间值作为像素值。

维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域内的方差来调整滤波器输出

图像锐化图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变的部分，使图像的边缘、轮廓线以及图像的细节变的清晰。第3页/共22页手势图像预处理平滑滤波结果第4页/共22页手势图像预处理图像锐化结果第5页/共22页手势图像分割色彩空间

RGB色彩空间YCrCb彩色空间

HSI色彩空间

图像分割算法基于HSI色彩空间的分割算法

H,S,I三分量之间的相关性较小，可由色调H和饱和度S完成独立于亮度的彩色区域分割。

RGB空间图像转换到HIS空间经过多次试验确定色调和饱和度上下阈值根据阈值分类像素点第6页/共22页手势图像分割基于YCrCb色彩空间的分割

利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空间中进行彩色阈值分割。基于改进的RGB色彩空间的分割算法

利用传统的方法在RGB空间进行手势分割，需分别设定R、G、B三个分量的阈值。由于亮度值为RGB三分量的平均(左式)，所以传统方法受光照影响较大。第7页/共22页手势图像分割

经大量研究发现，虽然RGB色彩模型易受光照影响，但是RGB三种色彩对应三分量的色差值却保持在一定的范围之，即受光照影响不大。所以本文的改进方法是基于三分量的色差的阈值分割。经过大量的测算，得出如下式的阈值适合于本次实验手的肤色。

以上阈值可以得到较为理想的分割手势下面对三种分割算法的分割效果进行分析比较第8页/共22页手势图像分割分割出的手势图像分割前图像HSI空间彩色分割结果HSI空间二值分割结果YCrCb空间二值分割结果改进的RGB空间二值分割结果第9页/共22页手势特征提取特征提取的目的降维，减小数据量

特征提取算法

基于小波变换的特征提取算法

首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。

基于Hu不变矩的图像特征提取

Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具有不变性。

第10页/共22页手势特征提取Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图像特征向量，Hu矩组反映了图像的本质属性。

基于Bamieh不变矩的特征提取算法为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特征量。第11页/共22页手势特征提取实验结果及分析

(a)

(b)

(c)

(d)

(e)

(f)(a)原始图像128*128,(b)64*64图像,(c)256*256图像,(d)旋转30°,(e)旋转45°,(f)添加0.01的高斯噪声第12页/共22页手势特征提取小波变换特征提取结果原始图像3.44143.13142.69202.74132.81023.30942.617364*643.45173.00742.79152.78322.81063.21872.6003256*2563.44873.07752.79432.72512.82233.29352.5607旋转30°3.46023.16922.78792.71922.88893.37452.5102旋转45°3.47623.09392.70432.68232.84613.49192.5132噪声图像3.40533.12602.70792.54232.81563.30352.40842.42582.59582.43193.50573.48593.12982.61432.82432.52312.59912.45903.47023.43333.05302.61102.91942.50172.53992.48013.47283.49543.09142.79932.82682.61622.53622.38743.66843.56393.16852.72632.81262.67712.54232.50393.62303.51943.15772.57032.74072.52232.33182.33103.51903.48893.13032.61262.8323第13页/共22页手势特征提取Hu不变矩特征提取结果原始图像1.47845.81677.24939.094519.69812.07917.02264*641.49415.63677.57638.300020.67711.43116.539256*2561.48165.79597.32158.995919.79111.70217.020旋转30°1.48255.74917.18398.308720.14210.80517.262旋转45°1.47235.94397.18508.306720.16210.80217.246噪声图像1.10314.97566.00757.567718.0369.600815.969第14页/共22页手势特征提取Bamieh不变矩的特征提取结果原始图像4.438318.5404.57425.137764*644.402118.6254.54815.0463256*2564.410118.9234.51514.9781旋转30°4.407717.3784.64745.5888旋转45°4.407418.0775.65265.5505噪声图像4.303418.5484.43685.5610第15页/共22页手势特征提取三种手势特征提取方法的比较

Hu不变矩的特征提取结果显示：不变矩满足大小和旋转不变性，但Hu不变矩提取的特征向量在有噪声存在时会发生较大变化；

小波变换特征提取结果对噪声不太敏感，但是各个特征量之间差别较小，分类效果低。

Bamieh不变矩特征提取结果：满足大小和旋转不变性，对噪声也不敏感。第16页/共22页手势图像分类识别人工神经网络BP学习算法工作信号正向传播误差信号反向传播概率神经网络算法求和层输入层模式层输出层第17页/共22页手势图像分类识别手势阿拉伯数字“1”期望值001001001001001BP算法结果0.013480.003930.978060.048420.210980.943720.105980.026930.999790.404590.159200.973670.307480.705720.66647手势阿拉伯数字“2”期望值010010010010010BP算法结果0.223400.998790.013710.009000.998050.904220.010240.940760.099870.181380.969260.082190.966070.986220.97746手势阿拉伯数字“3”期望值011011011011011BP算法结果0.098850.888210.877310.134410.913690.999850.372450.981170.943740.016220.865980.988810.092770.743370.86095手势阿拉伯数字“4”期望值100100100100100BP算法结果0.955910.147940.012890.945560.161940.0641520.958580.176820.101070.929880.252040.183110.881250.032620.09776手势阿拉伯数字“5”期望值101101101101101BP算法结果0.848280.0332810.986320.985080.317570.898300.809850.349960.845320.554320.886620.999700.098850.859920.99497第18页/共22页手势图像分类识别Bamieh不变矩提取特征送入PNN网络的分类结果

手势阿拉伯数字“1”期望值11111Pnn识别结果11111手势阿拉伯数字“2”期望值22222Pnn识别结果22314手势阿拉伯数字“3”期望值33333Pnn识别结