基于Opencv的手势识别系统

基于Opencv的手势识别系统分析1指导老师：鲁晓军作者：毛晓洁日期：2013.10.18基于Opencv的手势识别系统分析系统研究背景手势识别流程分析系统总体结构系统的设计与实现总结21.系统研究背景及应用人机交互在当今计算机技术迅猛发展的今天逐渐成为人们日常生活中的重要部分手势识别是一种简单、直观的新的交互方式，被越来越多的采用基于手势识别的窗口控制系统，可以应用在很多方面，比如PC上的鼠标控制、Android界面控制、图片浏览、音乐播放器控制等方面。3本系统目标：通过读取摄像头信息来识别相应的手势进行鼠标控制。控制逻辑如下：手掌（五指全部伸开时）表示鼠标移动（用手掌中心来对应移动距离），一根手指表示点击（最好的体验应该是通过指尖来确定位置，但是实现比较困难的话就先用手掌中心进行代替），拳头表示鼠标按键弹起2.系统总体结构总体结构如下：53.系统实现分析图像（包含手势）的预处理肤色检测与分割手势模板匹配跟踪与预测算法：Camshift算法和Kalman算法接口部分的设计与实现63.1图像预处理预处理目的：为了改善图像的质量，有两种方法：--图像的增强不考虑图像降质的原因，只将图像中感兴趣的特征有选择的突出，而衰减次要信息特点：能提高图像的可读性，但改善后的图像不一定逼近原始图像。可用场合：如衰减各种噪声、突出目标的轮廓等--图像的复原针对图像降质的原因，设法去补偿降质因素，从而使改善后的图像尽可能的逼近原始图像。图像增强的两大应用改善图像的视觉效果突出图像的特征，便于计算机处理方法（1）灰度变换（2）直方图修正线性：均值滤波器，高斯平滑滤波器（3）滤波

非线性：中值滤波边缘保持滤波

灰度级变换的应用之一亮度调整——加亮、减暗图像25512825521825512825532直接灰度变换直接灰度变换图例求反对比度增强亮度增强一个指纹图像增强的实例直方图的作用直方图修正灰度均衡有时也称直方图均衡直方图修正直方图修正直方图均衡化图像中的脉冲噪声模型在图像传输过程中，经常会受到各种噪声的干扰，在进行进一步的边缘检测、图像分割、特征提取、模式识别等处理前，需要采用适当的方法尽量减少噪声最常见的图像噪声：脉冲噪声特点：噪声点的取值与图像信号本身无关椒盐噪声随机值脉冲（加性）噪声(a)原始图像(b)高斯噪声被高斯噪声所污染的图像3X3窗口7X7窗口均值滤波器的效果（a）原图像（b）3*3均值滤波（c）5*5均值滤波（d）9*9均值滤波（e）15*15均值滤波（f）36*35均值滤波观察6幅图，总结邻域平均模板大小对滤波结果的影响。高斯平滑滤波器-1

根据高斯函数选择邻域内各像素的权值高斯平滑滤波器高斯平滑滤波器…2高斯函数具有五个重要的性质:

旋转对称性

在各个方向上的平滑是一致的单调递减

邻域的影响随着距离的增加而减弱付氏频谱是单瓣的

保留所需信号高斯平滑滤波器…3参数σ调节平滑程度

在过平滑与欠平滑之间取得平衡可分离性

降低计算复杂度高斯平滑滤波器…4模板设计方法:直接法高斯平滑滤波器-5直接法：直接根据高斯函数的离散值计算模板权值（1）计算离散值ó2=2，n=7高斯平滑滤波器-6（2）放大，取整（3）规范化，使权值之和为17X7高斯滤波模板15X15高斯滤波模板邻域运算输出图象中每个象素是由对应的输入象素及其一个邻域内的象素共同决定时的图象运算。通常邻域是远比图象尺寸小的一规则形状。如：下面情况中，一个点的邻域定义为以该点为中心的一个圆内部或边界上点的集合。邻域运算与点运算一起构成最基本、最重要的图象处理工具。中值滤波器（1）取邻域（2）按亮度值大小排列像素点（3）选排序像素的中间值作为中心点的新值非线性滤波中值滤波中值滤波的原理用一个N×N的窗口（N=3，5，7…）在图像上滑动，把窗口中像素的灰度值按升/降次序排列，取排列在正中间的灰度值作为窗口中心所在像素的灰度值。性质是一种非线性滤波，对消除脉冲噪声十分有效。在去除噪音的同时，可以比较好地保留边的锐度和图像的细节中值滤波的原理用模板区域内象素的中值，作为结果值R=mid{zk|k=1,2,…,9}强迫突出的亮点（暗点）更象它周围的值，以消除孤立的亮点（暗点）中值滤波中值滤波算法的实现将模板区域内的象素排序，求出中值。例如：3x3的模板，第5大的是中值， 5x5的模板，第13大的是中值， 7x7的模板，第25大的是中值， 9x9的模板，第41大的是中值。对于同值象素，连续排列。如（10,15,20,20,20,20,20,25,100）中值滤波中值滤波主要用途：钝化图像、去除噪音计算公式：R=mid{zk|k=1,2,…,9}最大值滤波主要用途：寻找最亮点计算公式：R=max{zk|k=1,2,…,9}最小值滤波主要用途：寻找最暗点计算公式：R=min{zk|k=1,2,…,9}最大值滤波最小值滤波中值滤波消除雀斑中值滤波消除雀斑图4-24噪声平滑实验图像（a）Lena原图；（b）高斯噪声；（c）椒盐噪声；(d)对(c)平均平滑；(e)对(b)平均平滑；(f)对(b)5×5中值滤波；(g)对(c)5×5中值滤波abcdefg3.2手势检测与分割分割即将目标物体从背景中分离，以便进行下一步分析。常用方法：背景差分法基于肤色空间的分割通过训练器进行训练本系统使用第二种方法，因为其计算量小，在背景及光照不变的情况下效果比较理想83.3基于肤色的手势分割根据肤色在某一颜色空间中的取值范围进行分割提取，主要是在RGB和HSV、Ycrcb空间中。9HSV(hue,saturationandvalue)的缩写A.R.Smith根据颜色的直观特性于1978年创建