手势识别总结学习教案

1、会计学1手势手势(shush)识别总结识别总结第一页，共20页。 手势手势(shush)类型类型l 静态手势识别（手型）静态手势识别（手型）l 动态手势识别（动作及轨迹）l RGB相机相机l 红外相机（主动、被动）l 加速度传感器l 深度相机（双目、 结构光、 TOF）第1页/共20页第二页，共20页。 基于手势基于手势(shush)分割分割 基于基于(jy)手势检测手势检测l 选择合适的特征l 准备大量训练样本l 算法复杂度较高l 算法复杂度低l 难于分割完整的手势l 对光照比较敏感第2页/共20页第三页，共20页。手势手势(shush)识识别别手势手势(shush)输输入入特征提取特征提取

2、误差补偿、滤波、预处理预处理手势分割、手势跟踪、分类、建模训练、匹配第3页/共20页第四页，共20页。第4页/共20页第五页，共20页。手势手势(shush)分分类器类器采集手势采集手势(shush)样本样本选择分类选择分类算法算法选择选择特征特征训练训练过程：识别过程：手势类别及位手势类别及位置置采集图像采集图像手势分类手势分类器器多尺度多尺度处理处理分类第5页/共20页第六页，共20页。图中黑色矩形所有(suyu)像素值的和减去白色矩形所有(suyu)像素值的和。第6页/共20页第七页，共20页。1.将一幅图片划分(hu fn)为若干的子区域，对每个子区域内的每个像素点都提取LBP特征。2

3、.在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成第7页/共20页第八页，共20页。第8页/共20页第九页，共20页。第9页/共20页第十页，共20页。第10页/共20页第十一页，共20页。第11页/共20页第十二页，共20页。训练训练(xnlin)(xnlin)程序程序opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -pre

4、calcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL 训练样本训练样本opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pause第12页/共20页第十三页，共20页。 积极积极(jj)(jj)样本多样性样本多样性积极积极(jj)(jj)样本背景随机性样本背景随机性 消消极样本结合场景极样本结合场景 积极样本旋转积极样本旋转特征选择特征选择第13页/共20页第十四页，共20

5、页。 获取获取(huq)(huq)手势的抠图手势的抠图将手势抠图合成到随机将手势抠图合成到随机(su (su j)j)背景背景缩放到合适尺寸缩放到合适尺寸第14页/共20页第十五页，共20页。速率速率(sl)(sl)较快（较快（30-50ms30-50ms）对光照对光照(gungzho)(gungzho)不敏感不敏感对不同摄像机适用性强对不同摄像机适用性强对图像质量要求不高对图像质量要求不高第15页/共20页第十六页，共20页。 样本样本(yngbn)(yngbn)处理要求高（尺寸，背景，光处理要求高（尺寸，背景，光照，多样）照，多样） 后期升级训练困难（手工后期升级训练困难（手工(shugn

6、g)(shugng)裁剪裁剪或标注样本）或标注样本） 存存在一定程度误判率（过拟合与泛化）在一定程度误判率（过拟合与泛化） 特特征不具有旋转不变形（识别固定姿态手势）征不具有旋转不变形（识别固定姿态手势）第16页/共20页第十七页，共20页。采集采集(cij)(cij)多样性样本（多样性样本（20k20k） 将误判图片作为将误判图片作为(zuwi)(zuwi)消极样本再训练消极样本再训练 收收集实际识别图片手工裁剪样本集实际识别图片手工裁剪样本 使用其他的方法进行二次判断（肤色验证及使用其他的方法进行二次判断（肤色验证及SVMSVM）第17页/共20页第十八页，共20页。深度深度(shnd)(shnd)相机相机可分割出手型的二值图像可分割出手型的二值图像(t xin)(t xin)（手型轮廓），进而通（手型轮廓），进而通过轮廓特征进行手势及动作识别。过轮廓特征进行手势及动作识别。深度神经网络深度神经网络通过通过CNNCNN卷积神经网络自动选取特征进行识别，样本量巨大（卷积神经网络自动选取特征进行识别，样本量巨大（100k1