手势识别开题报告学习教案

1、会计学1手势手势(shush)识别开题报告识别开题报告第一页，共20页。第1页/共19页第二页，共20页。传统方式传统方式(fngsh)(fngsh)鼠标鼠标键盘键盘手柄手柄数据手套数据手套新型方式新型方式视觉语音力觉 触觉这些在灵活性和实现精确控制方面存在限制符合人类交流习惯缺乏灵活性方便、直接、易于使用第2页/共19页第三页，共20页。选题背景选题背景(bijng)与研究与研究现状现状国外：国外：英国英国Essex大学通过识别人脸，比较当前人脸形状和模板大学通过识别人脸，比较当前人脸形状和模板(mbn)人脸形状来估计人人脸形状来估计人脸方向，从而控制智能轮椅。脸方向，从而控制智能轮椅。美国

2、美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简单动作的清扫机机器人实验室实现了一种能够按人体手势及手臂动作做出简单动作的清扫机器人。器人。2007年，年，Md.Al-Amin Bhuiyan等人研究的通过人脸及人脸角度控制机器人等人研究的通过人脸及人脸角度控制机器人AIBO的动的动作或者姿势。作或者姿势。2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、后退、左转、年印度学者已经实现应用手势远程控制机器人的运动状态为前进、后退、左转、右转和停止五个状态。右转和停止五个状态。国内：国内：天津大学研究了汉语语音识别系统并用来控制机器人。天津大学研究了汉语语音识别系统

3、并用来控制机器人。上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。清华大学研究了一个手势识别系统，选择其中清华大学研究了一个手势识别系统，选择其中(qzhng)识别率较高的十种手势识别率较高的十种手势类别作为人机互动信号应用于电脑游戏中代替手柄。类别作为人机互动信号应用于电脑游戏中代替手柄。第3页/共19页第四页，共20页。选题选题(xun t)背景与研究现背景与研究现状状人人-机器人交互方式实例机器人交

4、互方式实例(shl)第4页/共19页第五页，共20页。选题背景选题背景(bijng)与研究与研究现状现状语音方式：语音方式：适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强噪声干扰环境适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强噪声干扰环境下语音技术面临下语音技术面临(minlng)较大困难，很难将控制信号识别出来。较大困难，很难将控制信号识别出来。视觉方式：手势、体态、人脸姿态视觉方式：手势、体态、人脸姿态手势适应性强，最为直观手势适应性强，最为直观(zhgun)、方便、自然、方便、自然研究难点研究难点：手势本身具有多样性、多义性及时间和空间上的差异性；人手是复杂

5、变形体；背景复杂时，很容易将非手势区域误认为手势区域，如何去除非手部分。第5页/共19页第六页，共20页。研究研究(ynji)内容内容（1）建立本课题手势模板库分为训练集和测试集两类，在VC+环境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势分割。（2）编写可视化软件界面，并根据手势轮廓、形状或者纹理等提取手势特征，应用模式识别分类(fn li)方法实现对手势的分类(fn li)及识别，并达到实时性，识别率达到95%以上。（3）应用移动机器人平台，选取手势模板库中识别率最高的七种手势作为移动机器人的运动状态控制信号，分别控制移动机器人的前进、后退、直线加速、直线减速、左转、右转和

6、停止七种状态。在不同实验环境（如光照、背景）下，对系统进行整体调试。第6页/共19页第七页，共20页。研究研究(ynji)方案方案第7页/共19页第八页，共20页。研究方案研究方案手势手势(shush)模板库模板库第8页/共19页第九页，共20页。研究方案研究方案(fng n)手势分手势分割方法割方法肤色肤色(f s)建模方法建模方法阈值化阈值化（肤色范围）（肤色范围）参数化参数化（高斯密度函数估计）（高斯密度函数估计）所需存储空间小所需存储空间小需要考察所选颜色空间中肤色分布的形态需要考察所选颜色空间中肤色分布的形态学习速度快学习速度快非参数化非参数化（统计直方图）（统计直方图）皮肤纹理检测

7、皮肤纹理检测基于统计模型方法基于统计模型方法（局部二值模式，（局部二值模式，LBP）基于信号处理方法基于信号处理方法（傅里叶变换或者小波变换）（傅里叶变换或者小波变换）简单易行简单易行选择合适的颜色空间选择合适的颜色空间需要大量统计样本需要大量统计样本需要存储空间大需要存储空间大是一种表述灰度图像某像素点与周围像素点大小关系的二进制描述第9页/共19页第十页，共20页。研究研究(ynji)方案方案特征提取方特征提取方法法手势手势(shush)特征特征:能刻画手势能刻画手势(shush)的本质特征，要求对目标的位的本质特征，要求对目标的位移、旋转及尺度缩放具有不变性。移、旋转及尺度缩放具有不变性

8、。全局几何全局几何(j h)(j h)特征特征变换域几何特征变换域几何特征紧密度紧密度区域形状偏心率区域形状偏心率区域形状实心率区域形状实心率矩函数矩函数小波描绘子小波描绘子傅里叶描述子傅里叶描述子对几何矩进行非线性组合，得到一组对于图像平移、旋转、尺度缩放都不变矩物体边界点集合，进行傅立叶变换形状特征形状特征面积面积第10页/共19页第十一页，共20页。研究方案研究方案分类分类(fn li)方法方法手势分类手势分类:通过特定的方法将提取通过特定的方法将提取(tq)的被识别对象的特征信息归为某一类别，从而的被识别对象的特征信息归为某一类别，从而实现手势识别。实现手势识别。分类分类(fn li)

9、(fn li)方法方法模板匹配方法模板匹配方法基于统计理论方法基于统计理论方法欧式距离分类方法欧式距离分类方法最大最小距离最大最小距离（ Hausdorff Hausdorff距离）距离）神经网络方法神经网络方法支持向量机（支持向量机（SVMSVM）BoostingBoosting以及以及AdaBoostAdaBoost算法算法随着维数的增大，计算量会增大，准确度也会下降学习时间过长，甚至可能达不到学习的目的；体系结构通用性差；推广性差可能出现过分配避免过学习、维数灾难、局部极小等问题第11页/共19页第十二页，共20页。研究方案研究方案(fng n)控制部分控制部分UP-Voyager II

10、A移动机器人移动机器人硬件通讯层完成软件与硬件之间的数据交互(jioh)工作将硬件指令解析换算成控制算法中数据变量；调用控制函数生成(shn chn)对应的硬件控制指令UP-Voyager系统数据流系统数据流第12页/共19页第十三页，共20页。第一步：获取手势图像，建立手势模板库，并分为训练集及测试第一步：获取手势图像，建立手势模板库，并分为训练集及测试(csh)集两个大类集两个大类实验实验(shyn)方案方案设计设计第二步：利用肤色第二步：利用肤色(f s)信息和纹理特征完成手势分割信息和纹理特征完成手势分割第三步：第三步：利用不变矩和傅里叶描述子方法得到特征向量利用不变矩和傅里叶描述子方

11、法得到特征向量第四步：第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果第五步：第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能第13页/共19页第十四页，共20页。预期预期(yq)成果成果第14页/共19页第十五页，共20页。研究研究(ynji)基础基础简单背景阈值分割简单背景阈值分割(fng)手势手势第15页/共19页第十六页，共20页。利用傅里叶变换利用傅里叶变换(binhun)得得到的相关特征参数：到的相关特征参数：0.034551;

12、0.070123;0.038968;0.042986;0.003900;0.017425;0.010688;0.007627;0.010348;0.007532;研究研究(ynji)基础基础实验室已经实验室已经(y jing)(y jing)具备条件具备条件：（1 1）计算机）计算机（2 2）轮式移动机器人）轮式移动机器人（3 3）机器人控制器）机器人控制器（4 4）数字）数字CCDCCD摄像机摄像机 （5 5）开发软件）开发软件第16页/共19页第十七页，共20页。进度进度(jnd)安排安排2011年5月2011年6月 查阅资料，完成开题报告。2011年7月2011年8月 准备资料，学习相关知识，并建立相关手势库2011年9月2012年3月 通过编程完成对标准手势库的训练，初步(chb)实现手势识别，并通过实验提高识别率。2012年4月2012年6月通过USB摄像头，完成实时手势识别。2012年7月2012年9月在移动机器人平台上运行程序，实现对其运动状态的控制。2012年10月2012年11月撰写毕业论文文稿。第17页/共19页第十八页，共20页。谢谢谢谢(xi xie)(xi xie)各位老师！请老各位老师！请老师们批评指正！师们批评指正！第18页/共19页第十九页，共20页。NoImage内容(nirng)总结会计学。美国CMU机器人实验室