基于手势识别的幻灯片控制系统的设计.ppt

基于手势识别的幻灯片控制系统的设计 与实现 指导老师：张淑军 学生姓名：王西庚 1 基于手势识别的幻灯片控制系统的设计与实现 课题研究背景 主要研究内容 系统总体结构 系统的设计与实现 系统测试 总结 2 1.课题研究背景 人机交互在当今计算机技术迅猛发展的今 天逐渐成为人们日常生活中的重要部分 手势识别是一种简单、直观的新的交互方 式，被越来越多的采用 基于手势识别的幻灯片控制系统，可以使 我们了解和掌握手势识别的原理，并进行 了简单的实际应用的设计 3 2.主要研究内容 了解手势识别研究的原理和方法 掌握OpenCV开源库的使用 熟悉Hu矩特征的基本概念 了解支持向量机（SVM）的分类原理和 LibSVM的使用方法 在现有类库基础上实现一个基于手势识别 的幻灯片控制系统 4 3.系统总体结构 根据系统设计的总体思想，其结构为： 5 4.系统的设计与实现 手图像的预处理 手图像几何特征的提取 SVM模型训练和LibSVM的应用 手势识别的流程 接口部分的设计与实现 6 4.1 手图像的预处理 手图像的准确获取：本系统中采用灰度投 影法确定手的准确区域 手图像的灰度化：本系统中首先将图像由 RGB色彩空间转化到YCbCr空间，再利用 其Cb或Cr通道进行二值化分割 采用最大类间方差（Ostu）法进行图像的 二值化 7 4.2 手图像几何特征的提取 能够描述图像特征的矩：Hu矩、小波矩、 Zernike矩，本系统中使用Hu矩 Hu矩及其计算：通过对Hu矩的计算，得到 了手势图像处理的结果，并作为SVM训练的 样本 8 4.3 SVM训练模型和LibSVM的应用 最优化理论 SVM支持向量机 LibSVM的应用：包括“svmtrain”和 “svmpredict”,其中前者用于SVM样本训练，最 后生成模型文件；后者根据模型文件，加上给 定的输入，输出预测样本对应的类别 9 4.4 手势识别的流程 基于以上技术，手势识别的流程为： 10 4.5 接口的设计与实现 幻灯片控制调用相应的控制函数，控 制其翻页操作 接口的设计：根据加载的SVM模型对手势 图像处理的结果进行判别，并根据判别结 果在手势变换时调用不同的幻灯片控制函 数，控制文件的翻页 OpenCV窗口的前端显示 11 5. 系统测试 对系统进行功能测试，其效果： 右图是系统运行时的 主菜单界面 12 下图是系统运行时的手势识别窗口，左图是对 右图二值化处理后的结果 13 对系统进行性能测试： （1）交互延迟：从系统捕捉到图像到幻灯片执行相应操作所耗费 的时间 。经过测试，其平均值为57.3ms （2）轮廓提取时间：系统对每一帧图像从开始捕捉到计算其Hu矩 值的耗时 。经过测试，其平均值为40.7ms 次数 12345678910 延迟 （ms ） 53625856705149595560 次数12345678910 时 间 （ms ） 39454238464140364238 14 （3）摄像头采集图像的帧速：系统运行时摄像头每秒采集多少帧的图像。经 过测试，平均帧速为32.2fps 次数12345678910 一帧 耗时 /ms 28343229352931342833 帧速 35.729.431.234.528.634.532.329.435.730.3 15 总结 本课题利用目前比较成熟的OpenCV的相关 函数，进行了基于Hu矩和SVM的手势识别 的研