文献综述之多尺度模型与矩描绘子相结合

1、文献综述作者：小金子陈，华中师范大学前言该论文的题目是多尺度模型与矩描绘子相结合的手势识别算法，作者为丁海洋、阮秋琦，北京交通大学。该文提出了一种基于单目视觉的手势识别算法。通过用户初始化过程获取基本识别参数，结合视频跟踪的过程实时获取用户手势区域，在该区域内采用矩描绘子与多尺度模型相结合的方法进行特征提取，对于提取出的特征采用分类识别规则，实现对手势I10的正确识别。经过试验证明，该算法可以适用于不同用户，识别正确率达到935。该文提到，基于单目视觉的手势识别即仅通过单个摄像机来采集手势图像，建立手势的平面模型。特点：这种模型简单，处理的数据量较小，识别时间短。但由于仅有一个视角，所以这种方

2、法对于用户手势的输入限制较大；而基于多目视觉的手势识别即通过两个或是两个以上的摄像机来采集图像，建立手势的立体模型并进行立体手势识别。特点：对于用户手势的输入限制较小，可以实现更加自然的人机交互方式，但由于立体模型较平面模型要复杂得多，需要处理的数据量很大，手势识别的时间会长得多。该文提到在刘江华等的论文中提出一种双目视觉的手势识别算法，实现了基于光流PCA（主分量分析）和DTW（动态时间规整）的命令手势识别，该系统的识别准确率很高，但是由于它是基于双目视觉的手势识别系统，所以要建立立体手势模型，而且要考虑双目之间的特征匹配问题，方法比较复杂，计算量很大，在通常的计算机配置条件下实现的难度很大

3、。（如果我们要达到较好的结果，最好还是采用双目的，但没有实验设备、而且难度大。）该文作者在针对双目视觉和前人对单目研究上的不足，提出一种单目视觉的手势识别算法，该算法采用：进行图像分割，得到二值手势图像，并采用矩描绘子与多尺度模型相结合的方法进行特征提取。多尺度模型：即对给定的一幅手势图像，可以通过检测不同尺度的搜索样板，来检测手的不同部分的位置。具体来说，要检测用户手掌掌心的位置则采用与用户手掌大小相当的样板进行搜索匹配，得到的最佳匹配点就是用户手掌掌心所在的位置。要检测用户指尖的位置则采用同用户指尖大小相当的样板进行搜索匹配，这样得到的若干满足要求的点就是指尖的位置，同时也得到了指尖的数量

4、。要检测用户的手指的位置和角度则采用与用户手指尺寸相当的样板进行搜索匹配，得到的若干满足要求的点就是手指的位置，同时可以得到手指的数量及每个手指的角度。在得到了掌心、指尖和手指的参数以后，可以根据特定的识别规则得出手势识别的结果。描绘子：表征图像特征的一系列符号。描绘又分为区域描绘和关系描绘，其中区域描绘包括傅立叶描绘子、矩描绘子和拓扑描绘子。正文1特征提取和手势识别根据视频跟踪的结果划分处理区域，并在该区域内进行图像分割。对于经过图像分割以后的二值图像，s表示二值图像中点（i,J）的像素值，当该点属于手势部分时，S=1,否则S:0。采用矩描绘子与多尺度模型相结合的方法进行特征提取，即用矩描绘

5、子提取出手势重心的位置，采用多尺度模型提取出手势指尖的数量和具体位置；根据提取的特征识别出用户输入的手势。11用户初始化该文将采集的手势图像作为进行初始化的基准图像，对其进行图像分割，然后在水平和垂直两个方向通过投影法，分别得到用户手势在图像中水平方向的有效范围，mlm2和垂直方向的有效范围，z1z2。同时得到用户手势的等效长度口和等效宽度b；采用矩描绘子获取图像重心G；采用多尺度模型获取指尖特征。该文分别采用不同的用户搜索步长L和不同的搜索样板尺度K获取指尖特征。并且结合指尖和重心特征判别该手势是否为5,如果不是5说明当前使用的L和K不合适，继续采用不同的L和K。如果是5说明当前采用的L和K

6、适合该用户，记录下L值和K值。同时，结合重心G和各指尖tl、t2、t3、t4、t5获取各指尖到手势重心的距离1、2、3、4、5,见图1。a和b决定着视频跟踪过程中跟踪框的大小；L和K决定着获取指尖过程中的参数；各指尖到重心的距离决定手势分类识别过程中的一些识别阈值。12重心特征提取由于矩描绘子描绘了一个区域内部点的分布，而且对图像的变换、旋转、大小变化都是恒定的，即只要图像的内容不变，仅仅产生几何变化，描绘图像的矩描绘子将是唯一的，所以该文作者采用矩描绘子提取重心特征。重心点的设定需要用到积分、累加等等数学计算，由于对图像的具体如何形成不了解，暂且不谈。13指尖特征提取采用多尺度模型提取指尖特

7、征，指尖的特征信息包括两部分：指尖的数量和指尖的位置。采用同用户指尖大小相当的搜索样板在二值手势图像中进行搜索匹配，这样得到的若干满足要求的点就是指尖的位置，同时这样也得到了指尖的数量。14视频跟踪本系统中，视频跟踪的过程是在一个“匹配一修正一预测”环中实现的。匹配过程用来求取已知特征在当前图像中的位置，修正过程是根据获取的特征位置修正系统参数，预测过程是根据系统参数预测下一幅图像中图像特征的位置，并将预测结果送往下一幅图像的匹配过程，以协助完成匹配过程。如此循环，使得匹配过程的结果始终与图像特征的位置相一致。15手势识别得到手势重心和指尖特征后，本系统采用分类识别规则，即先根据提取指尖的数量

8、对手势进行分类。然后将指尖和重心连线，采用距离公式。计算各指尖到重心的距离，再采用反余弦式。计算各指尖与重心连线间的夹角，将距离和夹角作为选择的特征。再进行分类器设计，即对于训练集中的每幅手势图像提取指尖和重心特征，并计算出距离和夹角，对于不同手势分别进行距离和夹角的统计，得到其概率分布的数字特征，根据最小错误率的贝叶斯决策得到用于区分不同手势的距离和夹角的阈值。得到分类器后，可对于采集的手势图像进行分类识别，即对于每幅图像提取出指尖和重心特征，并计算出距离和夹角，将距离和夹角输入分类器，最后得到识别结果。2实验及结果经过特征提取，得到重心坐标；通过数学式得到指尖到重心的距离；计算指尖和重心连线间的夹角；将距离和夹角特征输入分类器，得输入