人脸识别改进

1、湖南省大学生研究性学习和创新性实验计划项 目 申 报 表项目名称：基于单目视觉技术车辆智能碰撞规避的研究学校名称湖南工业大学学生姓名学号专业性别入学年份2012.092012.092012.092012.092013.09指导教师宓茜职称学科专业学生曾经参与科研的情况本项目组成员参加过全国大学生电子设计大赛， 以及在学校和同学T做过 多种实训1:比如启基于单片机的万年历系统，智能刷卡系统、温度检测系统； 基于数电的简单的报警系统、以及基于模电的简易收音机等等。指导教师承担科研课题情况项目：1 融合不确定性与随机统计信息的回转干燥过程建模新方法研究国家自科基金项目2 基于支持向量机的回转干燥过程

2、混合建模与能耗 /排放优化新方法研究 教育厅青年项目（型并联控制技术的研究教育厅项目（编号：10C0604）项目研究和实验的目的、内容和要解决的主要问题一、项目研究的目的随着科技的飞速发展，传统的身份识别(如口令、身份卡等)容易遗失， 易被破解等问题逐渐暴漏，已不能满足各种安全需要。人们期望有一种更加 可靠的技术来进行身份鉴别。生物特征识别技术给这一切带来了可能。由于人脸的面部特征难以复制和假冒，从而被应用到最现代化的门禁系 统，网上支付系统等等领域中。人脸识别技术是利用计算机分析人脸，从中 提取出有效的特征和识别信息，通过与数据库的人脸比较来管理和控制的技 术，与以往的身份识别系统相比提高了

3、安全防范的可靠性。2015年3月15日晚间，全球瞩目的汉诺威消费电子、信息及通信博览会 (CeBIT)在德国开幕。马云在开幕式上，向德国总理默克尔与中国副总理马凯 演示了蚂蚁金服的Smile to Pay扫脸技术、项目研究的内容人脸比对是指对于给定的一幅任意图像，首先进行人脸检测，对其中的人脸部分进行特征提取，根据这些提取的特征参数，与另外一幅任意给定的图像中的所含人脸部分的特征 参数进行比对，判断两者是否为同一个人。典型的人脸自动比对系统如图1.5所示，它以含人脸的静态图像或者视频作为输入，以比对之后的结果作为输由，其中包括了人脸图像获取、人脸检测、人脸特征提取和人脸识别四个 主要的环节。人

4、 脸.图像 获人脸检测特征提取人脸识别图1.5人脸识别系统一般框架人脸图像的获取一般来说，图像的获取都是通过摄像头摄取，但摄取的图像可以是真人，也 可以是人脸的图片或者为了相对简单， 可以不考虑通过摄像头来摄取头像， 而是 直接给定要识别的图像。(2)人脸检测人脸检测(FaceDeteetion)就是给定静态图像或者视频，判断其中是否有人脸存在，如果存在，则给出人脸的大小、位置等状态信息。由于受异常人脸的干扰，在人头定位的基础上实现了人脸检测，异常人脸的排 除成了这一部分的关键内容。(3)人脸特征提取人脸特征提取即提取人脸面部中所具有的特征，它的本质就是将一般的图像数据映射到机器空间中去，以此

5、可以利用模式识别或图像 分析的方法进行后续的处理和研究。基于人脸的先验知识，每个人脸特征都有唯一不变性和变化多样性这两个特点，只有充分利用唯一不 变性和变化多样性这两个特点才能够进行后面的人脸比对识别操作。(4)人脸识别人脸识别指的是对输入的两个人脸图像，利用两个人脸图像的特征参数，采取某种算法进行人脸之间的比对，最终返回人脸比对的结果。目前，依据人脸比对技术所采用的特征，可将人脸比对技术主要分为两 类：(1)基于人脸图像的几何特征比对，(2)基于人脸图像的统计特征比 对。前者主要考虑人脸五官所在的相对位置具有不变性和唯一性；后者主要考虑了每个人脸图像的象素数据具有的稳定性和唯一性。三、解决的

6、主要问题(1)图像的采集。采集过程中需要保持人信息的完整性，包括拍摄图像时 要保持拍摄环境的一致性，如光照，拍摄角度等要保持一致；需要保持人脸图像 的姿态，即拍摄正面的人脸图像；并保持拍摄时人脸的表情和配饰的一致性，如戴或不戴眼睛，是否化妆等等。(2)人脸识别方法的选择问题。在进行识别方法的选择时，既要考虑到识别算法的实用性和有效性，又要 考虑识别方法的识别效率和准确率的问题。综合考虑现有的人脸识别方法，从中 选择适合于本系统需求的人脸识别方法。(3)需要识别的人脸图像发生变化，如需要识别的人员增加、减少、人员 的相关信息发生变更等问题。国内外研究现状和发展动态到现在为止，人脸识前期以 All

7、en和Parke为代表，主要研究人脸识别所需 要的面部特征，研究者用计算机实现了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程 全部依赖于操作人员，显然这不是一种可以完成自动识别 的系统。中期是人机交互式识别阶段，代表性工作有 ：Harmon和Lesk用几何特 征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征， 并设计 了基于这一特征表示法的识别系统。Kayak Kobayashi则采用了统计识别方法， 用欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。后期是真正的机器自动识别阶段。随着高速度、高性能计算 机的发展，人脸模式识别方法有

8、了较大的突破，提出了多种机器全自动识别系 统，人脸识别技术进入了实用化阶段。人脸识别技术在世界范围内得到广泛的关注，更多的研究开始集中在基于视 频的人脸识别上面。视频下的人脸识别系统主要是针对视频图像序列进行分析处 理，它通常涉及到人脸检测、人脸跟踪、特征提取、人脸识别几个过程。其近 些年来，随着计算机计算能力的加强，基于视频流下的人脸识别发展迅速， 各种 面向复杂应用背景的视频 人脸识别系统也随之涌现。由于基于视频流下的人脸 识别系统具有如此大的应用前景，它引起了许多国家的高度关注。国内外众多的 大学和研究机构，如美国的 CMU MIT UIUC大学、英国的剑桥大学、日本的 Toshiba公

9、司和国内的清华 大学、中科院自动化所等单位都对基于视频的人脸识 别进行了广泛而深入的研究，尽管基于视频的人脸识别技术取得了很大成果，但在实际应用中还存在很大 的局限性，面临着许多困难与瓶颈，这些问题也决定 了基于视频人脸识别技术的发展趋势及今后的研究方向，本项目学生有关的研究积累和已取得的成绩一、研究积累目前，项目进行了前期调研，完成了部分数据采集，取得了一定进展，为项 目整体推进打下良好基础，项目学生的有关研究积累和取得成绩如下：1 .通过人脸识别系统项目设计研究在软件方面对算法有了比较深入的了解，在图像处理方面也有了新的突破，在图文信息采集方面也有一定的了解。2 .我们也基本了解自动检测技

10、术。3 .已进行市场和技术调研，并根据用户需求，对此人脸识别进行初步设计二、已取得的成绩我们对人脸识别系统项目研究到至今，我们已经完成了初步的软件和硬件进行了规划。项目的技术路线、进度安排及预期成果一、技术路线人脸检测的技术主要是用到基于Adaboost算法的检测方法。daboost算法的步骤如下：1 .指定训练样本库 S,正负样本的总数分别为X和Y;T是训练的总共循环次数；2 .初始化每个样本的权值为1/n;3 .开始迭代：(1)在所有训练样本的不同概率分布情况下，训练得到每轮的弱分类器；(2)计算基于这个弱分类器分类的错误率；(3)选择适当的闽值，使得错误率最小；(4)更新所有样本的权重分

11、布：(5)判断是否达到总共的最大循环次数，达到则退由该循环否则继续迭代；4 .最后得到一个强分类器daboost算法流程图基于Adaboost算法的人眼和嘴巴的检测嘴巴的训练和检测过程是和人眼训练和检测过程是一样的，只是训练的时候正样本有所区别，1样本库的构造在训练分类器之前，需要输入的数据主要有人眼样本（即正样本）、非人眼样本（即负样本卜矩形特征。（l）正样本库的构造人眼样本的选取，对最终训练得到的人眼检测系统有着很大的影响。人眼样本的选择如果过于单一，比如没有考虑光照,姿态等的变化，那么最后训练得到的分类器的漏检率就会比较高，人眼检测系统就很不完善 的正样本数据。，所以样本库必须要有丰富截

12、取的部分人眼图像(2)负样本库的构造由于背景的复杂性，因此在收集非人眼样本时，图像背景不能单一，纹理要比较丰富，图像要更贴近 实际生活。用了 MIT的非人脸库，共有4381幅非人眼图像，里面的图像有着很大差异，是专门针对分类器训练制作的负 样本库，对分类器的训练有很大帮助，能提高分类器的分类性台匕 目匕。MIT的非人脸库的部分图像选取的人眼样本全部是睁开人眼的样本，含有戴无色眼镜，当人眼闭着的时候，就检测不到人眼，可以视为异常人脸2人眼分类器的训练由于在矩形窗口中矩形特征的数目非常多，选取所有的矩形特征参与分类计算，计算量非常可观。通过实验发现，利用这些特征中的一小部分就能组成一个有效的分类器

13、，可以采用弱学习算法来逐次选择对分类最有利的矩形特征。对于每一 个特征来说，弱学习算法确定一个错分样本最少的最优闭值 分类函数。一个弱分类器h,(x)包含一个特征f,(x)，一个闽值氏 和用来表示不等式方向的Pj, Pj取正负1。如下图：oc工 otherwiseAdaboost算法通过迭代的方式对一组带有权值的向量进行训练，初始时所有的向量数据都被分配成相等的权值。每一轮迭代，就训练得到一个相 应的弱分类器，进入下一轮迭代前，对于被错误分类的向量数 据就增加其权值，而对于被正确分类的向量数据就减小其权值。最终得到的强分类器是T(T是迭代的总共次数个弱分类器的加权集成，其中每个不同弱分类器的权

14、值与训 练的误差成反比。在本章中，Adaboost还具有特征选择的功能 每一轮的训练过程中仅用一个特征进行训练并最后选择最 有利于分类的特征作为弱分类器。Adaboost算法的训练过程如下：给定一系列的训练样本：(X1,Yl),(X2,Y2),(Xn,Yn), Xi为图像样本,Yi为样本的类别标志，Yi =o表示图像为非人眼图 像,Yi=1表示图像为人眼图像；其中，i=1,2,n,为总共的样本1 1Wi =,-，数。将两类不同的样本的分别赋予权值： 2mMm和1分别为样本总数和非人眼样本总数。假设要训练T个弱分类器，这里T也是选定的特征数目。假设t=1,T,执行循环如下：(1)归一化权值：3p

15、 =r i z 柏=1 ； (2)使得为概率分布，即7(3)对于每一个矩形特征，训练得到一个仅利用该矩形 特征的弱分类器而。计算 hj的加权误差：幻=£：1而3)一阿1(4)从所有的矩形特征所对应的弱分类器中选择一个加 权训练误差为最小的弱分类器。这个分类器表示为 h,训练误差为：句=£：p；I-)-mo|(4)按照得到的最佳弱分类器，调整样本权重：当样本被正确的分类时。ei=0,当样本被错误的分类时,°F,因为故总是比0.5小，所以四1 ,每轮训练之后，正确分类的样本权值减小，错误分类的样本权值增大。最后训练得到的强分类器由总共T个特征的弱分类器组成:I1 I1

16、,£(ln元地上不t-iPt/ t=iPt k0, otherwise在每一轮训练的过程中，该算法从所有的矩形特征中总是选 择分类误差最小的矩形特征。简单的训练流程图如图级联分类器人眼分类器的级联随着弱分类器九(x)数目的不断增加，最终的强分类器H(x)也会变得越来越复杂。一些结构简单的强分类器仍然具有较 高的效率，它们可以用来排除大多数的非人眼图像区域而同 时检测出几乎所有可能存在的人眼区域。为了提高分类器整体的检测性能同时又减少检测时间，可将多个强分类器按照 从简单到复杂的顺序联接起来从而就构成了分类器的级联使整个的人眼检测过程形成一个简单决策树，如图3.13所示。分类器级联前端

17、的结构简单的分类器通过简单的计算来排除大多数的非人眼窗口，而后面的结构较复杂分类器通过更多的处理来进一步排除剩余的非人眼窗口，降低检测的错误率。对于级联系统的每一级来说，如果该分类器的 输由为T,则认为该检测窗口可能含有人眼区域，将该检测窗口输入到下一级的分类器进行进一步的判定；否则，在该级分类器将检测窗口判断为非人眼区域进行排除。通过 该级联系统，最终可以得到一个比较稳定输生的人眼区域。嘴巴检测的实现利用Adaboost的方法同样可以实现嘴巴的检测和定位。在构造样本库的时候只需要把正样本库的图片换为嘴巴的图片,负样本库不变，利用Adaboost算法进行分类器的训练，得 到最后的级联强分类器，

18、利用强分类器在人脸区域进行嘴巴 的搜索，找由并标示由人的嘴巴的位置。通过截取ORL人脸库和MIT人脸库中2500幅人的不同表情，不同光照情况下人 的嘴巴的图片作为训练所用的正样本。图3.14截取的部分嘴巴图像人眼检测和嘴巴检测的结果:人眼和嘴巴检测的事例以上的四幅图片就是用 Adaboost算法最后训练由来的 分类器检测得到的结果，其中第一幅、第二幅和第四幅是脸部 没有任何遮挡物的人眼检测和嘴巴检测 ，第三幅是戴无色眼 镜的人眼和嘴巴的检测结果。部分检测和错检的人脸图像上图是用 Adaboost算法训练的分类器检测人眼和嘴巴由现漏检和错检的情况，之所以会存在漏检和错检的情况，是因为 人脸图片情

19、况比较多变，表情的变化，姿势的变化都会对人眼 检测和嘴巴检测产生影响。选取了 200幅图像进行了人眼和嘴巴的检测和定位这些图像多数是正面人脸图像，因为转角比较大的侧面人脸图像有时候就拍不到人脸面部的部分特征，所有该方法对其就没有检测的意义。部分存在人眼的漏检和错检 ，部分存在嘴 巴的漏检和错检，最终实验结果如下表。表3.1人眼和嘴巴定位算法的准确率图像总数正确定位数错误定位数未定位数检测率20018210891%图3.17异常人脸检测情况上图是部分异常人脸的检测情况，可以看由只能检测由人眼或者嘴巴，不能完成人眼和嘴巴的同时检测。从而就可以排除异常人脸，启用报警装置并提示操作人员摘下遮挡物。 如果操作人员摘下遮挡物，则进行第二次的人眼和嘴巴检测。 否则提示ATM环境存在非法人员入侵。最后证明该方法能在绝大多数的情况下检测到正常人 脸的人眼和嘴巴特征，而对于异常人脸只能检测到部分的人脸特征（检测不到嘴巴或者人眼，或者同时检测不到嘴巴和人 眼）。通过基于人脸面部特征的检测来排除掉异常人脸的方法 是可行的，通过这一步的处理，留下正常人脸能进行后面的人 特征点提取和人脸对比工作。进度安排：2015年4月-8月