（通信与信息系统专业论文）鲁棒人脸识别算法的研究与实现.pdf

四川大学硕士学位论文鲁棒人脸识别算法的研究与实现鲁棒人脸识别算法的研究与实现通信与信息系统专业研究生：黎奎指导老师：周激流教授基于生物特征的识别技术是利用人类所特有的个体特征来证实个人身份。人脸识别技术是人类用于互相识别的一种自然而直接的生物测定学方法，它直接、友好、方便，易于被用户接受，并且通过人脸表情、姿态的分析还能获得其它识别系统难以获得的一些心理活动等信息。它是未来人机交互、智能生活环境的关键技术。它在经济、安全、社会保障、刑侦、军事等领域有潜在的巨大应用价值。人脸识别的研究还涉及心理学、生理学、人工智能、模式识别、计算机视觉、图像分析与处理等多个学科领域。它是人类智能的基本体现，它是最典型、最困难的模式识别问题之一，对这一问题的研究和解决，有助于对其他对象识别问题的研究和解决。人脸识别也因此成为这些基础研究领域的重要课题之一，具有重要的理论研究价值。本文致力于鲁棒人脸识别算法的研究与实现，主要成果有：1 提出一种新的用于人脸图像预处理的数字图像滤波器。首先提出它的模型，然后在空间域和频率域证明了它的一些性质和结论。利用这些性质和结论，分析了该滤波器特征增强的原理。结合主元分析技术，分析了该滤波器在人脸图像预处理中的应用。2 在分类器设计方面，提出一种新的委员会机器结构用于分类识别，并提出一种新的输出融合方式。首先给出分类识别中一个公共问题“偏差一方差”两难问题，它为本文委员会机器的设计奠定了理论基础。实现了两种神经网络四川大学硕士学位论文鲁棒人脸识别算法的研究与实现分类器，用r p r o p 算法实现m l p 网络，用o l v q 3 算法实现r b f 网络，并对m l p 网络隐层提取特征的作用进行了一定研究。这两种网络将作为委员会机器的专家。比较大量文献提出的方法及结果，并分析它们的结论，提出我们的委员会机器结构及输出融合方式。理论和实践都证明，我们的委员会机器都能稳定的保持较高的识别率，是一种鲁棒的人脸识别算法。3 实现了主元特征提取技术和独立元特征提取技术。详细分析了它们的原理，并给出算法实现的具体过程。在人脸图像的特征提取上，给出了直观的演示，比较了它们特征提取的异同点。在本文实验部分，详细列举了本文实现的1 0 种识别算法在o r l 人脸数据库上不同类别数目及不同样本数目下的识别率，对它们进行了对比分析与总结。关键词：人脸识别特征增强特征提取分类器委员会机器神经网络主元分析独立元分析堕型奎兰婴主茎堡丝奎苎堡堕望型墨整竺堕窒兰塞翌r e s e a r c ha n dr e a l i z a t i o no fr o b u s tf a c er e c o g n i t i o na l g o r i t h mm a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e mg r a d u a t es t u d e n t ：k u il ia d v i s o r ：p r o f j i l i uz h o ut h ep u r p o s eo fb i o m e t r i c si st om a k eu s eo fp e o p l e sp e r s o n a lf e a t u r e st oa u t h e n t i c a t et h ei d e n t i t y f a c er e c o g n i t i o nt e c h n o l o g yi san a t u r a la n dd i r e c tb i o m e t r i c sm e t h o d c o m p a r e dw i t ho t h e rb i o m e t r i c sm e t h o ds u c ha sf i n g e r p r i n t ，i r i s ，r e t i n a , a n dg e n e 吼c ，f a c er e c o g n i t i o ns y s t e mi sd i r e c t ，f r i e n d l y , c o n v e n i e n t ，a n dm o r ei n c l i n e dt ob ea c c e p t e db yu s e r s f u r t h e r m o r e ，m e n t a li n f o r m a t i o nh a r dt oo b t a i nb yo t h e rr e c o g n i z i n gs y s t e m sc a l lb eg a i n e dt h r o u 曲a n a l y s i so fe x p r e s s i o na n dg e s t u r e i ti sak e yt e c h n o l o g yo fm a n - m a c h i n ei n t e r a c t i o na n di n t e l l i g e n tl i v i n ge n v i r o n m e n ti nt h ef u t u r e i th a sg r e a ta p p l i c a t i o nv a l u ei ne c o n o m y , s e c u r i t y , s o c i a li n s u r a n c e ，c r i m i n a li n v e s t 【g a t i o n ，a n dm i l i t a r yf i e l d s f a c er e c o g n i t i o nt e c h n o l o g yi n v o l v e sp s y c h o l o g y , p h y s i o l o g y , a i ，p a t t e mr e c o g n i t i o n , c o m p u t e rv i s i o n ，i m a g ea n a l y s i sa n dp r o c e s s i n gf i e l d s e s p e c i a l l y , i t sb a s i cr e v e a l i n go fh u m a ni n t e l l i g e n c e i t st h em o s tt y p i c a la n dd i f f i c u l tp a t t e r nr e c o g n i t i o n t h er e s e a r c ha n ds o l v i n go ft h i sp r o b l e md ob e n e f i t so t h e ro b j e c tr e c o g n i t i o np r o b l e m s s of a c er e c o g n i t i o no fg r e a tt h e o r e t i c a lr e s e a r c hv a l u eb e c o m e so n eo f t h ei m p o r t a n ts u b j e c t so f s u c hb a s i cr e s e a r c h t h ef o c n so fw o r ki st h er e s e a r c ha n dr e a l i z a t i o no fr o b u s tf a c er e c o g n i t i o na l g o r i t h m t h eo r i g i n a lw o r ki n c l u d i n g ：1 p r o p o s e dan e wd i g i t a lf i r e rf o rp r e p r o c e s s i n go ff a c ei m a g e f i r s t l yg i v i n gt h em o d e lo ft h ef i l t e r , t h e nd i s c u s s i n ga b o u tq u a l i t yo ft h ef i l t e ra n di t sa p p l i c a t i o n- 3 一四川大学硕士学位论文鲁棒人脸识别算法的研究与实现t of e a t u r es t r e n g t h e n i n g f i n a l l yd i s c u s s i n gi t sa p p l i c a t i o ni np r e p r o c e s s i n go ff a c ei m a g ec o m b i n e dw i t hp c a 2 p r o p o s e dan e ws t r u c t u r eo fc o m m i t t e em a c h i n ea n dan e wm e t h o do fo u t p u tf u s i o n f i r s tr e p r e s e n tac o m m o np r o b l e mi nc l a s s i f i c a t i o ni e “b i a s v a r i a i c e ”d i l e m m a w h i c hi st h eb a s i so fc o m m i t t e em a c h i n ed e s i g n t h e nu s er p r o pa l g o r i t h mt or e a l i z em l p , w h i l eo l v q 3t or e a l i z er b f f e a t u r ee x t r a c t i o nf r o mh i d d e nl a y e ro f m l pi sa n a l y z e d t h e s et w oa n n sw o u l db eu s e da se x p e r t si nc o m m i t t e em a c h i n e l a s tc o m e sc o m m i t t e em a c h i n ep r i n c i p l ea n di t sr e a l i z a t i o n t h r o u g hc o m p a r i n gm e t h o d sa n dr e s u l t so fv a r i o u sr e f e r e n c e s ，a n da n a l y z i n gt h e i rc o n c l u s i o n s ，c o m m i t t e em a c h i n ei sp r o p o s e d t h et h e o r ya n de x p e r i m e n tb o t hs h o wt h a ti tc o u l dr e t a i nah i g hr a t eo fr e c o g n i t i o ns t e a d i l y i ti sar o b u s ta l g o r i t h mf o rf a c er e c o g n i t i o n 3 a n a l y z i n gt w of e a t u r ee x t r a c t i n gm e t h o d sw i d e l yu s e d ，i e p c af o rf e a t u r ee x t r a c ta n di c af o rf e a t u r ee x t r a c t ，s h o w i n gi t ss p e c i f i ca l g o r i t h ma n de x p e r i m e n tr e s u l t p e r f o r m i n ge x p e r i m e n tr e s u l ta n a l y s i s 10a l g o r i t h m sa r er e a l i z e di nt h i sp a p e r b a s e do no r lf a c ed a t a b a s e ，t h er e s u l to fs u c ha l g o r i t h m so nd i f f e r e n ta m o u n to fs a m p l e si sr e p r e s e n t e d t h r o u g hc o m p a r i s o n ，a n a l y s i sa n dd i s c u s s i o na r ef u r t h e r e d k e y w o r d s ：f a c er e c o g n i t i o n , f e a t u r ee n h a n c e m e n t ，f e a t u r ee x t r a c t i o n ，c l a s s i f i e r ,c o m m i t t e em a c h i n e ，a r t i f i c i a ln e u r a ln e t w o r k s ，p r i n c i p a lc o m p o n e n ta n a l y s i s ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s4 四j i i 大学硕士学位论文鲁棒人脸识别算法的研究与实现第一章绪论1 1 前言近几十年来，伴随着人们对自动人脸识别技术的需求，人脸自动识别理论与技术得到了高度的重视。它有广泛的应用前景，在国家的公共安全中的罪犯抓逃、门禁与出入境管理等：信息安全中的持卡身份验证、社会保险和智能考勤系统等；智能环境中智能人机接口等和家庭娱乐中真实感游戏和智能玩具等方面。人脸识别和指纹识别 1 】、虹膜识别 2 和掌纹等生物识别技术 3 】一样，是与身体自身有关的东西，不能被偷窃、转让和丢失，所以具有安全方便等特点。对生物特征识别技术在参考文献 4 1 1 5 o p 有总结性的介绍。和其它生物识别手段相比，人脸识别有自身的优点。第一，人脸图像数据是非接触式采集，没有侵犯性，容易接受；第二，可以隐蔽操作，特别适合安全问题、罪犯监控与抓逃等应用，它不需要人配合，这是其它生物识别技术做不到的：第三，符合人类的识别习惯，在事后追踪和识别评测时，可交互性很强；第四，人脸识别系统的设备成本较低，很容易嵌入到其它系统中；第五，能够对人们生活中记录的静态图像做出处理。但是人脸识别也有很多不足。首先就是识别率不高，这是由于人脸图像数据采集环境的易变和人脸自身的易变等因素引起的。其次是潜在的可以人为改变的人脸模式，比如故意掩盖和整容等。再次是人脸的唯一性低。对双胞胎的识别，是一个很大的问题。本文致力于研究鲁棒的人脸识别算法，使其有很好的泛化能力，获得较高的识别率。1 2 课题研究的意义及背景人脸识别理论及技术的研究具有高度的理论价值。它的研究涉及心理学、生理学、人工智能、模式识别、计算机视觉和图像分析与处理等多个学科领域，更是模式识别、人工智能和计算机视觉的典型案例之一：由于人脸是非刚体的模式，代表了最典型、最困难的模式识别问题，而且人类由来都是主要用人眼四川大学硕士学位论文鲁棒人睑识别算法的研究与实现去识别人脸来辨别身份的，如能用机器来实现这一视觉功能，无疑将具有非常重要的意义。所以对这一问题的研究和解决，有助于对其他对象识别问题的研究分析和解决，有助于相关学科相关问题的解决。人脸识别被重视的另一个重要原因是其在经济、安全、社会保障、确侦、军事等领域有巨大的潜在的应用价值，尤其在需对用户身份进行验证或识别的场合。如银行、海关、重要安全部门的身份验证，驾照、护照、身份证等证件的核对，自动门禁、安全监控、罪犯抓逃与比对等领域，自动人脸识别技术都具有广泛的应用价值。以身份认证为例，传统的身份认证方法有基于标志物品的，如身份证、钥匙、信用卡和印章等，这种基于“你有什么东西”的方式，相当不可靠，容易丢失、伪造、冒用和被盗等，后来又加入基于“你知道什么”的方式，也是现在应用最广的方式。但也存在诸多弊端，如密码难记且易遗忘，可能被黑客攻破，密码可能被盗窃或破译等，尤其是为了便于记忆，人们通常以自己的生日、姓名等为密码，密码的安全性受到严重威胁。另外，在敲击密码的过程中，别有用心的人很容易窃取密码，如采用摄像枧可以录下用户所输入的密码。据统计，a t m 网络每年的交易额为1 0 0 亿美元左右；世界范围的删机的错误接受率大约为3 0 ，估计每年损失2 9 8 亿美元。由于上述原因，人们期待着能有一种低成本、安全、方便的身份识别方式。而人脸识别技术因其无需用户过多参与，非接触式的数据采集方式，对用户无任何损害，便于隐藏等优点而普遍为人们所看好，被称为2 1 世纪最有前途的身份验证方法。高性能、高智能和高可用性被普遍认为是当前计算科学发展的主要方向。而智能人机接口技术要研究的正是如何提高计算设备的智能性和可用性问题，其目标就是要建立和谐自然的入机交互环境，使用户可以方便、自然地利用人类所熟知的方式使用计算机。这其中一个基础性环节就是要使计算机能够准确无误地感知包括自然语言、手势语言、面部语言在内的各种不同的人类表达方式。人脸无疑传达着直观的身份信息、丰富而细腻的请感和心理信息。因此，以人脸识别为代表的面部感知计算引起了越来越多的关注，它是未来智能人机接口技术的重要组成部分和研究的核心内容。上面从人脸识别研究的理论意义、应用广泛以及智能人机接口的发展方向等三部分，阐述了人脸识别的重要意义。在这一课题中，识别率不高成为阻碍塑业奎兰堡主兰垡! 鎏苎堡叁墅望型茎鲨塑旦塞皇壅翌其应用最主要的问题。研究高识别率、鲁棒性好的人脸识别算法，无疑将有重要意义。由于人脸识别的重要性，国家在这方面的研究投入较大。本课题是国家自然科学基金项目“人脸识别理论及其应用的研究”、教育部博士点基金项目“人脸识别技术与系统的研究”、i 圈) i i 省杰出青年基金项目“人脸识别理论及技术的研究”的资助项目。1 3 人脸识别综述1 3 1 人脸识别的基本过程对整个人脸识别系统来说，人脸识别就是对于输入的人脸图像或者视频，首先做人脸检测，判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小或者给出主要面部器官的位置信息。然后依据这些信息，提取每个人脸的特征，利用这些特征将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。一般的说，人脸识别主要有三种运行方式 6 】。第一种是研究较少的查表( w a t c hl i s t ) 模式，它解决“你在找我吗? ”的问题，因为待判别的人不一定在库中有记录，所以这个问题特别困难，特别是在类别数目比较多的情况下。验证( v e r i f i c a t i o n ) 方式和识别( i d e n t i f i c a t i o n ) 方式都是基于登记( e n r o l l m e n t )的。验证解决“这是我的人脸吗? ”的问题，先由某人给出他的身份信息，然后用采集到他的人脸数据，判别是否是真的这一身份信息，要求在库中有这身份的信息数据。识别解决“我是谁? ”的问题，判断来者是登记的数据库中具体哪一个人，一般说人脸识别就特指这一问题，本文也是针对这一问题的。对识别这一问题，图1 1 给出一个实现的基本框架。人脸图像的获取主要指人脸检测。本文的工作主要在识别算法的研究，所以在人脸检测方面只作一般性的介绍，它的方法很多，如刘智明闭用遗传算法检测人脸。更多的内容可以参考综述性文献【8 】【9 】【lo 】。图像预处理主要是去除一些人为意外影响，对后继分类识别的关键特征增强等，让特征提取和分类识别在一致的条件下能较好进行。特征的提取与选择一方面减小计算复杂度，另兰型查兰坐竺堡塞一! 鳖叁丝塑型兰鲨堕翌窒皇塞里一方面提高分类识别的正确率，同时在样本登记存储的数据库中，也减小了空间占用率。分类识别器的本质是特征与类属的个函数关系，如何找到一个中等复杂度的模型是一个关键问题，模型太简单就不足以描述模式问的差异，相反，太复杂又对新的模式没有推广能力。图1 1 人脸识别流程图结果i 3 2 人脸识别的发展人脸识别的研究起源于二十世纪初，它最初和其他生物识别技术一起作为识别罪犯身份的手段。但是到2 0 世纪九十就是年代后，才成为研究和应用的热点。这时建立了些比较通用的人脸识别库，最常见的人脸库有，o r l 库，y a l e库等。人脸识别的发展按其自动化的程度可分为三个阶段【1 1 】：第一阶段是机械式的识别阶段，其特点是识别过程全部依赖于操作人员，这一时期的研究者有a l l e n 1 2 、p a r k e 1 3 。第二阶段是人机交互识别阶段。这个阶段虽然利用操作员的某些先验知识，但摆脱不了人的干预，b l e d s o e 1 4 在六十年代最早提出了一个基于人脸直观特征的半自动人脸识别系统。第三个阶段是自动识别阶段。随着高速度高性能计算机的发展，和人们对自动识别的需求，人脸模式的识别方法有了较大的突破，这一阶段识别率和自动化程度得到很大提高。在下面的常用人脸识别算法中，将具体介绍这一阶段的成果。从人脸的侧面和正面特征来说，早期的人脸识别系统基于侧面特征的较多，如参考文献【1 5 】 1 6 】中利用较少的硬件设备，提取侧面人脸特征点并结合基于先验知识的识别准则，取得较好的识别效果。现在的人脸识别往往指正面人脸识别。由于三维人脸识别【1 7 】是未来的一个重要发展方向，而侧面的人脸包含了四川大学硕士学位论文鲁棒人脸识别算法的研究与实现较多的三维信息，所以正侧面特征的结合可能会取得更好的结果。从人脸识别的方式方法来看。早期的人脸识别方法多是基于几何特征和知识。如b l e d s o e 1 4 的半自动人脸识别系统，选取数十个面部特征点，并将这些特征点距离和比率作为判别特征。一但是这种人为指定特征的方式丢失了大量判别信息，故识别率不高。现在的人脸识别方法多是利用面相特征的统计判别方法和基于学习的方法等。1 3 3 主要人脸识别技术人脸识别的方法很多，这方面综述文献有 1 1 1 8 1 9 1 1 2 0 。以下介绍一些主要的人脸识别方法。1 3 3 1 基于几何特征的人脸识别方法人脸是由眼睛、鼻子、嘴等器官构成的，它们的大小、形状、结构、布局等的差异造成了千差万别的人脸，应用这些人脸几何特征进行人脸识别是很自然的想法。早期，有侧面人脸识别，有b l e d s o e 1 4 的半自动人脸识别系统，有b r u n m e l l i 和p o g g i o 2 2 用积分投影法提取出3 5 维人脸特征矢量用于人脸识别的方法。基于几何特征的识别方法具有如下优点：符合人类的直观认识，易于理解；对每幅图像只需存储一个特征矢量，存储量小：对光照变化不太敏感。这种方法存在的问题有；从图像中抽取准确而稳定的特征比较困难，特别是特征受到遮挡时，往往离不开人的参与；对强烈的表情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成大量信息丢失，识别精度不高。1 3 3 2 基于模板匹配的人脸识别方法模板匹配法是一种经典的模式识别方法，该方法主要是通过计算模板与图像灰度的自相关来达到识别的目的。可以将整个人脸看作一个模板，也可以将人脸的组件眼睛鼻子等看作模板。r o v e r a n db r u n e l l i 等人【2 3 】使用了四个模板：眼睛、嘴、鼻子、整个人脸( 眉毛以下部分) ，比较了各个模板的性能。实验结旦坐堕兰堡主兰堡坚墨鲎叁壁堡型墨望塑堑塞量壅堡果表明：眼腈模板是最优的，其次是鼻子，再次是嘴，最后是整个人脸；同时还比较了不同的预处理过程对模板匹配识别人脸方法的影响，实验结果表明：在梯度图像上做模板匹配优于在原图上直接做。他还把模板匹配与基于几何特征的方法进行了详尽的比较，并指出模板匹配的方法优于基于几何特征的方法。模板匹配的个主要弊端是计算量比较大，另外对光照、旋转、表情变换等比较敏感，在某种程度上影响了它的使用。1 3 3 3 基于特征脸( p c a ) 的人脸识别方法特征脸方法是基于d z r ( 离散足一三变换) 的人脸识别方法，d e z t 变换是图像压缩的一种最优正交变换。高维的图像空间经过d k l t 变换后得到一组新的正交基，保留其中重要的正交基，由这些基可以张成低维线性空间。人脸投影到这些低维线性空间，然后在这个低维空间作分类识别，这就是特征脸方法的基本思想。特征脸方法是一种简单、快速，实用的基于代数特征的人脸识别方法，保留了人脸部件之间的拓扑关系，也保留了各器官部件的信息，得到广泛的应用。但光照、视角的变化对它的影响比较大，因此对预处理、归一化的要求比较高。特征脸方法在人脸识别领域已经成为一个标准。本文在第3章将详细讨论它的原理。k i r b y a n ds i r o v i e h 2 4 首先引入d k l t 来检测和识别人脸。t u r ka n d p e n t l a n d 2 5 进一步发展了这种方法，直接用归一化的数个人脸图像直接训练，取得很大成功。以特征脸方法为基础的改讲方法也很多。z h a oa n d y a n g 2 6 1 为了消除一定光照影响，采用三幅不同光照下的样本图像作特征空间的生成矩阵。a p e m l a n d 2 7 等人采用模块化的策略，对人脸的不同器官分别做k 一三变换，得到“特征眼”、特征鼻”、“特征嘴”等，然后将这些分类组合得到最后的结果，识别率得到了提高。特征脸和判别分析结合来( l d a 方法) 提高识别性能【2 8 】，往往是利用最大化类间距离的同时，也最小化类内距离，把特征提取和分类结合起来，但是这种方法容易将表情等不具有分类能力的特征提取出来。另一个改进是p n b e l h t t m e u r 等人的f i s h e f f a c e 方法 2 9 1 ，这种方法受光照、表情影响要小一些，但需要较多样本。s c h o l k o p f 3 0 结合核函数的方法，形成核主元分析( k p c a ) 的人脸识别方法。m o g h a d d a m 3 1 3 2 等人，通过线性混合的特征翟川大学硕士学位论叟鲁棒人睑识剐算法的研究与实现脸方法，估计人脸的类内和类间差异的概率分布，采用贝叶斯方法识别人脸。此外，还有一种比较流行的基于p c a 的方法一局部特征分析( l f a ) 方法3 3 1 ，该方法认为局部特征及其拓扑关系反映事物的内在特性，而p c a 不具有这种特性。l f a 它利用特征之间内在的相互关系，强相关的特征之间彼此加强，弱相关的特征之间彼此抑制，从而提取特征的“局部”或“拓扑”特性。从滤波器设计的观点来看，l f a 为每个特征均提供一个特定的滤波器。各滤波器具各自己独特的形状，且形状与相邻特征之间的相关性相适应。与p c a 相比，lf a 同样提供一种良好的全局重构，对光照却有更好鲁捧性。1 3 3 4 神经网络的人脸识别方法神经网络在人脸识别应用中有很长的历史。早期用于人脸识别的神经网络主要是k o h o n e n 自联想映射神经网络，用于人脸的“回忆”。所谓人脸“回忆”，指当输入人脸图像受噪声污染严重或部分缺损时，能用k o h o n e n 网络恢复出原来完整的人脸图像。j u nz h a n g 在【3 4 中，直接将人脸图像输入到一个自组织神经网络，然后对输出节点进行分类，结果相当于特征脸的识别水平；v a l e n t i n 3 5 】等人首先提取人脸的部分主元，然后通过一个自相关神经网络进行训练，最后用一个普通的多层感知器进行分类；n i n t r a t a r 等人采用混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取、监督神经网络用予识别分类f 3 6 。l i n 和k u n e a l 3 7 1 将神经网络方法和统计方法结合在一起，提出了一种基于概率决策的神经网络( p r o b a b i l i s t i cd e c i s i o n - - b a s e dn e u r a ln e t w o r k ，p d b n n )用于识别人脸。其主要思想是采用虚拟样本正反例进行强化和反强化学习，从而得到较理想的概率估计结果，并采用模块化的网络结构加快网络的学习。这种网络结构继承了决策神经网络( d b n n ) 的结构，并加入概率交化。每个子网对应一个人，这种结构不仅有利于训练和识别，而且有利于硬件实施。其它的还有yd a i 等人采用h o i p f i e l d 网络进行人脸联想与识另u 3 8 】。近年来，支持向量机【3 9 】是人脸识别领域的一个新的热点【4 0 】，它试图使学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明s v m 有较好的识别率，但是它需要大量的训练样本四川大学硕士学位论文鲁棒人脸识别算法的研究与实现( 每类3 0 0 个以上) ，这在实际应用中往往是不现实的。而且支持向量机训练时间长，方法实现复杂，核函数的取法没有统一的理论。1 3 3 5 弹性图匹配的人脸识别方法l a d e s 等提出采用动态链接结构的方法识别人脸 4 1 。在人脸图像上放置一组矩形网格节点，每个节点的特征用该节点处的多尺度g a b o r 幅度特征描述，各节点之间的连接关系用几何距离表示，从而构成基于二维拓扑图的人脸描述。根据两个图像中各节点和连接之间的相似性可以进行人脸识别。w i s k o t t等 4 2 】将人脸特征上的一些点作为基准点，强调了人脸特征处的重要性，这个结构称为弹性图。他们采用每个基准点存储一串具有代表性的特征矢量，大大减少了系统的存储量。w n n z 等【4 3 】等只使用人脸面部的特征，进一步消除了结构中的冗余信息和背景信息，并使用一个多层的娥级结构。g r u d i n 等【4 4 】也采用分级结构的弹性图，通过去除了一些冗余节点，形成稀疏的人脸描述结构。弹性图匹配法是在二维的空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任顶点均包含一个特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人也不再需要多个样本进行训练。但是这种方法对人脸的图像大小要求较大，因此计算量和存储量都很大。1 3 3 6 线段h a u s d o r f f 距离( l h d ) 的人脸识别方法心理学的研究表明，人类在识别轮廓图的速度和准确度上丝毫不比识别灰度图差【4 5 】。l h d 是基于从人脸灰度图像中提取出来的线段图的，它定义的是两个线段集之间的距离。即h a u s d o r f f 距离。与众不同的是，l h d 并不建立不同线段集之间线段的一一对应关系，因此它更能适应线段图之间的微小变化实验结果表明，l h d 在不同光照条件下和不同姿态情况下都有非常出色的表现，但是它在大表情的情况下识别效果不好【4 6 】 4 7 】【4 8 】。四川大学硕士学位论文鲁棒人脸识别算法的研究与实现1 3 3 - 7 隐马尔科夫( h m m ) 的人脸识别方法在h m m 中，节点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征，不同状态表现出这一特征的概率不同。由于h m m 是一个统计模型，对于同一特征序列，可能会对应于许多状态序列，特征序列与状态序列之间的对应关系是非确定的。利用h m m 对人脸描述和识别，把各个器官的数值特征和一个状态转移模型联系起来，该模型的参数能较好地表征具体的人脸模型。基于人脸从上到下、从左到右结构特征，s a m a r i a 等 4 9 首先将1 一dh m m和2 dp s e u d oh m m 用于人脸识别。n e f i a n 等采用嵌入式h m m 识别人脸【5 0 】，后来集成c o u p l e dh m m 和h m m ，通过对超状态和各嵌入状态采用不同的模型构成混合系统结构 5 1 】。o t h m a n 等提出采用半连续的2 dh m m 来解决每类训练样本不足的问题 5 2 。最近，h o t h m a n 等【5 3 假设相邻的观察块之间独立，这个假设可以将三维的状态转移矩阵转化为水平和垂直的两个二维转移矩阵，因此是一种低复杂度的h m m 模型，且在o r l 库中取得了较好的识别率。x l i u 5 4 将h m m 模型用于序列图的的人脸识别中。1 3 3 8 独立元分析( 1 c a ) 用于人脸识别i c a 是盲信号分离的典型案例，它与p c a 的出发点不一样，p c a 利用一组线性正交基降维，而i c a 寻找的是一组统计独立的线性基降维，i c a 用于人脸识别 5 5 】，提取了人脸高阶的统计信息，比p c a 更局域化，取得了很好的识别效果。但是它和p c a 方法的结果比较，却颇有争议【5 6 】。本文将利用i c a 提取人脸特征，在第3 章将详细讨论它的原理和实现。1 ，3 。3 ，9 其它方法简介将核函数结合上面一些方法，产生了很多新方法，如核主元分析方法( k p c a ) 【3 0 、核独立元分析方法( k i c a ) 【5 7 】以及核判别分析 5 8 】等。这种方法的思想是把原空间数据非线性地映射到高维空间，使其线性可分，能取得较高的识别率。但是，这种方法的复杂度太高。非线性方法中还有i s o m a p 5 9 、l l e 6 0 ，它们都是基于特征值的方法，i s o m a p 利用测地距离保持最佳的巴卫竖堡主兰垡丝塞一量堡垒壁望型苎鎏塑里塞兰塞墨原来非线性流体本质的几何分布特征的内嵌子空间达到降维的目的：l l e 则利用非线性流形中的任意点与其近邻所在的流形面片可以近似为线性。这两种方法本质上是一样的，人脸的各种姿态和表情在降维后的低维空间中有很好的线分布。l e ea n ds e u n g 6 1 】认为人脸的各个组件是相加在一起，而不是相消。所以在做人脸矩阵分解的时候，限制每一项都应该非负，这样分解出来的矩阵具有很好的部件性，有的矩阵呈现眼睛，有的呈现嘴等。李子青 6 2 】对这一方法作了发展，减d , t 对人脸图像对齐精度的要求。1 4 论文的组织以及研究思路本文致力于研究人脸识别算法，提出一种新的特征增强算法和一种新的鲁棒人脸识别算法。本文第一章在阅读大量文献的基础上综述了人脸识别的历史和现状，并对人脸识别常用的一些技术进行了简单的介绍，比较了他们的优缺点，阐述了人脸识别的难点。第二章是人脸识别的预处理。先就人脸在光照和几何上的归一化。然后给出了一种新的特征增强方法，对它的模型和性质进行了详细的讨论。着重研究了它在人脸图像的特征增强中的作用。第三章是人脸的特征提取部分。分析了两种典型的特征提取算法，即主元特征提取和独立元特征提取，给出了它们的具体算法实现、实验结果及比较。第四章是分类器设计部分。首先给出分类识别中一个公共问题“偏差一方差”两难问题，它为本文委员会机器的设计奠定了理论基础。然后实现了两种神经网络分类器，用r p r o p 算法实现m l p 网络，用o l v q 3 实现r b f 网络，并对m l p 网络隐层提取特征进行一定研究。这两种网络将会作为委员会机器的专家。最后是委员会机器的原理和实现，比较大量文献提出的方法及结果，并对分析它们一些结论，提出本文的委员会机器。第五章是实验及结果分析部分。这一部分里，基于o r l 人脸库，给出本文实现的1 0 种方法在不同样本数目上的实验结果，并作了比较，在此基础上进行了深入分析和讨论。四川大学硕士学位论文鲁棒人脸识别算法的研究与实现第六章是对全文工作的一个总结和展望。四川大学硕士学位论文鲁棒人脸识别算法的研究与实现第二章人脸图像预处理一般情况下，人脸图像数据获取的环境具有不确定性，如光源的位置、成像的角度和远近等。这样，获取得到的人脸图像数据变化很大。另一方面，成像设备和存储传输设备等的也会带来一定的噪声，如分辨率的不同和成像的失真等。由于这些因素，人脸图像数据受到不同的降质，即使是同一个人，得到的图像数据也可能有很大差别。所以在提取特征前，应该采取些措施，屏蔽掉这些差别，而去增强不同人脸图像数据的差别。这些措施包括几何归一化和灰度归一化等。另一方面，为了方便后继的特征提取和人脸图像分类也需要做一些预处理。这一预处理过程可以增强一些重要的特征，为有效的提取特征和提高分类能力做好准备。2 1 人脸图像光照的补偿为了消除面部光照6 3 】对识别的影响，我们让每一幅图灰度值的均值和方差都相等。从物理意义上说，就是让每一幅图的直流能量和交流能量都相等。基于这种思想，假设期望的均值和标准差分别为m ，、c r c ，那么对宽为m ，高为的归一化灰度图f ( i ，_ ，) 均值为m e a n ，标准差为d e l t a ，其中f ( i ，) 0 , 1 】。脚册2 赤善善邝棚q - dd e l t a =1 f 去善否( ( f ) - m e a n )jl2( 2 2 )这样，由公式( 2 1 3 ) 得到将样本集和测试中的人脸图像灰度全部归一化后图g ( i ，) 的表达式：g ( f ，) ：矾。十f ( i , j z ) i - m e a n 仃。( 2 3 )“g “一般取m ，= 0 5 ，o c = o 2 5 ，图像灰度的分布特性比较好。但是当存在偏光的时候，即局部区域太黑或者太亮的情况下，在灰度归一化前应该先进行灰度非线性拉伸，对光线进行补偿。计算机视觉中，常常对图四川大学硕士学位论文鲁棒人脸识别算法的研究与实现像的强度做非线性变换，例如用指数函数或者对数函数等。生理学已证明视网膜细胞对光线强度是非线性的，可以用对数函数近似f 6 4 】。对数变换公式如下：g ( f ，j ) 4 + ! 璺掣( 2 4 )口m ( c ，a , b ，c 为变换的参数。此函数的示意图如图2 1 0 ) 。可以很明显的观察到，对数函数将原图像很低的灰度级拓展到一个较大的范围，而高灰度级有所压缩。显然，对数函数适合那些有阴影或较暗的图像。另一方面，对高光来说，对数函数不再适用。可以看作是对阴影处理的一个逆过程，用指数函数对其进行处理【6 5 】。指数函数公式如下：g ( f ，j ) - b 巾，h ) 一1( 2 5 )函数示意图如图2 1 ( b ) ，显然指数变换扩展了高灰度级，而压缩了低灰度缀。a 对数函数变换b 指数函数变换图2 1 灰度级非线性变换它们的实验结果如图2 2 所示。a 原图b 对数变换结果c 原图d 指数变换结果四川大学硕士学位论文鲁棒人脸识别算法的研究与实现图2 2 灰度非线性变换结果2 2 几何归一化由于原始图像中人脸可能有轻微的旋转，导致同一人脸面部特征位置之间有空间差别，如果不加以处理，将会把它作为人脸自身特性，进而影响识别结果，因此必须进行图像的几何归一化。人脸图像的几何归一化是指将人脸检测的结果校正为一样的大小和校正到图像中相同的位置。运个步骤一般利用检测到的人脸特征点来进行校正。如先提取到左眼和右眼的位置，然后进行图像旋转让两眼的位置水平，然后根据两眼的距离将人脸图像放大或者缩小到定标准大小，最后根据人脸的位置进行一定的裁减。这样就除去了图像旋转、尺度变化和平移的影响。另一方面，由于三维空间投影到= 维空间是一个病态的过程，所以人脸在深度方向的旋转纠正仍是一个难题，它和人脸检测的精度联系在一起，已形成人脸识别领域中一个热点和难点，即入脸的整合问题 6 6 6 7 】2 _ 3 特征增强滤波器基于文献【6 8 l 的思想我们提出了一种新的数字匪像滤波器，和传统的滤波器相比，它能去除一定的数据相关和增强主要特征的柞月魏i 这种滤波器易于实现，在空间域，将原图像按行和列投影得到投影图像，然后和原图像线性组合而成。我们提出了滤波器的模型并证明了它的一些性质，且在空间域和频率域分析了它的滤波原理。2 3 1 滤波器模型假设，o ，y ) 表示有膨列行的一幅归一化灰度图像( 为了符合信号分析的习惯，用0 ，y ) 作自变量) ，z 【l m 】，y i l ，】，扛，y ) e l o , 1 。这样我们提出的数字图像滤波器可描述为：啪加击+ 击筹q 6 )式中，。是线性组合时的比例系数，一个不等于1 的常数( 本文一般取正数) ，文中将会提到它是一个很重要的参数；f ( “，v ) 是，( z ，y ) 的二维离散傅立叶变里坐茎! 壁壁竺! 兰! 堡量堡叁堕堡型苎茎塑竺塞量壅墨换形式；i i 百p ( “，v ) 是投影图p ( t y ) 的二维离散傅立叶变换形式。p 化，) 定义如下：p ( x ，) ：p f i x ) p h ( y )( 2 7 )p其中只( x ) 和只( ，) 分别为列投影向量和行投影向量：p v 扛) 2 专善，( t 力q 8 p 加) = 击萋似朋( 2 9 )p 为整幅图的灰度平均值：p = 嘉姜善他力( 2 1o )2 3 2 滤波器性质由式2 6 的定义可见，该滤波器完全是种自适应滤波器，滤波器形式完全由输入决定设经过滤波后的图像为丘( 墨，) ，其二维离散傅立叶变换为c ( “，订，那么有疋( ) ：，( ) 以( 州) ：塑粤兰堕盟( 2 1 1 )由傅立叶变换的线性性质可知：正( ) ；坐等掣( 2 1 2 )l + 口由此可见，滤波过程在空间域实现简单，通过将投影图和原图线性加权求和即可得到。其中投影图有着很重要的作用，它决定了滤波器的性质。我们重点对投影图进行讨论。1 、变量可分性由投影图的定义p ( 力：墨垦! 丛业可知，投影图在空间域行方向和列方向p是可分离的，它仅由两个投影向量决定。这样由二维离散傅立叶变换的可分离性有：里盟查兰唑垡笙塞墨壁叁堕望型竺望塑里壅皇壅墨p ( ”) = 姜善p ( t y ) e x p 一j 2 z ( 詈+ 号) 】p ( ”) = p ( tz ( 等+ 釉# 2 i ，2 li = 吉姜n ( 砷e x - ( 一，z z 嚣) 砉仇( ，) e x 一卜，z z 詈)：墨! ! 堡盟( 2 1 3 )p可见在频率域也具有同样的变量可分性。求投影图