（信号与信息处理专业论文）人脸识别方法研究与实现.pdf

中文摘要 人脸识别是模式识别和计算机视觉领域最富挑战性的研究课题之一，在刑侦破案、证 件验证、门禁系统、视频监控等领域都具有十分广泛的应用前景。虽然人类不需要任何训 练准备就能识别出人脸，但人脸的机器自动识别却是一个难度极大的课题。本论文致力于 基于静止图像的准正面人脸识别方法研究，重点研究特征提取和分类识别环节。 首先，研究了基于主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 的特征脸法的原理 和实现过程。考虑到传统p c a 法在处理图像识别问题时是基于图像向量的，提出了一种直 接基于图像矩阵的p c a 方法，其突出优点是大大加快了特征抽取的速度。 其次，为克j 瑕p c a 方法易受光照条件等易变因素的影响，本文在特征提取方面引入了 f i s h e r 线性鉴别分析( l i n e a r d i s e r i m i n a n ta n a l y s i s ，l d a ) 方法。l d a 以样本的可分性最好为 目标，能提取出类间距离大而类内距离小即分类能力强的特征，在理论上优于p c a 方法。 但是，传统l d a 应用于人脸识别时存在小样本和多类情况下f i s h e r 准则分类次优两个问题。 本文提出了一种能同时解决以上两个问题的改进l d a 的人脸识别算法。该算法的关键在于 使用不损失任何有效鉴别信息的方法来降维，并引入一种新的权函数对f i s h e r 准则加权， 以改善样本在低维线性空间中的可分性，同时在共轭正交的约束下保证所抽取的鉴别特征 之间是统计不相关的。实验结果表明，该改进算法对光照、表情变化具有更好的鲁棒性。 最后，为了更好地综合人脸特征进行分类识别，本文将嵌入式隐马尔可夫模型 ( e m b e d d e d h i d d e n m a r k o v m o d e l s ，e h m m ) 应用到人脸建模中，该方法较好地利用了人脸 的相似性结构，较一维h m m ( 1 d h m m ) f l e 更精确地描述二维人脸图像的统计特征。本文通 过提取二维离散余弦变换( 2 d d i s c r e t ec o s i n et r a n s f o r m ，2 d d c t ) 后的低频系数代替像素 灰度值构造观察序列，有效地减少了观察向量的维数。实验结果表明，所建立的模型结构 简单，运算量小，并且获得了较高的识别率。 关键词：人脸识别：主分量分析；f i s h e r 线性鉴别分析；统计不相关；隐马尔可夫模型； 特征抽取 第1 页 a b s t r a c t f a c er e c o g n i t i o ni so n eo ft h ee h a l l e n g i n gs u b j e c t si nt h ea r e a so fp a t t e r nr e c o g n i t i o na n d c o m p u t e rv i s i o n ，w h i c hh a s aw i d er a n g eo fp o t e n t i a la p p l i c a t i o n si n p u b l i cs e c u r i t y , i d e n t i f i c a t i o no f c e r t i f i c a t e e n t r a n c ec o n t r o la n dv i d e os u r v e i l l a n c e a l t h o u g hi ti se a s yf o rm o s t h u m a no b s e r v e r st oi d e n t i f yd i f f e r e n th u m a nf a c e s ，a u t o m a t i cf a c er e c o g n i t i o ni sav e r yd i f f i c u l t p r o b l e m t i l i sd i s s e r t a t i o np r e s e n t st h es t u d i e so ff e a t u r ee x t r a c t i o na n dt h ed e s i g nm e t h o do f c l a s s i f i e r t h em a i np o i n t sa r ea sf o l l o w s b a s e do na l g e b r a i cf e a t u r e so ft h ei m a g e s ，t h i sp a p e rf i r s ti n t r o d u c e st h ep c a b a s e d q r i n e i p a lc o m p o n e n ta n a l y s i s ) f a c er e c o g n i t i o na l g o r i t h m t h ec o n v e n t i o n a lp c af o ri m a g e f e a t u r ee x t r a c t i o ni su s u a l l yb a s e do nv e c t o r s w h i c hm a k e si tv e r yt i m e 。c o n s u m i n g t oo v e r c o m e t h ed r a w b a c ko fp c a an o v e la n de 伍c i e n tp c am e t h o db a s c do no r i g i n a li m a g em a t r i c e s d i r e c t l y , t e r m e di m a g ep c a ( 蹦p c a ) i sp r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h ep r o p o s e d m e t h o di sm o r ce f f i c i e n tt h a nt h ec l a s s i c a le i g e n f a c e sm e t h o d s e c o n d l y , i no r d e l t oe l i m i n a t es o m ei l l u m i n a t i o no re x p r e s s i o ne f f e c t si np c a - b a s e d a l g o r i t h m , t h i st h e s i si n t r o d u c e sl i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a ) a l g o r i t h mb a s e do nf i s h e r c r i t e r i a t 1 l ep r i m a r yp u r p o s eo fl d ai st os e p a r a t es a m p l e so fd i s t i n c tg r o u p sb ym a x i m i z i n g t h eb e t w e e n - c l a s ss c a t t e rw h i l em i n i m i z i n gt h ew i t h i n - c l a s s s c a t t e r c o n s e q u e n t l y ，t h e p e r f o r m a n c eo fl d a i ss u p e r i o rt ot h ec l a s s i c a lp c a b a s e da l g o r i t h m t h e r ea r ea tl e a s tt w o c r i t i c a ld r a w b a c k si nt h et r a d i t i o n a ll d a b a s e dm e t h o d s ：t h es m a l ls a m p l es i z ef s s s ) p r o b l e m ； t h ef i s h e rc r i t e r i o ni sn o to p t i m a lw i t hr e e c tt om i n i m i z i n gt h ec l a s s i f i c a t i o ne l t o rr a t e an o v e l l d a - b a s e dt e c h n i q u ei sp r o p o s e di nt h i sp a p e r , w h i c hc o u l de f f e c t i v e l yd e a lw i t ht h et w o p r o b l e m s f i r s t ，t h ef i s h e rc r i t e r i o ni sr e d e f i n e db yi n t r o d u c i n gaw e i g h t i n gf u n c t i o no ft h e c o n t r i b u t i o n so fi n d i v i d u a lc l a s sp a i r st ot h eo v e r a l lc r i t e f l o n t h e n , t h ew e i g h i e df i s h e re r i t e f l o n i so p t i m i z e du n d e rt h ec o n j u g a t e do r t h o g o n a lc o n s t r a i n , w h i c hc a ng u a r a n t e et h ed e r i v e d p r o j e e t i o nd i r e c t i o n sa r es t a t i s t i c a l l yu n c o r r e l a t e d e x p e r i m e n t a lr e s u l t ss h o wt h e e r i e c t i v e n e s so f t h ep r o p o s e da l g o r i t h ma n di t si n s e n s i t i v i t yt ot h ev a r i a n t so ff a c ee x p r e s s i o na n di l l u m i n a t i o n a tl a s t i no r d e rt oi n t e g r a t ef a c ef e a t u r e sb e t t e rf o re f f i c i e n tc l a s s i f i c a t i o n an e wa p p r o a c h f o rf a c er e c o g n i t i o nu s i n ga ne m b e d d e dh i d d e nm a r k o vm o d e l ( e h m m ) i sp r o p o s e d 1 1 l i s m o d e li n h e r i t st h ep a r t i a ls i z ei n v a r i a n c eo ft h es t a n d a r dh m m a n d ，d u et oi t sp s e u d o t w o d i m e n s i o n a ls t r u e t u r e ，i sa b l et om o d e lt w o d i m e n s i o n a ld a t as u c ha sf a c ei m a g e s ，b e t t e r t h a nt h es t a n d a r dh m m t h eo b s e r v a t i o nv e c t o r su s e dt oc h a r a c t e r i z et h es t a t e so ft h ee h m m a r eo b t a i n e db yu s i n gt h ec o e f f i c i e n t so f t w o d i m e n s i o n a ld i s c r e t ec o s i n et r a n s f o r m ( 2 d - d c t ) e x p e r i m e n t a l r e s u l t ss h o wt h e p r o p o s e dm o d e l h a sb e t t e rp e r f o r m a n c et h a np r e v i o u s h m m - b a s e dm e t h o d s ，w i t hr e d u c e dc o m p u t a t i o n a lc o m p l e x i t y k e yw o r d s ：f a c er e c o g n i t i o n ；p r i n c i p l ec o m p o n e n ta n a l y s i s ；f i s h e rl i n e a rd i s c r i m i n a n t a n a l y s i s ；s t a t i s t i c a l l yu n c o r r e l a t e d ；h i d d e n m a r k o vm o d e l ；f e a t u r e e x t r a c t i o n 第页 信息t 稗大学硕十学位论文 表目录 表1 各种生物特征识别技术的综合比较l 表2 人脸识别技术的典型应用2 表3o r l 人脸库上特征向量个数和训练样本数与识别率的关系2 4 表4y a l e 人脸库上特征向量个数和训练样本数与识别率的关系2 4 表5o r l 库上基于图像矩阵的主分量分析的识别率惭) 2 6 表6 三种方法的最佳识别率和时间对照表2 6 表7 在两种分类器下的错误识别数4 2 表8 几种方法在最小距离分类器下的识别率4 3 表9 不同采样窗尺寸和采样图像块2 d d c t 系数个数与识别率的关系5 5 表1 0 0 r l 人脸库上相关方法实验结果比较5 6 表1 1 本文人脸识别方法的性能比较5 9 表1 2 本文人脸识别方法的鲁棒性比较5 9 第v 页 信息t 稃大学硕士学位论文 图目录 图l 基于人脸的生物信息系统5 图2 人脸识别系统框图6 图3 统计识别方法模型8 图4 人脸视图的变异1 0 图5m a n c h e s t e r 人脸库中提取的特征脸1 8 图6m a n c h e s t e r 人脸库中人脸表达示例1 8 图7 特征脸法的实现流程1 8 图8 识别率和能量比随子空间维数变化的情况2 4 图9o r l 库上采用不同距离函数的识别率曲线2 5 图1 0 基于f i s h e r f a c e s 方法的人脸识别系统结构3 2 图1 1o r l 人脸库中提取的f i s h e r 脸3 3 图1 2 不同定义的最导出不同的投影方向一”3 6 图1 3 本文的改进l d a 算法示意图3 7 图1 4 最近邻分类器下口值与识别率的关系4 1 图1 5 各算法在最近邻分类器下的识别率4 2 图1 6 隐马尔可夫模型示意图”4 6 图1 7 双重嵌套v i t e r b i 算法示意图4 9 图1 8 用于人脸识别的左右型1 d h m m 5 1 图1 9e - h m m 的拓扑结构5 2 图2 0 本文e - h m m 的特征抽取方案5 2 图2 1 人脸识别系统训练建模和识别流程5 4 图2 2 观察值概率密度函数中高斯混合成分的个数与识别率的关系5 5 图2 3 基于e 。h m m 的人脸识别方法在u m i s t 库中正确识别的示例图像5 6 第v i 页 独创。性声明 所提交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中标注和致谢的相关内容外，论文中不包含其他个人或集体已经公开的研究成 果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文题目：厶脸迟剔左洼硒究与塞理 学位论文作者签名：蠡鱼日期：埘# 年5 月彩日 学位论文版权使用授权书 本人完全了解信息工程大学有关保留、使用学位论文的规定。本人授权信息工程大学 可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和借 阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 涉密学位论文在解密后适用本授权书。) 学位论文题目：厶脸迟别左这受究皇塞丑 学位论文作者签名：壶塑日期：加6 年5 月“日 作者指导教师签名：囊0 鲁卜一吼“年月铭日 笪星三翌盔兰堕兰生笙奎 第一章绪论 人脸识别技术就是利用计算机分析人脸图像，从中提取出有效的特征信息，用来识别 个人身份的一门技术，它是近年来计算机图像处理、模式识别、人工智能等领域内最为活 跃的研究课题之一。虽然在这方面的研究已经取得了一些可喜的成果，但在实际应用中由 于人脸的非刚体性，表情、姿态、发型以及化妆的多样性都给正确识别带来了困难。要让 计算机像人一样方便准确地识别出大量的人脸，还需要不同学科研究领域的学者们共同作 出不懈的努力。 1 1 研究背景和意义 现代社会中，随着计算机及网络技术的高速发展，信息安全显示出前所未有的重要性。 身份鉴定是保证系统安全的必要前提，在金融、国家安全、司法、电子商务、电子政务等 应用领域都需要准确的身份鉴定。如某人是否有权进入安全系统。是否有权进行特定交易， 为了安全在公司计算机网络上单独设置口令进行保护等。当前，用于个人身份鉴别主要依 靠d 卡( 如身份证、工作证、智能卡和储蓄卡等) 和密码等手段，然而这些手段存在携带 不便、容易遗失，或者由于使用过度或不当而损坏、不可读和密码易被破解等诸多问题。 生物特征是人的内在属性，它所具有的唯一性和不易被复制的良好特性为身份鉴定提供了 必要的前提。因此，基于生物特征识别技术如人脸、指纹、虹膜、掌纹等的个人身份识别 系统以其更好的安全性、可靠性和有效性，正越来越受到人们的重视，并开始进入我们社 会生活的各个领域。表1 为各种生物识别技术的综合比较。 表1 各种生物特征识别技术的综合比较“ 相对于其它识别技术，比如指纹识别和虹膜识别，人脸识别不需要用户接触或靠近采 集设备，较少需要或不需要用户的主动配合，具有较小的侵犯性，更容易被广大用户所接 受，是一种直接、自然、友好和方便的技术。并且通过人脸的表情姿态分析，我们还能获 得其它识别系统难以获得的一些信息。因此，人脸识别技术已成为最具潜力的生物特征识 别技术之一。尤其是美国“9 1 l ”恐饰袭击事件之后，自动人脸识别技术更加被看作是一种 重要的反恐手段，被应用于许多国际机场和公共场所。 第1 页 信息t 稃大学硕士学位论文 人脸识别技术最初的应用源于公安部门关于罪犯照片的存档管理和刑侦破案。随着计 算机技术的发展，人脸识别技术在各个领域的应用前景越来越广泛，归纳起来，主要包括 以下几方面： ( 1 ) 公安系统。公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其它 途径获得某一嫌疑犯的照片或其面部特征的描述后，就可以从数据库罩迅速查找确认，这 大大提高了刑侦破案的准确性和效率。人脸识别技术在刑侦中的尸体辨认、罪犯辨识、寻 找失踪人员以及公共安全保障等方面都有重要应用。 ( 2 ) 证件验证。在许多场合( 如海关、机场、机密部门等) 证件验证是检验某人身份 的一种常用手段，而身份证、驾驶执照以及其它很多证件上都有照片，现在这些证件多是 由人工验证的。如果用了人脸识别技术，这项工作就可以交给机器完成，从而实现自动化 及智能管理。 ( 3 ) 入口控制。入口控制的范围比较广，它可以是设在楼宇、单位或私人住宅入口处 的安全检查，也可以是计算机系统或情报系统等的入口控制，比较常用的检查手段是核查 证件。当人员频繁出入时，请保安人员再三检查证件是很麻烦的，而且安全系数也不高。 在一些保密要求非常严格的部门，除了用证件外，已经使用了如指纹识别、手掌识别等生 物特征识别手段。人脸识别与这些技术相比，具有直接、方便和界面友好的特点。 ( 4 ) 视频监视。在许多银行、公司、公共场所等处都设有2 4 t j 、时的视频监视，当有异 常情况或陌生人闯入时，需要实时跟踪、监控、识别和报警。在对采集到的图像进行筛选 分析时，就要用到人脸的检测、跟踪和识别技术。 表2 列举了一些人脸识别技术的典型应用及其优缺点 表2 人脸识别技术的典型应用 应用 优点缺点 信用卡、汽车驾照、护照 和公民身份证 图像的采集和分割可控，图像质鼍好 没有现成的数据库，潜在的数 嫌疑犯照片( 为警察局存据库规模庞大 档之用) 匹配 多种图像质量，并有多幅图像可用 互联网应用 视频信息，价值高，有人参与潜在的数据库规模庞大、复杂 银行储蓄安全价值高，地理空间的局部搜索 图像分割不可控，图像质量低 | 生i 像分割不可控，图像质量低， 人群监测 价值高，文件小，视频图像可用 实时要求 根据目击证人描述所做 的人脸图像重构 目击证人提供线索未知的相似性 电子嫌疑犯索引描述子数荤有限 易使人疲劳 除了广泛的应用领域，人脸识别技术的研究同样具有重要的理论研究价值。人脸识别 技术的研究涉及模式识别、计算机视觉、人工智能、图像处理、心理学、生理学和认知科 学等，与计算机人机交互领域和基于其它生物特征的身份识别方法都有密切联系。虽然人 类可以毫不费力地通过脸部图像来鉴别相互的身份，然而由于成像过程中各种影响因素的 第2 页 信鼠- 程大学硕十学何论文 变化常常导致同一个人的人脸图像发生非常大的变化，因此建立自动系统完成识别任务是 非常具有挑战性的。虽然目前国内外己经有许多实用系统问世，但是只有在非常苛刻的成 像条件下，才能得到比较令人满意的识别效果。因此，人脸识别技术的研究仍然远远没有 达到完善的境地，还有非常大的发展空间。 同时，人脸识别技术面临的困难在计算机视觉和机器学习等研究领域内普遍存在伽3 1 ， 对人脸识别技术的研究能够验证这些领域的研究成果，促进这些领域的发展。人脸识别技 术对于相关领域内的研究工作有重要的影响和意义。 因此，人脸识别技术的研究不仅对推动模式识别、计算机视觉等各个学科领域的发展 具有重要的理论意义，而且还具有重大的市场价值和社会意义。无论在理论上还是在实践 中，对该课题的研究己经变得越来越重要和迫切。 1 2 发展简史和研究现状 人脸识别技术的研究始于2 0 世纪6 0 年代末1 4 1 ，b l e d s o e 以人脸特征点的间距、比率等 参数为特征，建立了一个半自动的人脸识别系统。由于其本身的难度和技术条件的限制， 该技术一直发展缓慢。直到最近二十年，得益于计算机技术、信号处理技术的飞速发展和 实际应用需求的急速增长，这一技术的研究才开始变得方兴未艾，并在相关的理论和应用 领域内获得长足的进步。 1 2 1 人脸识别的发展历程 按照人脸识别的自动化程度，人脸识别的发展经历了以下三个阶段： 第一阶段一机械式的识别阶段：以b e r t 1 i o n 、a l l e n 和p a r k e 为代表，主要研究人脸识 别所需要的面部特征。在b e r t 1 i o n 的系统中，用一个简单的语句与数据库中的某一张脸相 联系，同时与指纹分析相结合，提供了一个较强的识别系统。为了提高脸部识别率，a l l e n 习 为待识别脸设计了一种有效和逼真的摹写。p a r k e 6 】贝q 用计算机实现了这一想法，并产生了 较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程全部依赖于操作人员，显然 并不是一种可以自动完成识别的系统。 第二阶段一人机交互式识别阶段：代表性工作有：g o l d s i o n 、h a r m o n 和l e s k 等人用 几何特征参数来表示人脸正面图像【”。他们采用2 1 维特征矢量表示人脸面部特征，并设计 了基于这一特征表示法的识别系统。k a y a 和k o b a y a s h i 则采用了统计识别的方法，用欧氏 距离来表示人脸特征【8 1 ，如嘴唇与鼻子之间的距离，嘴唇的高度等。更进一步地，zk a n a d 设计了一个高速且有一定知识导引的半自动回溯识别系统【9 1 ，创造性地运用积分投影法从 单幅图像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配。k a n a d 的 系统实现了快速、实时的处理，是一个很大的进步。总的来说，此类方法都需要利用操作 员的某些先验知识，仍然摆脱不了人的干预。 第三阶段一真正的机器自动识别阶段：2 0 世纪9 0 年代以来，随着高速度、高性能计 算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统。人脸 识别研究得到了前所未有的重视，除了基于k l 变换的特征脸方法与奇异值特征为代表的 第3 页 信息下稃大学硕十学仿论文 代数特征方法取得了新进展外【l o l 【1 l 】，人工神经网络【1 2 l f l 3 】、小波变换【1 5 】等在人脸识别的 研究中都被广泛地应用，出现了不少新方法【1 6 】【1 7 】【1 8 】。 1 2 2 国内外研究现状 早期的人脸识别方法主要是基于部件的，它们利用人脸的几何特征进行识别，提取的 信息是人脸主要器官特征及其之间的几何关系。这类方法比较简单，但是很容易丢失人脸 的有用信息，从而在视角、表情等变化的情况下识别能力差。鉴于这种情况，后来出现了 性能较优的模板匹配方法，即根据图像库中的人脸模板与待识别人脸模板在灰度上的相似 程度来实现识别，这类方法在一定时期内占据主流。 2 0 世纪9 0 年代以来，人们意识到单纯依靠人脸某些器官的相对位置并不能有效区分 人脸细微的差异，于是基于整体的识别方法应运而生，如特征脸方法、弹性图匹配方法和 隐马尔可夫模型以及神经网络方法等。这些新方法更多地考虑了模式的整体属性，充分利 用人脸各个特征点之间的拓扑关系，避免了复杂的面部局部特征提取操作，使识别鲁棒性 有所提高。于是，在人脸识别的研究领域出现了基于整体的方法和基于部件的方法齐头并 进的局面。 9 0 年代中期以来，人脸识别方法向着整体识别和部件分析相结合的趋势发展。研究人 员开始逐渐认识到人脸识别算法必须能够充分地利用人脸的各种特征信息，融合人脸的形 状拓扑结构特征、局部灰度特征和全局灰度分布特征等多种特征。因此，出现了将原先单 一的算法结合起来，共同完成人脸识别的新算法。灰度和形状分离的可变形模型方法1 1 9 】 就是其中之一。 2 0 0 0 年前后，随着智能方法的引入，将对人脸的认识由感官上升到数学理性的分析， 识别性能得到了进一步的提高，但仍与实际的要求有一定的差距，现有方法对光照、表情、 姿态、距离等条件的变化仍然比较敏感，只能用于某些识别准确率要求不高的场合。 目前，由于各方面对于人脸识别系统的迫切需求，更使得人脸识别研究成为科研的热 点。国际上发表有关论文的数量大幅增长，e i 可检索到的相关文献多达数千篇，i e e e 的 p a m i 汇刊还于1 9 9 7 年7 月出版了人脸识别专辑，著名的国际学术会议有a f g r ( p r o c e e d i n g s o f i n t e r n a t i o n a lc o n f e r e n c e so na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) ，a v b p r ( p r o c e e d i n g s o f i n t e r n a t i o n a lc o n f e r e n c e so na u d i oa n dv i d e o b a s e dp e r s o na u t h e n t i c a t i o n ) 。为促进人脸识 别技术的深入研究和实用化，美国国防部还发起了人脸识别技术工程( f a c er e c o g n i t i o n t e c h n o l o g y ，f e r e t ) ，包括一个通用人脸图像库和一套通用测试标准，用于定期对各种人 脸识别算法进行性能测试。另外一个著名的人脸识别技术工程是英国的x m 2 v t s 。其它国 外著名的人脸识别技术研究机构有m r r 、c m u 、m s u 、r u b 等。 国内关于人脸识别的研究起步较国外晚，始于2 0 世纪8 0 年代，主要是在国际流行的方 法上作了发展性工作，本文在下一节将重点概述主流的人脸识别方法。目前，国内的清华 大学2 0 1 、中科院自动化研究所【2 1 i 、上海交通大学( 2 2 】、南京理工大学2 3 1 、哈尔滨工业大学讲l 、 四川大学1 2 5 1 等单位都有研究人员从事人脸识别相关工作的研究。虽然起步比较晚，但国内 第4 页 取得了较好的实验结果。但是，人脸识别的最终目的是走向实际应用，然而到目前为止还 没有一个完全的解决方案可以在毫无约束条件的情况下出色地完成人脸识别任务，这说明 1 - 3 人脸识别的研究内容与主要方法 “人脸识别”指已知系统输入中存在入脸及人脸的位置，在输入图像没有复杂背景的条件 下，对人脸所属身份的验证和辨识。本文为避免上述概念在文中的混淆，进行如下概念的 限定。人脸识别技术是包括人脸检测和人脸身份认证技术在内的识别技术。人脸识别仅指 计算机人脸识别技术包括多个研究内容，我们利用图l 所示的基于人脸的生物信息系 i 尸亟l 胡 刚雠h 雁匦查h 蛩臂l i 一陋亟匦卜叵习刊嘉l竺叫十匪匦 卜 巫亘削i l 叫尘竺竺竺：! 竺塑竺苎竺墨! 竺 i = 叫 ( 1 ) 人脸检钡l j ( f a c ed e t e c t i o n ) ：系统对输入图像中是否存在人脸进行判断，并给出存在 人脸的数量和位置。如果系统已知图像中存在人脸，只进行人脸位置的确定，则一般称为 ( 2 ) 人脸跟踪和监视( f a c et r a c k i n g ) ：对图像中检测到的人脸进行位置跟踪，提取人脸 ( 4 ) 人脸识另l j ( f a e er e c o g n i t i o n ) ：通过脸与脸的匹配识别完成对人物身份信息的确认和 第5 页 信息丁稃大宁硕十宁俯论文 ( 5 ) 面部表情分析( f a c i a le x p r e s s i o na n a l y s i s ) ：通过对人类情绪和人脸形态对应关系的 研究和建模，完成对人物情绪的理解。反之，在己知人物情绪的条件下，利用上述对应关 系和模型可以虚拟出人物的表情。后者在计算机动画中的应用尤其广泛。 ( 6 ) 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：通过对人类生理信息和人脸形态对应关系的研究 和建模，完成对人物年龄、性别等生理信息的推断。反之，也可以利用这些生理信息和人 物目前的面貌推断其未来可能的形态。 ( 7 ) 人脸编码( f a c ec o d i n g ) ：对人脸表征获得的特征进行编码。对图像内容进行理解和 描述。 本文研究狭义的人脸识别，根据其应用方式的不同，人脸识别可以分为人脸验证( f ；l c e v e r i f i c a t i o n ) 和人脸辨识( f a c ei d e n t i f i c a t i o n ) 两个方面。从分类的角度来说，人脸验证是一个 两类问题。它验证的内容是某张脸同其所“声称”身份( i d e n t i t y ) 对应的脸是否一致。即是 回答“是不是某人? ( a m l w h o m ic l a i m i 锄? ) ”的问题，最终给出的是一个真或假的答案， 属于“一对一”的两类模式分类问题，主要用于安全系统的身份验证。人脸辨识则是一个 多类问题。它辨识的内容是某张脸同数据库中的哪一个身份相一致。即是回答“是谁? ( w h o a mi ? ) ”的问题，最终给出的是一个身份标号，属于“一对多”的多类模式分类问题，通 常所说的人脸识别即指此类问题，这也是本文的主要研究范围。 1 3 2 人脸识别系统的组成 一个完整的自动人脸识别系统如图2 所示。系统首先对输入图像进行人脸检测，确认 输入图像中存在人脸并剪切出人脸图像。接着对人脸图像进行特征提取，然后该特征被编 码存入人脸数据库中( 图中的流程) 。实际应用中，将待检测人脸的特征和数据库中每 个人脸特征进行匹配，最后判决给出待测人脸的身份信息，这一过程完成人脸辨识的工作。 加入图中的部分后，系统则完成人脸验证的工作。此时系统根据输入身份在数据库中选 择相应的人脸特征，只进行该特征和待测人脸特征的匹配判决，给出“一致”或“不一致” 的判决结果。 人脸检测和人脸识别是整个自动人脸识别系统中最主要的两个技术环节，下面分别对 这两个环节进行说明。 人脸识别 图2 人脸识别系统框图 人脸检测与定位：检测图像中是否有人脸，若有，将其从背景中分割出来，并确定其 在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍摄罪犯照片时将人脸限定在 标尺内，此时人脸的定位很简单。在另一些情况下，比如复杂背景下拍摄的照片，人脸在 第6 页 信息丁稃大学硕十学何论文 图像中的位置预先是未知的，这时人脸的检测与定位就比较困难。 特征提取与分类识别：特征提取之前一般需要做几何归一化和灰度归一化的工作。前 者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小；后者是指对图像进行光 照补偿等处理，以克服光照变化的影响，光照补偿能够一定程度地克服光照变化的影响而 提高识别率。所提取特征的具体形式随识别方法的不同而不同，提取出待识别的人脸特征 之后，即可进行特征匹配，完成分类识别。 以上两个环节的研究独立性很强。由于在很多特定情况下人脸检测与定位的工作相对 比较简单，因此“特征提取与分类识别”环节得到了更为广泛和深入的研究。而近几年随 着人们越来越关心各种复杂情形下的人脸自动识别系统，人脸检测与定位才作为一个独立 的模式识别问题得到了较多的重视。本文主要研究人脸的特征提取与分类识别问题。 1 3 3 主要的人脸识别方法 随着人脸识别越来越受到社会的广泛关注，各种识别方法层出不穷，不仅一些经典的 模式识别理论和方法被应用到人脸识别问题中，人们对大量新的理论和方法也做了有益的 尝试。结合课题的研究工作，本文对近年来人脸识别领域的成果进行了归纳和分析，目的 是在较全面地了解各类方法优缺点的基础上，为本文的人脸识别研究提供正确的方向。 根据研究角度的不同，人脸识别方法可以有不同的分类。根据输入图像的性质，可分 为基于静止图像和基于动态图像序列的人脸识别。由于图像序列的计算远比静止图像的计 算复杂和耗时，基于静止图像的识别是人脸识别领域中主要的研究方向，研究成果更为成 熟，而基于图像序列的人脸识别还处于起步阶段。本文主要研究基于静止图像的人脸识别。 其中，输入的静止图像又有正面、倾斜、侧面几种，根据实际情况的要求，对人脸正 面模式的研究最多，侧面人脸的识别由于对图像质量的要求苛刻而发展缓慢。本文主要研 究准正面人脸图像的识别。 人脸识别主要依据那些在不同个体之间存在较大差异而对同一个人则比较稳定的特 征，具体的特征形式随识别方法的不同而不同。早期的人脸识别主要是基于几何特征的方 法和模板匹配的方法，目前，根据人脸表征方式的不同，主要的研究方向分为以下三种： 一是基于统计的识别方法；二是基于连接机制的识别方法；三是其它一些综合方法或处理 非二维灰度图像的方法 1 基于几何特征的方法 基于几何特征的方法是最早、最传统的方法，该方法是通过提取人脸的几何特征，包 括人脸部件的归一化的点间距离、比率以及人脸的一些特征点，如眼角、嘴角、鼻尖等部 位所构成的二维拓扑结构进行识别的方法。主要代表是m i t 的b r u n e l l i 和p o g g i o 小组【2 6 1 ， 他们采用改进的积分投影法提取出用欧氏距离表征的3 5 维人脸特征矢量用于模式分类。 几何特征方法利用的是单纯的几何信息，其优点是所需的存储空间和分类时间代价比 较小，而且在图像分辨率较低的情况下仍然可以使用。缺点是识别的准确率完全依赖于几 何特征的准确提取，而几何特征本身容易受姿态和表情变化的影响，稳定性不高。即使几 第7 页 信息t 稃大学硕七学仿论文 何特征提取准确，仍然可能因为有较大的变化而导致分类错误。因此，目前单纯利用几何 特征的人脸识别方法已经不常使用了，但几何特征仍然可以作为其它特征的有益补充。 2 基于模板匹配的方法 模板匹配的方法是模式识别中所采用的最传统的方法之一，该方法主要是利用计算模 板和图像灰度的自相关性来实现识别功能的。主要代表是h a r v a r d 大学s m i t h k e t t l e w c l l 眼 睛研究中心的y u i l l e ，他采用弹性模板来提取眼睛和嘴巴的轮廓【2 7 】，c h e n 和h u a n g 则进一 步提出用活动轮廓模板( 即s n a k e s 模型) 提取眉毛、下巴和鼻孔等不确定形状。在人脸识 别问题中，模板既可以是整个人脸图像构成的单一模板，也可以是不同局部特征子图像构 成的多个模扳的组合。分类时，将待识别图像与所有已知图像进行匹配，根据最终匹配得 分进行分类。 b e r t o 在1 9 9 3 年对基于几何特征的方法和模板匹配的方法进行了较全面的介绍和比较 后认为【2 “，模板匹配的方法优于几何特征的方法。但是，模板匹配的方法由于利用了相关 性信息，对光照、旋转和表情变化比较敏感。另外，模板匹配的计算量比较大，多尺度、 多模板的使用会增加计算和存储的复杂度。 3 基于统计的方法 基于统计的方法是现代人脸识别方法中比较经典且常见的，包括特征脸( e i g e n f a c e ) 方 法和隐马尔可夫模型阻i d d e nm a r k o vm o d e l ) 等方法【2 8 】。 基于统计的方法将人脸用代数特征矢量表示，代数特征首先由h o n g 等提出，通过对 图像灰度进行各种代数变换和矩阵分解而得到，考虑了模式的整体属性。这类方法利用统 计策略从整个训练图像集合提取统计特征后，通过匹配学习找出人脸和非人脸以及不同人 脸之间的联系，并不要求单独抽取眼睛、鼻子等面部特征，从原理上更为先进合理，实验 中也表现出更好的识别效果。图3 为统计方法的一个简单模型，由训练阶段和测试阶段两 部分组成。 训练 _ 测试 图3 统计识别方法模型 特征脸方法，也称为主分量分析( p c a ) 方法。r d 订幽和膨，2 9 】首先将k - l 变换用于人 脸图像的最优表示，死疵和心n f 肠n d 受其启发，将包含人脸的图像区域看作是一种随机向 量，通过k - l 变换获得其正交基底，并利用重构权向量作为识别用的特征，从而提出了“特 征脸”方法。该方法具有简单有效的特点，目前已成为事实上的基准测试算法。本文的第 二章将重点讨论此方法的具体应用。特征脸方法的重要贡献不仅在于它为基于图像的目标 第8 页 信息- r 稃大学硕十学位论文 识别提供了一种普遍的方法，还在于它的基于变换进行降维和特征提取的思想为目标识别 提供了一种方法论。但是在人脸识别问题上，它的不足之处是受表情变化、光照角度、强 度变化和视角变化等严重影响，鲁棒性较差。因此，研究者在此基础上发展了许多改进方 案，如b e l h u m e u r 提出的f i s h e r 脸方法【3 0 l ，特征半脸方澍3 1 】等。 隐马尔可夫模型是用于描述信号统计特征的一组统计模型，作为一种语音识别的方法 取得了很好的效果。近年来，越来越多的研究工作者将这种方法运用到人脸识别当中。主 要代表有c a m b r i d g e 大学的s a m a r i a d x 组和g e o r g i a 技术研究所的n e f i a n d , 组。用隐马尔可夫 模型对人脸进行描述和识别，不是孤立地利用各个器官的数值特征，而是把这些特征和一 个状态转移模型联系起来。勋m 口r 妇1 3 2 1 最早建议了关于人脸的一维隐马尔可夫模型，他用 一个矩形窗从上到下采样人脸图像，用灰度值作为观察序列。n e f i a n