（计算机应用技术专业论文）基于流形的特征抽取及人脸识别研究.pdf

摘 要( a b s t r a c t ) 中文摘要 人脸识别技术是近二十年逐步发展成熟起来的一门崭新的信息技术，是模式识 别领域的重要研究课题，9 0 年代更成为科研热点，在计算机视觉、客户身份鉴别、 多媒体数据检索等领域有着十分广泛的应用前景。特征抽取是人脸识别的基本问题， 其主要任务是数据维数约简。近年来研究表明，人脸数据是一种非线性结构，而流 形学习作为一种非线性维数约简方法，受到了广泛的关注，但是其经典算法在模式 识别中的应用十分困难，因此学者通过研究提出了诸多改进算法，在人脸识别问题 中也有了较好的运用。本文将流形学习思想与其它维数约简方法相结合，进行深入 研究，提出了一些改进算法，在多个人脸图像数据库上的实验结果验证了本文改进 算法的有效性。 本文主要工作包括： l 、无监督鉴别投影技术( u n s u p e r v i s e dd i s c r i m i n a n tp r o j e c t i o n , u d p ) 用于对高 维数据进行维数缩简，在人脸识别问题中有了较好的应用，它同时考虑到样本的局 部特征和非局部特征，但是在人脸等高维图像识别的应用中，不可避免的会出现“小 样本问题 。联想到线性维数约简中，运用最大散度差准则对f i s h e r 准则进行改进， 从理论上消除了“小样本问题”。本文提出一种基于散度差的无监督鉴别特征抽取， 由于避免了局部散度矩阵奇异所产生的问题，提高了识别率，增强了算法的稳定性。 在o r l 人脸库和a r 人脸库上的实验结果验证了该算法的有效性。 2 、核局部保留投影( k e m e ll o c a l i t yp r e s e r v i n gp r o j e c t i o n , k l p p ) 是一种非线性 的维数约简方法，它将核方法和流形学习思想有效地结合起来。但是该算法只考虑 到样本的局部特性，忽视了对分类有效的重要信息。无监督鉴别投影技术( 切) p ) 将样本的整体特征和局部特征有效地结合起来，但它本质上是一种线性的特征抽取 算法，无法抽取样本的非线性特征。本文提出一种基于核方法的无监督鉴别投影， 它将样本的局部特性和非局部特性相结合，并能够有效地描述人脸图像的非线性变 化。在y a l e 库上的实验表明，该方法的识别率明显高于u d p 和p c a ( p r i n c i p a l c o m p o n e n ta n a l y s i s ) ，且有较好的分类效果。 3 、线性鉴别分析作为一种线性维数约简方法，不能够抽取样本的非线性信息， i i 摘 要( a b s t r a c t ) 但是由于其运用到了样本的类别信息，因此有较好的分类效果。无监督鉴别投影技 术( u d p ) 与大多数流形学习方法一样没有运用到样本的类别信息，本文将该方法 与线性鉴别分析相结合，提出了一种基于流形的有监督特征抽取方法，在最大化非 局部散度的同时最小化局部散度和类内散度。该方法不仅能够发现样本的低维非线 性结构，而且能够进行有效分类。另外，为了克服其内在缺陷，g o d , 样本问题，将 散度差与之相结合，提出了基于散度差与流形的有监督特征抽取，增强了算法的稳 定性以及识别率。在o r l 人脸库和y a l e 人脸库上的实验证明了改进算法的有效性。 关键词：人脸识别；特征提取；维数约简；流形学习；局部特征；散度差；无 监督鉴别投影；核局部保留投影；核无监督鉴别投影；线性鉴别分析；有监督的特 征抽取；基于散度差与流形的有监督特征抽取 摘 要( a b s t r a c t ) a b s t r a c t f a c er e c o g n i t i o ni sa ni m p o r t a n tr e s e a r c hf i e l do fp a t t e r nr e c o g n i t i o na n dh a sav e r y w i d er a n g ea p p l i c a t i o ni nc o m p u t e rv i s i o n , c u s t o m e ri d e n t i f i c a t i o n ，m u l t i m e d i ad a t a r e t r i e v a la n do t h e rf i e l d s f e a t u r ee x t r a c t i o ni st h eb a s i cp r o b l e mo ff a c er e c o g n i t i o n s t u d i e si nr e c e n ty e a r sh a v es h o w nt h a tt h ed a t ao fh u m a nf a c ei sd r a w nf r o man o n - l i n e a r s t r u c t u r ed i s t r i b u t i o n m a n i f o l dl e a r n i n g ，ak i n do fn e wn o n - l i n e a rd i m e n s i o nr e d u c t i o n m e t h o d s ，h a sa t t r a c t e da 谢d er a n g eo fc o n c e r n si nr e c e n ty e a r s ，b u ti t sa p p l i c a t i o ni n p a t t e r nr e c o g n i t i o np r o b l e m si sv e r yd i f f i c u l t t h i st h e s i sm a d ea l li n d e p t hr e s e a r c ho n f e a t u r ee x t r a c t i o n , m a n i f o l dl e a r n i n ga n dt h e i rc o m b i n a t i o n , a n dd e v e l o p e ds e v e r a l e f f e c t i v ef e a t u r ee x t r a c t i o na l g o r i t h m s t h ee x p e r i m e n ti nf a c ei m a g ed a t a b a s e sp r o v e d t h ee f f e c t i v e n e s so fi m p r o v e da l g o r i t h m t h em a i nw o r k so ft h et h e s i si n c l u d e ： 1 u n s u p e r v i s e dd i s c r i m i n a n tp r o j e c t i o n ( u d p ) w a sd e v e l o p e df o rd i m e n s i o n a l i t y r e d u c t i o no fh i g h - d i m e n s i o n a ld a t a i tt a k e sa c c o u n tb o t ht h el o c a lc h a r a c t e r i s t i c sa n d n o n l o c a lc h a r a c t e r i s t i c s h o w e v e r , t h ea p p l i c a b i l i t yo fu d pt oh i g h - d i m e n s i o n a li m a g e r e c o g n i t i o nt a s k ss u c ha sf a c er e c o g n i t i o ni n e v i t a b l ys u f f e r sf r o mt h e “s m a l ls a m p l es i z e ( s s s ) p r o b l e m i ti s w e l l k n o wt h a tm a x i m u ms c a r e rd i f f e r e n c ed i s c r i m i n a n ta n a l y s i s e s s e n t i a l l ya v o i d st h es s sp r o b l e mu s i n gs c a r e rd i f f e r e n c ed i s c r i m i n a n tc r i t e r i o n w e p r o p o s em a x i m u ms c a r e rd i f f e r e n c eu n s u p e r v i s e dd i s c r i m i n a n tf e a t u r ee x t r a c t i o nt h a t a d o p t st h ed i f f e r e n c eo fn o n l o c a ls c a r e ra n dl o c a ls c a r e r e x p e r i m e n t sp e r f o r m e do nb o t h o r la n da rf a c ed a t a b a s ev e r i f yt h ee f f e c t i v e n e s so f t h ep r o p o s e dm e t h o d 2 k e r n e ll o c a l i t yp r e s e r v i n gp r o j e c t i o n ( k l p p ) i san o n l i n e a rd i m e n s i o nr e d u c t i o n m e t h o d ，w h i c hc o m b i n e st h ek e r n e lt r i c kw i t ht h em a n i f o l dl e a r n i n gm e t h o de f f e c t i v e l y i t o n l yt a k e sa c c o u n tt h e l o c a lc h a r a c t e r i s t i c so fs a m p l e sa n dn e g l e c t st h ee f f e c t i v e i n f o r m a t i o nt h a ti si m p o r t a n tt oc l a s s i f i c a t i o n a l t h o u g hu n s u p e r v i s e dd i s c r i m i n a n t p r o j e c t i o n ( u d p ) c o m b i n e st h el o c a l c h a r a c t e r i s t i c sa n dn o n l o c a lc h a r a c t e r i s t i c so f s a m p l e s ，i ti sa l i n e a rs u b s p a c el e a r n i n gm e t h o di nn a t u r e i ti sn o ta b l et oe x t r a c tt h e n o n l i n e a rf e a t u r eo fs a m p l e s w ep r o p o s ek e r n e l - b a s e du n s u p e r v i s e dd i s c r i m i n a n t p r o j e c t i o nw h i c ht a k e sa c c o u n tb o t ht h el o c a lc h a r a c t e r i s t i c sa n dn o n l o c a lc h a r a c t e r i s t i c s o fs a m p l e s i tc a l la l s od e s c r i b et h en o n l i n e a rc h a n g eo ft h ef a c e e f f e c t i v e l y t h e e x p e r i m e n t so ny a l ef a c ed a t a b a s es h o wt h a tt h ep r o p o s e dm e t h o do u t p e r f o r m su d pa n d 摘 要( a b s t r a c t ) p c a ，a n dh a sag o o de f f e c ti nc l a s s i f i c a t i o n 3 l i n e a rd i s c r i m i n a t i o na n a l y s i s ( l d a ) i sac l a s s i c a ll i n e a rd i m e n s i o nr e d u c t i o n m e t h o d i ti sn o ta b l et od i s c o v e rt h es a m p l e s n o n l i n e a rs t r u c t u r e h o w e v e r , i ti se f f e c t i v e o nc l a s s i f i c a t i o nt h r o u g h u s i n g t h e t y p e i n f o r m a t i o no f s a m p l e s u n s u p e r v i s e d d i s c d m i n a n tp r o j e c t i o n ( u d p ) ，l i k em o s tm a n i f o l dl e a r n i n ga l g o r i t h m s ，h a sn o tm a k eu s e o ft h es a m p l e s c l a s si n f o r m a t i o nt h a ti su s e f u lf o rc l a s s i f i c a t i o n w ed e v e l o pa m a n i f o l d - b a s e ds u p e r v i s e df e a t u r ee x t r a c t i o n i ts e e k st of i n dap r o j e c t i o nt h a tm a x i m i z e s t h en o n l o c a ls c a r e r ，w h i l em i n i m i z e st h el o c a ls c a r e ra n dt h ew i t h i n - c l a s ss c a r e r t h i s m e t h o dc a nn o to n l yf i n dt h ei n t r i n s i cl o w - d i m e n s i o n a ln o n l i n e a rd a t as t r u c t u r e ，b u ta l s o i se f f e c t i v eo nc l a s s i f i c a t i o n b e s i d e s ，w ec o m b i n em a x i m u ms c a t t e rd i f f e r e n tc r i t e r i aw i t h m a n i f o l d b a s e ds u p e r v i s e df e a t u r ee x t r a c t i o n ，w h i c ha v o i d st h es m a l ls a m p l es i z e p r o b l e m t h ee x p e r i m e n t so ny a l ef a c ei m a g ed a t a b a s ea n do r l f a c ed a t a b a s es h o wt h e e f f e c t i v e n e s so ft h ep r o p o s e dm e t h o d s k e yw o r d s ：f a c er e c o g n i t i o n ；f e a t u r ee x t r a c t i o n ；d i m e n s i o nr e d u c t i o n ；m a n i f o l d l e a r n i n g ；l o c a lf e a t u r e ；s c a r e rd i f f e r e n t ；u n s u p e r v i s e dd i s c r i m i n a n tp r o j e c t i o n ；k e r n e l l o c a l i t yp r e s e r v i n gp r o j e c t i o n ；l i n e a rd i s c r i m i n a t i o na n a l y s i s ；m a n i f o l d - b a s e ds u p e r v i s e d f e a t u r ee x t r a c t i o n ；s u p e r v i s e df e a t u r ee x t r a c t i o nw h i c hb a s e do nm a x i m u ms c a r e r d i 任- e r e n ta n dm a n i f o l d 扬州大学学位论文原创性声明和版权使用授权书 学位论文原创性声明 本人声明：所呈交的学位论文是在导师指导f 独立进行研究工作所取得的 研究成果。除文中已经标明引用的内容外，本论文不包含其他个人或集体已经 发表的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律结果e h 本人承担。 学位论文作者签名：嘞旃 签字日期：劣1 年6 月) e l 学位论文版权使用授权书 本人完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并 向国家有关部门或机构送交学位论文的复印件和电子文档，允许论文被查阅和 借阅。本人授权扬州大学可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授 权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 学位论文作者签名：殇锄 导师签名： 签字日期：小哆年占月多日 签字日期：毛日日 曹丽基于流形的特征抽取及人脸识别研究三 第一章绪论 1 1 人脸识别背景知识综述 1 1 1 人脸识别技术的发展过程 人脸识别技术是一种生物特征识别技术。计算机人脸识别技术就是利用计算机 分析人脸图像，从中提取出有效的识别信息，用来“辨认 身份的- f - j 技术【l 】o 人 脸识别技术是近二十年逐步发展成熟起来的- f f j 崭新的信息技术，9 0 年代更成为科 研热点。近年来，在计算机视觉的顶级国际会议上如i c c v 、c v p r 上都有大量人 脸方面的论文，仅1 9 9 0 年到现在，e i 可检索到的相关文献就多达数千篇，由此可 见世界领域内对人脸识别研究的重视。 人脸识别的研究历史按照研究内容、技术方法等方面的特点大体划分为三个时 间阶段 2 1 ，下面对三个阶段的情况作简单介绍： 1 、第一阶段【2 1 ( 1 9 6 4 年一1 9 9 0 年) 研究内容： 这一阶段人脸识别通常只是作为一个一般性的模式识别问题来研究，所采用的 主要技术方案是基于人脸几何结构特征( g e o m e t r i cf e a t u r eb a s e d ) 的方法。这集中体现 在人们对于剪影( p r o f i l e ) 的研究上，人们对面部剪影曲线的结构特征提取与分析进行 了大量研究。人工神经网络也一度被研究人员用于人脸识别问题中。 技术方法 较早从事a f i 渐究的研究人员除了布莱索( b l e d s o e ) 夕j 还有戈登斯泰因 ( g o l d s t e i n ) 、哈蒙( h a r m o n ) 以及金出武雄( k a n a d et a k e o ) 等。金出武雄于1 9 7 3 年在京都 大学完成了第一篇a f r 方面的博士论文 3 1 ，作为卡内基梅隆大学( c m u ) 机器人研究 院的一名教授，是人脸识别领域的活跃人物之一。他所在的研究组也是人脸识别领 域的一支重要力量。 总结 总体而言，这一阶段是人脸识别研究的初级阶段，非常重要的成果不是很多， 也基本没有获得实际应用。 2 、第二阶段【2 1 ( 1 9 9 1 年1 9 9 7 年) 三曹丽基于流形的特征抽取及人脸识别研究 研究内容 这一阶段尽管时间相对短暂，却是人脸识别研究的高潮期，可谓硕果累累：不 但诞生了若干代表性的人脸识别算法，美国军方还组织了著名的f e r e t 人脸识别算 法测试，并出现了若干商业化运作的人脸识别系统，比如最为著名的v i s i o n i c s ( 现为 i d e n t i x ) 的f a c e l t 系统。 技术方法 美国麻省理工学院( m i t ) 媒体实验室的特克( t u r k ) a 壬- i j 潘特兰德( p e n t l a n d ) 1 4 , 5 】提出 的“特征脸方法无疑是这一时期内最负盛名的人脸识别方法。其后的很多人脸识 别技术都或多或少与特征脸有关系。 这一时期的另一个重要工作是麻省理工学院人工智能实验室的布鲁内里 ( b r u n e l l i ) 和波基奥( p o g g i o ) 于1 9 9 2 年左右做的一个对比实验【2 】，他们对比了基于结 构特征的方法与基于模板匹配的方法的识别性能，并给出了一个比较确定的结论： 模板匹配的方法优于基于特征的方法。这一导向性的结论与特征脸共同作用，基本 中止了纯粹的基于结构特征的人脸识别方法研究，并在很大程度上促进了基于表观 ( a p p e a r a n c e - b a s e d ) 的线性子空间建模和基于统计模式识别技术的人脸识别方法的 发展，使其逐渐成为主流的人脸识别技术。 贝尔胡米尔( b e l h u m e u r ) t 6 j 等提出的f i s h e r f a c e 人脸识别方法是这一时期的另一 重要成果。该方法首先采用主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ，亦即 特征脸) 对图像表观特征进行降维。在此基础上，采用线性判别分析( l i n e a r d i s c r i m i n a n ta n a l y s i s ，l d a ) 的方法变换降维后的主成分，以期获得“尽量大的类问 散度和尽量小的类内散度 。该方法目前仍然是主流的人脸识别方法之一，产生了 很多不同的变种，比如c h e n 的零空间法 7 1 、c j l i u 等的增强判别模型【8 】、c a r n e g i e m e l l o nu n i v e r s i t y 的h y u 和j y a n g 的直接l d a 判别方法【9 】以及近期的一些基于核 学习的改进策略。 麻省理工学院的马哈丹0 蛆。曲a d d a l n ) uo 】则在特征脸的基础上，提出了基于双子 空间进行贝叶斯概率估计的人脸识别方法。该方法通过“作差法 ，将两幅人脸图 像的相似度计算问题转换为一个两类( 类内差和类间差) 分类问题，首先通过主成分 分析( p c a ) 技术对类内差和类间差数据进行降维，计算两个类别的类条件概率密度， 最后通过贝叶斯决策( 最大似然或者最大后验概率) 的方法来进行人脸识别。 人脸识别中的另一种重要方法：弹性图匹配技术【1 1 l ( e l a s t i cg r a p hm a t c h i n g ， 曹丽基于流形的特征抽取及人脸识别研究 三 e g m ) 也是在这一阶段提出的。其基本思想是用一个属性图来描述人脸：属性图的 顶点代表面部关键特征点，其属性为相应特征点处的多分辨率、多方向局部特征 g a b o r 变换特征，称为j e t ；边的属性则为不同特征点之间的几何关系。对任意输入 人脸图像，弹性图匹配通过一种优化搜索策略来定位预先定义的若干面部关键特征 点，同时提取它们的j e t 特征，得到输入图像的属性图。最后通过计算其与已知人 脸属性图的相似度来完成识别过程。该方法的优点是既保留了面部的全局结构特征， 也对人脸的关键局部特征进行了建模。 局部特征分析技术是由洛克菲勒大学( r o c k e f e l l e ru n i v e r s i t y ) 的艾提克( a t i c k ) 等 人提出的【1 2 】。l f a 在本质上是一种基于统计的低维对象描述方法，与只能提取全局 特征但是不能保留局部拓扑结构的p c a 相比，l f a 在全局p c a 描述的基础上提取 的特征是局部的，并能够同时保留全局拓扑信息，从而具有更佳的描述和判别能力。 l f a 技术已商业化为著名的f a c e i t 系统，因此后期没有新的学术进展。 由美国国防部反毒品技术发展计划办公室资助的f e r e t 项目无疑是该阶段内 一个至关重要的事件。f e r e t 项目的目标是要开发能够为安全、情报和执法部门使 用的a f r 技术。该项目包括三部分内容：资助若干项人脸识别研究、创建f e r e t 人脸图像数据库、组织f e r e t 人脸识别性能评测。该项目分别于1 9 9 4 年，1 9 9 5 年 和1 9 9 6 年组织了3 次人脸识别评测，几种最知名的人脸识别算法都参加了测试，极 大地促进了这些算法的改进和实用化。该测试的另一个重要贡献是给出了人脸识别 的进一步发展方向：光照、姿态等非理想采集条件下的人脸识别问题逐渐成为热点 的研究方向。 柔性模型( f l e x i b l em o d e l s ) 是这一时期在人脸建模方面的一个重要贡献，主要包 括主动形状模型( a s m ) 1 3 】和主动表观模型( a a m ) 【1 4 l 。a s m a a m 将人脸描述为2 d 形状和纹理两个分离的部分，分别用统计的方法进行建模( p c a ) ，然后再进一步通 过p c a 将二者融合起来对人脸进行统计建模。柔性模型具有良好的人脸合成能力， 可以采用基于合成的图像分析技术来对人脸图像进行特征提取与建模。柔性模型目 前己被广泛用于人脸特征对准( f a c ea l i g n m e n t ) 和识别中，并出现了很多的改进模 型。总体而言，这一阶段的人脸识别技术发展非常迅速，所提出的算法在较理想的 图像采集条件、对象配合、中小规模正面人脸数据库上达到了非常好的性能，也因 此出现了若干知名的人脸识别商业公司。从技术方案上看，2 d 人脸图像线性子空间 判别分析、统计表观模型、统计模式识别方法是这一阶段内的主流技术。 一4 曹丽基于流形的特征抽取及人脸识别研究 3 、第三阶, 段1 2 1 ( 1 9 9 8 年现在) 研究内容 f e r e t 9 6 人脸识别算法评估表明：主流的人脸识别技术对光照、姿态等由于 非理想采集条件或者对象不配合造成的变化鲁棒性比较差。因此，光照、姿态问题 逐渐成为研究热点。 技术方法 基奥盖蒂斯( g e o r g h i a d e s ) 等人提出的基于光照锥b s a 6 ( i l l u m i n a t i o nc o n e s ) 模型的 多姿态、多光照条件人脸识别方法是这一时期的重要成果之一，他们证明了一个重 要结论：同一人脸在同一视角、不同光照条件下的所有图像在图像空间中形成一个 凸锥，即光照锥。为了能够从少量未知光照条件的人脸图像中计算光照锥，他们还 对传统的光度立体视觉方法进行了扩展，能够在朗博模型、凸表面和远点光源假设 条件下，根据未知光照条件的7 幅同一视点图像恢复物体的3 d 形状和表面点的表 面反射系数( 传统光度立体视觉能够根据给定的3 幅已知光照条件的图像恢复物体 表面的法向量方向) ，从而可以容易地合成该视角下任意光照条件的图像，完成光照 锥的计算。识别则通过计算输入图像到每个光照锥的距离来完成。 以支持向量机为代表的统计学习理论也在这一时期内被应用到了人脸识别与确 认中来。支持向量机是一个两类分类器，而人脸识别则是一个多类问题。通常有三 种策略解决这个问题，即：类内差类间差法、一对多法( o n e t o r e s t ) 和一对一法 ( o n e - t o - o n c ) 。布兰兹( b l a n z ) 和维特( v e t t e r ) 等提出的基于3 d 变形( 3 dm o r p h a b l e m o d e l ) 模型【1 7 】的多姿态、多光照条件人脸图像分析与识别方法是这一阶段内一项开 创性的工作。该方法在本质上属于基于合成的分析技术，其主要贡献在于它在3 d 形 状和纹理统计变形模型( 类似于2 d 时候的a a m ) 的基础上，同时还采用图形学模拟 的方法对图像采集过程的透视投影和光照模型参数进行建模，从而可以使得人脸形 状和纹理等人脸内部属性与摄像机配置、光照情况等外部参数完全分开，更加有利 于人脸图像的分析与识别。b l a n z 的实验表明，该方法在c m u p i e ( 多姿态、光照和 表情) 人脸库和f e i 也t 多姿态人脸库上都达到了相当高的识别率，证明了该方法的 有效性。 2 0 0 1 年的国际计算机视觉大会( i c c v ) 上，康柏研究院的研究员维奥拉( v i o l a ) 和琼斯( j o n e s ) 【1 8 ，1 9 】展示了他们的一个基于简单矩形特征和a d a b o o s t 的实时人脸检 测系统，在c i f 格式上检测准正面人脸的速度达到了每秒1 5 帧以上。该方法的主 曹丽基于流形的特征抽取及人脸识别研究 要贡献包括：1 ) 用可以快速计算的简单矩形特征作为人脸图像特征；2 ) 基于a d a b o o s t 将大量弱分类器进行组合形成强分类器的学习方法；3 ) 采用了级联( c a s c a d e ) 技术提 高检测速度。目前，基于这种人脸月e 人脸学习的策略已经能够实现准实时的多姿态 人脸检测与跟踪。这为后端的人脸识别提供了良好的基础。沙苏哈( s h a s h u a ) 等于 2 0 0 1 年提出了一种基于商图俐2 0 】的人脸图像识别与绘制技术。该技术是一种基于特 定对象类图像集合学习的绘制技术，能够根据训练集合中的少量不同光照的图像， 合成任意输入人脸图像在各种光照条件下的图像。基于此，沙苏哈等还给出了对各 种光照条件不变的人脸签名( s i g n a t u r e ) l 羽像的定义，可以用于光照不变的人脸识别， 实验表明了其有效性。 巴斯里( b a s r i ) 和雅各为i i ( j a e o b s ) t 2 1 】贝0 利用球面谐波( s p h e r i c a lh a r m o n i c s ) 表示光 照、用卷积过程描述朗博反射的方法解析地证明了一个重要的结论：由任意远点光 源获得的所有朗博反射函数的集合形成一个线性子空间。这意味着一个凸的朗博表 面物体在各种光照条件下的图像集合可以用一个低维的线性子空间来近似。这不仅 与先前的光照统计建模方法的实验结果相吻合，更进一步从理论上促进了线性子空 间对象识别方法的发展。而且，这使得用凸优化方法来强制光照函数非负成为可能， 为光照问题的解决提供了重要思路。 f e r e t 项目之后，涌现了若干人脸识别商业系统。美国国防部有关部门进一步 组织了针对人脸识别商业系统的评测f r v t ，至今已经举办了两次：f r v t 2 0 0 0 和 f r v t 2 0 0 2 。这两次测试一方面对知名的人脸识别系统进行了性能比较，例如 f r v t 2 0 0 2 测试就表明c o g n i t e c ，i d e n t i x 和e y e m a t i c 三个商业产品遥遥领先于其他 系统，而它们之间的差别不大。另一方面则全面总结了人脸识别技术发展的现状： 较理想条件下( 正面签证照) ，针对3 7 4 3 7 人1 2 1 5 8 9 幅图像的人脸识另l j ( i d e n t i f i c a t i o n ) ， 最高首选识别率为7 3 ，人脸验证( v e r i f i c a t i o n ) 的等错误率( e q u a le r r o rr a t e ，e e r ) 大约为6 。f i w t 测试的另一个重要贡献是进一步指出了目前的人脸识别算法亟待 解决的若干问题。例如，f r v t 2 0 0 2 测试就表明：目前的人脸识别商业系统的性能 仍然对于室内外光照变化、姿态、时间跨度等变化条件非常敏感，大规模人脸库上 的有效识别问题也很严重，这些问题都仍然需要进一步的努力。 总结 总体而言，目前非理想成像条件下( 尤其是光照和姿态) 、对象不配合、大规模 人脸数据库上的人脸识别问题逐渐成为研究的热点问题。而非线性建模方法、统计 皇曹丽基于流形的特征抽取及人脸识别研究 学习理论、基于b o o s t i n g 的学习技术、基于3 d 模型的人脸建模与识别方法等逐渐 成为备受重视的技术发展趋势。 1 1 2 人脸识别技术的应用 人脸识别技术在计算机视觉、客户身份鉴别、多媒体数据检索等领域有着十分 广泛的应用前景f 2 2 】。例如：公安布控监控、民航安检、海关身份验证、智能身份证、 智能门禁、智能视频监控、司机驾照验证、各类银行卡、金融卡、信用卡、储蓄卡 的持卡入的身份验证，社会保险身份验证等。随着该项技术的不断成熟和完善，设 计和建造过去仅在科幻影视作品中出现的各种高智能仪器设备逐渐成为现实。这些 高度智能化的机器包括可以根据用户的表情或神态做出合理响应的各种终端设备， 可以有效过滤光照、姿态、表情、配饰( 如眼镜、耳环、围巾) 等噪声影响，从而辨 别出用户真实身份并确定其访问权限的安检系统等。人脸识别技术具有极其广阔的 市场应用前景和重要而深远的社会意义，是法律部门打击犯罪的有力工具，在毒品 跟踪、反恐怖活动等监控中有着很大的应用价值；作为最容易隐蔽使用的识别技术， 人脸识别成为当今国际反恐和安全防范最重要的手段之一。 1 1 3 人脸识别研究的优势与挑战性 人脸识别的优势在于其自然性和不为被测个体所察觉的特点【l ，2 3 1 。所谓自然性， 是指该识别方式同人类( 甚至其他生物) 进行个体识别时所利用的生物特征相同。例如 人脸识别，人类也是通过观察比较人脸区分和确认身份的，另外具有自然性的识别 还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为人类 或者其他生物并不通过此类生物特征区别个体。不被察觉的特点对于一种识别方法 也很重要，这会使该识别方法不需要被动配合，不令人反感，可以用在某些隐蔽的 场合，并且因为不容易引起人的注意而不容易被欺骗。人脸识别具有这方面的特点， 它完全利用可见光获取人脸图像信息，而不同于指纹识别或者虹膜识别，需要利用 电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很 容易被人察觉，从而更有可能被伪装欺骗。虽然人脸识别有很多其它识别无法比拟 的优点，但是它本身也存在许多困难，主要体现在以下几个方面 2 3 1 ： 第一，不同个体之间的区别不大，所有人脸的结构都相似，甚至人脸器官的结构 外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区 分人类个体是不利的。 曹丽基于流形的特征抽取及人脸识别研究三 第二，人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同 观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件( 例如白天和 夜晚，室内和室外等) 、人脸遮盖物( 例如口罩、墨镜、头发、胡须等) 、年龄等多方 面因素的影响。 第三，在实际问题中，我们能够获得的每类训练样本数较少，难于提取有效的 鉴别信息，这也就是我们常说的“小样本问题 。 概括的说，目前人脸识别领域面临的主要挑战包括：鲁棒性、准确的特征配准 问题，对各种图像采集条件变化鲁棒的核心识别算法，识别算法的泛化能力和自适 应学习问题，光照变化问题，尤其是室外光照变化，姿态不变的人脸识别算法，人 脸信息采集设备带来的问题，低质量照片的检测识别问题，年龄变化导致的照片老 化问题，墨镜、帽子、口罩等造成的遮挡问题，化妆、整容带来的问题；而且上述 挑战并不是单独作用的，例如姿态和光照问题可能会同时出现，更进一步地增加了 问题的难度。 人脸识别涉及到图像处理、计算机视觉、模式识别以及神经网络等学科的内容， 也和人脑的认识程度紧密相关，这诸多因素都使得人脸识别成为一项极富挑战性的 课题。 1 2 人脸识别技术研究内容及现状 1 2 1 人脸识别技术研究内容 人脸识别研究流程如下图： 曹丽基于流形的特征抽取及人脸识别研究 雹翻+ 输入人脸图像 jl 人脸检测 】 jl 人脸特征抽取 ( 、 回昏 蕾 图12 1 人脸识别基本流程 其中主要包括两个技术环节【1 1 ： ( 1 ) 人脸检测与定位f 2 4 - 3 0 。检测图像中是否有人脸，若有，将其从背景中分割出 来，并确定其在图像中的位置。在某些可以控制拍摄条件的场合，如警察拍罪犯照 片时将人脸限定在标尺内，此时人脸的定位很简单。证件照背景简单，定位也比较 容易。在另一些情况下，人脸在图像中的位置预先是未知的，比如在复杂背景下拍 摄的照片，这时人脸的检测与定位将受以下因素的影响：人脸在图像中的位置、 角度和不固定尺度以及光照的影响；发型、眼镜、胡须以及人脸的表情变化等： 图像中的噪声。 ( 2 ) 特征提取与人脸的匹配识别。特征提取之前一般需要做几何归一化和灰度归 一化的工作。前者是指根据人脸定位结果将图像中的人脸变化到同一位置和大小； 后者是指对图像进行光照补偿等处理，以克服光照变化的影响。提取出待识别的人 脸特征之后，即可进行特征匹配。这个过程是一对多或一对一的匹配过程，前者是 确定输入图像为图像库中的哪一个人，后者是验证输入图像的人的身份是否属实。 1 2 2 人脸识别技术研究现状 人脸识别技术的研究目的是为建造能够自动识别人脸的各种智能系统提供技术 支撑，而能否快速有效地提取人脸鉴别特征，就成了能否成功建造人脸自动识别系 曹丽基于流形的特征抽取及人脸识别研究 9 一 统的关键。 特征抽取是人脸识别的基本问题，其主要任务是数据维数约简。目前常用的维 数约简方法主要有两类：线性和非线性。 1 3 线性维数约简方法的研究与发展 线性维数约简方法的主要目的是在高维输入空间中寻找一个有效的低维子空 间，当嵌入在输入空间的数据结构是线性时，能够获得一个原数据集紧致的低维表 示。其中最经典的算法是主成分分析( p c a ) 、线性鉴别分析( l d a ) 。 p c a 是线性维数约简方法最为重要的技术之一，广泛地应用在人脸等模式识别 领域。t u r km 和p e m l a n da 所提出的e i g e n f a c e s 方法是采用p c a 进行人脸识别最 著名的方法。y a n g 等针对e i g e n f a c e s 方法的弱点提出了一种图像投影主分量分析方 法。该方法在对图像进行特征提取时，直接利用图像矩阵本身构造图像总体散布矩 阵，然后取它的d 个最大特征值所对应的标准正交的特征向量作为投影轴，直接对 原始图像矩阵进行投影得到所需的特征向量，从而避免了对高维的图像向量进行计 算，实验证明其特征抽取的速度比传统的主分量分析提高了十几倍。 线性鉴别分析的基本思想是选择使得f i s h e r 准则函数( 类间离散度与类内离散 度之比) 达到极值的向量作为最佳投影方向，从而使得样本投影到该方向上后，类间 离散度最大，而类内离散度最小。在此基础上，w i l k s l 3 1 】和d u d a 3 2 1 分别提出了鉴别 矢量集的概念，即寻找一组鉴别矢量构成子空间，以原始样本在该子空间内的投影 矢量作为鉴别特征用于识别。该方法被称为经典的f i s h e r 线性鉴别分析方法。目前 该方法仍然广泛应用于人脸识别等领域。除了经典的f i s h e r 线性鉴别分析方法外， s a m m o n 提出了基于f i s h e r 鉴别准则的最佳鉴别平面【3 3 】的概念，f o l e y 和s a m m o n 阴】 进一步提出了采用一组满足正交条件的最佳鉴别矢量集进行特征抽取的方法。z j i n 和j yy a n g 3 5 - 3 9 1 等从统计不相关的角度，提出了具有统计不相关性的最优鉴别矢量 集的概念。与f o l e y s a m m o n 鉴别矢量集不同的是，具有统计不相关性的最优鉴别 矢量集是满足共轭正交条件的。j i i l 和y a n g 的方法被称为不相关的鉴别分析或 j i n - y a n g 线性鉴别法。 在线性鉴别分析中，由于f i s h e r 准则的内在缺陷( 需要计算类内散布矩阵的逆) ， 使得在处理人脸识别等高维小样本模式识别问题的时候，面临着类内散布矩阵奇异 的问题d , 4 0 ，不少解决该类问题的方法相继提出，主要可分为以下两类：一是基于 卫曹丽基于流形的特征抽取及人脸识别研究 变换的方法：f i s h e r