（计算机应用技术专业论文）特征抽取方法研究及其在人脸识别中的应用.pdf

博士论文特征抽取方法研究及其在人脸识别中的应用 摘要 特征抽取是模式识别领域中的一个重要研究方向，在人脸识别中，抽取有效的鉴 别特征是解决问题的关键。本文对当前一些主要的特征抽取方法进行了较为深入的研 究，并在此基础上提出了几种更加有效的特征抽取方法，在人脸识别方面得到了较成 功的应用。 独立成分分析( i c a ) 方法是基于高阶统计特性，和基于二阶统计特性的主成分 分析( p c a ) 方法相比，能提供更多的信息，但是它们都是最佳重构原始数据的信息， 而不是最佳的分类信息。而线性鉴别分析( l d a ) 方法由于很好的利用了样本的类别 信息，能够得到最佳的分类特征。另外，在传统的线性鉴别分析方法中是将各个样本 同等对待，在人脸识别中，由于人脸受光照、姿态、表情等多种因素的影响，此时样 本的分布变得比较复杂。因此，对于此种情况缺乏有效的特征提取手段。本文利用模 糊集理论，通过引入模糊隶属度函数对传统的l d a 方法中的类内散布矩阵和类间散 布矩阵进行重新的定义，并提出了一种新的基于i c a 的模糊l d a 的特征提取方法。 在a r ，o r l 和n u s t 6 0 3 三个标准人脸数据库上的实验结果验证了新方法的有效性。 在人脸识别中，f i s h e r 线性鉴别分析经常会遇到高维小样本问题，出现类内散布 矩阵奇异而无法直接进行特征抽取的情况。虽然，采用类间散布矩阵和类内散布矩阵 的差作为鉴别准则，可以避免奇异性问题，但是，这些方法都是基于向量的，在进行 计算时，容易导致“维数灾难 问题。本文将基于向量的散度差鉴别准则进行了推广， 提出了直接基于图像矩阵的散度差特征抽取方法。该方法首先在图像的行方向上进行 散度差鉴别分析，然后在图像列方向上进行二维主成分分析，进行特征抽取。在人脸 数据库上的实验证明了该方法的有效性。本文还对二维主成分分析方法的产生矩阵进 行了分析，并重新定义，在类间散布矩阵定义的基础上引入了径向基函数，通过调整 径向基函数的系数得到更有利于分类的特征信息，获得较高的识别率，广义主分量分 析是改进方法的一个特例。 f i s h e r 极小线性鉴别准则解决了标准f i s h e r 鉴别准则方法中类内散布矩阵奇异的 情况，并提取出图象具有最大可分性的鉴别矢量。由于独立成分分析方法基于高阶统 计特性，和基于二阶统计特性的主成分分析方法相比，能提供更多的信息，基于这个 想法，我们提出了一种新的基于i c a 和极小线性鉴别准则的特征抽取方法。考虑到 人脸识别中样本分布的复杂性，而核方法是解决非线性问题的一种有效方法，我们将 f i s h e r 极小线性鉴别推广到了基于核的f i s h e r 极小鉴别分析。在人脸数据库上的识别 结果验证了该算法的有效性。 非局部保持投影( n o n 1 0 c a l i t yp r e s e r v i n gp r o j e c t i o n ，n l p p ) 是一种线性流形学习 摘要博士论文 算法。本文分析了局部保持投影( l p p ) 和非局部保持投影( n l p p ) 的理论基础， 并将其推广到核空间，提出基于核的非局部保持投影的特征抽取分析方法。在y a l e 和o r l 人脸数据库上的实验验证了新方法是有效的。 关键词：人脸识别，特征抽取，线性鉴别分析，模糊集理论，特征融合，极小准 则鉴别分析，二维投影分析，最大散度差准则，核方法，流形学习 a b s t r a c t f e a t u r ee x t r a c t i o ni sa l li m p o r t a n tr e s e a r c hb r a n c ho fp a r e mr e c o g n i t i o nf i e l d ；i ti st h e k e yt os o l v et h ef a c er e c o g n i t i o np r o b l e m s i nt h i sp a p e r , w ec a r r i e dt h r o u g hs o m er e s e a r c h t ot h ec u r r e n tl e a d i n ga l g o r i t h m so ff e a t u r ee x t r a c t i o n ，a n ds o m em o r ee f f e c t i v ef e a t u r e e x t r a c t i o nm e t h o d sa r ep r o p o s e d a n d ，t h e s em e t h o d sa r ev e r i f i e dt ob ee f f e c t i v ei nt h e a p p l i c a t i o no ff a c er e c o g n i t i o n s t a t i s t i c a li n d e p e n d e n tc o m p o n e n t ( i c a ) i sag e n e r a l i z a t i o no fp e a ，w h i c hs e p a r a t e st h e k g h - o r d e rm o m e n t si na d d i t i o nt ot h es e c o n d o r d e rm o m e n t s b u tt h e ya r ea l lt h eb e s t r e c o n s t r u c t i o no ft h eo r i g i n a ld a t a , n o tt h eo p t i m a ld i s c r i m i n a n ti n f o r m a t i o n l d ac a n e x t r a c tt h eo p t i m a ld i s c r i m i n a n tf e a t u r e s t h ec l a s s i c a ll d ai sb a s e do nb i n a r y c l a s s i f i c a t i o nc r i t e r i o n 、v l l i l ei nf a c er e c o g n i t i o n , d i s t r i b u t i o no ff a c e s a m p l e sa r eo f t e n a f f e c t e db yi l l u m i n a t i o n ，p o s e ，a n de x p r e s s i o ne ta 1 t h u s ，f u z z yt e c h n o l o g yi si n t r o d u c e d ， a n d 也ew i t h i n - c l a s ss c a r e rm a t r i xa n db e t w e e n - c l a s ss c a t t e rm a t r i xo ft h ec l a s s i c a ll d a m e t h o da r er e d e f m e db yu s i n gf u z z ym e m b e r s h i pd e g r e e ，n a m e df u z z yl d a i no r d e rt o i n c o r p o r a t ec l a s ss p e c i f i ci n f o r m a t i o ni n t oi c a ，w ee m p l o y e df u z z yl d aa n dp r o p o s e da n o v e lm e t h o d ，w h i c hi sb a s e do ni c ac o m b i n e dw i t hf u z z yl d a e x p e r i m e n t a lr e s u l t so n a 艮o r l ，a n dn u s t 6 0 3d e m o n s t r a t et h ee f f e c t i v e n e s so ft h ep r o p o s e dm e t h o d i nf a c er e c o g n i t i o n , f l d aa l w a y se n c o u n t e rh i g hd i m e n s i o n a l i t ya n ds m a l ls a m p l es i z e p r o b l e m , w h i c hu s u a l l yl e a d st os i n g u l a r i t yo ft h ew i t h i n - c l a s ss c a r e rm a t r i x ，w h i c hi sa t r o u b l ef o rc a l c u l a t i o no ff i s h e ro p t i m a ld i s c f i m i n a n tv e c t o r s t h o u g h w h i c hc a nb e a v o i d e db ys c a t t e rd i f f e r e n c ec r i t e r i o n , b u tt h e ya r ea l lb a s e do nv e c t o r s i nt h i sp a p e r , s c a t t e rd i f f e r e n c ec r i t e r i o nb a s e do nv e c t o r si sg e n e r a l i z e d ，a n ds c a t t e rd i f f e r e n c ec r i t e r i o n b a s e do ns t r a i g h t f o r w a r di m a g ep r o j e c t i o nt e c h n i q u e si s p r o p o s e d 1 1 1 ep r o p o s e do n e c o m b i n e st h ei d e a so ft w o d i m e n s i o n a lp r i n c i p a lc o m p o n e n t a n a l y s i sa n dt w o - d i m e n s i o n a l m a x i m u ms c a t t e rd i f f e r e n c ea n dw h i c hc a n d i r e c t l ye x t r a c t st h eo p t i m a lp r o j e c t i v ev e c t o r s f r o m2 di m a g em a t r i c e sr a t h e rt h a ni m a g ev e c t o r sb a s e do nt h es c a r e rd i f f e r e n c ec r i t e r i o n i na d d i t i o n , a n a l y z e st h e g e n e r a t i o nm a t r i xo ft h eg e n e r a l i z e dp c a ( g p c a ) ，a n d r e d e f i n i n gt h eb e t w e e n c l a s ss c a t t e rm a t r i xb yi n t r o d u c i n gar a d i c a lb a s i sf u n c t i o n ，s o c l a s s i f yf e a t u r e sc a no b t a i n e db ya d j u s t i n gt h ec o e f f i c i e n to ft h ef u n c t i o n i np a r t i c u l a r , g p c ai sas i m p l i f i e dv e r s i o no ft h ep r o p o s e dm e t h o d f i s h e rm i n i m a ll i n e a rd i s c r i m i n a n t ( f m l d ) c r i t e r i o na v o i d st h es i n g u l a rp r o b l e mo ft h e w i t h i n - c l a s ss c a t t e rm a t r i x i c ai sag e n e r a l i z a t i o no fp c a ，w h i c hs e p a r a t e st h eh i 曲- o r d e r m m o m e n t si na d d i t i o nt ot h es e c o n d o r d e rm o m e m s i n s p i r e db yt h i si d e a ，i no r d e rt o i n c o r p o r a t ec l a s ss p e c i f i ci n f o r m a t i o ni n t oi c a ，w ee m p l o y e df m l da n dp r o p o s e dan o v e l m e 也o d ，n a m e dm i n i m a ll i n e a rd i s c r i m i n a n ta n a l y s i sb a s e do ni c a a st h ed i s t i l b u t i o no f f a c es a m p l e sa r eo f t e na f f e c t e db ye n v i r o n m e n t ，a n dt h ek e r n e lm e t h o di sa l le f f e c t i v e s t r a t e g yt os o l v en o n l i n e a rp r o b l e m i nt h i sp a p e r , t h ef i s h e rm i n i m a ll i n e a rd i s c r i m i n a n t a n a l y s i s i s g e n e r a l i z e d t ok e r n e lf i s h e rm i n i m a ll i n e a rd i s c r i m i n a n t a n a l y s i s t h e e x p e r i m e n t a lr e s u l t ss h o wt h ee f f e c t i v e n e s so ft h ep r o p o s e do n e n o n - l o c a l i t yp m s e r v i n gp r o j e c t i o n ( n l p p ) i sal i n e a rm a n i f o l dl e a r n i n ga l g o r i t h m t h i s p a p e ra n a l y z e st h em o d e l i n gm e c h n i s mo fl p pa n dn l p p , a n dg e n e r a l i z e dt ok e m e ls p a c e ， p r o p o s e dk e r n e l b a s e dn o n l o c a l i t yp r e s e r v i n gp r o j e c t i o nm e t h o d t h ee x p e r i m e n t s c o n d u c t e do ny a l e ，a n do r lf a c ei m a g ed a t a b a s e s ，a n dt h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h e p r o p o s e do n e i se f f e c t i v e k e y w o r d s ：f a c er e c o g n i t i o n , f e a t u r ee x t r a c t i o n ，f i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a o rf l d ) ，f u z z ys e tt h e o r y , f e a t u r ef u s i o n ，m i n i m a lc r i t e r i o nd i s c r i m i n a n ta n a l y s i s ，t w o d i m e n s i o n a lp r o j e c t i o na n a l y s i s ，m a x i m u ms c a t t e rd i f f e r e n c ec r i t e r i o n ，k e m e lm e t h o d s ， m a n i f o l dl e a r n i n g i v 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学 位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布 过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明 确的说明。 研究生签名：年月 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上 网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文， 按保密的有关规定和程序处理。 研究生签名：年月日 博士论文特征抽取方法研究及其在人脸识别中的应用 1 1 生物特征识别概述 第一章绪论 生物特征识别是模式识别与机器视觉研究领域的热点问题，它在商业、安全及军 事等领域都有着非常重要的作用。由于它具有极其广阔的应用前景，因此已经引起了 国际学术界、企业界、以及国防部门的高度重视。 所谓生物特征识别1 1 1 6 1 ，是指利用计算机技术将人体所固有的生理特征或行为特 征收集起来并进行处理，从而实现个人身份认证的技术。它是一项综合应用技术，其 发展依赖于传感技术、信号处理等相关技术和设备的进步。 和人相关的特征只要满足以下要求都可以作为生物特征t ( 1 ) 广泛性：每个人都 应该具有这种特征；( 2 ) 唯一性t 每个人拥有的特征应该各不相同；( 3 ) 稳定性：所 选择的特征应该不随时间变化而发生变化；( 4 ) 可采集性：所选择的特征应该便于测 量。另外，在实际的生物特征识别应用中，还要注意考虑其它一些因素：( 1 ) 性能： 识别的准确性、速度、鲁棒性以及为达到所要求的性能所需要的资源；( 2 ) 可接受性： 使用者愿意接受这种生物特征识别系统的程度，是否具有非侵犯性，对人体有无伤害； ( 3 ) 安全性：是否具有好的防欺诈手段，等等。 目前，生物特征分为生理特征和行为特征两类，人的生理特征与生俱来，多为先 天性的，行为特征则是习惯使然，多为后天形成。其中生理特征包括：人脸、指纹、 掌形、掌纹、眼睛( 视网膜和虹膜) 、耳廓、人体气味、皮肤毛孔、手腕手的血管纹 理和d n a 等；行为特征包括：笔迹j 签名、语音、行走的步态、击打键盘的力度和 手势等。 生物特征识别技术早年运用于法庭科学的司法鉴定，多是对静态图像的事后采集 和识别。上世纪九十年代末和本世纪初，特别是“9 1 1 事件之后，由于国际反恐斗 争的需要，生物特征识别技术的重要性被全球各国政府更加清楚地认识到，对静态、 动态图像的事前事后采集和实时鉴别，己成为防范安全风险的主要技术手段。美国连 续签署了爱国者法案、航空安全法案、边境签证法案三个法案，在这些法案中强调在 边检、执法、民用航空等领域要应用生物特征识别技术。2 0 0 3 年6 月，在国际民用 航空组织( i c a o ) 发布的规划中，也建议其1 8 8 个成员国都在护照上加入生物特征 识别技术。大部分西方国家已经立法开始支持i c a o 这项规划。 实践证明任何一种生物特征识别方法都有自己的适用范围，例如，有些人的指纹 无法提取特征，仅靠指纹就不能进行识别；患白内障的人虹膜会发生变化，也不能仅 依靠虹膜特征进行识别，等等。也就是说，没有某一种单项生物特征能达到完美无缺 的要求。因此，在对安全有严格要求的应用领域中，人们往往需要融合多种生物特征 第一章绪论博士论文 来提高识别的准确率和扩大应用范围。因此，融合多种生理和行为特征进行身份鉴别， 提高识别的精度和可靠性，是生物特征识别领域发展的必然趋势。 众所周知，某些生物特征识别的能力对人来说是与生俱来的，比如人脸识别，对 于人类而言是一个很简单的技能。人类能通过以前的记忆轻松的做出相应的判断，即 使某人有化妆，年龄变化等等，这些都不会影响人类的判断，但是对于计算机而言， 这却是一个很大的挑战过程。模式识别的任务就是希望计算机系统通过某种学习也掌 握这种识别物体的能力。 经过几十年的发展，生物特征识别研究的价值已经开始体现，不少商用系统已经 出现，而且其中一些识别技术逐渐走向成熟。但是，生物特征识别仍然是一个开放问 题，无论是理论还是具体应用，都有一些重要问题尚未解决。 1 2 人脸识别概述 人脸识别是当前模式识别和人工智能领域的一个重要研究课题，人脸识别的研究 开始于二十世纪六十年代中后期【1 2 0 1 ，近4 0 多年来得到了迅猛的发展，尤其是近十几 年来，更成为一个非常活跃的研究方向i l 也6 5 稍j 。 所谓人脸识别，是指对输入的人脸图像或者视频，判断其中是否存在人脸，如果 存在人脸，则进一步给出每张人脸的位置、大小和各个主要面部器官的位置信息，并 且依据这些信息，进一步提取每张人脸蕴含的身份特征，并将其与已知人脸库中的人 脸进行对比，从而识别每张人脸的身份。人脸识别的一般过程为：从复杂背景中找到 人脸、分割人脸，抽取人脸特征，然后进行匹配和识别。人脸识别有“一对多”和“一 对一 识别；其中“一对多 识别要解决“这是谁? ( w h 0i st h i s ? ) ”的问题，而“一 对一”识别则要解决“这是某人吗? ( i st h i ss o m e o n e ? ) 的问题。“一对多 识别是 将待测图像与图像库中所有的人脸图像进行匹配，是一个辨认( r e c o g n i t i o n ， i d e n t i f i c a t i o n ) 过程；“一对一 识别是将待测图像只与某个人的人脸图像进行匹配， 是一个人脸确认( a u t h e n t i c a t i o n ，v e r i f i c a t i o n ) 的过程。 早在上世纪六七十年代，人脸识别就引起了广大研究者的浓厚兴趣。在过去的近 四、五十年的时间里，心理学家、神经生理学家和工程技术人员对人与机器如何识别 人脸的各个方面进行了广泛的研究。另外，m p e g 7 标准组织已经建立了人脸识别草 案小组。进入二十世纪九十年代后，由于各方面对人脸自动识别系统的迫切要求，特 别是本世纪美国在发生“9 1 l ”恐怖袭击以来，人脸识别的研究变得如火如荼。目前， 美国等西方国家有许多专门从事人脸识别的研究小组，他们的研究受到军方、警方及 大公司的高度重视和巨额资助。近年来，国际、国内的众多高校也普遍开展了对人脸 识别的研究，在人脸识别方面的研究取得了较大的进展。国外比较著名的有：c m u 、 m i t ，m i c h i g a ns t a ru n i v e r s i t y ，u c l a ，u n i v e r s i t yo fm a n c h e s t e r ，u m d ，u s c ，u n i v e r s i t y 博士论文特征抽取方法研究及其在人脸识别中的应用 o f s u r r e y ；国内研究此项工作的大学和研究所有：清华大学、哈尔滨工业大学、南京 大学、上海交通大学、浙江大学、北京交通大学、南京理工大学和中国科学院自动化 研究所等。并且，国际国内发表的有关人脸识别的论文在数量上大幅增长。到现在为 止，不但有了人脸识别的专门国际会议i e e ei n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i c f a c ea n dg e s t u r er e c o g n i t i o n ，而且还出现了专门的人脸识别评估标准。而且，人脸识 别作为研究的具体问题载体，推动了计算机视觉和图像处理领域的发展，模式识别领 域的顶级杂志i e e et r a n s p a m i 还于1 9 9 7 年七月出版了人脸识别的专辑，另外，这 些相关领域的顶级国际会议c v p r ( c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n ) 、a f g r ( i n t e m a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r e r e c o g n i t i o n ) 上关于人脸识别的专题也屡屡可见。 一 人脸识别研究跨越了图像处理、模式识别、计算机视觉、人工神经网络以及神经 生理学、心理学等研究领域，是当前图像工程领域的四大研究热点之一【6 9 】，它属于生 物鉴别技术( b i o m e t r i c s ) 的一部分。在人的各种形式的生物特征中( 指纹、掌纹、 人脸、声音、虹膜、d n a 、签名、耳纹、步态等) ，人脸是一个人区别于其他人的最 自然、最主要的特征。人脸特征同时还具有唯一性，一个人与其他人的脸部特征是不 同的，即使是双胞胎的人脸也有区别，这说明用人脸区分不同的人是合理可行的。另 一方面，人脸图像相对于其他生物特征来说更容易获取，法律上也没有障碍。因此， 与指纹、虹膜、语音等其他人体生物特征相比，人脸识别更加直接友好，具有广泛的 应用背景，具体的应用主要有以下几个方面【1 2 】： ：1 ) 嫌疑犯照片的匹配； 2 ) 信用卡、驾驶执照、护照与个人身份证的识别； 3 ) 银行、商场安全系统； 4 ) 公众场合监控； 5 ) 专家识别系统； 6 ) 基于目击线索的人脸重构； 7 ) 嫌疑犯电子照片簿； 8 ) 电子排查； 9 ) 基于残留人脸的人脸重构； 1 0 ) 随年龄增长的人脸估算； 。 ：1 1 ) 娱乐项目中的具有真实面相的虚拟现实视频游戏等。 在这些应用中包括了从静态的、受控背景的照片到动态的、非受控背景的视频等 各个方面，每项应用都有着不同的技术难度、处理方法和分析理解方式。这些技术基 本上可分为两类：静态( 非视频) 匹配和动态( 视频) 匹配。 虽然人类从复杂背景中识别人脸相当容易，但对计算机自动识别来说，却是一个 第一章绪论博士论文 相当困难的问题。其主要原因有：1 ) 人脸结构的相似性，不同人的脸部图像在图像 空间中距离非常接近，这也正是能够实现计算机自动人脸检测的主要原因，然而这种 相似性对模式分类却是非常不利的；2 ) 人脸是非刚性的，在不同阶段，不同环境下 获取的人脸图像在计算机中的表示方式可能不一样，因此对人脸的最终识别也会带来 误导；3 ) 从模式识别的角度来说，人脸识别属于一个大类别的识别问题，全球人口 众多，并且在不断的增长中；人口数越多，其类别数也就越多，识别的难度也就相应 的越大；4 ) 人有喜、怒、哀、乐的表情变化，不同表情下采集的人的图像会有变化， 人会有姿态的改变，光照有强弱和角度的变化，这样导致一个人的测试图像与存储库 中的图像不一致，也会影响正确的识别判断。尽管现在已有一些人脸识别的方法，但 与实际应用的要求及问题的真正解决还有相当的距离。也就是说，在大类别、复杂背 景、局部遮挡、姿态变化等复杂条件下的人脸图像识别的正确率、可靠性和稳健性方 面还需要进行深入的研究工作。 1 3 人脸识别中的特征抽取 一个自动的人脸识别系统由人脸检测和人脸识别两部分组成。由于检测和识别两 个环节的独立性很强，通常将二者分开加以讨论。 1 3 1 人脸检测 人脸检澳l j 7 0 , 7 1 】是指在任意输入的图像( 静止或视频) 中检测是否存在人脸，如果 存在，确定所有人脸的位置与大小。这个问题的解决包括能够在复杂背景中检测各种 形式( 如表情、姿势、旋转等) 的人脸，并且对于待检测图像的限制条件越弱越好。 目前已提出很多人脸检测方法。总的来说，人脸检测方法可以大致分为两大类：一类 是基于知识的人脸检测方法；另一类是基于统计学习的人脸检测方法。基于知识的方 法基于研究者的先验知识，首先抽取几何形状、灰度、纹理等特征并形成一定的规则， 然后检验这些规则是否符合人脸的先验知识。这类方法一般检测速度都很快，但精度 较差，常用来人脸的粗检测。主要方法有：镶嵌图法【7 2 】，纹理模型法【删和模板匹配 方法 7 4 - 7 8 等。基于统计学习的方法不需要提取具体的人脸特征，而需要从大量的典型 数据中获得统计特征，这些统计特征要能更好地反应人脸图像和非人脸图像之间的差 别，因此这类方法一般能够获得较好的检测效果。主要方法有：神经网络法【7 9 8 0 ， s v i v i s l , s 2 1 ，隐马尔可夫模型8 3 1 及v i o l a 等人翻，8 5 1 基于a d a b o o s t 学 - j 算法【8 叼实现的快 速人脸检测等方法。 1 3 2 人脸特征抽取方法 从原始图像将人脸区域检测、定位并分割出来后，接下来的关键工作就是人脸特 4 博士论文 特征抽取方法研究及其在人脸识别中的应用 征抽取和识别。人脸识别领域，由于原始图像的维数非常高，直接在原始图像的基础 上进行处理，将加大算法的复杂度，并且对计算机的硬件性能也是一个挑战；另外一 个更重要的问题是基于原始图像的描述并不能直接反映对象的本质，并且受图像形成 的角度、光照等因素的影响，因此特征抽取成为该领域最基本的问题之一，抽取有效 的鉴别特征是解决该问题的关键。在模式识别技术中，特征抽取【7 ，1 1 7 】已成为一个普遍 存在的问题。特征抽取( f e a t u r ee x t r a c t i o n ) 是指将样本从高维观测空间通过线性或 非线性映射投影到一个低维特征空间，从而找出隐藏在高维观测数据中有意义的低维 结构。 鉴别分析( d i s c r i m i n a n t a n a l y s i s ) 是特征抽取的最为重要的目的之一。如何抽取 原始数据样本的有效特征以达到最佳的模式识别效果，是一个非常关键的问题。就鉴 别分析而言，特征抽取的作用在于：( 1 ) 避免维数灾难( d i m e n s i o n a l i t yc u r s e ) 【8 】， 提高分类器的泛化能力；( 2 ) 提取最为简捷有效的鉴别特征，提高识别效果；( 3 ) 有 利于相似度计算，提高识别效率。 到目前为止，国内外研究人员关于特征抽取技术和鉴别分析技术的研究如火如 荼，蓬勃发展。已有的人脸特征抽取方法有很多种，概括起来有两大类型：一种是基 于知识的特征抽取方法；另外一种是基于统计学习的特征抽取方法。其中基于统计学 习方法抽取的特征又被称为代数特征，由于代数特征较易抽取并且具有较高的识别精 度，因此抽取代数特征的统计方法成为目前人脸特征抽取的主流方法。基于代数特征 抽取的方法可以分为两类，分别是线性投影特征抽取方法和非线性投影特征抽取方 法。 1 3 2 1 线性特征抽取方法 ” 。 在众多的线性特征抽取方法中，几种经典和广泛使用的特征抽取方法有主成分分 析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a 或称k l 变换) 1 9 , 1 0 】，独立成分分析 ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 1 1 , 1 2 和f i s h e r 线性鉴别分析( l i n e a r d i s c r i m i n a n ta n a l y s i s ，l d a ) 1 3 ，1 4 1 。 主成分分析( p c a ) 是模式识别领域一种重要的特征抽取方法，该方法通过k l 展开式来抽取样本的主要特征。其基本思想是：利用一组包含较多信息量的特征去尽 可能精确地表示原始模式样本的分布。p c a 在人脸识别领域得到成功的应用，许多 研究人员对此进行了研究。尽管关于p c a 的研究起源较早，但将其用于解决人脸识 别问题才有不到3 0 年的历史。1 9 9 0 年，k i r b y 和s i r o v i c h 等人【l o 】讨论了利用p c a 进 行人脸图像的最优表示问题，并发现任何人脸图像都可近似地用特征向量的线性组合 来表示，通过增加特征向量的数量可以提高所给图像的表示精度。接着，t u r k 和 p e n t l a n d 发现当k l 展开后的特征向量被还原成图像矩阵时，很像人脸( 被形象地称 为“特征脸 ，e i g e n f a c e ) 【9 2 4 1 ，因此著名的“特征脸 方法就是指通过k l 变换进 第一章绪论博士论文 行人脸识别的方法。于是，采用k l 展开表示人脸的本质被揭示了出来，即用一系 列标准的人脸图像通过加权叠加来表示人脸，然后使用这些权重系数作为人脸的特征 进行分类识别。 主成分分析( p c a ) 是图像压缩中的一种最优正交变换，它用于统计特征提取构 成了子空间法模式识别基础。p c a 是基于数据二阶统计矩的特征提取方法，其目的 是用较少的特征对样本进行描述，降低特征空间的维数，同时又能保留所需要的识别 信息。主成分分析是模式识别中广泛使用的一种子空间投影技术。 但是，主成分分析只是在最小协方差意义下给出的模式样本的最优表示，是基于 数据二阶统计矩的特征提取方法，不能获得在更高阶上统计独立的特征，而独立成分 分析方法却有这方面的优势。 独立成分分析( i c a ) 2 5 - 2 7 】是近几年才发展起来的一种新的统计方法，它最初是 用来解决“鸡尾酒会”问题【2 引，即一组独立的源信号被线性混合后，在只知道混合后 的数据，对混合的过程一无所知( 即混合矩阵未知) 的情况下，寻找一个离析矩阵， 将独立的源信号恢复出来 2 6 , 2 9 , 3 0 1 。该方法的目的是，将观察到的数据进行某种线性分 解，使其分解成统计独立的成分。最早提出i c a 概念的是j u t t e n 和h e r a u l t 2 5 】，当时 他们对i c a 给出了一种相当简单的描述，认为i c a 是从线性混合信号里恢复出一些 基本的源信号的方法。由于i c a 是基于信号高阶统计特性的分析方法，并且经i c a 分 解出的各信号分量之间是相互独立的，因此，i c a 在信号处理领域受到了广泛的关 注。随着越来越多的研究人员对i c a 研究兴趣的增加，使得该方法在许多其它领域 也有了广泛的应用。b a r t l e t t 等人是最早将独立成分分析用于图像分析的研究者之一 【3 l 】，他们采用i n f o m a x 算法来实施i c a ，提出了使用独立成分分析进行图像表示的两 种构架( i c a 构架i 和) 。在i c a 构架i 中，每个图像在不同像素上的灰度值被 看成一个一维混合信号，图像的数目就是混合信号的数目，像素的个数就是采样数目。 因为独立源信号是原图像信号的线性组合，而本征图像也是原图像信号的线性组合， 为了提高算法的效率，本征图像被来作为i c a 算法的混合信号输入。而在i c a 构架 i i 中，每个像素在不同图像上的灰度值被看成为一个一维混合信号，训练图像的数 目就是采样数目，p c a 压缩技术同样被用来降低混合信号的数目。 独立成分分析法( i c a ) 方法是根据最小化互信息准则或最大化非高斯性准则提 出的从线性混合的信号中恢复出独立源信号的算法。该方法不仅涉及到变量间的二阶 相关性还涉及到变量间的高阶相关性，因此独立成分分析可视为主成分分析( p c a ) 方法的一种推广。由于二者得到的特征信息都是更能重构原始数据得信息，而不是原 始数据的最佳分类信息。因此，主成分分析和独立成分分析与模式分类并非直接相关 的，就模式分类而言，二者所获得的特征并非是最有效的。而线性鉴别分析则较好的 解决了这一问题。 6 博士论文特征抽取方法研究及其在人脸识别中的应用 关于线性鉴别分析的研究应追溯到f i s h e r 在1 9 3 6 发表的经典论文。其目的是选 择使得f i s h e r 准则函数达到极值的向量作为最佳投影方向，从而使得样本在该方向上 投影后，达到最大的类间离散度和最小的类内离散度。其所表达的物理意义是，模式 样本在这些最优鉴别矢量上投影后，同一类的模式样本尽量相互集中，而不同类的样 本之间尽量相互分离，类间散布程度与类内散布程度之比达到最大。在f i s h e r 思想的 基础上，w i l k s 3 2 】和d u d a 3 3 j 分别提出了鉴别矢量集的概念，即寻找一组鉴别矢量构 成子空间，以原始样本在该子空间内的投影矢量作为鉴别特征用于识别。该方法被称 为经典的f i s h e r 线性鉴别分析方法。最近十几年来，f i s h e r 线性鉴别分析无论在理论 上还是在应用上都取得长足的发展p 4 5 1 ，成为一种广泛使用的、十分有效的特征抽取 工具。 就线性鉴别分析而言，其研究的一个热点是高维、小样本情况下的算法设计问题。 在小样本情况下，类内散布矩阵经常是奇异的，这是因为待识别的图像矢量维数通常 较高，而在解决某些实际问题时难以找到足够多的训练样本来保证类内散布矩阵的可 逆性。因此，如何利用f i s h e r 鉴别准则得到最优鉴别矢量集成为一个公认的难题。近 二十年来，为了解决这个问题提出了很多种处理方法，其中的算法理论为小样本问题 的彻底解决奠定了基础。概括起来，可分为两大类： 1 ) 针对样本数据进行处理，即在模式识别之前，通过降低样本向量的维数消除 类内散布矩阵的奇异性。j m 等人【3 5 3 6 】通过降低图像的分辨率来消除类内散布矩阵奇 异性撒方法的缺点是损失了图像的某些细节信息。b e l h u m e u r 等人提出了f i s h e r f a c e s 方法掣，首先通过主分量分析降低原始图像的维数，然后再利用f i s h e r 鉴别准则进行 特征抽取，该方法属于p c a + l d a 的两步骤方法，其缺点是舍弃了次分量上( 包含 零空间) 的鉴别信息。上述几种降维方法虽然可以消除类内散布矩阵奇异性，但都是 以鉴别信息的损失为代价的。 2 ) 对算法本身进行改进，通过相应的矩阵分析提出直接针对小样本问题的算法。 为了解决解决类内散布矩阵的奇异问题，t i a n 等人【3 9 】提出了利用矩阵伪转置的方法， h o n g 等人1 4 0 提出了在原始类内散布矩阵上加扰动的方法，c h e n g 等人【4 1 】提出了利用 矩阵秩分解的方法，y a n g 4 2 1 ，c h e n 4 3 1 ，w u 】等人提出一种有效利用类内散布矩阵零空 间信息的方法，称之为直接线性鉴别方法( d i r e c tl d a ，l d a ) 。这类方法存在着一个 共同的弱点，就是在高维的原始样本空间内求解最优鉴别矢量集时，计算量非常大， 因此在使用这些方法进行鉴别分析之前，也需要适当降低图像的分辨率。 1 3 2 2 非线性特征抽取方法 尽管随后的研究者分别从不同的角度应用和发展了f i s h e r 线性鉴别分析理论，使 得其在理论和算法上具有更广泛的适用性【4 5 郴】。然而，由于线性方法本质上都是基于 线性变换，通常无法表达数据的非线性分布结构。因此，非线性特征抽取技术，受到 7 第一章绪论博士论文 了广泛关注。对于非线性特征抽取方法，近年来取得了长足的进展。其中较引人注意 的两个分支分别是：基于核( k e r n e l ) 的特征抽取技术【l5 ，1 6 】和以流形学习( m a n i f o l d l e a r n i n g ) 为主导的特征抽取技术i l 卜1 9 t 。 ( 一) 基于核( k e r n e l ) 的特征抽取技术 基于核技术的特征抽取基本思想就是通过适当的非线性映射矽将非线性可分的 原始样本变换到某一线性可分的高维特征空间f ，而这种非线性映射矽是通过定义 适当的内积函数实现的。核技术最初是由v v a p n i k 1 0 9 1 提出并应用于支持向量机 ( s u p p o r t v e c t o r m a c h i n e s ，s v m ) 1 5 0 - 5 6 中。s v m 是在统计学习理论的基础上发展而 来的一种新的模式识别方法，并能够推广应用到函数拟合等其它机器学习问题中。它 是建立在统计学习理论的v c 维理论和结构风险最小化原理基础上的，根据有限的 样本信息在学习模型的复杂性和学习能力之间寻求最佳折衷，以期获得较好的泛化性 能。 随着统计学习理论的成熟和支持向量机( s v m ) 在模式识别领域的成功应用， 一