（应用数学专业论文）pca和粗糙集的联合自寻优特征选择在人脸识别中的应用.pdf

摘要 摘要 随着社会的发展，各个方面对快速有效的身份验证的要求日益迫切。由于生 物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证 的理想依据。其中利用人脸特征又是最自然直接的手段，相比其他生物特征，它 具有直接、友好、方便的特点，易于为用户接受。从而，人脸识别吸引了越来越 多来自计算机视觉和信号处理等领域的关注，成为模式识别、图像处理等学科的 一大研究热点。 人脸识别主要由三部分构成：人脸图像的预处理、人脸特征的提取和选择、 以及人脸的分类判别。其中人脸特征的提取和选择可以说是重中之重，也是本文 的研究重点。 主成分分析( p c a ) 法是目前应用最广泛的特征提取方法之一。它可以提供 基于最小化重构误差的优化特征提取和约简，然而却并不能保证所选择的作为特 征向量的主成分都是有利于分类的。而粗糙集理论中约简的计算方法可用于作为 约简的主成分的挑选，从而使得这些被挑选出来的主成分可以充分描述数据集中 的所有概念。本文收集和分析了近年来国内外关于粗糙集理论的学术论文及研究 报告，对粗糙集理论应用于特征选择的若干理论问题进行了探讨，从而提出了p c a 和粗糙集的联合自寻优特征算法。这种算法引入基于基因算法和模拟退火算法的 思想的粗糙集自寻优约简方法对p c a 所提取和约简的特征进行进一步约简，以期 得到能够充分体现数据空间信息的最小特征集合。 在人脸识别中，联合自寻优特征选择算法首先利用p c a 对人脸图像进行基于 最小化重构误差的人脸特征的提取和约简，在此基础上利用粗糙集的自寻优约简 方法进一步得到能充分体现人脸信息的最小人脸特征集合。实验证明此算法应用 于人脸识别中不仅大大减少了特征的数量以及分类过程中的运算量，还有效的提 高了人脸识别的正确率和减少了识别时间，并且对于一定范围内的不同取样的训 练具有一定的稳定性。 关键词：人脸识别；主成分分析；粗糙集；特征选择 华南理工大学硕士学协论文 _ - e l _ _ _ _ ! # 自= = ! ! ! ! = = = = = = j j e - - _ l l _ - _ 日l e 日e j t 日_ | = i e e _ - _ l _ _ - _ l _ i ! = ! = = = = ! 自= l l _ i l _ 一 a b s t r a c t a st h ed e v e l o p m e n to ft h es o c i e t y ，t h e r ea r ei n c r e a s i n gd e m a n d si na u t o m a t i c i d e n t i f yc h e c k s i n c es o m eb i o l o g i c a lc h a r a c t e r i s t i c sa r ei n t r i n s i ca n ds t a b l e t op e o p l ea n da r es t r o n g l yd i f f e r e n tf r o mo n et ot h eo t h e r s ，t h e yc a nb eu s e d a sf e a t u r e sf o ri d e n t i t yc h e c k a m o n ga l lt h ec h a r a c t e r i s t i c so fh u m a n ，t h e c h a r a c t e r i s t i c so ff a c ea r et h em o s td i r e c tt o o l sw h i c ha r ef r i e n d l ya n d c o n v e n i e n ta n da c c e p t e de a s i t yb yt h ec u s t o m e r s t h u s ，i th a sr e c e i r e d c o n s i d e r a b l ea t t e n t i o nf r o m b a t hc o m p u t e rv i s i o na n ds i g n a lp r o c e s s i n g c o g m u n i t i e s ， a n db e c o m e sa t t r a c t i v ei np a t t e r nr e c o g n i t i o na n di m a g e p r o c e s s i n g g e n e r a l l y f a c er e c o g n i t i o nc o n s i s t so ft h r e ep a r t s ：p r e p r o c e s s i n go ft h e f a c ei m a g e s ，f e a t u r ee x t r a c t i o na n ds e l e c t i o nf r o mf a c e ，a n dc l a s s i f i c a t i o n a m o n gt h e m f e a t u r ee x t r a c t i o na n ds e l e c t i o nw h i c hi st h em o s ti m p o r t a n tp a r t i so u rs t u d yf o c u s t h ea l g o r i t h mo fp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) i so n eo ft h eb r o a d l y a p p l l e dm e t h o d sf o rf e a t u r ee x t r a c t i o na tp r e s e n t i t c a np r o v i d ef e a t u r e e x t r a c t i o n a n dr e d u c t i o no p t i m a lf r o mt h ep o i n to fv i e wo fm i n i m i z i n gt h e r e c o n s t r u c t i o ne r r o r ，b u ti tc a nn o tg u a r a n t e et h a ts e l e c t e df i r s tp r i n c i p a l c o m p o n e n t sa saf e a t u r ev e c t o rw i l lb ea d e q u a t ef o rc l a s s f l o a t i o n a n dt h e c o m p u t a t i o nm e t h o do far e d u c td e f i n e di nr o u g hs e t sc a nh eu s e df o rs e l e c t i n g s o m eo fp r i n c i p a lc o m p o n e n t sb e i n gar e d u c t t h e s ep r i n c i p a lc o m p o n e n t sw i l l d e s c r i b ea 1 1c o n c e p t si nad a t as e t b yl e a r n i n gt h ed o m e s t i ca n di n t e r n a t i o n a l e s s a y sa n dr e s e a r c hp a p e r si ur e c e n ty e a r sc o n c e r n i n gr o u g hs e t st h e o r y ，s o m e t h e o r i e sp r o b l e mo ff e a t u r es e l e c t i o nb a s e do nr o u g hs e t s i sa n a l y z e d ，a n da u n i o na d a p t i v ea l g o r i t h mf o rf e a t u r es e l e c t i o nu s i n gp c aa n dr o u g hs e t si s p r e s e n t e d i no r d e rt oo b t a i nt h em i n i m u ms e to ff e a t u r e sw h i c hc a nd e s c r i b e t h ei n f o r m a t i o no ft h ed a t as p a c ec o m p l e t e l y ，t h ea l g o r i t h mr e d u c e st h ef e a t u r e s e l e c t e db yp c ab yi n t r o d u c i n ga na d a p t i v es e a r c h i n go p t i m a lm e t h o df o rt h e a t t r i b u t er e d u c t so fr o u g hs e t sb a s e do nt h eg e n ea l g o r i t h ma n dt h es t i m u l a t e d a n n e a li n gs t r a t e g y i nf a c er e c o g n i t i o n ，t h eu n i o na d a p t i v ea l g o r i t h mf o rf e a t u r es e l e c t i o n e x t r a c t sa n ds e l e c t st h ef a c ef e a t u r e sb a s e do nt h em i n i m u mr e c o n s t r u c t i o ne r r o r f r o mt h ef a c ei m a g e sb yp c af i r s t l y a n dt h e nu s et h ea d a p t i v es e a r c h i n go p t i m a l r e d u c tm e t h o db a s e do nr o u g hs e t s t oo b t a i nt h em i n i m u ms e to ff a c ef e a t u r e s w h i c hc a nd e s c r i b et h ei n f o r m a t i o no ff a c ec o m p l e t e l y t h ee x p e r i m e n ti n d i c a t e s t h a t s u c ha l g o r i t h mn o to n l yc a nd e c r e a s et h en u m b e ro ff e a t u r e sa n dt h e c o m p u t a t j o no fc l a s s i f i c a t i o ng r e a t l y ，b u ta l s oc a ni n c r e a s et h ea c c u r a c ya n d d e c r e a s et h et i m ef o rh u m a nf a c er e c o g n i t i o n m e a n w h i l e ，i ti s s t a b l ef o r t r a i n i n gd if f e r e n ts a m p l e si ns o m ea r e a k e y w o r d s ：h u m a np a c er e c o g n it i o n ：p c a ；r o u g hs e t s ：f e a t u r es e l e c t i o n i i 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究 所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包 含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律后果由本人承担。 作者签名：中被笨日期：o 呕年占月7 日 l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密昭。 ( 请在以上相应方框内打“4 ”) 日期：坷年g 月7 日 日期：z o f m 月t7 日 第一章绪论 1 1引言 第一章绪论 在现代社会中，对个人身份鉴别的需求可以说是无处不在，并且与目俱增， 例如某人是否有权进入安全区域( 安全系统) 、是否有权进行特定交易等。目前， 用于个人身份鉴别主要依靠id 卡、密码等手段。与技术发展相伴而来的是，犯 罪分子伪造假证件的手段越来越高明，诸如假身份证、假工作证、假文凭等不时 出现，影响了正常的社会秩序；在信息业界中，黑客攻击、破译计算机口令等现 象也时有发生。目前广泛使用的依靠证件、口令等传统方法确认个人身份的技术 面l 临着巨大挑战。基于人体生物特征识别技术( b i o l i l e t r i c s ) 的个人身份鉴别系 统，由于使用了人体本身所固有的生物特征，是与传统方法完全不同的崭新技术， 具有更好的安全性、可靠性和有效性，越来越受到人们的重视，开始进入我们社 会的各个领域，迎接新时代的挑战。 人体生物特征识别技术就是利用人体本身所固有的物理特征( 如指纹、虹膜、 脸部、掌纹等) 及行为特征( 如书写、声音等) ，通过图像处理和模式识别的方 法来鉴别个人身份的技术i l j 。近年来，欧美以及其它地区的大学都成立了以人体 生物识别技术为主要研究方向的实验室或研究中心。同时，许多公司也相继开发 出许多这方面的产品并不断地推向市场。人体生物识别技术逐步转化为一个蓬勃 发展的新兴产业。在我国，也已经涌现出很多机构广泛开展人体生物识别技术方 面的研究工作，许多研究人员投身到这一新兴研究领域，开展用于身份鉴别的人 脸识别、话音识别、指纹识别等多项研究工作，并取得了一定的成果。 与其它人体生物识别技术相比，入脸识别是一种更直接、更方便、更友好、 更容易被人们接受的识别方法。一方面，在人们的交往过程中，人脸所包含的视 觉信息占据了主导地位，它是体现人与人之间差别的最重要的特征，因而人脸识 别技术成为当今研究的一个热点。另一方面，由于人脸之间存在很大的相似性以 及人脸的高度可变形性，使得这个课题极富挑战性。人脸识别技_ 术开始于二十世 纪六十年代，但由于受当时技术条件的限制发展缓慢，因而在最初的二三十年里 只有少量关于这个课题的论文出现口】。八十年代开始，随着计算机技术以及模式 识别和图像处理技术的发展，人脸识别技术受到很大重视并得到了进一步的发 展。近年来，以人脸为特征的人体生物识别技术发展尤为迅速。 华南理工大学硕士学位论文 1 2模式识别和图像处理 1 2 1模式识别 模式识别【3 1 诞生于二十世纪二十年代，随着四十年代计算机的出现和五十年 代人工智能的兴起，模式识别在六十年代迅速发展成一门学科。它所研究的理论 和方法在很多科学和技术领域中得到广泛的重视，推动了人工智能系统的发展， 扩大了计算机应用的领域。几十年来，模式识别研究取得了大量的成果，在很多 方面得到了成功的应用。 所谓模式，广义地说，就是我们可以区别它们是否相同或是否相似的存在于 时间和空间中可观察的事物。人们为了掌握客观事物，按事物相似的程度组成类 别。模式识别的作用和目的就在于面对莱一具体事物时将其正确地归入某一类 别。但模式所指的不是事物本身，而是我们从事物获得的信息。因此，通常把通 过对具体的个别事物进行观测所得到的具有时闻和空闯分布的信息称为模式，而 把模式所属的类别或同一类中模式的总体称为模式类( 或简称为类) ，从而模式 识别可以看成是从具有时间和空间分布的信息向符号所作的映射。也有人把模式 类称为模式，而把个别具体的模式称为样本。 模式识别的基本方法主要有统计模式识别方法和结构( 句法) 模式识别方法， 而与其对应的模式识别系统则由设计和实现两个过程组成。设计是指用一定数量 的样本( 即训练集或学习集) 进行分类器的设计；实现是指用所设计的分类器对 待识别的样本进行分类决策( 这里的设计和实现都是指有监督模式识别的情况) 。 一般基于统计方法的模式识别系统的结构如图卜1 所示，它是由四个部分组成： 数据获取、预处理、特征提取和特征选择、分类决策。 一时 1 数据获取 为了使计算机能对各种现象进行分类识别，要用计算机可以运算的符号来表 示所研究的对象。通常输入对象的信息有二维图像、一维波形、物理参量和逻辑 第一章绪论 值三种类型。数据获取就是通过测量、采样和量化，用矩阵或向量来表示二维图 像或一维波形。 2 预处理 预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素 所造成的退化现象进行复原。 3 特征提取和特征选择 由图像或波形所获得的数据量是相当大的。例如，一个文字图像可以有几千 个数据，一个卫星遥感图像的数据量就更大了。为了更有效地实现分类识别，就 要对原始数据进行变换，得到最能反映分类本质的特征。这就是特征提取和特征 选择的过程。 特征提取与特征选择的基本任务都是如何从众多特征中找出那些最有效的 特征。特征提取是一种减少特征数目的方法，它通过映射( 或变换) 的方法把高 维的特征向量变换为低维的特征向量，映射后的特征叫二次特征，它们是原始特 征的某种组合( 通常是线性组合) 。特征选择则是从一组特征中挑选出最有效的 特征以达到降低特征空间维数的目的的过程。 虽然特征提取与特征选择的目的相同，但从概念上说两者还是有区别的。特 征提取是在原有的特征集合的基础上，通过变换或合并，创造( 提取) 出新的特 征f 3 】，新的特征可能失去原来的物理意义，甚至难以描述出它的具体意义。而特 征选择则侧重于从原始的特征中选出特征作为新的特征，新的特征具备跟原来特 征一样的物理意义。 在运用目的上，特征提取和特征选择是相互补充的。特征提取得到的特征具 备较好的识别能力，而特征选择则节省了计算消耗( 某些特征被剔除而不需再作 考虑) 。因此特征提取和特征选择的运用不是截然分开的。例如，可以先将原始 特征空间映射到维数较低的空间，在这个空间中再进行选择以进一步降低维数； 也可以先经过选择去掉那些明显没有分类信息的特征，再进行映射以降低维数。 4 分类决策 分类决策就是在特征空间中用统计方法把待识别对象归为某一类别，即在样 本训练集基础上确定某个判决规则，使按这种判决规则对待识别对象进行分类时 所造成的错误识别率最小或引起的损失最小。 1 2 2图像处理 图像是人们对客观景象、事物以及人们的思维、想象的一种描述和记录，是 人类用来表达和传递信息的一种重要的手段。它包括各类图片、照片、绘图、文 华南理_ i 大学硕士学位论文 稿以及x 光胶片等等。人们可以通过各种观测系统从被观测的场景取得图像。图 像中包括很多特征，这些特征是解释图像的基础。常用的图像特征主要有以下几 类： 1 灰度：包括多光谱、彩色信息 2 边缘：描述灰度变化的程度和位置 3 纹理特征：描述在图像中反复出现的局部模式和它们的排列规则，反 映宏观意义上灰度变化的些规律 4 形状特征：描述物体、区域或基元的外形，从微观上精细地反映景物 及其诸组成部分的形状 5 物体表面主方向：即三维物体表面的法向 6 传感器与物体表面各点的距离 7 物体运动信息 图像处理和分析 4 1 是研究景物图像的处理和分析从而获得景物解释的学科。 利用计算机来识别物体、理解景物的研究始于二十世纪六十年代：到七十年代， 二维圈像处理和分析取得了较大的进展；到八十年代研究进入高潮，研究重点是 对三维景物的理解。图像处理和分析是一门有着潜在前景并与计算机、自动化、 集成技术、光学、视觉心理和生理、脑研究等众多领域交叉、综合的学科。它的 应用范围很广，涉及到文件处理、办公自动化、生物医学和材料的显微图像、医 学、工业探伤和地质的放射图像、工业自动化、机器人视觉、遥感、导航等等。 图像处理包括图像描述、图像编码、图像增强、图像压缩、图像复原、图像分割 等。对图像处理环节来说，输入是图像，输出也是图像。图像识别是对处理后的 图像进行分类，确定类别名称，再提取这些特征，最后根据测量结果作分类。 1 3人脸识别 1 3 1人脸识别的研究内容 人脸识别( f a c er e c o g n i t i o l l ) 是用计算机对人脸图像进行特征提取和识别 的模式识别技术【5 】。在二十世纪七十年代初，对人脸识别的研究涉及心理学神经 科学1 6 1 ，研究内容包括：人脸对人身鉴定的唯一性：人脸的全局特征和局部特征 在人脸识别中的作用；表情的分析与使用；婴儿是如何识别人脸的等等。其直接 目的是要搞清楚人是如何对人脸进行识别的。七十年代中期以后，开展了用数学、 物理和技术的方法对人脸自动识别的研究。特别是在1 9 9 0 年以后，研究工作更 加广泛和深入开展，这些研究工作涉及模式识别、图像处理、计算机视觉和神经 嘲络i ，1 等学科领域。 4 第一章绪论 从广义上来说，计算机人脸识别的研究内容大概可以分为以下五个方面： 1 人脸检测( f a c eb e t e c t i o n ) ，就是从各种不同的场景中检测出人脸 的存在并确定其位置。这方面的研究主要受光照、噪声、面部倾斜度 以及各种各样的遮挡的影响。 2 人脸表征( f a c er e p r e s e n t a t i o f l ) ，就是采取某种表示方法表示检测 出的人脸和数据库中的已知人脸。通常的表示法包括几何特征( 如欧 氏距离、曲率、角度等) 、代数特征( 如矩阵特征矢量) 、固定特征模 板、特征脸等。 3 人脸鉴别( f a c ei d e n t i f i c a t i 0 1 1 ) ，就是通常所说的人脸识别，将待 识别的人脸与数据库中的相关信息进行匹配。这个过程要选择适当的 人脸表征方式与匹配策略。整个识别系统的构造与人脸的表征方式密 切相关。 4 表情姿态分析( e x p r e s s i o ng e s t u r ea n a l y s i s ) ，就是对待识别人脸 的表情或者姿态信息进行分析，并对其进行分类。 5 生理分类( p h y s i c a lc 1 a s s i f i c a t i o n ) ，就是对待识别人脸的生理特 征进行分析，得出其年龄、性别等相关信息。 人脸检测、人脸表征和人脸鉴别是我们通常意义上建立人脸自动识别系统的 三个方面。人脸自动识别系统包括两个主要的技术环节，首先是人脸的检测和定 位，即从输入图像中找到人脸存在的位置，并将人脸从背景中分割出来( 即人脸 检测) ，然后才是对归一化的人脸图像进行特征提取与识别( 即人脸表征与人脸 鉴别) 。相对来说表情姿态分析和生理分类则是一个非常困难的研究方向，不过 它们在计算机图形学( 尤其是计算机动画) 领域有很广泛的应用前景，因此在最 近几年得到了国内外很多从事计算机视觉( c o m p u t e rv i s i o n ) 的研究人员的注 意。本文的研究重点是人脸表征和人脸鉴别。 1 3 2 人脸识别的研究现状及发展 人脸识别的研究始于六十年代末，最早的研究见于文献f 8 】，b l e d s o e 以人脸 特征点的间距、比率等参数为特征，建成了一个半自动的人脸识别系统。他认为 基于整个人脸的分析要优于基于部件的分析，理由是前者保留了更多信息，但是 这种说法值得商榷，因为基于人脸部件的识另i j 要比基于整体的方泫来得直观，它 提取并利用了最有用的特征如关键点的位置以及部件的形状分析等。而基于整个 人脸的识别由于把整个人脸图像作为模式，光照、视角以及人脸尺寸会对人脸识 别有很大的影响，因此如何能够有效地去掉这些干扰是一个关键问题。虽然如此， 华南理工大学硕士学位论文 基于部件分析的人脸识别方法也有困难，其难点在于如何建立好的模型来表达识 别部件。早期的人脸识别研究主要有两大方向：一是提取人脸几何特征的方法， 包括人脸部件归一化的点问距离和比率以及人脸的一些特征点，如眼角、嘴角、 鼻尖等部位所构成的二维拓扑结构；二是模板匹配的方法，主要是利用计算模板 和图像灰度的自相关性来实现识别功能。b e r t o 在1 9 9 3 年对这两类方法作了较全 面的介绍和比较后认为：模板匹配的方法优于几何特征的方法1 9 】。目前的人脸识 别研究也主要有两个方向：一是基于整体的研究方法，它考虑了模式的整体属性， 包括特征脸( e i g e n f a c e ) 方法、s v d 分解的方法【l 们、人脸等密度线分析匹配方 法】、弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法f ”j 、隐马尔可夫模型( h i d d e n m a r k o vm o d e l ) 方法 1 3 1 以及神经网络方法等；二是基于特征分析的研究方法，也 就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数 等一起构成识别特征向量。基于整体脸的识别不仅保留了人脸部件之间的拓扑关 系，而且也保留了各部件本身的信息；而基于部件的识别则是通过提取出局部轮 廓信息及灰度信息来设计具体识别算法。近年来的一个趋势是将人脸的整体识别 和特征分析的方法结合起来，如k i nm a nl a m 提出的基于分析和整体的方法【i4 1 、 a n d r e a sl a n i t is 提出的利用可变形模型( f i e x i b l em o d e l s ) 来对人脸进行解释 和编码的方法”。 1 3 3 人脸识别的方法综述 人脸识别的输入图像通常有三种情况：正面、侧面、倾斜。由于实际情况的 要求，对人脸正面模式的研究最多。人脸识别的本质是一个三维塑性物体二维投 影图像的匹配问题，它的困难体现在：1 、人脸塑性变形( 如表情等) 的小确定 性；2 、人脸模式的多样性( 如胡须、发型、眼睛、化妆等) ；3 、图像获取过程 中的不确定性( 如光照的强度、光源方向等) 。识别人脸主要依据人脸上的特征， 也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的 度量。由于人脸变化复杂，在对人脸图像进行特征提取和分类之前一般要作预处 理，以减少特征表述和特征提取的困难。 人脸特征提取与识别方法大概可以分为以下几类： 1 基于几何特征的识别方法。 这类识别法将人脸用几何特征矢量【l6 1 表示，用模式识别中层次聚类的思想设 计分类器达到识别目的。这就要求选取的几何特征矢量具有一定的独特性，能够 反映不同人脸之间的差别，同时又具有一定的弹性，以消除时间跨度、光照等的 影响。几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量，其分量 6 第一蕈绪论 通常包括人脸指定两点间的欧氏距离【1 7 j 、曲率、角度等。p o g g i o 和b r u n e l l i 用 改进的积分投影法取出用欧氏距离表征的人脸特征矢量用于模式分类。人脸器官 的关键点分别对应于不同的积分投影方式产生出波峰波谷，根据人脸结构的先验 知识，可以得出人脸各器官之间的几何位置关系。该系统获得了9 0 以上的识别 率。但是r o d e r 对几何特征提取的精确性进行了实验性的研究，结果不容乐观。 可变形模板法可以视为几何特征方法的一种改进，其基本思想是：定义一个参数 可调的器官模型( 即可变形模板【9 】) ，定义一个能量函数，通过调整模型参数使 能量函数最小化，此时的模型参数即可作为该器官的几何特征，这种方法的思想 很好，但存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定， 难以推广；二是能量函数优化过程十分耗时，难以实际应用。基于参数的人脸表 示可以实现对人脸显著特征的一个高效描述，但它需要大量的预处理和精细的参 数选择，同时采用一般几何特征只描述了部件的基本形状与结构关系【l ”，忽略了 局部细微特征，造成部分信息的丢失，更适合于作粗分类，而且目前已有的特征 点检测技术在精确率上还远不能满足要求，计算量也很大。 2 基于代数特征的识别方法。 这类识别方法仍然是将人脸用特征矢量表示，只不过用的是代数特征矢量： 即人脸图像在由“特征脸”张成的降维子空间上的投影，s i r o v ic h 和k i r b y 首先 将k - l 变换用于人脸图像的最优表示。t u r k 和p e n t l a n d 进一步提出了“特征脸” 方法t ”】，该方法以训练样本集的总体散布矩阵为产生矩阵，经k l 变换后得到相 应的一组特征矢量，称为“特征脸”，这样就产生了一个由“特征腧”矢量张成 的子空间，每一幅人脸图像向其投影都可以获得一组坐标系数，这组坐标系数表 明了人脸在子空间中的位置，试验表明其具有较强的稳定性，可以作为人脸识别 的依据。但是系统在使用特征脸方法之前需要作大量预处理工作如归一化等。总 之特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但是由于它 在本质上依赖于训练集和测试集图像的灰度相关性，而且要求测试图像与训练集 比较相象，所以它有着很大的局限性。 3 基于弹性模型的方法。 l a d e s 等人针对畸变不变形的物体识别提出了动态链接模型将物体用稀疏图 形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系并 用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。w is c o t t 等人在此基础上作了改进，用f e r e t 图像库做实验，用3 0 0 幅人脸图像和另外3 0 0 幅图像作比较，准确率达到9 7 1 3 。此方法的缺点是计算量非常巨大。n a s t a r 将人脸图像建模为可变形的3 d 网格表面，从而将人脸匹配问题转化为可变形曲 面的弹性匹配问题f l ”。利用有限元分析的方法进行曲面变形，并根据变形的情况 判断两张图片是否为同一个人。这种方法的特点存于将空间和灰度放存了一个3 d 华南理工大学硕士学位论文 空间中同时考虑，实验表明识别结果明显优于特征脸方法。l a n i t i s 等提出灵活 表现模型方法，通过自动定位人脸的显著特征点将人脸编码为8 3 个模型参数， 并利用辨别分析的方法进行基于形状信息的人脸识别。 4 基于神经网络方法。 目前神经网络方法【2 0 j 在人脸识别中的研究方兴未艾。这类识别方法将人脸直 接用灰度图( 二维矩阵) 表征，利用了神经网络的学习能力及分类能力，这种方 法的优势在于保存了人脸图像中的材质信息及细微的形状信息，同时避免了较为 复杂的特征提取工作。而且由于图像被整体输入，符合格氏塔( g e s t a l t ) 心理 学中对人类识别能力的解释。与前面谈到的识别方法比较，这类方法具有两个明 显的不同，首先信息处理方式是并行而非串行的；其次编码存储方式是分布的。 k o h o n e n 率先运用自相关记忆( 全互联神经网络) 存储和重建人脸图像：利用简 单的h e b b i a n 学习率，人脸图像的自相关记忆将被创建并存储在全互联神经网络 的权值中。试验表明，在噪声存在、甚至人脸图像被部分遮挡的情况下，该网络 能有效地重建人脸图像，这表明了自相关神经元具有识别能力。m i l l o w a r d 和 o t o o l e 利用的则是w i d r o w h o f f 学习率，同样证明了自相关神经元具有识别能 力。c o t t r e l l 等和f l e m i n g 采用了不同的网络拓扑结构一一非线性前馈神经网 络，该网络用b p 算法训练以后用于入脸灰度图像的识别。他们采用的前馈式神 经网络具有4 0 9 6 个输出单元。神经元的响应函数为s i g m o i d 函数，该网络实际 上实现了对多幅人脸图像的压缩编码，对人脸识别与生理分类都具有较高的准确 率。神经网络方法在人脸识别上的应用和其他几类方法比较有一定的优势，因为 对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则 可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般 也比较容易实现。 1 4 主成分分析在人脸识别中的应用背景 特征提取是人脸识别系统中诸多组成部分的一员，也是最为重要的一个组成 部分。主成分分析( p e a ，p r i n c i p a lc o m p o n e n ta n a l y s is ) 方法是目前应用最 广泛的特征提取方法之一，它是一种统计学方法，在信号处理、模式识别、数字 图像处理等领域已经得到了广泛的应用。主成分分析方法的基本思想是提取出空 间原始数据中的主要特征( 主成分) ，减少数据冗余，使得数据存一个低维的特 征空间被处理，同时保持原始数据的绝大部分的信息，从而解决数据空间维数过 高的瓶颈问题。 存入脸识别中，可利用p c a 对人脸进行特征提取和特征选择。p c a 算法将人 第一章绪论 脸图像区域看作一种随机向量，利用k l 变换得到正交变换基，对应较大的特征 值的基底具有与人脸相似的形状。p c a 算法利用这些基底的线性组合来描述、表 达人脸和逼近人脸，实现人脸图像的特征提取和特征选择，从而提高人脸的识别 和重建的效率。人脸识别就是把待识别的人脸映射到由特征脸张成的子空间中， 与库中人脸的子空间位置进行比较。人脸的重建就是根据待识别人脸在子空间的 位置，还原到人脸空问中。但单一的p c a 算法的识别率并不高，因此通常可以在 p c a 基础上结合其它算法进行人脸的特征选择，以提高识别率。 1 5 粗糙集应用于特征选择的研究意义 1 5 1 粗糙集理论的提出和发展 粗糙集( r o u g hs e t ，r s ) 理论是在集合论基础上发展起来的，是一种刻划 不完整性和不确定性的数学工具，能有效地分析和处理不精确、不一致、升i 完整 的各种不完备信息，并从中发现隐含的知识、揭示潜在的规律f 2 ”。它是由波兰华 沙理工大学z p a w l a k 教授等人在1 9 8 2 年【2 2 】提出的。1 9 9 1 年z p a w l a k 出版了 专著i 2 “，系统全面地阐述了粗糙集理论，为此理论奠定了严密的数学基础。该书 与1 9 9 2 年出版的r s 理论应用专集 2 4 1 较好地总结了这一时期粗糙集的理论与实践 的研究成果，促进了它的进一步发展，已成为学习和应用粗糙集理论的重要文献。 从19 9 2 年至今，每年都召开以粗糙集为主题的国际会议，大大地推动了粗糙集 理论的拓展和应用。国际上成立了粗糙集学术研究会，参加的成员来自波兰、美 国、加拿大、日本、挪威、俄罗斯等国家。粗糙集理论已成为人工智能领域中一 个较新的学术热点，引起了越来越多的科研人员的关注。 1 5 2 粗糙集理论的特点 作为一种处理不完备信息的数学工具，粗糙集的特点可以归纳为以下几点： 1 粗糙集不需要先验知识。模糊集和概率统计方法是处理不确定信息的 常用方法，但这些方法需要一些数据的附加信息或先验知识，如模糊 隶属函数和概率分布等，这些信息有时并不容易得到。粗糙集的分析 方法利用的是数据本身提供的信息，无须任何先验知识。 2 粗糙集是一个强大的数据分析工具。它能表达和处理不完备信息；能 在保留关键信息的前提下对数据进行化简并求得知识的最小表达；能 识别并评估数据之间的依赖关系，揭示出概念简单的模式；能从经验 9 华南理工大学硕士学位论文 数据中获取易于证实的规则知识，特别适于智能控制。 3 粗糙集与模糊集分别刻划了刁i 完备信息的两个方面【25 1 。粗糙集以不可 分辨关系为基础，侧重分类；模糊集基于元素对集合隶属程度的不同， 强调集合本身的含混性( v a g u e n e s s ) 。从粗糙集的观点看，粗糙集合 不能清晰定义的原因是缺乏足够的论域知识，但可以用一对清晰集合 逼近。粗糙集和证据理论也有一些相互交叠之处【2 ”，在实际应用中可 以相互补充。 近年来，粗糙集理论开始逐渐被应用到数据挖掘的领域中，在对大型数据库 中不完整数据进行分析和学习方面取得了显著效果。租糙集理论不仅为信息科学 和认知科学提供了新的科学逻辑和研究方法，而且为智能信息处理提供了有效的 处理技术。 1 5 3 研究意义 特征提取和特征选择，就是要通过对特征的评价，找出对决策起重要作用的 特征，从而发现分类规则的最小前提属性集，这是一个属性约简问题。糨糙集方 法是对不完熬数据进行分析、推理，发现数据间的关系，提取特征，简化信息处 理，研究不精确、不确定知识的有力工具，在知识发现和分类规则采掘方面有重 要作用。目前，已给出了属性间依赖度的衡量方法，但是在某些情况下，仍不能 反映出属性间的依赖程度，存在局限性，所以对于特征评价与简化问题，仍需要 研究。 从应用上看，知识库的特征提取算法可用于数据分类、模式识别及人工智能 等方面。人工智能研究中的一个重要概念是智能需要知识，而知识实际上来源于 人以及其它物种的分类能力。关于环境的知识，从生存观点来看，就是感觉信号 的复杂分类，它是从每个动物的基本机能对不同情况分类的能力而来的。更抽象 层次上的分类是推理、学习、决策的关键，是一种基础知识。因此，任何一个物 种都是由些知识来描述的，并且对物种可以产生不同的分类。从而如何在知识 库中进行本质特征提取，发现最简决策表及最简分类规则集就成为知识描述的关 键。因此，特征提取和选择算法的研究课题有着广泛的应用前景。 从理论上看，智能信息处理的重要任务就是要从大量观察和实验数据中获取 知识、表达知识、推理决策规则，特别是对于不精确、不完整的知识。粗糙集理 论作为智能信息处理技术的一个新成果，存知识发现领域中的分类规则的发现与 学 j 的研究中有着特殊的作用。由粗糙集理论所具有的特点知道它比原来的模糊 集和概率统计方法具有更大的优越性，并且能够得到最简的特征，是处理不精确 1 0 第一章绪论 信息的有力工具。因此研究如何用粗糙集方法提取最简的、最有代表性的本质特 征具有重要的理论和实际意义。 1 6本文研究工作概述 本文的主要工作是研究主成分分析( p c a ) 法在特征提取和特征选择方面的 优缺点，并利用粗糙集理论中的约简思想对其进行补充。同时，考虑到属性约简 的计算效率，引入粗糙集的自寻优约简方法，从而提出了p c a 和粗糙集的联合自 寻优特征选择算法，并将其成功地应用于人脸识别中的人脸特征的提取和选择。 第二章介绍主成分分析的理论依据、基本概念和具体算法。 第三章介绍粗糙集理论和特征选择的基本概念，以及粗糙集理论在特征选择 中的应用，最后归纳总结了粗糙集方法与其它特征选择算法的关系。 第四章介绍了主成分分析和粗糙集的联合白寻优特征选择算法的提出背景 以及具体的实现方法。 第五章将主成分分析和粗糙集的联合自寻优特征选择算法应用到人脸识别 中。并利用o r l 人脸数据库中的人脸图像进行实验，实验结果与单一使用p c a 算 法时的识别率和识别时间进行比较分析，得出了一些结论。 华南理工大学硕士学位论文 第二章主成分分析( p g a ) 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是最为常用的特征提 取方法之一【”1 ，被广泛应用到各领域，如图像处理、综合评价、语音识别、故障 诊断等。它通过对原始数据的加工处理，简化问题处理的难度并提高数据信息的 信噪比，以改善抗干扰能力。 p c a 的核心思想是利用较少数量的特征对样本进行描述以达到降低特征空间 维数的目的。它是建立在k a r h u n e n 1 0 6 v e 展开式( 简称k l 展开式) 的基础上 的。 2 1k l 变换 2 1 1k l 展开式 一个周别性的平稳随机过崔司以用互小相关的随机傅立叶系数的傅立叶级 数表示，而一个非周期性随机过程则要用互不相关系数的正交函数办o ) 的级数展 开，即这里所介绍的k l 展开式【3 1 。 假设一个非周期性随机过程x ( f ) 在区间【。，b 】中展开为 x ( ，) = 一丸( f ) ，口f b ( 2 1 ) 且 m 翩a r 一亿籍： ( 2 - z ) 以及 研】= ：莩：i ： c ：一s ， 和傅立叶级数展开式比较，这里由于当”= m 时，要使e x o 】= 1 ，所以引入了实 数或复数扎项。 从上述表达式求相关函数月( f ，s ) 如下： r ( t ，j ) = e x ( t ) x + o ) 】= e r o x o ( o 以西0 ) 】 ：川九( f 磁( 菇 (2-4) 其中，和j 均在区间【口，b 】中。 从式( 2 4 ) 可得 r r ( ，s ) 成( s ) 出# zj r 1 2 丸o ) f 苁( s ) ( s ) d s = j 以j 2 丸( f ) ( 2 5 ) 第二章主成分分析( p c a ) i 以1 2 是积分方程式( 2 5 ) 的特征值，珐( r ) 是相应的特征函数，它们可以通过解 积分方程求得。因此可以对一个具有连续相关函数的随机过程，在任一给定区间 f b 用式( 2 1 ) 进行正交展开。 在离散的情况下，如果对x ( f ) 在巧f 瓦区间中均匀采样，则可用下列向量 形式表示工： x ( t 1 ) x