（通信与信息系统专业论文）基于分块扫描的2dfda人脸识别方法.pdf

基于分块扫描的2 d f d a 人脸识别方法 论文题目：基于分块扫描的2 d f d a 人脸识别方法 专业： 通信与信息系统 硕士生：李莹 指导教师：马争鸣教授 摘要 f i s h e r 线性鉴别分析( 简称f d a ) 方法是一种常用的图象识别方法。f d a 方法在处理图象识别问题时先把图像从二维矩阵转化为一维向量，然后再求这个 一维向量的类内和类间散度矩阵。如果图像是m x n 的矩阵，则它的类内和类间 散度矩阵就是m 2 竹2 的矩阵。这不但造成巨大的计算量，而且在小样本时还造 成类内散度矩阵的奇异性。为了解决这个问题，人们绞尽脑汁，研究各种各样的 改进方法，但效果还是不尽人意。 2 d f d a 是近年来出现的一种新的f d a 改进方法。2 d f d a 直接用图像的二 维矩阵进行类内和类间散度矩阵的计算。2 d f d a 不但避免了庞大的计算量，而 且在绝大多数情况下解决了小样本类内散度矩阵奇异性的问题。2 d f d a 已经引 起业界的广泛重视。 通过对2 d f d a 的数学分析，不难发现，2 d f d a 是通过利用图像矩阵同一 行或同一列象素之间的相关性采构造类内和类间散度矩阵。对于人脸图像来说， 图像矩阵同一行或同一列象素之间的相关性不如同一个局部块象素之间的相关 性强。人脸图像一个局部块往往表示一个完整的语义，如鼻子、眼睛、下巴等等。 因此，为了充分发挥2 d f d a 在人脸识别中的应用，本论文提出基于分块扫描的 2 d f d a 方法。本论文首先把人脸图像分块，然后把块内的象素转化为行象素或 列象素，再采用2 d f d a 方法进行人脸识别。实验结果表明，在人脸识别的应用 中，本论文提出的基于分块扫描的2 d f d a 方法优于基于行或列扫描的2 d f d a 方法。 为了进一步提高人脸识别竹效果，本论丈提出了多种扫描方式融合的 2 d f d a 方法。本论文把基于行扫描、基于列扫描和基于块扫描的2 d f d a 的识 别结果通过数据融合的方式给出最终的判决。实验结果表明，本论文提出的多种 基于分块扫描的2 d f d a 几脸识5 l j 方法 扫描方式融合的2 d f d a 方法结合了人脸图像多方面的识别信息，取得了比任何 一种基于单一扫描方式的2 d f d a 都好的结果。 关键字：模式识别特征提取二维线性鉴别分析人脸识别 e i 基于分块扫描的2 d f d a 人脸识别方法 t i t l e ：2 d f d af a c er e c o g n i t i o nb a s e do nb l o c k - s c a n n e d m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s n a m e ：y i n gl i s u p e r v i s o r ：p r o f e s s o rz h e n g m i n gm a a b s t r a c t f i s h e rl i n e a rd i s c r i m i n a n ta n a l y s i s ( f d a ) i sac o n u n o n l yu s e dm e t h o df o ri m a g e r e c o g n i t i o n a c c o r d i n gt of d a ，i m a g ei s f i r s tt r a n s f e r r e df r o mat w o d i m e n s i o n m a t r i xt oac o l u m nv e c t o r , w h i c hi st h e nu s e dt og e ti t sw i t h i n c l a s ss c a t t e rm a t r i x e s a n db e t w e e n c l a s ss c a t t e rm a t r i x e s f o re x a m p l e ，t h ed i m e n s i o no fw i t h i n - c l a s sa n d b e t w e e n c l a s ss c a t t e rm a t r i xo f a ni m a g e s 脚月m a t r i xi s m ! n 2 t h e r e f o r e i tn o t o n l yl e a d st o ac o l o s s a ln u m b e ro fc a l c u l a t i o n s ，b u ta l s oi n d u c e st h es i n g u l a ro f w i t h i n c l a s ss c a t t e rm a t r i x e si ns m a l ls a m p l es i z e o nt h ep u r p o s eo fs o l v i n gt h i s p r o b l e m ，t h eh u m a nb e i n g sh a v ed o n et h e i ru t m o s tt os e a r c hf o rd i v e r s em e t h o d s h o w e v e r , t h eo u t c o m e sa r en o ta sp e r f e c ta sp e o p l ep r e d i c t 2 d f d a ，u s i n ga l l2 di m a g em a t r i xt oc a l c u l a t ei t sw i t h i n c l a s ss c a t t e rm a t r i x e s a n db e t w e e n c l a s ss c a t t e rm a t r i x e sd i r e c t l y , i san e wd e v e l o p e df d am e t h o di nr e c e n t y e a r s a sar e s u l t ，2 d f d ai sb e i n ga t t r a c t e d ，f o r i tn o to n l ya v o i d st h ec o l o s s a l n u m b e ro fc a l c u l a t i o n s ，b u ta l s os o l v e st h ep r o b l e ma b o u tt h es i n g u l a ro fw i t h i n c l a s s s c a t t e rm a t r i xi ns m a l ls a m p l es i z ei nm o s ts i t u a t i o n s a f t e rt h em a t h e m a t i ca n a l y s i so f2 d f d a ，i ti sn o td i f f i c u l tt of m do u tt h a t 2 d f d ac o n s t i t u t e st h ew i t h i n c l a s ss c a t t e rm a t r i x e sa n db e t w e e n c l a s ss c a t t e r m a t r i x e st h r o u g hr e l a t i v i t i e sa m o n gp e l sf r o mt h es a m el i n eo rt h es a m er o wo fa n i m a g em a t r i x f o rf a c i a li m a g e s ，t h o s ep e r t i n e n c e sa r en o ta sr e l a t i v ea st h a ta m o n ga b l o c kp e l s ，a n dab l o c kf r o maf a c i a li m a g ec o m m o n l yi n d i c a t e sa ni n t e g r a t e d s e m a n t i c s ，s u c ha sn o s e ，e y e ，c h i n ，a n ds of o r t h t h e r e f o r e ，i no r d e rt oa p p l y2 d f d a c o m p l e t e l yi nh u m a nf a c er e c o g n i t i o n ，t h i se s s a yp u tt h e2 d f d a f a c er e c o g n i t i o n b a s e do nb l o c k s c a n n e df o r w a r dt h r o u 【g ht h ef o l l o w i n gs t e p s ：p a r t i n gaf a c i a li m a g e ， i u 基于分块扫描的2 d f d a 人脸识别方法 t r a n s f e r r i n gt h eb l o c kp e l si n t ot r a n s v e r s eo rv e r t i c a lp e l s ，a n dt h e nu s i n g2 d f d af o r r e c o g n i t i o n d e p e n d e n t o nt h eo u t c o m e so fe x p e r i m e n t s ，2 d f d ab a s e do n b l o c k s c a n n e dp r e c e d e st h a to nt r a n s v e r s eo rv e r t i c a ls c a ni nt h ep r o c e s so ff a c e r e c o g n i t i o n i no r d e rt oi m p r o v et h ee f f e c to ff a c er e c o g n i t i o n ，t h e2 d f d am e t h o di n t h i s e s s a yi n t e g r a t e ss e v e r a ls c a nm e t h o d st o g e t h e r ，t r a n s v e r s e ，v e r t i c a la n db l o c k t h e o u t c o m ei n d i c a t e st h a ti d e n t i r y i n gi n f o r m a t i o no b t a i n e dt h r o u g ht h ec o m b i n e ds c a n 2 d f d am e t h o di sm u c hm o r es u f f i c i e n ta n dc o m p r e h e n s i v et h a nau n i t a r ys c a n k e yw o r d s ：m o d ei d e n t i f i c a t i o n ，c h a r a c t e r i s t i ce x t r a c t i o n ，2 d l i n e a r d i s c r i m i n a n ta n a l y s i s ，f a c er e c o g n i t i o n 基于分块扫描的2 d f d a 人脸识别方法 1 1 人脸识别概述 第1 章绪论 人脸识别是模式识别领域的重要研究课题，近十年来己经成为一个非常活跃 的研究方向。所谓人脸识别技术，就是以计算机为辅助手段，从静态图像或动态 图像中检测出并识别出人脸。虽然对人类来说，从复杂背景中识别出人脸是一件 相当容易的事，但这对计算机自动识别来说却是相当困难的。人脸识别的一般过 程为：从复杂背景中找到人脸并分割出人脸，再提取人脸识别特征，然后进行匹 配和识别。人脸识别研究跨越了图象处理、模式识别、计算机视觉、人工神经网 络以及神经生理学、心理学等研究领域，并与基于其他生物特征的身份鉴别方法 以及计算机人机感知交互领域都有着密切的联系。 人脸的独一无二性，经常用于鉴别人的身份，这使得人脸识别技术在商业、 法律和其它领域都有着广泛的应用： 1 安全防范领域中的应用 社会上有许多重要的部门，如军事、金融、保密等部门都需要对出入人员进 行身份识别，以防止信息泄漏和不法现象的发生。与指纹，掌形，基因，虹膜和 语音等生物识别技术相比，人脸识别具有直接，方便和友好等特点。当前计算机 系统的安全管理也倍受重视，通常使用的由字符和数字组成的口令可能会被遗忘 或者破解，但是如果把人脸当作口令，其效率与安全性都会得到很大的提高。 2 犯罪刑侦领域中的应用 在刑侦工作中，对罪犯的抓捕是至关重要的一环。若掌握了犯罪嫌疑人的人 脸图像，可应用人脸识别技术，在公安机关海量的人脸数据库里找出与其最相像 的人，从而确定其身份。如果此项搜索工作由人工完成，则效率低且容易出错， 由计算机来完成则不会遇到此问题。同时，应用人脸识别技术还可依据犯罪嫌疑 人的人脸图像，对机场、车站、港口等重要交通场所进行监控，从而大大促进了 罪犯抓捕工作的开展。 3 公共事业领域中的应用 在现代社会，许多领域都需要对人进行身份验证。如银行、保险、交通等公 基于分块扫描的2 d f d a 人脸识别方法 共事业部门。采用传统的密码、i c 卡等手段和技术对人进行身份验证具有安全 性差、易遗失、易伪造等缺点，而采用人脸识别技术进行身份验证则能够很好地 克服传统身份验汪手段和技术的缺陷。 除了以上这几部分应用外，人脸识别技术还可用在视频会议、机器人的智能 化研究以及医学等方面。由于人脸识别技术的广阔应用前景，使其成为当前模式 识别和人工智能领域的一个研究热点。 1 2 人脸识别的研究与发展 人脸识别技术的应用包括了从静态的、受控背景的照片到动态的、非受控背 景的视频等各个方面，本论文研究的是人脸识别在静态图像中的应用。简言之， 就是给定一组静态图像，利用己有的人脸数据库来确认图像中的一个或多个人。 其研究内容主要包括以下3 个方面： 1 人脸定位与检测 即从各种复杂的背景中检测出是否有人脸的存在，并确定其在图像中的位 置，最后将其从背景中分割出来。这一任务主要受光照，噪声、人脸在图像中的 位置、旋转角度、尺度不固定以及各种遮挡的影响。 2 人脸特征提取 即采用某种表示方法来表征检测出的人脸和数据库中的已知人脸，其关键是 确定表征人脸的描述方式。特征提取之前一般需要对人脸进行预处理，包括几何 归一化和灰度归一化。所谓几何归一化，是指根据人脸定位结果将图像中的人脸 变化到同一位置和大小：而灰度归一化则是指对图像进行光照补偿等处理，以克 服光照变化的影响。 具体的特征形式随识别方法的不同而不同。比如基于几何特征的识别方法主 要是提取特征点，然后构造特征矢量；基于统计的特征脸( e i g e n f a e e s ) 方法是利用 图像相关矩阵的特征矢量构造特征：隐马尔可夫( r t m m ) 方法是对多个样本图像 的空间序列训练出一个隐马尔科夫模型，它的参数就是特征值；而大部分神经网 络方法则是直接用归一化后的灰度图像作为输入，网络的输出就是输出结果，没 有专门的特征提取过程。 3 人脸识别 基于分块扫描的2 d f d a 人脸识别方法 数据库里预先存放了己知的人脸图像或其对应的特征形式，识别的目的就是 将待识别的图像或特征与数据库里的进行匹配。识别的任务主要有两个：一是人 脸辨认，即确定输入图像为数据库中的人，是一对多的匹配过程：二是人脸证实， 即验证某个人的身份是否属实，是一对一的匹配过程。识别过程的核心是选择适 当的人脸表征方式和匹配策略。 1 2 1 人脸检测与定位 人脸检测与人脸定位是两个彼此不同而又密切相关的概念。具体而言，人脸 检测的目的是检测输入的未知图像中有没有包含人脸，而人脸定位则是确定人脸 的位置和大小，并将其从图像背景中分割出来。本文重点在于研究特征提取和识 别，因此将检测和定位结合起来讨论。 人脸检测是一项非常复杂的工作，这是因为人的姿态、表情、遮挡情况、成 像条件等各种因素将会导致人脸在图像中的位置和大小可能不固定、图像中的 人脸可能是正面或侧面的、图像中人的发型和化妆有可能遮盖某些人脸特征等。 以上这些因素以及可能出现的噪声和干扰，使得人脸检测工作变得相当困难。作 为识别的基础，人脸的检测与定位己经成为人脸识别研究的一个重要方面。 人脸检测的基本思想是：用统计或知识的方法对人脸进行建模，比较所有待 检测区域与人脸模型的匹配度，从而得到可能存在人脸的区域。检测的方法大致 可分为基于统计和基于知识两类。前者将人脸图像视为一个高维向量，从而将人 脸检测问题转化为高维空间中分布信息的检测问题：而后者则利用人的知识建立 若干规则，从而将人脸检测问题转化为假设验证问题。 1 基于统计的人脸检测方法 1 ) 用人脸样本集和非人脸样本集进行学习训练以产生分类器 目前国际上普遍采用人工神经网络方法【6 7 ，9 m i 。j u e l l 6 1 等利用了四个子网构 成的多层网络结构进行检测，三个子层神经网络分别判别口、眼、鼻，父层神经 网络进行子层网络判别结果的综合。r o u d e y t o l 建立的三层误差反传网络以多种 方式对人脸区域进行了划分和组合每次在大小为2 0 2 0 的窗口区域内检测大 小为2 0 x2 0 ，双眼距离为1 2 1 2 的人脸，通过将图像尺度按l ：1 2 的比例逐级缩 放，并在各个尺度上用2 0 2 0 的窗口扫描整个图像，保证了图像中不同尺度的 基于分块扫描的2 d f d a 人脸识别方法 人脸区域总在某个缩放比例下基本完整地落入检测窗口，从而解决人脸图像的尺 度问题。 2 1 子空间方法 p e n t l a n d 等将k l 变换引入了人脸检n t l 3 - 1 4 。在人脸识别中利用的是主元子 空间( 特征脸) ，而人脸检测利用的是次主元子空间( 特征脸空间的补空间) 。用 待检测区域在次主元子空间上的投影能量，即待检测区域到特征脸子空间的距离 作为检测统计量。距离越小，表明越像人脸。 2 基于知汉建模的人脸检测方法 1 1 器官分布规则 虽然人脸在外观上变化很大，但都遵循一些普遍适用的规则，检测图像中是 否有人脸，即测试该图像中是否存在满足这些规则的图像块。这种方法一般有两 条思路：一是“从上而下”，其中最简单有效的是y a n g 等人提出的m o s a i c 方法 t 6 l ，它给出了基于人脸区域灰度分布的规则，依据这些规则对图像从粗分辨率到 高分辨率进行筛选，以样本满足这些规则的程度作为检测的判据。另一条思路则 是从下至上，先直接检测几个器官可能分布的位置，然后将这些位置点分别组合， 用器官分布的几何关系准则进行筛选，找到可能存在的人脸。 2 ) 轮廓规则 人脸的轮廓可以简单地看作近似椭圆，g o y i e i d a r a j u 提出认知模型方法，将 人脸建模为两条直线( 左右两侧面颊) 和上下两个孤( 头部和下巴) ，通过修正 h o u g h 变换来检测直线和弧”1 。 3 ) 颜色，纹理规则 同民族人的面部肤色在颜色空间中的分布相对比较集中，颜色信息在一定程 度上可以将人脸同大部分背景区分开来。l e e 等设计了肤色模型表征人脸颜色， 利用感光模型进行复杂背景下人脸及器官的检测与分割2 叭。d a i 把人脸图像看作 灰度分布具有特殊结构特征的区域，利用s g l d ( 空间灰度共生矩阵) 的纹理信 息作为特征进行低分辨率的人脸检测 h 1 。 1 2 2 人脸特征提取与识别 通过利用人脸的检测与定位方法，将人脸从具有一定背景的图像中分割出来 4 基于分块扣描的2 d f d a 入脸识别方法 后，如何有效地提取人脸特征成为了人脸识别的关键。 l - 基于几何特征的方法 几何特征也称为直观特征，它是以人脸器官的形状和几何关系为基础的特征 矢量，其分量通常包括人脸指定两点问的欧氏距离、曲率、角度等。人脸可以用 一组几何特征矢量表示，利用模式识别中层次聚类的思想，设计分类器达到识别 的目的。基于几何特征的方法对人脸图像的表情变化比较敏感，人脸器官分割的 精确度也对特征的提取也有一定的影响。此外该类方法并没有充分利用到人脸 图像本身具有的灰度信息。因此基于几何特征的方法己经不是人脸识别技术发展 的主流方向，本文也不作过多的介绍。 2 基于线性投影的代数特征方法 特征提取是模式识别中最基本的问题。主分量分析( p c a 或k - l 变换) 2 7 - 3 0 1 和f i s h e r 线性鉴别分析方法( f d a ) 【i 。】，既是基于线性投影提取代数特征的两种主 流方法，更是目前特征抽取中最为经典和广泛使用的两种方法。这两种方法都是 将一幅人脸图像看成一个矩阵，通过矩阵变换或线性投影来提取人脸的代数特 征，并以此来进行识别。 1 1 主分量分析( p c a ) 或特征脸( e i g e n f a c e s ) 法 其基本思想是：利用一组为数不多的特征去尽可能精确地表示模式样本。 p c a 方法通常采用训练样本协方差矩阵的特征向量系作为展开基( 即k l 坐标 轴) ，若干个最大特征值所对应的特征向量被称为主分量或主成分( p r i n c i p a l c o m p o n e n t s ) 。模式样本在这些主分量上线性投影后，所得的投影系数就是主分 量特征。原模式样本可以表示为这些主分量与投影系数乘积的代数和。这种表示 方法己被证明在最小协方差意义下是最优的。识别时，只需将测试图像投影到主 元子空间上，得到一组投影系数。再将测试图像的投影系数与训练图像的投影系 数作比较，以确定哪一幅训练图像与测试图像最接近。 p c a 的两大优点：一是消除了模式样本之间的相关性，二是实现了模式样 本的维数压缩。k l 变换能将高维的模式样本压缩为更易于处理的低维样本。换 而言之，主分量分析给出了高维数据的一种简约的表示。由于以上的优点，p c a 已被广泛地应用于模式识别、数据压缩等领域。 2 ) f i s h e r 线性鉴别分析法( f d a ) 基于分块扫描的2 d f d a 人脸识别方法 尽管p c a 在最小协方差意义下给出了模式样本的最优表示，但这表示与 模式分类并非直接相关。也就是说，从模式分类的角度，p c a 所获得的特征并 非是最有效的。f i s h e r 线性鉴别分析( f d a ) 的基本思想是：选择使得f i s h e r 准则 函数达到极值的向量作为最优投影方向，从而使得样本在该方向上投影后，达到 最大的类间离散度和最小的类内离散度。其物理意义是：模式样本在这些最优鉴 别方向上投影后，同一类的模式样本相互集中，不同类的样本相互分离。如果说 p c a 获得的是模式样本的最优表示特征集，f d a 获得的就是样本的最优鉴别特 征集，该特征集更利于模式的分类。 目前国际上最具影响的f d a 方法是b e l h u m e u r 1 等提出的f i s h e r f a c e s 方法。 为了避免f d a 中类内散度矩阵的奇异性问题，f i s h e r f a c e s 分为p c a 和f d a 两 个阶段进行，即先用p c a 降维，再在降维后的空间内进行f d a 。在光照条件变 化较大、训练样本数较多的情况下，基于f d a 的f i s h e r f a c e s 的表现优于基于p c a 的e i g e n f a c e s 。 l e c h e n t ”1 提出了零空间f d a 方法，在类内散度矩阵s 。的零空间内寻找使 样本类间离散度最大的一组特征向量作为f i s h e r 最优投影方向。r u ih u a n g 1 则 是先用p c a 去除不含有用鉴别信息的s + 零空问，再在p c a 降维后的低维空间中 运用零空间f d a 方法。h u av u t 3 5 1 提出了一种d i r e c t l d a 法，用去除s 。的零空 间代替去除s 。的零空间。h a k a nc e v i k a l p 陋”1 发现样本投影到s 。的零空间后都汇 聚到一点上，从而提出了鉴别公共矢量这一概念。k rm u l l e r t 3 8 1 和j s h a w e t a y l o r t 3 9 1 讨论了基于k e m e l 的特征脸方法和f i s h e r f a c e s 方法。 3 基于弹性模型的方法 b u h m a i u l 5 5 】，l a d e s 冈等针对畸变不变性的物体识别提出了动态连接结构模 型( d y n a m i cl i n k a r c h i t e c t u r e ，d l a ) ，将物体的图像用稀疏网格图形来表示，通 过局部能量谱的多分辨率描述来标注图形上的一些端点，用几何距离向量来标注 连线。目标识别就是测试样本与训练样本弹性匹配的过程，即通过匹配代价函数 的随机优化来完成。虽然d l a 方法取得了较好的识别效果，但是代价函数最优 化的计算量非常大。 4 基于神经网络的方法 基于分块扫描的2 d f d a 人脸识别方法 人工神经网络因其固有的并行运算机制以及对模式的分布式全局存储也被 用于模式识别。用于人脸识别的神经网络方法可训练有较强噪声和部分缺损的图 像，这种非线性方法有时比线性方法更有效。 最早应用神经网络进行人脸识别的是k o h o n e n 5 引，他利用网络的联想能力回 忆人脸，当输入图像噪音很多或部分图像丢失时也能回忆出准确的人脸。 r a n g a n a t h 和a r u n 5 9 1 提出了用于人脸识别的径向基函数网络( r a f n ) ，l e e 6 0 1 等提 出了用于人脸识别的模糊b p 网络。 1 3 人脸识别系统 图卜l人脸识别系统的基本框图 人脸识别系统主要由5 个功能模块组成：人脸检测与定位模块、预处理模块、 特征提取模块、训练模块和识别模块。人脸检测与定位模块完成从原始图像中 确定人脸的位置，并提取出人脸图像：预处理模块完成对人脸图像的大小归一化、 消除噪声、灰度归一化等，以便在同一条件下完成训练和识别：特征提取模块完 成对人脸特征的提取，如何提取有效、稳定的特征是人脸识别系统成败的关键： 训练模块对人脸库进行训练，得到参数以供识别模块使用它是人脸识别研究的 核心；识别模块根据训练所得的参数完成最后判别工作。 1 3 1 人脸识别系统测评指标 人脸识别系统的测评指标主要包括正识率、拒识率、识别时间和存储空间需 求等。任何系统都是在一定限制条件下实现的，一般而言，限制越多( 即变化越 少) ，则越容易识别，识别率越高。 1 识别率 基于分块扫描的2 d f d a 人脸识别方法 在计算机人脸识别中，与识别率相关的有两个概念：正识率和拒识率。若待 识别的样本图像属于人脸库中的人脸模式，且系统正确识别出该人脸模式，则这 些样本图像的总数占测试样本总数的百分比为正识率，即属于该系统的某个人被 正确判定是谁的概率：若待识别的样本图像不属于人脸库中的人脸模式，且系统 识别出该样本图像不属于人脸库中的人脸模式，则这些样本图像的总数占测试样 本总数的百分比为拒识率。这两种情况均为e 确识别识别率就是由这两部分构 成。 在实际应用中需要给出拒识人脸，即通过设置合适的拒识阈值，识别出不属 于人脸库的人脸图像。在通常的人脸识别方法研究中，大多数系统都没给出拒识 人脸，而是将系统的拒识闽值设为无穷，即给定一待识别样本，在已知人脸库中 找到和陔样本最相近的人脸，而不考虑该样本是否应该是人脸库中的己知人脸。 2 计算时间 在人脸识别的实际应用中对实时性的要求比较强，因此计算时间是人脸识别 系统中的一个重要指标。计算时间主要有两个方面：一是训练阶段，即人脸识别 系统训练需要的时间；二是识别阶段，即人脸识别系统识别需要的时1 剐。通常情 况下由于系统的训练为离线训练，因此人洲练阶段需要的时间可以不考虑，但识 别时间却相当重要，它直接影响人脸识别系统的实时性。对系统是否可应用于实 践起着决定性作用。 3 数据存储量 在计算机人脸识别系统中，人脸库的存储量也是一个不得不考虑的问题。存 储大量的人脸数据将会给识别系统造成一定的负担。因此，在开展计算机人脸识 别算法研究时，也要考虑数据存储量的大小。 1 3 2 常用人脸库 任何人脸识别系统的开发都需要建立一个包含人脸图像或图像特征表示的 数据库，因此人脸数据库的设计对系统识别性能的影响至关重要。几乎所有人脸 识别的研究都足在一定约束条件下进行的，如受到光照、表情和姿态变化等限制， 所以有必要建立适合不同需要的人脸数据库。以下介绍一些典型的标准数据库： l _ 美国f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 人脸数据库 基于分块扫描的2 d f d a 人脸识别方法 f e r e t 人脸数据库是目前最大的人脸数据库由美国军方研究实验室提供。 其中每人8 张照片，两张正脸，3 张从右到左不同侧面角度的照片，有些人还提 供了更多不同视点和不同表情的照片。该数据库的拍摄条件有一定的限制，人脸 大小也约束在规定的范围内。到1 9 9 6 年6 月，该数据库已存储了1 1 9 9 个人的 1 4 1 1 2 6 幅图像而且逐年增加。 2 英国o r l ( o l i v e t t ir e s e a r c hl a b o r a t o r y ) 人脸数据库 o r l 人脸数据库包括从1 9 9 2 年4 月到1 9 9 4 年4 月拍摄的一系列人脸图像， 由4 0 个人的4 0 0 幅灰度图像组成，图像尺寸为1 1 2 9 2 ，图像背景为黑色。其中 人脸脸部表情和细节均有变化，例如笑与不笑，眼睛睁着或闭着，戴或不戴眼镜 等。人脸姿态也有变化，其深度旋转和平面旋转可达2 0 度，人脸的尺寸电有最 多1 0 的变化。这是目前使用最广泛的人脸数据库。 1 4 本文的研究工作 本论文围绕基于统计特征的f i s h e r 线性鉴别分析( f d a ) 方法，对影响人脸识 别的因素进行了研究和探讨，提出了新的f d a 改进方法。主要工作和成果如下： 1 研究基于图像矩阵的2 d f d a 方法 从一维的f d a 出发，详细研究了最新提出的基于二维图像矩阵的2 d f d a 方法，并将2 d f d a 和f i s h e r f a c e s 方法在标准人脸库中进行仿真。证实了2 d f d a 不但避免了庞大的计算量，而且在绝大多数情况下解决了小样本类内散度矩阵奇 异性的问题。2 d f d a 作为f d a 的快速高效算法，具有更高的识别率。 此外，总结出两种经典2 d f d a 方法由于类内与类间散度矩阵的构造方式不 同，识别效果也不同，这一发现为后续的研究工作奠定了一定的理论基础。 2 提出基于分块扫描的2 d f d a 新方法 通过对2 d f d a 的数学分析，不难发现，2 d f d a 是通过利用图像矩阵同一 行或同一列象素之间的相关性来构造类内和类间散度矩阵。对于人脸图像来说 图像矩阵同一行或同一列象素之间的相关性不如同一个局部块象素之间的相关 性强。人脸图像一个局部块往往表示一个完整的语义，如鼻子、眼睛、下巴等等。 因此，本论文提出了基于分块扫描的2 d f d a 方法。其基本思想是：首先把人脸 图像分块，然后把块内的象素转化为行象素或列象素，再采用2 d f d a 方法进行 基于分蚨扫描的2 d f d a 人脸识别方法 人脸识别。 针对测试样本不含有未知人脸模式的情况在f e r e t 人脸库和o r l 人脸库 上进行多组实验，对比基于行扫描的2 d f d a 和基于分块扫描的2 d f d a 方法。 实验结果表明，本论文提出的基于分块扫描的2 d f d a 方法在识别率，f i s h e r 特 征向量个数，计算时间，数据存储量等多个方面都优于基于行或列扫描的2 d f d a 方法。 针对测试样本中含有未知人脸模式的情况，在f e r e t 人脸库和o r l 人脸库 上进行多组实验，对比基于行扫描的2 d f d a 和基于分块扫描的2 d f d a 方法。 从识别率，拒真率和误识率与拒识闽值t 的关系曲线，确定最优阂值t 的选取。 并验汪了在最优闽值t 下，本论文提出的基于分块扫描的2 d f d a 方法具有更高 的识别率。 3 提出多扫描融合的2 d f d a 新方法 三种2 d f d a 方法通过利用图像矩阵同一行列局部块内象素之间的相关性 来构造类内和类间散度矩阵，分别选择保留图像不同部分的相关信息来获取 f i s h e r 鉴别特征。为了进一步提高人脸识别的效果，本沦文提出了多种扫描方式 融合的2 d f d a 方法，把基于行扫描、基于列扫描和基于块扫描的2 d f d a 的识 别结果通过数据融合的方式给出最终的判决。 实验结果表明，本论文提出的多种扫描方式融合的2 d f d a 方法结合了人脸 图像多方面的识别信息，取得了比任何一种基于单一扫描方式的2 d f d a 都好的 结果。 1 5 本文的内容安排 本论文共分五章，各章内容安排如下： 第l 章综述： 介绍了人脸识别的应用场合，研究的主要内容，各种主流的研究方法及其发 展现状，研究了衡量人脸识别系统性能的指标，以及国际上通用的人脸识别测评 库，最后给出了本论文的主要研究工作与成果，及各章的内容安排。 第2 章研究f i s h e r 线性鉴别分析( f d a ) 方法： 介绍了f i s h e r 线性鉴别分析( f d a ) 的基本原理，并针对一维f d a 的关键 基于分块扫描的2 d f d a 人脸识别方法 性瓶颈，即在高维小样本情况下类内散度矩阵奇异性的问题，研究了多种f d a 的改进方法，并分析了这几种方法的不足之处。 第3 章研究基于二维图像矩阵的2 d f d a 方法： 详细研究了基于二维图像矩阵的2 d f d a 方法，在标准人脸库上对比了 f i s h e r f a c e s 和2 d f d a 的识别性能，验证了2 d f d a 的优越性并确定其为本论文 的改进对象。同时发现类内与类问散度矩阵的构造方式不同，将造成识别率的明 显不同。 第4 章提出基于分块扫描的2 d f d a 人脸识别新方法： 这是本文的重点，提出了一种基于分块扫描的2 d f d a 方法。通过把人脸图 像分块，利用图像矩阵局部块象素之间的相关性来构造类内和类问散度矩阵，从 而保留更多的有用信息。并从测试样本不含未知人脸模式和含有未知人脸模式两 种情况，在多种实验条件下对基于分块扫描的2 d f d a 方法进行验汪。 第5 章提出多扫描融合的2 d f d a 新方法： 这是本文的另一个重点，提出了多种扫描方式融合的2 d f d a 方法，把基于 行扫描、基于列扫描和基于块扫描的2 d f d a 的识别结果通过数据融合的方式给 出最终的判决，并在f e r e t 人脸库上对浚方法进行了验证。 第6 章总结全文，并指出进一步要做的工作。 基于分块扫描的2 d f d a 人脸识别方法 第2 章f i s h e r 线性鉴别分析( f d a ) f l 勺人脸识别方法 2 1 引言 特征提取是模式识别中的基本问题，如何寻找有效的特征是解决识别问题的 关键。作为统计模式识别的基本方法，f i s h e r 线性鉴别分析( f i s h e rl i n e a r d i s c r i m i n a n ta n a l y s i s f d a ) 的基本思想是：选择使得f i s h e r 准则函数达到极值 的向量作为最佳鉴别( 投影) 方向，将原来高维的模式样本投影到最佳鉴别方向， 以达到提取分类信息和压缩特征空间维数的效果。模式样本在投影后的新空间中 有最大的类问离散度和最小的类内离散度，即在该空间中有最佳的可分离性。因 此，f d a 是一种有效的模式分析技术，其关键是如何求解最佳鉴别方向。 本章首先介绍了f d a 的基本原理和实现过程但标准的f d a 方法是建立在 大样本情况下的，即要求类内散度矩阵是非奇异的。在人脸识别领域存在着大量 的小样本问题，在该类问题中类内散度矩阵是奇异的。针对普遍存在的高维小样 本问题，本章进一步介绍了f d a 的各种改进方法，包括经典的f i s h e r f a c e s 方法、 零空间f d a 法、p c a + 零空间法以及d i r e c t l d a 法，并分析了各种方法的优缺 点。 2 2f i s h e r 线性鉴别分析 设训练样本集中有n 幅人脸图像x 。，x ：，x 。 ，他们分别属于c 类 c x 。，x ：，x c ，样本维数为”t 类z 的样本数目为n 。，则样本总数为n = n 。 = 1 样本的类内散度矩阵s 。，类间散度矩阵s 。和总体散度矩阵s 。分别定义为： 凡= ( _ 一 ，m ! r s o = j ( “一) ( “一) 2 ( 2 1 ) ( 2 - 2 ) 基于分块扫描的2 d f d a 人脸识别方法 n s 。= g ，一，一) 7 ：s 。+ 咒 ( 2 3 ) 其中“= 万1 耋x ，为第f 类训练样本的均值，芦2 专善i _ 为全体训练样本的 v i 一，。 均值。 样本一，x ：，h 经过变换矩阵= 1 w , ，w 2 ，w rj 变换( 投影) 后在新的空间 中对应的样本为y ly ：，y 。投影后新样本儿的类内散度矩阵s 。与类间散度矩 阵爵分别为： j 。= ( y s 一矗) ( 乃一扈) 。( 2 4 ) 瓦= ，憾一应) 惦，一声) 7 ( 2 5 ) 其中，五，= 可| 委n y ，为映射后第r 类训练样本的均值：应= 寺喜乃为映射后全体 训练样本的均值。 f i s h e r 鉴别准则函数用散度矩阵的行列式来衡量样本的离散度。投影后新样 本m 的类间散度矩阵行列式与类内散度矩阵行列式之比为： 跏，= 斟= 翮 倍s ， f d a 就是寻找投影向量w 使得，h ) = 华最大化，此时的向量w 就是 w i6 w w i f i s h e r 最佳鉴别方向，其物理意义是样本集在w 方向上的投影具有最小的类内离 散度和最大的类间离散度。电就是说，投影后同一类的样本尽可能的靠近，而不 同类的样本尽可能分开。 对i ，( ) 按变量求导并令其为o ： 洮，鬻t 却a w 蹦窖吐掣：o ( 2 - 7 ) ( w r s 。w ) 。 基于分块丰 描的2 d f d a 人脸识别方法 只需分子等于0 s 。w ( w 7 s 。w ) 一s 。w ( w 7 s 。w ) = o 即 驴矧s 舻小跏 令，( w ) = 兄，于是有 ( 2 - 8 ) ( 2 9 ) s b w = 您。w( 2 - 1 0 ) 这是个广义特征值问题，求解这个广义特征值问题就可以得到需要的投影向 量以及由投影向量组成的变换矩阵。当s 。可逆( 非奇异) 时，上式可以写成如 下的标准特征值求解问题： s 。- i s 6 w = 旯w ( 2 1 1 ) 其中，特征值 = j ( w ) ，因而兄的大小就表示了区分能力的大小。s w - i s b 的 秩晟大为c l ，因此最多求出c 1 个特征向量w ，也就是说线性鉴别分析f d a 最多有c 1 个最优鉴别向量。 2 3 高维小样本情况下的f d a 改进方法 上面讨论的f d a 方法是建立在大样本情况下的，即要求类内散度矩阵是非 奇异的。然而，在人脸识别领域存在着大量的小样本问题，在该类问题中，类内 散度矩阵是奇异的。这是因为待识别的图像矢量的维数较高，而在实际工作中难 以找到足够多的训练样本来保证类内散度矩阵的可逆性。因此，在小样本情况下， 如何提取f i s h e r 最优鉴别特征成为一个公认的难题。目前，处理该问题的方法概 括起来可分为以下两类： 一类是从模式样本出发，通过事先降低样本向量的维数来达到消除奇异性的 目的。基于这一思想的处理方法又可分为两种：一是直接在图像空间内操作，通 过降低图像的分辨率实现降维的目的，但这种方法无疑损失了图像的某些细节信 息；二是通过k l 变换进行降维，最为典型的例子是b e l h u m e u r t l 等提出的 f i s h e r f a c e s 方法，首先将原始图像投影到p c a 张成的子空间中，将图像的维数 降低，然后在p c a 人脸子空间中应用f d a 进行判别分类。 基于分块扫描的2 d f d a 人脸识别方法 另一类方法是从算法本身入手，发展直接针对于小样本问题的算法来解决问 题。由于类内散度矩阵s 。的零空间中含有大量的鉴别信息，c h e n ”1 提出了零空 间f d a 法，在s 。的零空间内寻找极大化样本类问离散度的一组标准正交的特征 向量，并将其作为投影方向。r h u a n g 3 4 1 在零空间法的基础上，提出p c a + 零空 间法。先通过p c a 舍弃不含有用鉴别信息的s ，的零空间，再在降维后的低维空 间中求解s 。的零空间，并选取使季。零空间内的类间散度矩阵最大化的特征向量 作为投影方向。因为s 。的零f , j 内不包含有用的鉴别信息，而s 。的零空间内含 有大量有用的鉴别信息，h y u 3 5 i 提出了d