模式识别论文——PCA与SVD融合人脸识别算法设计

1、PCA与SVD相融合的人脸识别算法设计与系统实现摘 要：主成分分析是基于K-L变换思想的优秀线性分类算法之一，根据方差最大化原理，将信号在一组新的规范正交基下展开，其在人脸识别中具有重要应用价值，所形成的算法称为本征脸方法，然而，由于该方法将图像变换为本征脸空间的一点，因此对光照，角度和平移等因素比较敏感。奇异值分解作为一种有效的代数特征提取方法，将图像看作矩阵进行处理，具有位移，旋转不变性等优点，恰好弥补了PCA在这方面的不足，两者相融合的算法可以有效地提高识别率，通过ORL库的测试，可以证实这一算法的优势。最后，设计了基于Matlab GUIDE的人脸识别系统。关键词：主成分分析，奇异值分

2、解，人脸识别，K-L变换1. 介绍随着社会的发展以及技术的进步，尤其是最近十年内计算机的软硬件性能的飞速提升，以及社会各方面对快速高效的自动身份验证的要求日益迫切，生物识别技术在科研领域取得了极大的重视和发展。其中，人脸识别技术的研究近些年受到普遍重视，它与指纹识别、视网膜识别等同属于生物特征识别。在公安、安全验证系统、医学、金融、视频会议、交通量控制等方面有着巨大的应用前景，因而成为当前人工智能领域和模式识别的一个研究热点。人脸识别的研究始于60 年代末，在90年代取得重大突破，而得到前所未有的重视。早期的人脸识别研究主要集中于两大方向1，一是提取人脸几何特征的方法, 包括人脸部件归一化的点

3、间距离和比率以及人脸的一些特征点；二是模板匹配的方法, 主要是利用计算模板和图像灰度的自相关性来实现识别功能。目前的研究也主要有两个方向：其一是基于整体的研究方法，它考虑了模式的整体属性，包括特征脸（Eigenface）方法、SVD分解的方法2、人脸等密度线分析匹配方法3、弹性图匹配（Elastic Graph Matching）方法4、隐马尔可夫模型（Hidden Markov Model）方法5以及神经网络的方法等；其二是基于特征分析的方法, 将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量。这类基于整体脸识别方法的优势在于保留了更多的信息，而基于部件

4、的识别可以有效地提取指定特征，然而却没有表达识别部件的可靠模型。总得来说，人脸检测是一个整体识别与特征识别共同作用的结果，其中前者提供低层次特征，远距离进行辨别时更重要，而后者提供高层次特征，在近距离的人脸识别中，特征部件的识别更重要。本文的结构安排如下：第一部分主要进行人脸识别的总体介绍，包括其应用背景和研究现状；第二部分为相关算法描述与分析，即对KL变换、主成分分析（Principle Component Analysis，PCA）和奇异值分解（Singular Value Decomposition，SVD）进行详细推导与分析；第三部分为算法设计，提出基于PCA和SVD相融合的分类算法；

5、第四部分为系统设计，针对于人脸认证登录这一应用，基于Matlab GUIDE开发出实际系统；第五部分为实验结果，分为两个部分，其一，对所提出的算法进行性能验证，测试样本取自于剑桥大学ORL人脸库，其二，对所开发的系统进行实际测试；最后得出本文结论，并提出几种算法的优化改进策略。2. 相关算法描述与分析2.1 Karhunen-Loeve变换Karhunen-Loeve变换简称为K-L变换，是模式识别中常用的一种特征提取方法。K-L变换是从K-L展开引出的，对于某一个样本，可以在一组规范正交基上展开，即（2-1）式（2-1）同时左乘，得（2-2）由此，K-L变换思想可以表述为，将向量在一组规范正

6、交基上展开，得到新的向量（其中和的各分量均为在各自基上的线性组合系数）。其目的是使的各分量具有最小的相关性，从而达到降维的目的。如果只用有限项（）来逼近，即（2-3）则该估计的均方误差为，（2-4）记，为的自相关矩阵（K-L变换的产生矩阵）。将均方误差作为目标函数，则问题转变为最小化目标函数，（2-5）Lagrange方程为，（2-6）令，得（2-7）即为矩阵的特征值，为对应的特征向量，此时，取得极值。将此条件代入目标函数式（2-4），得，（2-8）因此，K-L变换可以总述为，以矩阵最大个特征值对应的特征向量作为规范正交基，构成新的特征空间，使在其上展开，展开系数组成了新的向量，则通过这样的变

7、换，误差最小。表示成矩阵形式，（2-9）K-L变换具有如下性质：第一，自相关矩阵可以相似对角化，因此，有（2-10）通过K-L变换，消除了原有向量分量间的相关性，从而有可能去掉那些带有较少信息或不含信息的冗余分量，以达到降维的目的；第二，K-L变换是信号的最佳的压缩表示，也叫最优线性变换，用维K-L变换特征代表原始信号，所带来的误差在所有维正交坐标变换中最小；第三，用K-L坐标系代表原始数据表示熵最小，样本方差信息最大程度低集中在少数的维度上。2.2 主成分分析（PCA）PCA是基于K-L变换思想的特征提取方法，它的出发点是从一组特征中计算出一组按重要性从大到小排列的新特征，它们是原有特征的线

8、性组合，且相互之间是不相关的。PCA的目标是使新特征的方差达到极大值，可用于线性分类，最大化类间离散度。最重要的应用之一，便是人脸识别，该方法最早由Turk和Pentland提出，成为本征脸（eigenface）方法6。本征脸方法具体可描述为，对于一幅个像素组成的人脸图像，可以将其看作一个特征为维向量的样本。设训练样本集有类样本，每类样本的个数为，则所有样本个数为，样本集表示为。样本集的平均脸向量表示为，（2-11）每个样本减去平均脸，得到差值脸，（2-12）协方差矩阵（也称总体散布矩阵）表示为，（2-13）其中，因为矩阵的维度为，因此考虑另一个矩阵，它的维度为，通常M<N2。矩阵的特征

9、方程为，（2-14）两边同时左乘，得，（2-15）记，则式（2-15）可写成（2-16）因此，维的矩阵和维矩阵具有相同的特征值，特征向量具有如下关系，（2-17）两规范化特征向量的关系为，（2-18）式（2-18）可用下节介绍奇异值分解定理解释。与矩阵一样，矩阵最多具有个非零特征值。由于每个特征向量仍然是一个维的向量，即仍然是一个的图像。这些特征向量的图像仍然具有一些人脸的特点，因此被称作“本征脸”。将特征值从大到小排列，选取前个特征值，满足一定的贡献率，即（2-19）则这个特征值在这些新的规范正交基上的投影构成了对原图像的降维表示，所在空间为特征脸空间。根据K-L变换的性质，这种降维表示是所

10、有相同维数的线性表示中误差最小的。特征脸空间可用矩阵表示，其列向量为规范正交基，即，（2-20）式（2-12）表示的差值脸在其上投影，投影系数可表示为，（2-21）而本征脸可通过下式重构出原始图像，（2-22）总得来说，PCA算法通过利用规范正交基的线性组合描述、表达人脸和逼近人脸，因此可以进行人脸的识别和重建。然而，PCA具有两点不足：其一，将二维图像一维向量化，丢失了图像中像素的邻域相关信息；其二，图像中所有像素点的权重相同，没有突出人脸信息，因此，本质上来说并不能称作“本征脸”。2.3 奇异值分解（SVD）SVD是一种有效的代数特征提取方法，基于SVD的人脸识别方法将图像看作一个矩阵，对

11、任何一个矩阵，都可以利用SVD分解为对角阵。SVD原理可表述为，对于任意矩阵，都存在两个正交矩阵和，以及对角矩阵，使得，（2-23）其中，同时是矩阵和的特征值，和分别是矩阵和对应于的特征向量，称为奇异值（SV）。在识别人脸时，将奇异值构成的向量作为特征向量，将训练样本图像得到特征向量记为，将待测图像得到的特征向量记为，可以利用最近邻法进行分类。SVD将图像看作一个矩阵进行分解，是一种代数特征提取方法。因为其考虑到图像时空域的相关性，因此用它描述图像特征具有稳定性，且具有转置、旋转、平移以及镜像不变形等优点7。3. PCA和SVD相融合的算法设计融合的目的是获得比单个分类器更高的分类精度，分类器

12、融合分为特征层上的融合和决策层上的融合8，本算法所涉及的是特征层上的融合，对一幅图像提取主分量PCA特征和奇异值SV特征，融合这两种特征来完成最后的分类。融合能提高分类性能的前提是，不同特征具有独立性与信息互补性。由于PCA将图像变换为特征脸空间中的一点，因此该方法对光线、角度和平移等变化比较敏感，并且由于将二维图像一维向量化，丢失了像素邻域相关信息，而SVD恰好可以弥补这些方面的不足，因此考虑将两者进行融合。本文采用加权平均的融合策略，PCA和SVD的权重相等。样本特征融合阶段的大致过程如下所述。首先，分别使用式（2-21）和式（2-23）提取待识别人脸的PCA特征和SVD特征；然后，使用式

13、（3-1）和式（3-2）计算待识别样本特征与样本集中各样本特征的欧式距离和，其中表示类别，表示类别中样本；（3-1）（3-2）接下来，求出融合后的距离，（3-3）利用最近邻法完成分类，（3-4）则该待测样本属于第类。整个PCA与SVD相融合算法的执行框图如图3-1所示。图3-1 PCA与SVD相融合算法的执行框图4. 系统实现本文所实现的实现是人脸认证登录系统，基于Matlab GUIDE开发设计，从而模拟Android 4.0系统的人脸识别认证功能。由于这种界面登录系统的环境特定性，需要考虑的干扰因素并不多，因此对算法的要求并不高。与多类分类识别不同的是，该识别算法只需判断待测样本与训练样本

14、是否足够相近，即满足一定的阈值，给出“属于”和“不属于”两个结果。系统实现流程上可大致分为两类，其一为训练阶段，其二为识别阶段。在训练阶段中，系统进行次采样，样本图像规模为，构成样本集，首先进行PCA和SVD投影，分别得到特征向量和，求出其均值和，（4-1）（4-2）然后，求出均值向量与所有特征向量的欧式距离，并作PCA与SVD融合，最后将其中最大距离作为判别阈值。（4-3）（4-4）（4-5）（4-6）在识别阶段，系统获得待测样本，对其进行PCA和SVD投影，分别得到特征向量和，接下来求出与训练样本特征向量的最小融合距离，（4-7）若满足，表示待测样本与训练样本足够接近，识别成功，反之失败。

15、图4-1为系统界面，图4-2为整个系统实现的流程图。图4-1人脸认证登录系统的界面图4-2 人脸认证登录系统的流程图5. 实验结果实验采用剑桥大学ORL人脸库，该人脸库包含了40个人脸，每个人有10幅不同的图像。图像包含了一定的光照变化、表情变化（睁眼和闭眼，笑与不笑）、面部细节变化（戴眼镜与不戴眼镜）以及一定范围内的旋转，包含比较齐全。这些图像分辨率大小都是112×92像素的9。图5-1是ORL人脸数据库中某人的人脸图像。图5-1 ORL人脸数据库中某人的人脸图像测试阶段，在每类中随机抽取抽取个样本作为训练样本，剩下的个样本则作为测试样本，当分别选作5和7时，测试结果如表5-1和5

16、-2所示。表5-1 样本数的测试识别率表5-1 样本数的测试识别率从任意一表都可以看出，单独SVD的识别率低于单独PCA，但PCA+SVD的识别率却高于任意一种，这说明了该算法的有效性。并且对比两表可以看出，当样本数量增加，则识别率明显提高。同时，对于人脸认证登录系统，也作了相关测试，如图5-2至5-5所示。通过实际测试，验证了该PCA与SVD相融合的识别算法的有效性。图5-2 人脸认证登录系统测试一图5-3 人脸认证登录系统测试二图5-4 人脸认证登录系统测试三图 5-5人脸认证登录系统测试四6. 结论由于PCA和SVD具有信息的互补性，因此两者相融合的算法可以提高识别性能，本文使用ORL人

17、脸库的数据进行测试，验证了该算法的优越性。最后设计并实现了人脸认证登录系统，并进行了实际的识别测试，该系统可以在以下三个方面进行完善。一、图像预处理。根据PCA算法分析所述，图像中每个点的权重是一样的，因此为了增大人脸信息的权重，可采用相关人脸检测算法，对所拍的图像进行剪切，提取出人脸部分，去除背景；二、使用颜色特征。可以用三色通道的RGB图像作为样本，而非灰度图像，因为头发或面部等颜色特征有助于人脸识别；三、整体与部件特征相结合。如本文介绍部分所述，整体脸与部件亦具有信息互补性，而PCA和SVD同属基于整体脸的识别，加入某些部件特征会进一步提高识别率。参考文献1 苏光大, 张翠平. 人脸识别

18、技术综述J. 中国图形图像学报, 2000, 5(11): 885-894.2 Ziquan Hong. Algebraic feature extraction of image for recognitionJ. Pattern Recognition, 1991, 24(3): 211-219.3 Nakamura O, Mathur S, Minami T. Identification of human faces based on isodensity mapsJ. Pattern Recognition, 1991, 24(3): 263-272.4 LadesM, Vorbuggen J, Buhmann Jetal. Distortion invariant object recognition in the dynamic link architectureJ. IEEE Trans.on Computers, 1991, 42(3): 300-311.5 Samaria F, Young S. HMM-based architecture for face identificationJ. Image and Vision Computing, 1994, 12(8).6 Turk M