基于LDA的人脸识别

1、.PAGE 3. 基于LDA的人脸识别成员及各自任务：程鑫：LDA根本算法华杰：LDA改良算法铖：背景和LDA的相关应用摘 要线性决策分析是人脸识别技术中应用最广泛的算法之一。本文主要介绍了fisher算法的原理。Fisher算法的核心思想是寻找最正确投影向量，使类离散度到达最小，类间离散度到达最大，通过对样本空间进展投影，从而到达分类的目的。应用LDA算法会遇到小样本问题，使得计算复杂度提高。本文针对小样本问题，介绍了LDA的改良算法，并证明了类离散的矩阵的零空间的最大特征值对应的特征向量即为最正确投影向量。关键词：LDA 人脸识别 信用评估目 录第一章 背景4第二章 LDA的根本算法52.

2、1两类LDA算法的原理52.2多类LDA算法的原理7第三章 LDA的改良算法103.1 问题的提出与解决方法10 3.2传统LDA的方法与潜在问题10 3.3改良的LDA算法11第四章 相关应用154.1标准化LDA进展人脸识别15 4.2线性判别分析在个人性用评估中的应用18参考文献22.PAGE 3. 第一章 背景LDA：Linear Discriminant Analysis (线性判别分析)简称判别分析，是统计学上的一种分析方法，用于在的分类下遇到有新的样本时，选定一个判别标准，以判定如何将新样本放置于哪一个类别之中。这种方法主要应用于人脸识别，以及医学的患者疾病分级、经济学的市场定位

3、、产品管理及市场研究等畴。关于LDA分析的研究应追溯到Fisher在1936年发表的经典论文 Fisher R A. The use of multiple measurements in ta*onomic problems，其根本思想是选择使得Fisher准则函数到达极值的向量作为最正确投影方向，从而使得样本在该方向上投影后，到达最大的类间离散度和最小的类离散度。在Fisher思想的根底上，Wilks和Duda分别提出了鉴别矢量集的概念，即寻找一组鉴别矢量构成子空间，以原始样本在该子空间的投影矢量作为鉴别特征用于识别。1970年Sammon提出了基于Fisher鉴别准则的最正确鉴别平面的概

4、念。随后，Foley和Sammon进一步提出了采用一组满足正交条件的最正确鉴别矢量集进展特征抽取的方法。1988年Duchene和Leclercq给出了多类情况下最正确鉴别矢量集的计算公式。2001年Jin和Yang 从统计不相关的角度，提出了具有统计不相关性的最优鉴别矢量集的概念。与F-S鉴别矢量集不同的是，具有统计不相关性的最优鉴别矢量是满足共轭正交条件的，该方法被称为不相关的鉴别分析或JinYang线性鉴别法。以上提到的各种方法仅适用于类散布矩阵非奇异(可逆)的情形，但实际应用中存在着大量的典型的小样本问题，比方在人脸图像识别问题中，类散布矩阵经常是奇异的。这是因为待识别的图像矢量的维数

5、一般较高，而在实际问题中难以找到或根本不可能找到足够多的训练样本来保证类散布矩阵的可逆性。因此，在小样本情况下，如何抽取Fisher最优鉴别特征成为一个公认的难题。 LDA的根本算法LDA的根本思想是找到适宜的向量，使得样本特征经过向量映射后获得最大的类间离散程度和最小的类离散程度。给定m个n维特征的训练样例i从1到m，每个对应一个类标签。我们就是要学习出参数，使得g是sigmoid函数。我们先从只有两类的况开场考虑，然后再来考虑多类时的情况。2.1两类LDA算法的原理给定特征为d维的N个样例，其中有个样例属于类别，另外个样例属于类别,两类个数之和为N。原始特征数为d，我们想将其降到一维，而又

6、要保证类别能够“清晰地反映在低维数据上，也就是这一维就能决定每个样例的类别。我们需要找到一个最正确投影向量w，使得样例*在w方向上投影之后，能够容易区分它们的类别，样例*在最正确投影向量w上的投影表达式为 1这里的y是*投影到直线上的点到原点的距离。什么是最正确的投影方向呢？首先要使投影之后的得到的样本中心点尽量的别离，定量表示也即是： 2此处是每类样例的均值中心点，这里i只有两个， 3 是*投影到w后的样本点均值， 4但是仅仅只是样本点的中心别离是不够的，各类的样本元素还需要紧凑，也即是每个类的元素离其中心点的距离要尽量的小。也即是样本点之间的方差要小，方差越大，样本点越难以别离。因此，我们

7、引入了散列值，对投影之后的类求散列值，即是 5从公式中可以看出，只是少除以样本数量的方差值，散列值的几何意义是样本点的密集程度，值越大，越分散，反之，越集中。而我们想要的投影后的样本点的样子是：不同类别的样本点越分开越好，同类的越聚集越好，也就是均值差越大越好，散列值越小越好。则，我们可以使用J(w)和S来度量，最终的度量公式是 6 将的表达式带入散列值的式子可以得到 7定义上式中中间那局部为： 8 这个公式的样子不就是少除以样例数的协方差矩阵，称为散列矩阵scatter matrices。对于只有两类的情况下，定义 9称为类散列矩阵。同时， 10称为类间散列矩阵。 则J(w)最终可以表示为

8、11现在，我们需要通过上面的式子，求出w使得Jw最大。由于我们只是需要知道w的方向，所以为了方便求解，我们令，则参加拉格朗日乘子后，求导 12其中用到了矩阵微积分，求导时可以简单地把当做对待。如果可逆，则讲求导后的结果两边都乘以,得 13从中可以看出w是矩阵的特征向量。 这个公式称为Fisher linear discrimination。由于，则，带入最后的特征公式得， 14而w扩大缩小任何倍不影响结果，因此可以约去两边的未知常数和，得: 15W即是我们最终需要找到的投影向量。2.2多类LDA算法的原理针对两类的情况，我们将d维降到一维，但是在多类的情况下，一维已经不能满足需求。假设我们有C

9、个类别，需要K维向量或者叫做基向量来做投影。将这K维向量表示为。我们将样本点在这K维向量投影后的结果表示为，有一下公式成立 16同两类的情况一样，仍然从类间散列度和类散列度来考虑，度量。 其中和与上节的意义一样，是类别i里的样本点相对于该类中心点的散列程度。变成类别i中心点相对于样本中心点的协方差矩阵，即类i的散列程度。，的计算公式不变，仍然类似于类部样本点的协方差矩阵，其中 17需要变，原来度量的是两个均值点的散列情况，现在度量的是每类均值点相对于样本中心的散列情况。类似于将看作样本点，是均值的协方差矩阵，如果*类里面的样本点较多，则其权重稍大，权重用Ni/N表示，但由于对倍数不敏感，因此使

10、用。 18其中： 19上面讨论的都是在投影前的公式变化，但真正的的分子分母都是在投影后计算的。下面我们看样本点投影后的公式改变：这两个是第i类样本点在*基向量上投影后的均值计算公式。 20 21 下面两个是在*基向量上投影后的和 22 23 综合各个投影向量w上的和，更新这两个参数，得到 24 25其中，W是基向量矩阵，是投影后的各个类部的散列矩阵之和，是投影后各个类中心相对于全样本中心投影的散列矩阵之和。回想我们上节的公式，分子是两类中心距，分母是每个类自己的散列度。现在投影方向是多维了好几条直线，分子需要做一些改变，我们不是求两两样本中心距之和，而是求每类中心相对于全样本中心的散列度之和。

11、然而，最后的J(w)的形式是 26由于我们得到的分子分母都是散列矩阵，要将矩阵变成实数，需要取行列式。又因为行列式的值实际上是矩阵特征值的积，一个特征值可以表示在该特征向量上的发散程度。因此我们使用行列式来计算。整个问题又回归为求J(w)的最大值了，我们固定分母为1，然后求导，得出最后结果 27 与上节得出的结论一样 28最后还归结到了求矩阵的特征值上来了。首先求出的特征值，然后取前K个特征向量组成W矩阵即可。由于中的 秩为1，因此的秩至多为C矩阵的秩小于等于各个相加矩阵的秩的和。由于知道了前C-1个后，最后一个可以有前面的来线性表示，因此的秩至多为C-1。则K最大为C-1，即特征向量最多有C

12、-1个。特征值大的对应的特征向量分割性能最好。然而不一定是对称阵，因此得到的K个特征向量不一定正交，这也是与PCA不同的地方1。 LDA的改良算法3.1问题的提出与解决方法 LDA的根本思想是找到适宜的向量，使得样本特征经过向量映射后获得最大的类间离散程度和最小的类离散程度。但是，当样本数量小于样本特征维数时，样本的特征矩阵可能变成奇异矩阵，在这种情况下执行LDA时会使计算时间复杂度变得非常大。近年来，许多研究人员已经注意到小样本对LDA的影响，并提出了不同的解决方法。一种解决方法是降低样本维度2。Goudail等人通过计算每个样本中的25个局部自相关系数来降低样本特征的维度3；Swets a

13、nd Weng等人通过PCA方法来降低样本维度。另一种方法是通过线性算法来降低计算的复杂度。这就是我们下面要探讨的改良LDA算法。3.2传统LDA的潜在问题在进展线性决策分析之前，必须获得人脸特征，因此要通过形态学滤波器别离人脸，构建出人脸数据库4。通过此方法提取的人脸特征主要包括眼睛，鼻子和嘴三局部。人脸特征的生成主要通过像素聚类的方法实现。在进展像素聚类之前，必须将人脸图像转化成标准大小。通过K均值聚类法将像素点聚为m类，从而将INPP的灰度特征矩阵转换为INM的特征矩阵，其中N表示图像数量，P*P表示图像的大小。像素聚类的目的是降低特征的维度，提取图像的几何特征，并没有考虑类别之间的区分

14、性，而真正区分各类别的是LDA。它通过寻找投影向量，使得映射后的样本特征获得最小的类离散程度和最大的类间离散程度。 假设训练集包含K各类，每个类中包含M个样本，LDA方法要找的映射矩阵At，使得： 29 其中， 表示从第K类的第m个样本中提取的n维特征向量， 表示经过n*d的特征矩阵A映射后得到的向量。寻找矩阵A的方法是通过fisher准则： 30其中，Sb和Sw分别代表类离散的矩阵和类间离散度矩阵。其中， 31此问题最终转换成了凸优化问题： 32通过将所有特征向量映射到q上，使得样本获得最小的类离散度和最大的类间离散度。通过线性算法的求解，可得到q是的最大特征值对应的特征向量。当样本数量小于

15、样本特征维数时，Sw会变为奇异矩阵，在求解时会有较高的时间复杂度，这就是小样本引发的问题。 为了解决小样本问题，Liu等人提出了改良的fisher准则函数5： 33下面介绍两个定理：通过上述两个定理，可以将F(q)转换成F(q)进展求解。传统的求解方法是寻找(Sb+Sw)-1*Sb的最大特征值对应的特征向量，但是在小样本的情况下会有较高是时间复杂度。一种改良的方法是计算计算St(St=Sb+Sw)的零空间，这样上式的分母趋于0，分子不为0，F(q)趋于无穷大。这种方法有如下问题：1.判别向量集的正确性。2.算法的稳定性。3.奇异值问题。3.3改良的LDA算法图1 改良LDA算法示意图假设人脸数

16、据库包含K个类别，每类中含有M个样本，令表示第k类中第m个样本的特征向量。和分别表示类间和类离散度，总的离散度。通过1可知，我们要寻找向量q，使得，此时取得最大值1。通过2可知，最正确投影向量q是零空间的线性组合。定理1可以保证任意q包含于并且，都可以使获得最优值，但无法保证取得最大值。通过定理2可知，样本的特征向量通过变换后,使得获得最大值1。因此，我们要从中选择一个映射向量，使得类间离散度到达最大。基于这种思想，我们可以采用主元分析(PCA)方法。PCA的根本思想是寻找一个投影向量，使得样本特征经过投影后保存最多的原始信息。通过PCA方法得到的投影向量是的L个最大特征值对应的特征向量。通过

17、定理3可知，由PCA方法找到的投影向量具有最优的线性区分特性。算法流程图如下： 图2 LDA算法流程图 LDA的改良算法4.1标准化LDA进展人脸识别人脸识别在平安系统和人机交互等方面有着巨大的应用前景，当用统计方法解决人脸识别问题是，一再碰到的问题是维数问题，线性判别分析是其中较为常用的方法。Fisher准则函数就是为了发现这样的投影方向，使得样本类间离散度和样本类离散度的比值最大。下面介绍一种利用LDA进展人脸识别的例子：采用的方法是将样本类间离散度投影到样本类离散度的零空间，然后选择相对投影后的样本类间离散度的较大特征值向量作为变换矩阵。样本类间离散度矩阵定义为： 34样本类间离散度矩阵

18、定义为： 35其中， 36Fisher准则函数： 37通过线新代数理论，我们知道就是满足如下等式的解 38 传统LDA对样本类间离散度的定义还有一点缺乏，该定义使得所有样本均值和各个类均值尽可能的分开，但却可能造成各个类均值相互接近，也就引起了相邻类的大量样本的重叠。考虑一个从d维空间投影到一维空间的例子。图一画出了4个类，每个类一共有100个测试样本，其均值就是所有测试样本的中心。根据1定义的样本类间离散度，导出投影方向A，但如果所有样本从二维空间投影到该方向，转化为1维空间，类别1，3的样本就会有较大的重叠。针对这个问题，我们重新定义样本类间离散度 39 40加权函数： 41 图三所示的投

19、影方向B就是从式5、6、7推导出的新的投影方向。显然，在判别能力上该方向优于投影A，特别是原来较为相近的三个类能够更好的分类。图三 不同定义的样本类间离散度导出不同的投影方向本文新提出的基于LDA的方法-标准化LDA的根本不走如下：步骤一：根据式35、36定义样本类离散度；步骤二：根据38、39、40定义样本类间离散度；步骤三：保存样本类离散度的零空间，因为它们包含了对判别最有帮助的信息;步骤四：将样本类间离散度投影到样本类离散度的零空间，步骤五：特征分解投影之后的样本类间离散度，对解对应m个较大特征值的特征向量，,其中，是对角矩阵，对角元素是按照降序排列的步骤六：最后的投影方向即LDA 降维

20、转换矩阵为 由上述过程可知, 因此,和的比值到达最大, 即我们的求解使得Fisher 准则函数取得了最大值。我们在Olivetti2Oracle Research Lab (ORL )数据库上进展实验。ORL 数据库包括400 个人脸图像:40 个人每个人10 幅图像,其中包括姿态、光照和表情的差异。不经过任何预处理过程,对每个人随机选取5 幅图像作为训练集,另外5 幅作为测试集。 我们与其他三种算法进展比拟。 算法1 是传统的PCA ,该算法利用所有样本的协方差矩阵决定最后的投影方向;算法2 是PCA + LDA,该算法首先利用PCA 降低维度,使得样本类离散度矩阵不再是退化的。第三种算法是

21、Yu 和Yang提出的,该算法首先删去样本类间离散度矩阵的零空间,然后在非零空间里求对应样本类离散度矩阵较小特征值的特征向量,并将此作为最后的投影方向。 图四 所示为识别率随维数变化的曲线图。图四： 识别率随维数变化曲线图四 显示出本文提出的标准化LDA 具有最好的识别率。 不同于PCA + LDA ,该方法直到维数取到39 才到达最好的识别率,而本文算法在维数到达15 之后,就一直保持着非常高的识别率。这显示了本文算法的有效性。因为对一个具有较多类别的识别系统而言,标准化LDA 算法只需要取较少的维数就可以到达较好的性能。Yu 和Yang 的LDA 方法在维数等于20 的时候获得最大值,之后

22、识别率开场降低,这是因为第一次降维移走样本类间离散度的零空间之后,子空间维度仅为39 ,限制了进一步的判别分析。另一个实验是识别率对不同数目的训练样本。根据图四所示实验结果,我们选取4 种算法各自的最好参数: PCA , PCA + LDA 和本文的标准化LDA都选取39 作为维数, Yu 和Yang 的LDA 算法选取20 为最后子空间的维度。 固定维度参数,将每个类别的训练样本从2 变化到9 。图五所示为最后的实验结果比拟。 可以看到,不管训练集中有多少图像,标准化LDA 的算法都比其他的算法有更好的性能。图五：识别率随训练样本数目变化曲线4.2 线性判别分析在个人信用评估中的应用伴随着我

23、国商业银行个人信贷业务的不断开展，个人信用评估的重要作用日益加强。个人信用评估是一种建立数学模型并应用计算机技术对个人的信用信息进展统计、计算及量化分析的方法。经历了最初简单的判别方法到今天包括线性规划、分类树、神经网络k-近邻判别在的诸多数量方法的过程，其中判别式分析是最先被才用呢并被国外商业银行广泛使用的方法。下面将介绍LDA如何在个人信用评估中发挥作用的。表一：个人信用评估的指标体系及对应的变量变量具体特征是否获得贷款Y否0，是1个人变量年龄处理后为：性别女性0；男性1 离散；单调增婚否未婚0；已婚1 离散；单调增工作稳定情况失业无救济0；失业有救济、退休1；个体经营2；中小企业3；大型

24、国有、股份制4；政府公务员，事业单位5 离散；单调增职位其他0；部门经理以上1在职工作时间实际工作时间受教育程度初中及以下1；高中2；大专、本科3；硕士及以上4离散；单调增经济变量住房没有0；有1 离散；单调增本人月收入元0；50013001；130020002；200030003；300040004；400085005；8500200006；7家庭月收入元1；106025002；250040003；400060004；600080005；80001700068是否有来自金融资产的收入无0；有1 离散；单调增是否有其他固定资产无0；有1 离散；单调增与本银行业务关系是

25、否密切从无往来0；一般持卡/贷款/中间业务1；密切持卡/贷款/中间业务且经常2 离散；单调增在本银行是否有存款无0；有1 离散；单调增是否有其他贷款无0；有1 离散；单调增由于他们的分析是基于不同的数据资料进展的，因此表中的数据只能在同一行进展比拟而不能跨行比拟，虽然这种分析的结果不能完全作为评判*种方法优劣的依据，但是从他们的研究结果中我们可以对这些方法的准确率有一个大致的判断，其中线性判别式方法的准确程度根本可以与其他方法持平。说明其还是具有适用性的。表二：输出结果一览表变量系数标准偏差t检验值显著性概率常数2.1120.16213.0610.000-0.2960.047-6.3080.0

26、00-0.1360.033-4.0660.0000.2360.0713.3210.001-1.682E-040.000-2.7360.008-7.067E-020.032-2.1920.031依据“5C原则，即个人特性、贷款数额、资产、能力和形势的根底上筛选出那些相关性较强并容易获取的的变量，建立本文的指标体系，具体如表二所示，以此作为进一步选择变量的根底。表一表达了各变量的特点及函数关系，其中对一些初始的变量进展了处理，例如年龄变量，我们由长期观察的数据得知其与还款的可能性可能成二次函数、正态分布、折现或直线关系。经过对各种函数拟合结果的验证，我们发现二次函数的拟合优度明显增大，于是得出：对

27、于那些难以获取和数据分布不理想的变量,例如有无信用不良记录、是否抵押遗产等, 在指标体系设定中进展了剔除, 因此没有表达在表中。线性回归模型的建立和应用： 上述的指标体系说明, 是否获得贷款与所表示的指标变量之间存在一定的依赖关系, 据此建立多元回归模型, 表示为： 42 这里采用*商业银行住房抵押贷款的资料, 选取251个样本, 使用SPSS软件采用显著性逐级检验分析的方法计算和输出结果。输出结果说明、和为通过显著性检验的指标。通过计算, 可以得出最后实验回归模型方程为: 43通过计算结果和回归方程我们可以看出, 个人是否获得贷款Y与年龄、工作稳定情况、受教育程度价、本人月收人、是否有其他固定资产联系相对较大, 而与性别、婚否、职位、工作时间等联系相对很小, 根本符合我国国情和实际情况。这里, 为了进一步验证模型的实用性, 另外选取个样本数据对回归方程进展检验。这里我们对输出结果取整, 取整的方法是当输出时,取1;反之则取0。对贷款发放控制的越严格, 的取值越大。在本文的检验中