基于LDA的人脸识别系统研究——毕业论文

XX大学XX学院XXX届本科生毕业论文（设计）基于LDA的人脸识别系统研究摘要人脸识别是生物特性鉴别技术的一个主要方向，它涉及图像处理，模式识别，计算机视觉等多个研究领域，其研究的主要内容是如何使得计算机具有身份识别的能力，在法律、商业等诸多领域具有很广泛的应用背景。如何在一张图片中检测到人脸区域并提取出使其区别于其他人的特征，是人脸识别算法研究的两个关键技术。截至目前，由于人脸识别问题自身的复杂性，使虽然有众多的科研人员潜心研究了多年，也取得了一些的成果，但距离彻底解决并且达到实用，仍然有一些关键性问题需要解决。本论文围绕人脸识别原理、识别算法及其优化等研究内容开展工作。本文的主要工作包括一下几个方面的内容：介绍人脸识别的研究背景、研究范围、国内外研究机构，归纳了当前人脸识别领域流行的几种主要理论方法;在人脸识别算法方面，主要研究了LDA人脸识别的方法。在大量实验基础上对LDA在各种情况下的性能作了详细的分析，研究了各种参数设置对识别率的影响,并介绍了几种改进的算法。关键词：人脸识别；LDA；人脸检测；特征提取Face recognition system research based on LDAABSTRACTFace recognition is one of the main directions of the biological characteristics of the identification techniques, which involves a number of research areas of image processing, pattern recognition, computer vision, the main content of their research is how to make the computer capable of identification, legal, business and other fieldshas a broad application background.A central issue for face recognition is how to find a face in a picture and to extract discriminant feature from the facial images. This results make us know and understand more about face recognition technology and broaden our ability to solve problem. Work in this thesis includes:This paper focus on face recognition detection principle, the identification algorithm and its optimization research work. The main work includes several aspects: on face recognition research background, research areas, research institutions at home and abroad, summed up the current face recognition popular in the field of several major theoretical approaches; in face recognition algorithm, LDA face recognition method. The large number of experiments on the basis of the performance of the LDA in all cases a detailed analysis of various parameter settings affect the recognition rate, and several improved algorithms.Key words:Face recognition;LDA; Human face examination;Feature extraction目录1引言11.1概述11.2人脸识别的研究背景31.3人脸识别的发展过程41.4国内外的人脸识别理论发展机构51.5本课题研究内容51.6论文组织62人脸识别的相关理论72.1基于几何特征的人脸识别72.2基于人工神经网络的人脸识别72.3基于小波特征的人脸识别82.4基于子空间的人脸识别93基于LDA的人脸识别113.1概述113.2 LDA方法原理123.3训练过程和识别过程143.4实验163.4小结164 SSDA-改进的LDA的识别算法174.1引言174.2谱回归LDA174.2半参数回归194.2.1基本含义194.2.1优点194.3半参数半监督判别分析204.4实验204.5小结225几何平均数法-改进的LDA的识别算法235.1概述235.2三条准则235.2.1准则1最大化散度的几何均值235.2.2准则2最大化所有归一化散度的几何均值245.2.3准则3 最大化所有散度的几何均值(MGMD)245.3实验245.4小结25结论26参考文献27致谢281引言1.1概述生物特征是人的内在属性，具有很强的自身稳定性 ，因此越来越多的研究将它作为身份验证的依据，现在，基于生物特征的识别技术（也称生物特征识别技术）已经逐渐成为国际上的研究热点。生物特征识别技术就是指通过计算机利用人体所固有的生理特征和行为特征来进行身份识别和（或）个体验证的一门技术 。与传统的身份验证手段相比，基于生物特征识别的身份验证方法具有很多优势，例如：1该特征不存在被遗忘和丢失的问题； 2该特征一般不易被伪造； 3该特征随时可以被使用等。 正是由于生物特征本身所具有的这些优势，使基于生物特征的识别技术获得了长足的发展，其在国家安全、司法、海关、边境及保险等领域也必将具有极广阔的应用前景。把人脸作为认证的目标已经发展了几十年，并非只能在电影中才能看到，现代社会已经可以实现这样的功能，当然还有明显的不足，运用人脸图像来身份识别，主要是因为人的面貌属于人本身固有的生物特征，这种特征具有不可复制，难于伪造的特点，具有唯一性和稳定性，可以作为身份识别的依据。人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展已日趋成熟，人脸识别是模式识别和计算机视觉的交叉领域。人脸识别将计算机视觉和模式识别结合在一起，广泛地运用在机器人等学科中。作为人类几个外在鉴别特征之一，人脸识别的自动鉴别和人类自动分辨有着非常重要的意义。人脸识别，特别指利用了分析比较人脸视觉图像特征信息来进行身份鉴别的计算机技术。广义的人脸识别概念实际包括构建人脸识别系统的一系列相关技术，包括人脸检测、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特别指通过人脸进行身份的确认或身份查找的技术或系统。图1-1人脸识别在模式识别领域,人脸识别的发展和应用方面都有着重要的意义：第一能推进对人类视觉系统自身的认识；第二能实现人工智能应用的功能。通过人脸识别技术，建立自动人脸识别系统，采用电脑实现对人脸图像的自动识别有着极其诱人的应用前景和非常广阔的应用领域。图1-2人脸检测目前人脸识别的算法可以分类为：基于人脸特征点的识别算法（Feature-based recognition algorithms）。基于整幅人脸图像的识别算法（Appearance-based recognition algorithms）。基于模板的识别算法（Template-based recognition algorithms）。利用神经网络进行识别的算法（Recognition algorithms using neural network）。目前人脸识别的到了广泛的应用，主要有：门禁系统：受到安全保护的地区可以凭借人脸识别辨别尝试进入者的身份。图1-3门禁系统摄像监视系统：在例如机场、银行、商场、体育场、超级市场等一些公共场所对人群监视，达到识别身份的目的。例如在机场里装置监视系统以防止恐怖分子登机。网络应用：利用人脸识别辅助信用卡进行网络支付，来防止非信用卡的持有者使用信用卡等。图1-4信用卡支付学生考勤系统：港奥地区的中小学已经开始将智能卡配合人脸识别来查询学生每天的出席记录。相机：新型的数码相机已经内建了人脸识别功能来辅助拍摄人物时进行对焦。1.2人脸识别的研究背景随着社会经济的迅速发展以及信息化的不断深入，安全问题越来越为人们所关注，因此，社会各个方面对快速有效的自动身份验证的需求也与日俱增。经过人们不断的研究探索，目前已经可以将很多的信息作为身份验证的依据，如密码、磁卡、人体生物特征等等，而且其方法也各具特点。其中，基于人体生物特征的识别技术（生物特征识别技术）是近些年来发展最快、应用最多一种识别技术，它提供了一种基于唯一、高可靠性和稳定性的人体生物特征的身份验证途径。 生物特征，如人脸、指纹、虹膜、DNA 等，都是人体的内在属性，因而具1有较强的自身稳定性和个体差异性 ，从而成为进行身份验证的理想依据。另外，与传统的身份验证方法相比，基于生物特征识别的身份验证方法具有多方面的优点：首先，与传统的身份验证方法相比，基于生物特征的识别方法更为方便。传统的身份验证方法中，有的需要用户要费心去记住密码、口令；有的需要用户随身携带钥匙、智能卡之类的东西。而基于生物特征的识别方法完全不需要用户去做这些工作，这也大大减少了由于遗忘密码、忘带钥匙而带来的麻烦，极大的方便了用户的使用。 其次，与传统的身份验证方法相比，基于生物特征的识别方法更为安全。传统的身份验证方法中往往会出现口令、IC卡、条纹码、磁卡或钥匙的丢失、被盗用等诸多问题，使安全性受到威胁；而基于生物特征的识别方法认定的是人本身，每个人的生物特征具有与其他人不同的唯一性和在一定时期内不变的稳定性，不易伪造和假冒，所以基于生物特征的识别方法会更可靠、更准确。此外，基于生物特征的识别方法均是借助现代计算机技术来实现的，很容易与计算机以及一些监控、管理系统相结合，实现远程的自动化管理。正是由于基于生物特征的识别方法所具有的这些优势，使得其获得了长足的发展，在国家安全、公安、司法、金融、民航、边境、口岸、保险等领域具有极广阔的应用前景。例如，该技术可用于公安布控监控、监狱监控、司机驾照验证、司法认证、边境身份验证、各类银行卡、信用卡、储蓄卡的持卡人的身份验证、民航安检、社会保险身份验证等多个方面，而且，它还可以应用于医疗和视频会议等方面。在诸多基于生物特征的识别方法中，利用人脸特征进行身份验证的自动人脸识别方法又是最自然、直接的方式。自动人脸识别技术是利用计算机分析人脸图像，并从人脸图像中提取有效的识别信息，用来“辨认”身份的一门技术1。与指纹、虹膜、DNA等其它人体生物特征识别方法相比，自动人脸识别方法具有直接、友好和方便等特点，比如说，自动人脸识别不需要对被测试的人进行强迫约束，因此，相比于虹膜和DNA等测试方法更加友好和方便，也对被测试人没有任何侵害性，因而它成为最容易被接受的生物特征识别方法，受到人们越来越多的重视。另外，系统还可以通过分析用户面部表情，获得一些如心理反应等其它识别系统难以获得的信息。也正是因为存在这些优势，自动人脸识别技术未来可以广泛的应用于公安系统的罪犯身份识别、驾驶执照及护照等与持证人身份核实，银行及海关的监控系统及保密部门的自动门卫系统等领域，帮助相关人员更轻松的完成工作。上面，我们谈到的都是自动人脸识别技术的优势，但是，凡事都有两面性，自动人脸识别技术也有一些不足，这些问题也是影响它得到更大发展的限制因素。例如，自动人脸识别技术研究的对象是人脸，而人脸图像的获取过程会受到很多方面如拍摄角度、光照条件、发型等诸多因素的影响，另外，随着人的年龄以及心情的变化，同一个人的“人脸”可能会呈现出不同的样子，在这个问题上，自动人脸识别方法相比于其他方法（如DNA 识别）要做更多的工作，这些工作往往又非常困难，因此人脸自动识别也是一项极具挑战性的工作。1.3人脸识别的发展过程人们对人脸识别方法的研究己经有很长的历史了，最早可以追溯到19世纪，法国人 Galton 曾经用一组数字代表不同的人脸侧面特征 。人脸识别的输入图像大致可以分为三种:正面图像、倾斜图像、侧面图像 。其中，正面的人脸图像由于信息量大、对称等特点，更多的被人们当作输入数据进行研究，人们对正面图像的研究大致可以分为三个阶段 : 第一阶段是研究人脸识别所需要的面部特征，以 Bertillon, Allen和 Parke为代表。Bertillon 通过编写一个简单程序与数据库中的人脸的关联，同时，他还结合指纹分析方法，研发了一个较强的识别系统；Allen为待识别人脸设计了一个有效、逼真的描述方法，该方法使得对脸部的识别率大为提高；Parke用计算机实现Allen的方法，生成了具有较高质量的人脸灰度图模型；当然，还有其他一些人也做出了很大的贡献。但是，这一阶段的工作主要是依赖于手工操作，还不能完成自动的人脸识别工作。第二阶段是人机交互识别阶段，以 Goldstion, Harmon和 Lesk为代表。他们探索出使用几何特征参数来表示正面人脸图像的方法，即采用二十一高维特征矢量表示人脸面部特征的方法；另外，Kara 和 Kobayashi1探索出了基于统计的识别方法，用欧氏距离对人脸特征进行表征；还有T.Kanade的方法，先使用积分投影方法计算出一簇人脸特征参数，再利用模式分类技术与标准人脸匹配等等。但这此方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。 第三阶段是机器自动人脸识别阶段。近年来随着高性能、高速度计算机的问世，自动人脸模式识别方法也取得了较大的进展。目前人脸自动识别技术主要分为三大类:几何特征法、统计特征法和连接机制法。基于几何特征法如模板匹配法、弹性图匹配法等，基于统计特征法如主分量分析、独立分量分析和线性判别式法分析等，基于连接机制法如神经网络方法、HMM 方法、SVM 方法等。这些方法各有优点，也各有不足。为了使用于不同条件下的人脸识别，目前更多的人脸识别系统是将各种方法有机地融合在一起，发挥优长，克服缺点，以适应不同条件下的人脸识别需求，达到降低运算量，提高识别率的目的。1.4国内外的人脸识别理论发展机构目前，国内外的许多科学研究机构都成立了专门的研究组从事人脸检测和人脸识别的理论研究。国外的著名人脸检测和人脸识别科研机构有美国卡奈基梅隆大学(CMU)机器人研究所、法国的 INRIA 研究所、芬兰的赫尔辛基大学CIS 研究所、麻省理工学院(MIT)媒体实验室和人工智能实验室、英国 Surey大学视觉语音和信号处理研究中心等。国内关于人脸识别的研究开始于20世纪80年代，目前主要有北京大学、清华大学、中国科技大学、中科院自动化研究所和计算机研究所、北京交通大学、北京工业大学、浙江大学、西北大学、西安交通大学、大连理工大学、南京理工大学和哈尔滨工程大学等，其中中科院自动化研究所和计算机研究所的研究工作处于国内领先水平 。 1.5本课题研究内容在这里，我们先对人脸识别的基本工作过程进行一些说明。 广义的人脸识别研究内容一般包括人脸检测、人脸表征、人脸鉴别、表情识别、物理分类五个方面 ，如图1-1所示：图 1-5广义的人脸识别过程狭义的人脸识别研究方法，不涉及表情识别和物理分类两个方面。一个狭义的人脸识别系统应该包括三个主要的技术环节人脸检测、人脸表征和人脸识别（也称匹配识别） ，如图1-2所示：图1-6狭义的人脸识别过程首先是人脸检测，即检测图像中有没有人脸，并确定人脸在图像中的位置。此步骤容易受以下的因素影响：即人脸在图像中的尺度、位置、旋转角度，发型以及在拍摄过程中出现的噪声等。其次是人脸表征，即特征提取及表示。 最后是人脸识别，人脸识别就是将待识别的人脸图像或相关的特征值和数据库里预先存放的人脸图像或有关的特征值进行比较。这里提到的人脸识别只是整个人脸识别工作中的一个子过程，是一个相对狭义的概念。本部分一般又可分为两大类2：一类是确认（一对一的匹配），另一类是查询（一对多的匹配）。人脸识别算法是本课题的主要研究方向，识别之前一般需要做一些预处理工作，本实验是在一个已经成型的人脸检测系统的基础上做来的。然后，本实验采用LDA方法和改进的LDA算法对人脸识别，相关内容将在后续章节中介绍。1.6论文组织本部分初步介绍了本次论文所涉及的基本的概念，对人脸识别这个前沿课题进行了大体的分析。首先通过引言来引出了人脸识别的重要性，然后分析了国内外的研究现状，提出了人脸识别的三个发展阶段，然后又分析了人脸识别所要研究的内容，主要分为人脸检测，特征提取和人脸识别三大步骤。最后，本章提出了与人脸识别相关的课题以及现状人脸识别技术存在的问题。第二部分的主题介绍人脸识别算法的相关理论，本部分粗略的介绍了时下几种应用较为广泛的识别算法。 第三部分的主题是利用LDA 进行人脸识别，本部分中我们对LDA 方法的原理以及用LDA 方法训练识别人脸的步骤进行了详细的介绍。 第四部分的主题是介绍了一种改进的 LDA 算法，本部分中我们对SSDA方法的原理以及实验数据分析进行了详细的介绍。第五部分的主题是介绍了另一种改进的 LDA 算法，本部分中我们对几何平均数方法的原理以及实验数据分析进行了详细的介绍。第六部分我们总结了全篇文章的内容，并就此工作进行了展望。 2人脸识别的相关理论2.1基于几何特征的人脸识别 人脸图像在其原始样本空间中的分布往往并不集中，这就不利于对其进行有效的归类识别 。为了能区分不同的人脸图像，可以把原始的人脸图像通过一些变换（包括线性或者非线性变换）方法转换到另外一个空间中，使得同类（同一个人）的人脸图像在此空间中分布更加紧凑，从而便于归类和识别。所谓特征提取，就是通过映射或者变换的方法将高维的原始特征转换到低维的特征空间中，得到人脸特征的低维表示。人脸识别中人脸的特征主要有以下几类: 1几何特征；2灰度的统计特征；3变换系数特征；4代数特征等；人脸的灰度的统计特征，就是人脸图像中的所有像素灰度值的一些统计特性，如直方图特征。提取人脸灰度的统计特征的工作就是将人脸图像看作是一个二维的随机过程，然后计算出的各阶矩的值的过程。 人脸的变换系数特征，就是对人脸的图像进行一些数学变换如 Fourier变换，Hough 变换和小波变换等之后得到的一系列变换系数，而这也是提取人脸的变换系数特征的方法。 人脸由眼睛、鼻子、嘴巴、下巴及耳朵等部分构成，也正因为这些部分的形状、大小以及结构上的差异才构造出世界上千差万别的人脸，所以，我们使用一些几何方法对这些部分的形状以及结构关系进行描述，然后将描述结果作为依据进行人脸识别。人脸的几何特征通常是以人脸器官形状和几何关系为基础的特征矢量，其分量一般包括人脸指定两点间的欧式距离，曲率，角度等。 典型的人脸几何特征分量包括： 1眉毛的弧度； 2眉毛的厚度及其对应眼睛中心处的垂直距离； 3眼睛中心处到耳朵的水平距离； 2.2基于人工神经网络的人脸识别人工神经网络(Artificial Neural Networks，简称为ANN)是近几年来发展起来的模拟人脑生物过程的人工智能技术。它是由大量简单神经元的广泛互连而形成的复杂非线性系统 ，它不需要任何的先验公式 ，就可以从已有的数据中自动归纳规则 ，获得这些数据的内在规律 ，从而具有非常强的非线性映射能力 ，特别的适合于因果关系复杂的非线性推理、识别、判断和分类等问题。基于误差反向传播(Back propagation) 算法的多层前馈网络(Multiple - layer feedforward network ，简称BP网络) ，是目前应用最成功也是最多的网络之一 ，构建一个BP网络需要确认其处理单元 神经元的特性和网络的拓扑结构。图2-1神经元模型神经元为神经网络的最基本组成部分。如图2-1所示，一般有一个R个输入的神经元模型其中 P是输入向量 ，w是权向量 ，b是阈值 ，f 是传递函数 ，a 是神经元输出。所有输入 P 通过一个权重w进行加权求和后加上阈值 b再经传递函数f 的作用后即为该神经元的输出a 。传递函数可以是任意可微的函数 ，经常用到的有 Sigmoid型和线性型。总体来讲，在特征提取的方面，人工神经网络方法并没有特殊的优越性，而且当类别数量变大时，人工神经网络会遇到过学习(overtraining)和过拟合(Overfitting)等问题。因为针对人脸识别的规则和规律的显性描述是困难的，而人工神经网络的自动学习能力很强大，它能根据反复学习的过程来获得对这些规则或规律隐性的表达，因而在提取特征后进行分类识别时人工神经网络具有无与伦比的优势。2.3基于小波特征的人脸识别小波分析是现在数学上发展迅猛的一个新的领域。由于其优良的时频局部性能，近几年来小波变换成为研究者们普遍接受的信号分析处理工具。在图像编解码和图像处理领域，小波变换均表现出了良好的性斛。小波变化的本质是对信号用一组尺度不同的带通滤波器进行滤波，然后将其信号分解到不同频带上进行分析和处理，这和人类视觉系统的多通道滤波模型是一致的。所以可以考虑采用小波变换提取人脸图像的小波特征(Waveletfeature)来进行人脸识别。 Campben和Robson提出并在心理学实验中证实，人类的视觉具有多分辨率和多通道的特征，因此，近年来基于多分辨率、多通道分析的算法得到广泛重视。在诸如信号检测、图象压缩、图象分割、纹理分析和识别等领域，Gabor小波方法有很广泛的应用。大量基于简单细胞接受场的实验表明，图像在视觉皮层的表示存在空域和空频域分量，并且可以将一幅图像分解为反对称和局部对称的基函数表示，Gabor函数正是这种基信号的良好近似。Lee.T.S用ZD-Gabor小波来表征图像，将Daubeehies的一维框架理论拓展到二维，并证明在一定条件下，ZD-Gabor小波是紧框架，原图像能从小波系数重建，因此用小波变换的系数幅值作为特征来匹配有着良好的视觉特性和生物学背景，Gabor小波的这些特性使得其对于亮度和人脸表情的变化不敏感，在人脸识别和图像处理中有着广泛的应用。Lades等首先提出用基于Gabor变换的弹性图匹配算法进行人脸识别。节点上的Gabor滤波响应作为人脸特征，通过特征匹配和节点几何位置的匹配实现人脸识别。图2-2基于小波特征的人脸识别2.4基于子空间的人脸识别子空间模式识别是近年来模式识别中得到快速发展的一类方法，也在人脸及相关识别中得到广泛应用。最初的子空间一组正交归一的基本向量，所以统计正交展开（一个向量对正交归一非随机向最集的展开）的方法较早得到了应用。20世纪80年代末研究人员将KL变换的思想引入图像表达领域，开发出一种最小均方误差意义下描述人脸图像的最优技术。受此启发，研究人员利用重构权向量作为识别用的特征，提出了“特征脸( eigenfaces)”（所提取出的每个本征向量的图像形式都类似于人脸而得名）识别技术，推动了基于表征( appearance based)的子空间分析方法的发展，并逐步扩展到本征分析( eigenanalysis)。在本征分析中，整体特征和局部特征被统一地结合在各种本征特征中（如本征眼、本征嘴等）。 子空问方法有一些独特的地方，它在人脸识别方面的有效性有一定的保证。先前的研究工作已表明，在不同光照条件下获得的人脸图像的变化，甚至有多光源和多阴影的情况都可以利用低维线性空问来有效地建模。许多模式识别技术包括特征选择提取和模式分类两部分，子空间方法将它们进行了有机的结合。在子空间法中，模式的类别不再是预先在特征空间里划分出来的有限区域，而是用分别与各个类别对应的子空问来限定的。在于空间法中，要把每个类别中最显著的特征个别地抽取出来，组成与该类别对应的特征集。在决策中利用待分类模式的特征向量与各个类别对应的子空间之间的距离作为分类的判别函数。子空间法能紧凑地表达高维的模式向量，或者说子空间的维数往往比模式空间的维数要少得多，因而向量内积的计算量减少，可以加快分类速度。例如，在存人脸识别中，可以对面部器官如眼、鼻和嘴等特征分别建立单独的本征子空间，以有效地表达这哆器官的特征。又如，人脸图像在不同光照条件下的变化，包括多光源和阴影的情况，可以用低维线性子空间来建模。在这个空间中的基图像可用3种方法得到：一种利用大量的具有处于不同光照条件下日标的图像，借助主分量分析的方法来估计一个子空问；另一种根据点源照射下的3-D模型（可以从图像中构建出来）来合成图像，再借助主分量分析的方法来估计一个子空间；还有一种利用在扩散(diffuse)光下基于球谐函数得到的3-D模型直接作为基网像。图2-3人脸子空间示意图子空间法建立在线性正交展开的基础上，所以首先得到应用的是线性子空间方法，如统计子空间、本征子夺问、鉴别子空间、独立分量子空问等。借助局部特征分析法、因子分析法等，混合线性子空间和非线性子空间方法也得到了发展。这许多子空间及方法还可以结合起来。例如有的人脸识别方法同时在主元子空间和零空间巾进行判别分析，并在特征层融合这两个子空问的判别特征。通过提取每个子空间时最具有判别能力的特征，借助它们的的互补特性达到利用尽可能多的判别信息的目的。3基于LDA的人脸识别3.1概述模式识别中把每个对象都量化为一组特征来描述，构建特征空间是所有模式识别问题的第一步通过直接测量得到的特征称为原始特征，比如人体的各种生理指标（描述健康状况）、数字图像中的每点灰度值（描述图像内容）。为了取得好的分类效果，搜集大量的特征，特征越多（dimension curse，over-learning），原始特征数量可能会很大，不利于学习。如：100幅1024*768的灰度图像，256的灰度级直接表示：每幅图786,432bytes，进行训练，空间，时间，计算量都无法承受！ 少量样本分布在高维空间中-稀疏矩阵，过学习 如 Am*n， m7105特征空间有很大冗余，完全可用很小的空间近似表示样本集。压缩特征空间的方法：1特征变换（提取）：用映射（变换）的方法将原始特征变换为较少的新特征2特征选择：从原始特征挑选出一些最具代表性（分类性能最好）的特征线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。线性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。例如，将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果：图3-1例13.2 LDA方法原理假设用来区分二分类的直线（投影函数)为： (3-1)LDA分类的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好，所以我们需要定义几个关键的值。类别i的原始中心点为（Di表示属于类别i的点)衡量类别i投影后，类别点之间分散程度(方差)为： (3-2)最终我们可以得到一个下面的公式，表示LDA投影到w后的损失函数（W 隐函数）： (3-3)分类的目标是：J(w) 。分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，最大化J(w)就可以求出最优的w了。想要求出最优的w，可以使用lagrangian multiplier method，但是现在我们得到的J(w)里面，w是不能被单独提出来的，我们就得想办法将w单独提出来。我们定义一个投影前的各类别分散程度的矩阵，这个矩阵看起来有一点麻烦，其实意思是，如果某一个分类的输入点集Di里面的点距离这个分类的中心点mi越近，则Si里面元素的值就越小，如果分类的点都紧紧地围绕着mi，则Si里面的元素值越更接近0. (3-4)带入Si，将J(w)分母化为： (3-5) (3-6)同样的将J(w)分子化为： (3-7)称为Between-class scatter，是两个向量的外积，虽然是个矩阵，但秩为1。reviews: x = (x1,x2,xk), y = (y1,y2,yk); tr(xy) max tr(x), tr(y) 这样损失函数可以化成： (3-8)拉格朗日乘子法，但是还有一个问题，如果分子、分母是都可以取任意值的，那就会使得有无穷解，我们将分母限制为长度为1： (3-9)对于N(N2)分类的问题，直接写出下面的结论了： (3-10)同样是一个求特征值的问题，我们求出的第i大特征值对应的特征向量，就是对应的Wi了。设矩阵 特征值为：选取前m个特征值对应的特征向量作为w这种方法的限制:1:对于k类问题； tr( ) k-1， 选出的特征最多只有k-1个，与原始特征维数n无关，对应非零特征根的特征向量最多为k-1，0特征根对应的特征向量对J(w)没有影响。2: LDA可能过度拟合数据，对训练样本过拟合。图3-2训练和测试3.3训练过程和识别过程(1)设定一个彩色人脸图片训练集i，i=1,2,N，采用Ohta最优基来模拟K-L变换，从而将彩色的人脸图片训练集中每一张彩色的人脸图片变换成第一主分量对应的人脸灰度图片Ii=1,2,N。由这些灰度人脸图片构成相应的灰度人脸图片训练集。(2)根据奇异值分解定理来计算相应灰度人脸图片训练集Ii，i=1,2,N对应的奇异值特征向量x1SV, xiSV, xNSV,即xiSV=(1i, ri,0,0)T,其中i=1,2,N。(3)对奇异值特征向量空间进行坐标轴平移，即以训练集奇异值特征向量x1SV, xiSV, xNSV的均值向量mSV=1Ni=1NxiSV作为新坐标原点，坐标轴平移后训练集的奇异值特征向量为，i=1,2,N.(4)计算由训练集奇异值特征向量构成的协方差矩阵k个最大特征值对应的特征向量。这k个特征向量构成PCA投影矩阵。(5)利用PCA投影矩阵，将奇异值特征向量空间转换为降维的K维MEF空间，并获得最佳描述特征MEFs，即，其中i=1,2,N。(6)计算由训练集最佳描述特征构成的类内散布矩阵和类间散布矩阵和，然后计算对应的l个最大特征值对应的特征向量。由这l个最大特征值对应的特征向量构成FLD投影矩阵。(7)利用FLD投影矩阵，将MEF空间转换为降维的l维MDF空间，获得对应的最佳分类特征MDFs.即，其中i=1,2,N。(8)根据这些对应人脸图像训练集的最佳分类特征向量,组成c类人脸识别数据库，需存储的人脸训练样本的特征向量书目需根据具体的分类方法来确定。若采用最近临近法，则需存储所有训练样本的特征向量。为表达方便期间，在此我们不妨假设由这N个最佳分类特征向量组成的c类人脸识别数据库中的标准样本向量为。(9)计算两个人脸之间允许的最大距离：。(10)计算人脸类的允许最大距离：(11)将某个待识别彩色人脸图像采用模拟K-L变换而转换成灰度图像I。(12)根据奇异值分解定理计算相应灰度人脸图像I对应的奇异值特征向量。(13)对奇异值特征值向量空间进行坐标轴平移，坐标轴平移后，待识别人脸图像的奇异值特征向量为。(14)对奇异值特征向量x进行DKL投影变换，得到新的L维MDF空间中的最佳分类特征。(15)找到和待识别图像最接近的训练集(数据库)的人脸类，式中表示在特征空间中的欧几里德距离。(16)计算待识别图像对应的奇异值特征向量和重建奇异值特征向量之间的距离(这就是说，计算投影距离以便能够评价测试图像中含有人脸的可能性)：，其中x为待测试的人脸图像奇异值特征向量，(17)判别分类：(a)如果，则表明该测试图像为非人图像；(b)如果，则表明测试图像在由训练集人脸得到的奇异值特征向量空间中的投影点和人脸的奇异值特征向量投影点非常接近，因此判断该测试图像为人脸图像，进一步地：1.如果且，则将测试图像归类为训练集中类的人脸；2.如果且，则将测试图像归类为非训练集中的人脸。3.4实验根据以上算法，编程实现并抽取Stirling-faces人脸库和ORL人脸库部分图片做实验。Stirling-faces人脸库包含17个男人脸灰度图片和18个女人脸灰度图片，每个人包括3幅图片。表情、姿态各有差别。图片的分辨率都是280*365.ORL人脸库包含40个人的图片，每个人有10幅相异的图片，每张图片有各异的姿态和表情，尺寸均是92*112。设置数据库时，在Stirling-faces人脸库中随意抽选30张图片，在ORL人脸库中随机抽选7个人的图片，一共37个人的图片。每个人选择两幅图片来进行训练，另外一幅图像做测试，结果如表3-1所示。表3-1实验结果3.4小结在传统特征脸方法的基础上，研究者注意到特征值打的特征向量（即特征脸）并一定是分类性能最好的方向，而且对K-L变换而言，外在因素带来的图像的差异和人脸本身带来的差异是无法区分的，特征连在很大程度上反映了光照等的差异。研究表明，特征脸，特征脸方法随着光线，角度和人脸尺寸等因素的引入，识别率急剧下降，因此特征脸方法用于人脸识别还存在理论的缺陷。线性判别式分析提取的特征向量集，强调的是不同人脸的差异而不是人脸表情、照明条件等条件的变化，从而有助于提高识别效果。4 SSDA-改进的LDA的识别算法4.1引言线性判别分析（LDA）是一种流行的特征提取方法，在计算机视觉和模式识别领域中激发了相当多研究者的兴趣。LDA的投影向量通常是通过最大化数据集的类间散度同时最小化类内散度来获得的。然而，在实际中，通常缺乏足够多的有标注数据，这就使得对我们所估计的投影方向不准确。为了解决上面的限制，有学者提出一种新的半监督判别分析方法。与传统的基于图的方法不同，这个所提出的方法将有标注数据和未标注数据之间的几何分布信息通过半参数化的形式加入进来。具体的，最终所获得的判别投影包含两部分：判别的部分（在有标注数据上利用传统LDA或是KDA）；保持几何结构的部分（在所有样本点上通过 KPCA学习得到）。因此，我们命名我们的算法版参数化的半监督判别分析（SSDA）。在人脸识别和图像任务上的实验结果表明了这种方法的有效性。下面我将对这种算法作简要介绍。4.2谱回归LDA1. 传统LDA训练样本集合:n个样本,C个类别,m维特征有标注数据:未标注数据:LDA目标函数: （4-1）有监督学习类内与类间散度只能利用有标注数据计算基于正则化的LDA半监督扩展 （4-2） （4-3）2. LDA解法LDA标准解法: （4-4）当维数高于样本总数时不存在LDA的SVD解法: （4-5） （4-6）SVD+LGE(线性图嵌入)时间复杂度很高SVD+LGE谱回归降低复杂度3. 谱回归LDA基本步骤: （4-7） （4-8）正则化的目的：避免当样本数目小于特征维数时,未知数的个数大于方程的个数,无穷多个解。正规化最小二乘： （4-9）图4-1Figure: q = 2 和 lasso regularizer q = 1时的最优解w示意图4.2半参数回归4.2.1基本含义半参数回归指的是回归模型中的predictor既包含参数化又包含非参数化的成分。为一族参数化函数参数化模型是指h(x)可以表示成x的显示函数，例如：线性回归：非参数模型是指f(x)不能通过显示的参数函数估计，只能通过数据来进行直接估计，例如：kNN Parzen窗方法。4.2.1优点1. 非参数化部分：直接通过数据进行估计，因此准确度较高。2. 参数化部分：根据数据特性，将一些额外的知识加入到已有模型中，容易理解，同时可以修正预测值使其朝着某些趋势变化。（correct the data from some (e.g. linear) trend）。4.3半参数半监督判别分析1. 非参数化部分f：a) 利用有标注数据进行kernel DA b) F是特征空间为F空间的标准正交基（投影轴）为第c维的投影方向） （4-10）2. 参数化部分a) 基本思想：利用有标注数据和未标注数据所包含的几何信息。b) 采用方法：通过kernel PCA 找到特征空间中包含最大方差的主轴方向，并根据该方向建立参数化函数加入到已有的模型中，修正最终的预测函数。3. KPCA（4-11）是在特征空间的数据集4.4实验实验一 数据库：40个人，每人10张图片，7张训练集，其中1张有标注图像维数： 32*32，共50次随机实验表4-2 在ORL人脸库上做的识别结果分析实验二 数据库：20个人，每人28张图片，20张训练集，其中1张有标注图像维数： 32*32，共50次随机实验表4-3 在UMIST人脸库上的识别结果分析实验三 数据库：68个人，每人43张图片，30张训练集，其中1张有标注图像维数： 32*32，共50次随机实验表4-4 在PIE人脸库上的识别结果分析4.5小结这篇文章提出了一种新的半监督判别分析方法，这种方法是通过半参数回归实现的，而不是传统基于图的正则化的框架。该方法能处理out-of-sample问题，其核心思想可以推广到其他的回归问题。实验验证了该方法的有效性。5几何平均数法-改进的LDA的识别算法5.1概述子空间选择方法是模式分类和数据可视化的有力工具.一种最重要的子空间方法是Fisher线性判别分析(FLDA)中的线性降维.它已经被成功应用到许多领域中,如生物学,生物信息学和多媒体信息管理.然而,FLDA中的线性降维存在一个严重的缺点：对于c类的分类任务,如果投影子空间的维数严格地低于c-1,那么,投影将易于合并那些在原始空间中距离比较近的类别.如果各类样本采样自具有同方差的高斯分布, FLDA中的线性降维将最大化不同类别之间KL散度的平均值.基于这一点,本章研究了基于几何均值的子空间选择.本章分析了三条准则: 1) 最大化KL散度的平均值. 2) 最大化归一化KL散度的平均值. 3) 1)和2)的组合.基于合成数据UCI机器学习库和手写字体的初步实验结果表明, 第3条准则是一种潜在的判别子空间选择方法.同FLDA以及它的几种典型性的扩展相比, 它能够较大程度上解决类可分问题.5.2三条准则5.2.1准则1最大化散度的几何均值对数函数: 增强小散度的影响并降低大散度的影响。 （5-1） （5-2）5.2.2准则2最大化所有归一化散度的几何均值 （