基于边界 Fisher 分析的人脸表情 识别算法研究

1、苏州大学本科生毕业设计（论文）本 科 毕 业 设 计（论 文）学院(部)计算机科学与技术学院题 目基于边界Fisher分析的人脸表情识别算法研究年 级2014级专业软件工程（嵌入式方向培养）班 级计14软嵌学号1427403014姓 名 王喆指导老师张莉职称教授论文提交日期2018年5月19日目录摘 要 1前 言 3第一章 绪 论41.1 研究背景及意义41.2人脸表情识别方法概述41.2.1基于几何特征的识别算法51.2.2基于外貌特征的识别算法61.3 本文主要工作71.4 本文组织结构7第二章 相关知识回顾92.1 线性判别分析92.2局部Fisher判别分析92.3边界Fisher分析

2、102.4 本章小结12第三章 稀疏边界Fisher分析算法133.1 算法的目标函数133.2 计算复杂度约减143.3 投影矩阵的稀疏化143.4 数据分类163.5仿真实验163.6 本章小结17第四章 基于稀疏边界Fisher分析的人脸表情识别184.1 人脸表情数据集184.2 实验结果分析204.2.1 JAFFE数据集上的实验204.2.2 在CK+数据集上的实验234.2.3 在GEMEP-FERA数据集上的实验244.2.4 统计检验244.3本章小结25第五章 总结与展望265.1 本文总结265.2 后续工作展望27参考文献28本科学习期间的研究成果32致 谢332摘 要

3、人脸表情识别已经成为计算机视觉和模式识别等领域的热点课题之一。人脸表情识别的主要工作是首先使用一组被标记的面部表情训练图像来建立模型，然后使用该模型来识别未知人脸图像中的表情。简单地说，人脸表情识别问题大致分为两个步骤：特征提取和识别分类。使用有效的面部图像特征提取方法来描述表情特征是构建自动面部表情识别系统的主要任务。子空间学习方法是一种经典的特征提取方法，该类方法能够从存在大量冗余信息的高维数据中提取有效的判别信息。本文从降维算法的有效性出发，研究适用于人脸表情特征的子空间学习算法。本文研究了常用的经典子空间学习方法，并提出了用于人脸表情识别的稀疏边界Fisher分析(Sparse Mar

4、ginal Fisher Analysis, SMFA)算法。该算法在边界Fisher分析算法的基础上引入稀疏性，从而能获得一个稀疏的投影矩阵。类似于边界Fisher分析算法，SMFA计算类内离散度矩阵和类间离散度矩阵，用来分别描述相同类之间的几何结构和不同类之间的局部判别结构。与边界Fisher分析不同的是，为求得投影矩阵，SMFA要去除总离散度矩阵包含的零空间。由于投影矩阵的稀疏性能够减少后续投影过程中的计算量，同时也能够减少投影矩阵的存储空间且能够提高模型的泛化性能，本文使用线性Bregman迭代算法来求得稀疏投影矩阵。在JAFFE、CK+和GEMEP-FERA表情数据集上的大量实验证明

5、了本文所提出方法的有效性。关键词：人脸表情识别；特征提取；边界Fisher分析；稀疏学习；线性Bregman迭代AbstractFacial expression recognition has become one of the hot topics in the fields of computer vision and pattern recognition. The main job of facial expression recognition is to mark untagged test images with a set of marked facial expressio

6、n training images. Simply put, the task of facial expression recognition can be roughly divided into two steps: feature extraction and recognition classification. Using effective and efficient facial image description methods to extract expression features is the main task of constructing automatic

7、facial expression recognition systems. Subspace learning is one kind of classical methods for dimension reduction. Subspace learning methods can extract effective discriminant information from high-dimensional data with a large amount of redundant information. This thesis focuses on the effectivenes

8、s of dimension reduction algorithm and studies subspace learning algorithms for facial expression recognition.This thesis considers commonly used classical subspace learning methods, and proposes sparse marginal Fisher analysis (Sparse Marginal Fisher Analysis, SMFA) algorithm for facial expression

9、recognition. SMFA introduces sparsity into MFA and can obtain the sparse objection matrix. Similar to marginal Fisher analysis, SMFA defines intra-class adjacency matrices and inter-class adjacency graphs, which are used to describe the geometric structure of data in the same class and the local dis

10、criminant structure of data among different classes, respectively. And in order to improve the generalization performance of the obtained model, the linear Bregman iteration algorithm is utilized to obtain the sparse objection matrix, which is different from marginal Fisher analysis. Experimental re

11、sults on JAFFE, CK+, and GEMEP-FERA expression datasets demonstrate the effectiveness of the proposed method.Keywords: Facial Expression Recognition; Feature Extraction; Marginal Fisher Analysis; Sparse Learning; Linear Bregman Iteration苏州大学本科生毕业设计（论文）前 言由于面部表情识别在心理学、谎言检测、人机交互、电子娱乐和精神病理学分析等各个领域具有广泛的

12、应用场景，它已成为模式识别及情感计算领域一个非常活跃和关键的研究课题。经过几十年的研究发展，人脸表情识别领域的研究已经初具规模，目前大量的识别方法已经被提出并得到了广泛的应用。已有的人脸表情识别算法大致可以分为两类：基于几何特征的学习方法和基于外貌特征的学习方法两类。大量的研究表明，基于几何特征的方法因其识别准确度依赖于面部部位的精准定位1,8，其识别效果要劣于基于外貌特征的学习方法67。子空间学习方法在基于外貌特征的识别方案中应用广泛，该类算法能够从存在大量冗余的高维数据中提取有效且维度较低的判别信息。人脸表情识别方案中常用的子空间学习方法有线性判别分析、局部线性判别分析、边界Fisher分

13、析等。本文以基于人脸表情图像的识别方法为主要研究对象，分析对比了大量已有的人脸表情识别算法，尤其是基于人脸表情图像的识别方案中常用的子空间学习方法。本文向边界Fisher分析算法引入稀疏性，并提出了一种新的稀疏子空间学习方法，即稀疏边界Fisher分析算法。在JAFFE、CK+、GEMEP-FERA表情数据集上进行了实验，分析对比实验结果，验证了本文提出的稀疏边界Fisher分析算法的有效性。第一章 绪 论本章首先简述了人脸表情识别技术的研究背景及意义，其次对已有的人脸表情识别方法进行简单的分类概述，然后对本文的主要工作内容以及创新点进行阐述，最后介绍了本文的组织结构。1.1 研究背景及意义随

14、着计算机技术的进步，人工智能和模式识别得到了长足的发展，在互联网等产业应用的推动下，生物识别成为研究的一个热点。生物识别包括人脸识别、虹膜识别、指纹识别、语音识别、签名识别、步态识别、表情识别等多个领域，这些技术已经广泛应用于社会生活的方方面面，在使用科技促进便捷人们生活的过程中发挥着越来越重要的作用。面部表情识别（Facial Expression Recognition, FER）作为生物识别的一种，在心理学、谎言检测、人机交互（Human-computer Interaction, HCI）和精神病理学分析等各个领域有着广泛的应用场景，已经成为人工智能领域一个非常活跃和关键的研究课题1,

15、21。表情是人类表达各种情感（如欢喜、悲伤、愤怒等）的主要方法，它和自然语言一起传递信息，具有重要的研究价值。人脸表情是一种复杂的肌肉运动，每种表情都是人面部44块肌肉共同运动的组合，想要使用一个确切有效的数学模型来描述表情具有一定的困难性和复杂性。人脸表情识别的主要工作是使用一组被标记的面部表情训练图像建立模型，使用该模型识别未知人脸图像中的表情。使用有效的面部图像特征提取方法来描述表情特征是构建自动面部表情识别系统的主要任务。本文聚焦于表情识别中的特征提取方法，主要研究子空间学习方法在表情特征提取中的应用。1.2人脸表情识别方法概述在表情图像的特征提取方面，图像特征的描述方法可以大致分为两

16、大类1，其中一种是基于几何特征的学习方法，另一种是基于外貌特征的学习方法。基于几何的方法通过描述面部几何结构来完成识别任务，面部几何结构即一系列显著的基准点组成面部部位的形状，如眼睛和嘴巴的边缘。使用基于几何的方法进行特征提取存在一个不能忽视的问题，即这些方法的识别性能主要取决于面部部位的准确检测，而这在构建自动表情识别系统的过程中是非常不稳定和不可靠的1。最近对FER的研究表明，基于外貌特征的方法比基于几何特征的方法更强大，可以达到更高的识别精度6,7。基于外貌特征的表情识别方法通过人脸面部纹理进行识别，在该类方法中，大多数的研究集中在子空间学习算法邻域10,13,14,18。下面对基于几何

17、特征的识别方法和基于外貌特征的识别方法分别进行介绍。1.2.1基于几何特征的识别算法基于几何特征的识别方法使用一组面部基准点来表示面部部位的形状和位置。因为人类的面部表情主要集中在嘴部、眼部、眉部、鼻部等部位，基于几何特征的识别方法需要用基准点来描述出这些部位的边缘以达到表示表情的目的。这些标记出来的基准点被用来提取特征矩阵，用来表示面部几何形状。活动外观模型（Active Appearance Model, AAM）2和Ekman的面部动作编码系统（Facial Action Coding System, FACS）3,5是两种最典型的基于几何特征的学习方法。AAM建立了一种对目标对象变化程

18、度的参数化描述，这种方法首先从给定的训练集中提取对象的模型，再对模型通过某种规则进行组合形成新的对象。这种机制能在新图像中搜索定位既定目标，并用较少的参数对新对象进行描述。FACS基于44个面部动作单位（Action Unit, AU）4，面部动作可以粗略地解释为人类面部肌肉运动的最小可见单位。这44个基本动作单元可以用来描述几乎所有人脸面部活动，也就是说，所有的人脸活动都可以用单个或者一组动作单元来表示。为了得到针对表情形状的运动单元，Ekman等人又提出了FACS的变体表情面部编码系统(Emotion FACS, EFACS)41，通过将FACS编码转化成EFACS编码，可以更方便地针对特

19、定的表情（如愤怒、喜悦等）进行动作编码40,42。近几年，表情识别研究以表情图像视频序列作为研究对象，利用表情帧之间变化的时序信息帮助进行识别。Robert等人提出了状态可变的潜条件随机场模型43用于表情识别。该算法基于FACS提供的动作编码，以不同帧图像的动作编码训练条件随机场模型。Abbasnejad等人提出了稀疏高斯条件随机场44，在高斯条件随机场的基础上，使用交替方向乘子算法(Alternating Direction Method of Multipliers, ADMM)算法来解决目标函数问题。1.2.2基于外貌特征的识别算法在基于外貌特征的表情识别方法中，目前大多数的研究集中在子

20、空间学习算法领域13,14。由于面部图像常常被表示为高维向量，而高维数据中的某些测量变量是冗余的，它们对于理解潜在的特征相关信息是无用的，因此降维便成为面部表情识别中至关重要的任务21。为了便于原始数据的可视化和解释，降维算法将原始高维特征空间中的数据投影到一个保存有用信息的低维表情图像子空间中。常用的方法包括主成分分析法（Principal Component Analysis, PCA）11,12,22、局部保留投影算法（Locality Preserving Projection, LPP）16,17和线性判别分析算法（Linear Discriminant Analysis, LDA）

21、19,20,23。PCA和LDA都是在面部表情识别中广泛应用的两种降维方法。PCA是一种无监督的方法，通过寻求具有最大方差的原始变量的几个正交线性组合来完成降维任务。Zou等人提出的稀疏主成分分析（Sparse Principal Component Analysis, SPCA）30是PCA算法的一个变体，使用Lasso来生成稀疏主成分。与PCA相比，LDA是一种有监督的方法。该方法尝试最大化不同类间距与相同类间距之间的比率。LDA的核心思想很简单，即同一类的样本应该集中在一起，而不同类的样本在低维表示中应该尽可能地远离。LDA在FER中的应用受限于以下两个原因。一个是样本空间的维数在理论上

22、比训练集中的样本数量大得多，即所谓的小样本量（Small Scale Sample, SSS）问题24，这增加了实现鲁棒和快速识别的困难。另一个是LDA进行特征提取的关键在于同类别间距和不同类别间距之间的鉴别能力，这使得只有在每个类的数据大致为高斯分布时解才是最优的25。为了克服LDA的局限性，有许多LDA方法的变体被提出，如空间LDA 26，LDA / GSVD 27和LDA / QR 28，除此以外，Qiao等提出了稀疏线性判别分析（Sparse Linear Discriminant Analysis, SLDA）29算法来提取医学和生物分析数据中的特征。王等人提出稀疏局部Fisher判

23、别分析（Sparse Local Fisher Discriminant Analysis, SLFDA）21识别面部表情，通过从局部Fisher判别分析（Local Fisher Discriminant Analysis, LFDA）的解决方案中找到l-1最小化问题的最优解来获得稀疏方案，从而获得更好的识别效果。Yan等人提出的边界Fisher分析（Marginal Fisher Analysis, MFA）25，通过使用图嵌入框架作为提取特征的平台，以此来提取特征。在MFA中，设计了两种图来表示相同类别样本之间的紧凑性和不同类别样本之间的分离性。该方法可用投影方向的数量比LDA大得多，克

24、服了LDA可用投影方向的数量少于类别数量的限制。除此之外，对于MFA中的数据分布不需要先验假设，这使得它在现实应用场景中比LDA更可靠。1.3 本文主要工作稀疏学习已被证明是通过从高维数据获得高度可解释性的模型，从而有效实现降维任务的有力工具。另外，由于稀疏投影矩阵减少了计算量，可以更加有效地存储，这使得稀疏学习方法在构建自动识别系统时更加强大和实用。本文尝试将稀疏化引入到MFA中，并提出稀疏MFA算法（Sparse Marginal Fisher Analysis, SMFA）。类似于MFA，SMFA定义了类内邻接图和类间邻接图，分别描述相同类之间的几何结构和不同类之间的局部判别结构。SMF

25、A算法的稀疏解可以通过使用线性Bregman迭代求解得到。最后在JAFFA、CK+、GEMEP-FERA面部数据库上进行了仿真实验，基于不同的面部图像子集分析对比了实验结果，实验结果表明，SMFA可以有效提取图像的本质特征，具有比MFA更好的判别能力。本文完成的主要工作及创新点有：（1） 对现有人脸表情识别方法进行分类介绍，分析对比现有方法的优缺点。（2） 介绍了人脸表情识别方案中常用的子空间学习方法，阐述各方法的具体过程，并分析其优缺点。（3） 提出了一种新的稀疏化MFA方法，使用线性Bregman迭代来稀疏化MFA，得到投影矩阵，并分析介绍其具体流程。（4） 在JAFFE、CK+和GEME

26、P-FERA人脸表情数据库上的大量实验验证了稀疏边界Fisher分析算法的有效性，并对实验结果进行了详细的分析对比。1.4 本文组织结构本文一共分为五章，各章内容安排如下：第一章为绪论，介绍了人脸表情识别的研究背景及意义、经典的人脸表情识别方法、本文的主要工作以及本文的组织结构。第二章回顾了人脸表情识别中常用的特征提取算法，详细分析了这些方法。第三章提出了基于稀疏边界Fisher分析的人脸表情识别算法，并详细地介绍了算法的原理。第四章是实验与分析。本文在JAFFE、CK+和GEMEP-FERA面部数据库上进行了仿真实验，比较了各降维算法的优缺点，验证了基于稀疏边界分析的人脸表情识别方法的有效性

27、。第五章总结全文，并提出未来工作的展望。第二章 相关知识回顾人脸表情识别问题大致分为两个步骤：特征提取和识别分类。本章主要介绍和本文提出方法相关的特征提取算法，包括线性判别分析算法、局部Fisher判别分析算法和边界Fisher分析算法。2.1 线性判别分析线性判别分析算法的目标是根据Fisher准则寻找到有判别能力的特征，具体的方法是在最小化类内距离的同时最大化类间距离。假设我们有一个由n个样本组成的集合：(xi,yi)i=1n，其中xiRD，yi1,2,c，yi是样本xi的标签，n是样本的总数，D是样本的维度，c是样本所属类别的个数。类内离散度矩阵Sw和类间离散度矩阵Sb分别定义如下：Sw

28、=i=1cxjXi(xj-mi)(xj-mi)T (2.1)Sb=i=1cni(mi-m)(mi-m)T (2.2)其中mi是第i类的样本均值，m是所有数据的均值，Xi是第i类的样本集合，ni是属于第i类样本的个数。线性判别分析通过最大化如下的Fisher准则函数来寻求最佳投影矩阵： Vopt=argmaxVVTSbVVTSWV (2.3)上述的优化函数等价于如下的广义特征值问题：Sbvi=iSwvi (2.4)其中i是对矩阵Sw-1Sb进行特征分解后得到的特征值，vi是对应的特征向量，取前d个最大的特征值对应的特征向量组成投影矩阵V=v1,v2,vd。2.2局部Fisher判别分析假设我们有

29、一个由n个样本组成的集合：(xi,yi)i=1n，其中xiRD，yi1,2,c，yi是样本xi的标签，n是样本的总数，D是样本的维度，c是样本所属类别的个数。在局部Fisher判别分析中，局部类内离散度矩阵Slw和局部类间离散度矩阵Slb分别定义如下：Slw=12i=1nj=1nWijlw(xi-xj)(xi-xj)T (2.5)Slb=12i=1nj=1nWijlb(xi-xj)(xi-xj)T (2.6)其中Wijlw和Wijlb是nn的权重矩阵：Wijlw=Aijnk , 如果xi,xj属于第k类 0 , 其他 (2.7)Wijlb=Aij(1/n-1/nk) , 如果xi,xj属于第k

30、类1n , 其他 (2.8)其中nk是属于第k类的样本的个数，Aij是一个建立在局部启发上的样本xi和xj的近似值，Aij=exp(-xi-xj2/ij)，其中i=xi-xi(k)是样本xi的局部衡量，xi(k)是xi的k近邻样本。局部Fisher判别分析的目标函数定义如下：Vopt=argmaxVtr(VTSlbV)tr(VTSlWV) (2.9)其中tr是一个求矩阵迹的函数。通过拉格朗日乘数法，公式(2.9)可以被转换成一个广义特征值问题：Slbvi=iSlwvi,i=1,2,d (2.10)其中i是对矩阵Slw-1Slb进行特征分解后得到的特征值，vi是对应的特征向量，取前d个最大的特征

31、值对应的特征向量组成投影矩阵V=v1,v2,vd。2.3边界Fisher分析由于LDA中的类间分散度不能有效地表示不同类别数据的可分离性，所以MFA设计了一个新的标准，分别表示类内紧凑性和类间分离性25。 假设我们有一个由n个样本组成的集合：(xi,yi)i=1n，其中xiRD，yi1,2,c，yi是样本xi的标签，n是样本的总数，D是每个样本的维度，c是样本所属类别的个数。 MFA定义了类内邻接图和类间邻接图，分别描述相同类之间的几何结构和不同类之间的局部判别结构。类内邻接图定义如下：Fijw=1, 如果 xiK+xjor xjK+(xi)0,其他 (2.11)其中xiK+xj 表示xi在

32、xj 的k近邻中，并且 xi 和 xj在相同的类中。类间邻接图定义如下：Fijb=1,如果 xiK-xjor xjK-(xi)0,其他 (1.12) 其中xiK-xj 表示xi 在 xj 的k近邻中, 并且xi 和 xj 在不同的类中。MFA 定义了类内离散度矩阵和类间离散度矩阵来利用相同类中的局部相似信息和不同类中的边界判别信息，有效地保留了信息的集合结构。MFA 中的类内离散度矩阵定义如下： P=ijPTxi-PTxj2Fijw =2PTXLwXTP (2.13)其中 XRDN是样本矩阵，拉普拉斯矩阵Lw=Dw-Fw, Dw是一个对角阵并且Diiw=jFijw。对应的，MFA的类间离散度矩

33、阵定义如下： P=ijPTxi-PTxj2Fijb =2PTXLbXTP (2.14) 其中拉普拉斯矩阵 Lb=Db-Fb, Db 是一个对角阵并且 Diib=jFijb。 MFA算法的思想是让相同类中的样本在投影子空间中尽量靠近，并且不同类中的样本在投影子空间中尽量远离。因此，MFA算法的目标函数可以定义为: maxPPTXLbXTPPTXLwXTP (2.15)(2.15)能够被转化成如下的广义特征值函数: XLbXTpi=iXLwXTpi (2.16)其中i是求解(2.16)得到的广义正特征值，pi是对应的特征向量。假设1r0，p1,p2,pr 是对应的特征向量，那么矩阵 P=p1,p2

34、,pm就是MFA算法求得的投影矩阵, 其中m是预定义的特征值个数且m0，i=1,2,r，r=rank St，A=a1,a2,arRDr 是由矩阵 St的r个最大的正特征值对应的特征向量组成的矩阵。通过矩阵A我们可以去除矩阵XLwXT和XLbXT中包含的矩阵 St中的零空间。 因此，SMFA算法的目标函数为： maxP PT(ATXLbXTA)PPT(ATXLwXTA)P (3.2)其中XRDn 是由训练样本组成的矩阵，LbRnn是类间拉普拉斯矩阵, LwRnn 是类内拉普拉斯矩阵，ARDr是由分解 St=X(Lw+Lb)XT得到的非零特征值对应的特征向量组成的矩阵。令Fb= ATXLbXTA且

35、Fw= ATXLwXTA，矩阵P能够通过解决下面的广义特征值问题得到：Fbpi=iFwpi (3.3)其中i是对矩阵Fw-1Fb进行特征分解后得到的特征值，pi是对应的特征向量，取前m个最大的特征值对应的特征向量组成投影矩阵P=p1,p2,pm。3.2 计算复杂度约减由于样本的维度通常非常大，这使得了直接计算DD 矩阵 St的特征值有一定的难度15。 出于减少计算量的考虑，我们需要优化计算矩阵A的效率。我们通过公式(2.11)和(2.12)来分别得到类内邻接图和类间邻接图。定义全局邻接图Ft= Fb+Fw, 拉普拉斯矩阵Lt=Dt-Ft，Dt是对角矩阵并且Dt矩阵的元素由 Diit=jFijt

36、得到。15中的谱图理论表明矩阵Lt是对称的并且是正定的，该矩阵能够用如下的公式进行分解： Lt=QttQtT (3.4)其中Qt是一个正交矩阵并且t是Lt的特征值矩阵。因此矩阵 St可以被改写为： St=XLtXT=XQttQtTXT=HtHtT (3.5)我们可以通过如下公式来计算Ht：Ht=XQtt12 (3.6)假设矩阵 Ht 的奇异值分解结果为：Ht=AtM (3.7)其中A是Ht的左奇异向量矩阵，t是Ht的奇异值矩阵，M是矩阵Ht的右奇异向量矩阵。通过对矩阵Ht进行奇异值分解，因为矩阵HtRmn的大小显著小于矩阵 St，我们能够得到一个更高效的方法来获得特征向量矩阵A。3.3 投影矩

37、阵的稀疏化下面对投影矩阵P进行稀疏化，我们能够通过解决如下最优化问题来得到稀疏化的投影矩阵： minVV1 s.t. ATV=P (3.8) 其中 V1=i=1nj=1rvij表示l1范数。公式(3.8) 能够被转变成如下的基追踪问题：V*=minVRMV1 : ATV=P (3.9)我们使用线性Bregman 迭代35来解决这个基追踪问题，该算法被认为是解决(3.7)的最优算法之一31,32,33,34,36,37,38。线性Bregman迭代算法在本识别方案中被拓展来解决最优化问题公式(3.8) ，该迭代定义如下：Bk+1=Bk-A(ATVk-P)Vk+1=(Bk+1) (3.10)其中B

38、0=V0=0，0 和0 是两个自定义的参数，B=Bijij，公式(3.11)展示了计算B的方法。通过公式(3.10)的计算，我们能够得到稀疏投影矩阵 Vk+1。算法3.1 展示了SMFA算法的步骤。 Bij=0,if Bij sgnBijBij-,if Bij (3.11) 算法3.1 稀疏边界Fisher 分析Input: 由训练集中图像组成的矩阵 X=x1,x2,xn，标签矩阵 Y=y1,y2,yn，其中 yi 是样本 xi的标签，n 是样本的个数， 和 是线性Bregman迭代算法的参数，阈值(0)。Output: SMFA算法的投影矩阵V*1. 根据公式(2.11) (2.12)计算类

39、内邻接图Fw和类间邻接图Fb2. 根据公式(3.6)对矩阵Ht进行奇异值分解3. 计算Fb= ATXLbXTA，Fw= ATXLwXTA4. 由解决广义特征值问题(3.2)得到矩阵P 5. 定义B0=V0=0 ，V=AP，重复下面的计算直到收敛：(1) 通过公式(3.8)计算Vk+1 (2) 如果 ATVk+1-PF，停止迭代6. V* = Vk+13.4 数据分类假设矩阵X是将X投影到子空间后得到的投影结果，X可以由下列公式计算得到：X=V*TX (3.10)我们使用欧氏距离来度量投影之后的测试样本与各训练样本之间的距离。假设x=x1,xmT 是X中的一个投影之后的样本，给定测试样本z=z1

40、,zmT，则我们可以通过如下公式计算两个样本之间的欧氏距离：dx,z=i=1m(xi-zi)2 (3.11)最后，我们使用最小距离准则对z进行分类，如果：r=argminkd(z,xk) (3.12)则z属于第r类。3.5仿真实验为了评估SMFA学习到的子空间投影效果，我们分别生成包含两类和三类高斯分布点的两个人工数据集。数据集中的每个类包含100个数据点，这100个数据点的分布由随机高斯点生成算法得到。我们使用六种算法，包括局部保持投影算法（LPP）、LFDA算法、SLFDA算法、LDA算法，MFA算法和SMFA算法分别对上述两个人工数据集进行学习，得到投影矩阵。利用投影矩阵，我们将二维数据

41、点投影到一维子空间中。在人工数据集1中，我们生成两个不同类别的高斯分布点组，表示两类数据点，两类数据点的类内距相同，中心点分别在(-3,-3)和(3,3)。图3.1(a)展示了六种算法对两类高斯分布数据进行降维的效果。从图3.1(a)中可以看到，所有六种算法都可以将两类数据点有效地投影到一维子空间中，获得良好的类间分离性。在人工数据集2中，我们生成三个不同类别的高斯分布点组，三类数据点的类内距相同，中心点分别在(-4,-5)，(0,0)和(4,5)。以进一步评估各算法的类别判别效果。图3.1(b)展示了六种算法对三类高斯分布数据进行降维的效果。显然，SMFA具有最佳的类别判别性，MFA和LDA

42、其次。 (a)人工数据集1 (b)人工数据集2图3.1 六种算法在两个人工数据集上的降维效果为了更明确地说明算法的有效性，我们使用六种算法分别在两个不同的人工数据集上重复五次实验，分别计算投影后数据点的类间散度与类内散度之间的比率，取平均结果。比率越大，则类别区分和判别性能越好。平均比率和标准偏差如表3.1所示，其中“无”是指投影之前两个数据集上比率的情况。由表3.1中的结果可知，SMFA在上述算法中拥有最佳的判别力。表3.1 人工数据集上类间离散度和类内离散度的平均比率人工数据集 1人工数据集 2无2.79020.05033.24140.1176LDA4.67570.23025.03070.

43、2016LFDA4.38660.16324.78840.1811LPP4.47470.14774.77580.2146SLFDA4.39300.21984.09050.2595MFA4.71910.26355.04620.2530SMFA4.74760.25455.13480.24153.6 本章小结本章首先详细介绍了稀疏边界Fisher分析算法的目标函数，然后讨论了稀疏边界Fisher算法的复杂度约减并提出了一种简化运算方法，其次介绍了投影矩阵的稀疏化，接着介绍了算法的分类过程，最后采用人工数据集验证了SMFA在六种比较方法中拥有最好的类别判别性能。第四章 基于稀疏边界Fisher分析的人脸

44、表情识别第二章和第三章详细地介绍了本实验所要对比的三种人脸表情识别方法，即线性判别分析算法、边界Fisher分析算法和稀疏边界Fisher分析算法。本章主要分析上述的这三种算法及局部保持投影算法、LFDA算法、SLFDA算法在JAFFE、CK+和GEMEP-FERA三个数据集上的时间消耗及识别准确率，分析讨论在不同的情况下六种方法的优缺点。4.1 人脸表情数据集JAFFE数据库由10名日本女性的213张面部表情图像组成，每人有一个中性表情和六个基本面部表情，即愤怒、厌恶、恐惧、高兴、悲伤和惊喜。在所有213张图像中，每个基本的面部表情或中性表情分别含有29到32张图像。JAFFE数据库中的初始

45、图像大小为256256。在实验中，我们采用手动校准的方法，裁剪并将图像大小调整为3232。图4.1展示了一些JAFFE数据库中经过裁剪和调整的图像，从左到右各列的表情依次为高兴（第一列）、悲伤（第二列）、惊讶（第三列）、愤怒（第四列）、厌恶（第五列）、恐惧（第六列） 和中性脸（第七列）。图4.1 JAFFE表情数据集上裁剪和调整后的七类表情样例图 扩展的Cohn-Kanade数据库（CK+）包含来自123名受试者的593个面部表情图像序列。每个图像序列包含一种表情，所有图像序列共含有以下七个基本表情：愤怒、蔑视、厌恶、恐惧、高兴、悲伤和惊讶。每个序列的图像的初始大小为640490或640480

46、。在本实验中，我们通过在CK+数据库中取一些序列的最后一个或两个图像的方法最终选择314张图像。这314张图像包括了44张愤怒表情图像，18张蔑视表情图像，57张厌恶表情图像，17张恐惧表情图像，69张高兴表情图像，27张悲伤表情图像和82张惊讶表情图像。我们手动裁剪所有的314张图像并将其大小调整为3232。图4.2展示了部分经过处理的样本图像，从左到右各列的表情依次为生气（第一列）、蔑视（第二列）、厌恶（第三列）、恐惧（第四列）、高兴（第五列）、悲伤（第六列）和惊讶（第七列）。从图4.2中我们可以看到，CK+数据库中面部图像的亮度有很大的不同。图4.2 Cohn-Kanade表情数据集上切

47、割后的七类表情样例图 GEMEP-FERA数据库是2011年表情识别挑战数据库GEMEP数据库的子集41。该数据集分为训练集和测试集两部分，其中训练集包括7个表情图像序列，测试集包括6个表情图像序列。每个序列显示以下五种面部表情之一：愤怒，恐惧，高兴，安慰和悲伤。我们从训练集和测试集的每个序列中提取静态帧，共生成了300张图像。这300张图像包括了67张恐惧图像，57张悲伤图像，48张安慰图像，71张高兴图像和57张愤怒图像。我们裁剪表情图像并将其大小调整为3232。图4.3 GEMEP-FERA表情数据集上切割后的七类表情样例图 图4.3展示了处理后的图像样本，从左到右各列的表情依次为愤怒（

48、第一列）、恐惧（第二列）、高兴（第三列）、安慰（第四列）和悲伤（第五列）。从图4.3中我们可以看到，GEMEP-FERA数据集中的表情有明显不同的图像亮度、面部动作的强度和头部的姿势，这使得识别任务更具挑战性。4.2 实验结果分析4.2.1 JAFFE数据集上的实验1. 参数敏感性分析为了探究稀疏边界分析算法中的参数和对算法性能的影响，令参数和分别在0.01到1之间变化。我们从JAFFE数据集的每个类别中随机选取20张图像来进行训练，其他的图像作为测试图像。为了减少偶然性误差，我们对每组参数值实验设置重复执行20次，取平均值作为实验结果。当稀疏边界分析算法中的参数和分别在给定范围之间变化时，图

49、4.5分别描述了算法的平均准确度和平均训练时间。从图4.5(a)中我们可以看出，当参数和的值越小，算法的准确率越高。从图4.5(b)中我们可以看到，当参数和的积大于0.001时，稀疏边界分析算法的训练时间会显著增加。除此以外，当参数和的积在0.001和0.25之间的时候，算法的训练时间会保持在一个较高的值并且没有明显变化，而当参数和的积大于0.25时，算法的训练时间会略微减少。由图4.5可知，当参数的值为0.01，参数的值为0.05或0.1时，算法具有最快的训练速度。基于以上结论，在以下三个表情数据集上的训练过程中，我们将稀疏边界Fisher分析算法的参数和分别设置为0.01和0.05，以获得

50、最佳性能。 (a) 准确度 (b) 训练时间图4.5参数和对SMFA算法性能的影响2. 降维维度和训练样本数的影响分析裁剪的图像被随机分为两个子集，训练集和测试集。训练集中的图像用于学习由降维算法生成的特征向量所得到的投影子空间。测试图像用来测试算法的性能。我们从JAFFE数据库中的每个表情类中随机选择图像进行训练，剩余的图像用于测试。为了减少随机误差，重复划分数据集20次，取平均实验结果。6种方法的识别率与降维维度变化的关系如图4.6所示。图4.6展示了当我们从每种表情类别中随机选择s 4, 8, 12,16,20,24张图像进行训练时的实验结果。从图4.6中，我们可以得出一个结论：当用于训

51、练的样本数量增加时，所有算法的识别率均会提高。在大多数情况下，当降维的维度增加到某个值后，部分方法的识别率开始略微下降。例如图4.6(b)中，当降维维度大于6时，SLFDA的识别准确度会有所下降。当训练样本数较少时，参见图4.6(a)-(d)，SMFA和SLFDA识别率总是相对更高。当训练样本数较多时，如图4.6(e)和4.6(f)所示，SMFA的识别准确率高于其他五种对比算法。 (a) 每类4张训练样本 (b) 每类8张训练样本 (c) 每类12张训练样本 (d) 每类16张训练样本 (e) 每类20张训练样本 (f) 每类24张训练样本图4.6 JAFFE数据集上不同训练样本个数对平均识别率的影响表4.2中给出每种方法的最高平均识别准确度，标准差和相应的最优降维维度，其中粗体值是每列中识别准确率的最高值。从表4.2可以看出，SLFDA和SMFA等稀疏学习方法与MFA和LFDA等非稀疏方法相比有一定的优越性，当每类表情中分别有4、8和12张图片用于训练时