毕业设计（论文）文献译文：局部特征提取方法的面部表情识别

毕业设计（论文）--文献翻译原文题目Localfeatureextractionmethodsforfacialexpressionrecognition译文题目局部特征提取方法的面部表情识别专业信息与计算科学姓名学号指导教师局部特征提取方法的面部表情识别作者：SeyedMehdiLajevardi,ZahirM.Hussain墨尔本斯旺斯顿大学城市校区电气与计算机工程学院澳大利亚seyed.lajevardi@.au，zmhussain@.au摘要在本文中，我们探讨了基于较高阶局部自相关（HLAC）系数和局部二进制模式（LBP）算子的面部表情识别的不同特征提取方法的性能。自相关系数在计算上相对简单，对于正常表达的变化而言，继承性不变且相对强大。重点是识别在不同的分辨率表达式的难题。结果表明，LBP系数具有惊人的高信息含量。引言面部表情是人的活跃状态，认知活动，意图，个性和精神病理学的明显表现;它不仅表达了我们的情感，而且在社交互动中也提供了重要的交际线索。心理学家报道，面部表情构成传达消息影响的55％，语言和声音分别占7％和38％。因此，显而易见的是，对面部表情的分析和自动识别可以改善人机对话或甚至社交互动。面部表情的自动分类由特征提取和特征分类两个阶段组成。特征提取是整个分类过程的关键。如果使用不足的功能，即使是最好的分类器也可能无法实现准确的识别。在大多数面部表情分类的情况下，特征提取的过程产生了大量的特征，随后根据某些最优性标准选择较小的特征子集。局部二进制模式（LBP）由Ojala等人首先提出[5]，是纹理描述的重要方法。基于局部二进制模式的基于块的方法被扩展用于面部表情识别。Otusu[3]提出了高阶局部自相关（HLAC）特征提取。HLAC功能是自相关特征（二阶统计）的扩展，基于高阶统计（HOS），然而所得数据的维数太高。可以通过选择基于相互信息的更多信息特征来实现维数降低[8]，[9]，[10]。在本研究中，研究了最小冗余-最大相关性（MRMR）[6]，以选择分类的最佳特征。MRMR算法基于互信息。相互信息被用作在特征缩减任务中选择特征的最优子集的客观标准。与基于经典相关的特征选择方法相反，互信息可以测量变量之间的任意关系，而不依赖于应用于不同变量的变换。在基于数据之间的线性关系的方法表现不佳的问题中，这可能是有用的。提出的面部表情识别系统的功能框图如图1所示。图1：面部识别系统的框图本文的其余部分描述了方法，实验和结果。第2节描述了用于训练和测试面部表情识别系统的数据库。第3节说明图像预处理步骤。在第4节中，说明了特征提取。第5节介绍了功能选择。第6节解释分类。第7节包含实验结果，并在第8节提出最终结论。 图像数据库从Cohn-Kanade数据库[1]中选择的图像用于训练和测试面部表情识别系统。Cohn-Kanade数据库由100个受试者的大约500个图像序列组成。受试者年龄在18至30岁之间。65％的受试者是女性;百分之十五是非洲裔美国人，百分之三是亚裔或拉丁美洲人。为了本研究的目的，选择了359个静态图像。所选择的图像代表100个不同的主题，表达六种情绪中的一些或一些：愤怒，厌恶，恐惧，幸福，悲伤和惊喜。对于每个受试者，每个表达仅使用一个图像。一些科目没有与所有六个表达式相对应的图像。图2显示了Cohn-Kanade数据库的表达样品。图2：Cohn-Kanade数据库的原始图像示例图像预处理图像预处理过程是面部表情识别任务中非常重要的一步。预处理阶段的目的是获得具有归一化强度，尺寸和形状均匀的图像序列，并且仅描绘面部区域。图像强度使用直方图均衡进行归一化。基于Haar的特征和AdaBoost学习算法，使用Viola-Jones方法[2]检测图像的脸部区域。Viola和Jones方法是一种能够实时提供竞争对象检测率的物体检测算法。它主要用于面部检测的问题。中提琴和琼斯使用的特征来自于在图像上强加的矩形区域中选择的像素，并且对垂直和水平线条具有高灵敏度。AdaBoost是一种自适应学习算法，可与许多其他学习算法结合使用，以提高其性能。AdaBoost是适应性的，意思是后续的分类器迭代构建，以修复以前的分类器错误分类的实例。在每个迭代中，更新权重分布，使得每个不正确分类的示例的权重增加（或者替代地，每个正确分类的例子的权重减小），使得新的分类器更多地关注这些示例。预处理的最后阶段包括检测图像，以最大程度的唤醒（情感强度）描绘某种情绪。这是使用最小互信息（MI）标准完成的。对于每个帧，计算当前帧和初始帧之间的相互信息，并且选择具有最小互信息的帧作为表示具有最大唤醒的情绪的帧[7]，[8]。图3：预处理后的六个面部表情图像特征提取特征提取阶段代表任何模式识别系统的关键组成部分。在本研究中，本地实现了从本地图片中提取特征的本地方法。4.1高阶局部自动相关这些特征是使用高阶局部自相关生成的。N阶自相关函数，自相关函数的扩展定义为：（1）其中表示观测像素处的强度，是N个位移。HLAC特征[3]是基于等式的原始图像特征。他们的指令和替换是任意的。然而，具有大位移区域的较高阶特征变得极其重要。因此，原始的HLAC特征被限制到二阶（三点关系）和3×3位移区域内。它们由具有0,1和2位移的25个掩模图案（图4中的25个掩模图案）表示。在整个图像上扫描每个掩模图案，并且对于每个可能的位置，计算以白色标记的像素的乘积。然后将对应于掩模的所有产品相加以提供一个特征。使用25种不同的掩模图案来形成该操作以为每个面部图像创建特征向量。每个特征值表示掩模图案的功率谱，其对应于频率分析的基函数[4]。使用傅立叶变换进行粗略的匹配，掩模尺寸对应于频率分量，并且分配的分布对应于方向分量。由于HLAC功能使用二维分布信息和方向，因此他们更紧密地分析图像。此外，我们使用大的掩模图案来支持大位移区域（图5）并提取低分辨率或低频率的特征。因此，我们使用不同尺寸的口罩在一起，并构建多分辨率功能。图4：25个HLAC特征的隐藏图案（3x3）图4：25个HLAC特征的隐藏图案（3×3）4.2局部二进制模式运算符由Ojala[5]引入的原始LBP算子是纹理描述的一种强大的方法。原来的3x3邻居被中心像素的值阈值。通过给予相应像素的二项式权重，阈值邻域中的像素值被多项式化。最后，将八个像素的值相加以获得该邻域的LBP数。基本LBP算子的说明如图6所示。图6：基本LBP操作符的图示对原始操作员的扩展是使用所谓的统一模式。如果二进制字符串被认为是圆形，则它的局部二进制模式如果最多包含从0到1的两个逐位转换，或反之亦然，则称为均匀。Ojala没有指出，在纹理图像的实验中，当使用（8,1）邻域和（16,2）邻域中的70％时，均匀模式占所有模式的90％。我们使用LBP操作符的以下符号：LBP；表示在半径为R的圆上的P个采样点的邻域使用运算符。上标u2表示使用统一模式并且使用单个标签标记所有剩余的模式。在这项工作中，LBP；被应用于提取面部图像的每个像素的LBP代码，生成LBP面。所有特征值根据均匀策略量化为59个仓。标记图像的直方图可以定义为：（2）其中n是由LBP产生的不同标签的数量（在该工作中，LBP系数被量化为59个箱体，因此n为59)并且：（3）该LBP直方图包含关于局部微图案的分布的信息，例如整个图像上的边缘，斑点和平坦区域。脸部图像可以看作是可以通过LBP功能有效描述的微观组合物。然而，在整个面部图像上计算出的LBP直方图仅对微滴的出现进行编码，而没有关于其位置的任何指示。考虑面部形状信息，脸部图像分为小区域R0;R1;…;Rm提取LBP特征（见图7）。在这项研究中，我们使用不同大小的子区域进行不同的图像分辨率。从每个子区域提取的LBP特征被连接成单个的，空间增强的特征直方图，其定义为：（4）其中；、图7：面部图像被分为100个小区域，从中提取LBP直方图并将其连接成单个直方图特征选择5.1最小冗余-最大相关性标准研究了基于互信息商（MIQ）[6]标准的特征选择方法。如果特征向量具有随机或均匀分布在不同类中的表达式，则其与这些类的相互信息是0。如果特征向量对于不同类别进行强差分表达，则应具有较大的相互信息。因此，我们使用相互信息作为特征向量相关性的度量。基于它们的联合概率分布p（x;y）和相应的边际概率p（x）和p（y），定义两个变量x和y的互信息I：（5）最小冗余的想法是选择特征向量，使得它们相互最大程度地不同。最小的冗余将使特征集合更好地表示整个数据集。令S表示我们正在寻找的特征的子集。最小冗余条件为：（6）其中是和之间的相互信息，是中的特征数。为了测量特征对于不同目标类别进行差异表达时的判别能力水平，我们再次使用目标类之间的互信息。因此，量化了分类任务的的相关性。因此，max-imum相关性条件是最大化S中所有特征的总体相关性：，（7）通过优化方程（6）和（7）中的条件，可以获得最小冗余度，最大相关性特征集。这两个条件的优化需要将它们组合成单个标准函数，如下所示：（8）在该算法中，第一特征根据等式（7），即具有最高的特征。其余功能以增量方式进行选择：早期选定的功能将保留在功能集中。假设我们已经为集合S选择了m个特征，我们要从集合中选择附加特征。我们优化以下两个条件：（9）（10）通过组合方程（6），（7）和（8），我们有以下等式来计算特征选择的MIQ：（11）分类图像中描绘的面部表情按照朴素贝叶斯（NB）分类器进行分类。NB分类器是一种已被证明在许多分类问题中有效的概率方法。它假定类的特定特征的存在（或缺乏）与任何其他特征的存在（或缺乏）无关。分类决定使用以下公式：（12）其中是使用示例在训练中学习的条件表（或条件密度）。尽管独立性假设，NB已经被证明对许多真实数据集具有非常好的分类性能，与许多更复杂的分类器相当。实验结果Cohn-Kanade数据库的面部表情图像序列用于训练和测试面部表情识别系统。Cohn-Kanade数据库由100个受试者的大约400个图像序列组成。受试者年龄在18至30岁之间。百分之六十五的受试者是女性;百分之十五是非裔美国人，百分之三是亚裔或拉丁美洲人。每个序列包含12-16帧。从低觉醒阶段开始，表达表达发育的不同阶段的图像序列达到觉醒的峰值，然后消除。每个科目的面部表情代表六种基本情绪：愤怒，厌恶，恐惧，幸福，悲伤和惊喜。训练集大小为216，测试大小为172个图像序列。使用随机选择的测试和训练集进行每次测试3次，并计算平均结果。训练集包含每个表达式相同数量的图像序列。在训练集中表达的科目不包括在测试图像中，从而确保人脸独立的面部表情分类。比较了面部表情识别任务的两种不同方法。在第一种方法中，HLAC功能用于从图像中提取特征。在第二种方法中，特征是基于LBP算子生成的。然后我们使用MIQ算法来选择分类的最佳子集。我们选择分类的最好的子集是S=55。在所有情况下，使用NB分类器对测试成像进行分类。结果显示不同的分辨率从16英镑到128英镑128.表1和表2显示了低分辨率（16x16）中不同预测的混淆。图8说明了HLAC和LBP算子的平均正确分类。表明基于低分辨率样本的LBP特征的分类结果优于HLAC特征，然而，对于高分辨率样本，LBP特征的分类性能比HLAC特征更准确。表1：HLAC功能混淆表ADFHSSuA56.225.60018.20D22.255.60F5.66.952.827.806.9H0.64.519.275.000.7S072.70Su012.54.20083.3Average65.5A：愤怒D：厌恶F：恐惧H：快乐S：悲伤S：惊喜表2：LBP运算符的混淆表ADFHSSuA58.419.04.84.813.00D11.157.4020.311.10F11.15.61.9H75.202.2S4.812.03.71.277.01.2Su02.888.0Average69.0A：愤怒D：厌恶F：恐惧H：快乐S：悲伤S：惊喜总结提出并测试了来自图像序列的面部表情识别特征提取方法的比较。该方法是全自动的，包括：脸部检测，最大唤醒检测，特征提取，最佳特征选择和分类。低分辨率图像中的局部二进制格式运算符（LBP）将正确分类的平均百分比从65.9％提高到69％，分别从16.6和32×32的67.2％增加到69.5％。图8：HLAC特征与LBP算子识别率的比较所提出的特征选择方法是基于互信息（MIQ）标准，并且不考虑数据之间的线耳依赖关系。因此，它可以处理模式坐标和不同类之间的关系。基于MI标准的特征选择的附加优点包括对数据变换的计算简单性和不变性。该系统不仅提供了优化的特征选择，而且还自动地找到一个最佳的帧来表示给定的情感类。当使用LBP算子时，观察到分类结果的总体改善和不同面部表情之间的区别。基于HLAC特征的高分辨率图像的准确性优于LBP特征，但是在HLAC特征提取过程中，复杂度和耗时更多地被区分开来。虽然LBP操作员可以提高总识别率，但它不如HLAC在高分辨率图像中的特性。在未来的工作中，我们将更多地尝试找到解决这些问题的原因和其他方法。参考文献Kanade,T.,Cohn,J.F.,andTian,Y.:“Comprehensivedatabaseforfacialexpressionanalysis,”ProceedingsoftheFourthIEEEInternationalConferenceonAutomaticFaceandGestureRecognition,Grenoble,France,pp.46-53,2000.ViolaP.,JonesM.,“RobustReal-timeObjectDetection,”InternationalJournalofComputerVision,2004.Otsu,N.,andKurita.,T.:“Anewschemeforpracticalflexibleandintelligentvisionsystems,”InProceedingsoftheIAPRWorkshoponComputerVision,pp.431-435,1988.Toyoda,T.,andHasegawa.,O.:“Textureclassificationusingextendedhigherorderlocalautocorrelationfea-tures,”Proceedingsofthe4thInternationalWorkshoponTextureAnalysisandSynthesis,pp.131-136,2005.Ojala,T.,Pietikainen,M.,andHarwood,D.:“Acompar-ativestudyoftexturemeasureswithclassificationbasedonfeaturedistributions,”PatternRecognition,Vol29,No.1,pp.51-59,1996.Peng,H.,Long,F.,andDing,C.:“Featureselectionbasedonmutualinformation:crite