基于SVM的表情识别方法

基于SVM的表情识别方法FacialExpressionRecognitionBasedonSVM摘要在现在人机交互的研究中，人脸表情识别研究占据着重要的位置，它在教育、机器人、医疗等行业有广泛的应用前景，对模式识别、计算机视觉、人工智能等学科发展具有重要的推动作用，特别对于增强计算机的智能化、人性化以及开发新型人机交互系统有着重要的现实意义，而且更具有重大的经济利益和社会效益。段首严格空两个格主成分分析（PCA）是一种统计分析、简化数据集的方法，它利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分。本文使用PCA进行特征降维，将图像高维特征映射到低维特征子空间中。在降维后的特征子空间中构造SVM分类器进行人脸表情样本的训练和识别分类。还要给出识别效果实验得到的数据证明经过PCA特征降维SVM识别分类的人脸表情识别平均准确率较高。段首严格空两个格还要给出识别效果

Abstract随中文改，两端对齐随中文改，两端对齐Inthecurrentresearchonhuman-computerinteraction,theresearchonfacialexpressionrecognitionoccupiesanimportantposition.Ithasawiderangeofapplicationprospectsineducation,robotics,medicalandotherindustries,andisimportantforthedevelopmentofpatternrecognition,computervision,artificialintelligenceandotherdisciplines.Theroleofpromotion,especiallyforenhancingtheintelligenceandhumanizationofcomputersandthedevelopmentofnewhuman-computerinteractionsystems,hasimportantpracticalsignificance,andithassignificanteconomicandsocialbenefits.Principalcomponentanalysis(PCA)isamethodofstatisticalanalysisandsimplificationofdatasets.Itusesorthogonaltransformationtolinearlytransformtheobservationsofaseriesofpossiblerelatedvariables,therebyprojectingthevalues​​ofaseriesoflinearunrelatedvariables.Theseunrelatedvariablesarecalledprincipalcomponents.Inthispaper,PCAisusedforfeaturedimensionalityreduction,andthehigh-dimensionalfeaturesoftheimagearemappedtothelow-dimensionalfeaturesubspace.SVMclassifierisconstructedinthefeaturesubspaceafterdimensionalityreductiontotrainandrecognizefacialexpressionsamples.

目录第一章 绪论 11.1课题背景和意义 11.2人脸表情识别的研究内容 21.3国内外研究现状 31.4主要研究内容 4第二章 人脸表情识别方法 52.1人脸表情识别主要步骤 52.2图像预处理 52.3人脸表情特征提取 62.4人脸表情分类 7第三章 人脸表情特征提取及分类识别 83.1PCA主成分分析 83.2支持向量机 93.2.1最优分类面 103.2.2SVM核函数 113.3实验结果分析 12第四章 总结与展望 134.1总结 134.2展望 13文献参考 14

绪论从这页开始有页眉，以前页中出现的页眉均去掉从这页开始有页眉，以前页中出现的页眉均去掉1.1课题背景和意义在现代生活中，表情在一定程度上是人对某个事物态度的反映，对于理解他人意图有一定的帮助，情绪对于协调人与人之间的关系具有重要作用，而人脸表情是人类情绪的直观反映，随着计算机科学技术的不断进步与发展，人们为了能够更多的享受信息互联网时代的便捷，为了让计算机给人们生活、工作、学习带来的更多方便和快乐，人类表情识别研究成为世界各国的研究院和高校的研究课题。人脸表情包含了大量重要信息，包括心理信息和情感信息。是人们之间和谐交往的重要纽带，是人们情感交流以及表达动作心理意图的最重要的方式之一。心理学家指出，在人们的日常交往中，信息交流主要由语言语音和表情来传递。其中语言携带的信息占7%，声音携带的信息占38%面部表情携带的信息占55%，可见人类面部表情在人们交往中占有十分重要的地位。人类表情能够传递许多特殊信息，而这些信息十分微妙不是声音和语言能够传递的，因此人脸表情识别在语言学、医疗、服务，人机交互方面有着十分重要的应用地位。人脸表情识别研究包括很多内容，其中主要包括人工心理学研究和人工情感理论研究两个组成部分。人脸表情识别涉及的内容和研究领域十分广泛主要包括：图像处理、计算机视觉，图形学、人工智能、模式识别、生理学，心理学等。人脸表情识别的理论研究加快了这些相关领域的理论研究与创新。在多形态人机交互接口界面中，表情特征与体态语音等特征结合起来可以获得高效率的人机交互。因此，人脸表情识别在高效人机交互中占据重要位置。对人脸表情识别的深入探讨研究可以使计算机更好的理解人类情感和心理变化，在人机交互中变的更智能，更聪明，从而在更多的领域协作甚至代替人类去工作，从而更好的为人类服务。人脸表情识别在许多其他高科技领域都存在着潜在的应用价值。从科研角度分析：对人脸表情识别技术的研究，包括分析，编码，表情分类识别等对智能人机交互图像理解具有十分重要的意义，对促进机器视觉、编码通信等具有积极的推进作用和价值；对语言行为学、心理学等基础学科研究具有理论验证实验验证的特殊作用。从商业应用角度来讲，人脸表情识别具有广阔的市场应用前景：可视电话与视频会议，国际标准化组织在电子通讯与数据压缩定义中己经声明，在未来在电视数据传输中为人类体式和人脸表情提供足够的编码与合作设备。电脑游戏中可以加入人脸表情识别系统，游戏系统随时获取玩家的表情，通过分析表情特征，对玩家的喜弄哀乐做出实时的反应，也就是所电脑游戏更智能化更人性化，这样的游戏会更逼真，更具吸引力。疲劳驾驶中的人脸表情识别应用，现在的汽车设备在司机疲劳驾驶时没有什么提示或警告，很容易因为疲劳驾驶造成不必要的交通事故，如果汽车加入人脸表情识别技术，在司机疲劳驾驶时给出强有力的警告一定会避免许多事故的发生。人脸表情识别技术还可以应用在飞机车间等需要良好精神状态工作的场合，通过表情分析，识别痛苦不适表现，疲劳压力过大等表情特征，及时报警，避免事故发生。辅助教学软件可以加入人脸表情识别技术，分析学生的精神表情状态，从而可以自动分析教学效果、学生的学习状态，从而进行更好的教学计划安排。1.2人脸表情识别的研究内容人脸表情识别是智能人机交互的理论基础，属于模式识别领域，还涉及计算机视觉，人工智能，图像处理等。面部表情识别一般可以理解为从包含人脸的静态图像或动态人脸图像序列中确定人脸的表情特征并进行分类，人脸表情识别的研究主要包括以下三个方面：人脸检测与人脸表情图像预处理：即从不同的背景图片中检测出人脸并确定其位置。对于视频图像不仅要求定位人脸，而且还要求跟踪人脸，这一注意语句的通顺步骤主要受光照背景等因素影响。目前人脸检测与跟踪已经作为独立的研究课题受到很多学者的重视，本论文不进行阐述研究。注意语句的通顺表情特征提取：即采取某种表示方式表示被检测出来的面部表情图像或数据库中的面部表情，表情特征提取时表情识别的关键。表情识别：使用模式识别的分类方法，把不同的表情划分到相应的类别中去，表情分类是表情识别研究的最后阶段，核心是选择合适的分类方法。1.3国内外研究现状人脸表情识别的最终目标是计算机可以识别人类的面部表情从而更好为人类服务。人眼可以十分容易并且十分准确的识别不同的表情及表情变化，因此人类对表情的识别处理机制可以为表情识别提供理论指导和启示。对人脸表情的研究从世纪就已经幵始了。生物学家达尔文1872年做的实验表明，人脸面部表情的意义稳定，不会随着种族、性别、国家的不同而变化。美国心理学家Ekman和Friesen于1971年定义了6种基本表情：生气、厌恶，恐惧、高兴、悲伤、惊讶⑴，详细说明请参见表，他们在1978年创造性提出面部动作编码系统FACS(FacialActionCodingSystem)来检测面部表情的细微变化。大多数研究者都基于这六种基本表情另外加一种中性表情。最近，人脸表情识别研究进展很快。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有人脸表情识别研究组进行研究。人脸表请识别需要大量的人脸表情图片，为给研究测试带来方便，同时为比较各种算法的优劣提供可靠的数据证明。这就需要建立强大的统一的人脸表情数据库。目前表情识别研究中使用的的人脸表情数据库主要有：日本女性表情数据库（JAFFE）该数据库是由10位日本女性在实验环境下根据指示做出各种表情，再由照相机拍摄获取的人脸表情图像。整个数据库一共有213张图像，10个人，全部都是女性，每个人做出7种表情，这7种表情分别是：悲伤,高兴,生气,厌恶,惊讶,恐惧,中性.每个人为一组，每一组都含有7种表情，每种表情大概有3,4张样图。JAFFE数据库均为正面脸相，且把原始图像进行重新调整和修剪，使得眼睛在数据库图像中的位置大致相同，脸部尺寸基本一致，光照均为正面光源，但光照强度有差异。TheExtendedCohn-Kanade数据库该数据库是在Cohn-KanadeDataset的基础上扩展来的，发布于2010年。这个数据库包括123个项目,593个图像顺序，每个图像序列的最后一张框架都有actionunits的标签，而在这593个图像序列中，有327个序列表情的标签。国内外现状有引用参考文献国内外现状有引用参考文献图1-1Cohn-Kanade数据库YaleFace数据库该数据库包含了5个人的165幅GIF格式表情图像。1.4主要研究内容本文主要基于静态人脸表情图像进行表情识别研究，主要研究表情特征提取、表情分类等。集中在图像与处理表情特征提取与降维，最后研究表情识别算法及其效果分析。

人脸表情识别方法2.1人脸表情识别主要步骤人脸表情识别主要包括四个方面重要内容：人脸检测、人脸表情图像预处理、人脸表情特征提取、人脸表情分类，人脸表情识别流程图如图1-2所示。首先要确定人脸表情区域的大小和位置。对人脸图像要消除光照背景等噪声，要通过图像的预处理获取标准规范化的人脸图像，然后对规范化标准人脸图像进行特征提取，获取带有表情信息的特征，减少人脸表情图像的数据量，最后对得到的表情特征分类，从而获得不同类别的表情图像，人脸检测已成为单独的课题，本文不对人脸检测进行详细研究。人脸检测人脸检测人脸表情图像预处理人脸表情特征提取人脸表情分类图2-1表情识别主要步骤2.2图像预处理利用图像设备采集图像时由于设备自身的优劣性能会使图像产生凹凸变形等不利等因素，外界干扰会生图像携带很多噪声，因此直接拍摄的图像在人脸表情识别研究中不能直接使用，需要对原始设备获得的人脸图像进行预处理，从而提高图像向对比度，消除背景对面部特征的影响。常见的图像与处理方法有：直方图均衡法，灰度变换法，频域增强技术，以及各种滤波技术。在常用的线性滤波中高斯滤波效果较好。人脸表情图像预处理主要方法有几何与处理、灰度预处理。几何预处理主要是对图像进行几何变换，包括旋转、缩放等，使人脸图像归一化到相同角度大小和位置。在几何坐标变换中两眼坐标常用作几何变换依据。灰度预处理方法主要使用直方图法，包括：直方图均衡化、和图像平滑等。实际研究中先用直方图均衡化对图像灰度进行拉伸变换，从而改变图像的对比度，之后对图像灰度值进行归一化处理。灰度预处理可以消除光照对图像的影响。2.3人脸表情特征提取表情特征提取是人脸表情识别的关键，主要是提取反映表情特征的关键信息。可以看作是一个降维的过程，是人脸表情识别系统关键的一部分。为了得到符合条件的特征信息特征提取通常先提取表情图像的原始特征信息。由于表情图像的原始特征信息具有一定的冗余度，为了更有效地表达人脸表情特征，还要对原始数据进行特征降维，去干扰等处理。几何特征提取法已经不是研究的主体，因为人脸几何特征提取法对表情易于变化的特性较敏感，必须融合其他方法才能获得较好的特征提取效果。基于静态图像的表情识别方法大体可以分为以下两类：整体特征提取法和局部表情特征提取法。整体特征提取法把整个表情人脸图像作为一个整体分析，其中经典的算法有：主元分析法涉及的方法一定要引参考文献（PrincipalComponentAnalysis,PCA）主元分析法又称K-l变换是特征降维的有效方法，因为传统的特征提取算法提取额的人脸表情特征向量的维数巨大，直接用于计算，计算量太大实时性不好，另外原始特征维数向量存在冗余信息，因此可以通过变换将高维特征向量映射到低维子特征向量空间，通过转换，特征有效信息量变大。但是PCA方法也有缺点：运算量较大，对图像定位要求高。涉及的方法一定要引参考文献局部特征提取法。基于局部特征方法是表情特征提取的主要方法，通过设计一组滤波器对人脸表情图像进行滤波，结果可以体现图像表情特征细节之间的关系（梯度，相关性，纹理等）。该类方法一般根据局部几何特征和面部纹理来提取特征矢量，重点对含有丰富的表情信息的部位进行特征提取，其中典型的方法有：局部二值模式法（LocalBinaryPatterns,LBP）是机器视觉领域中用于分类的一种特征，于1994年被提出。局部二值模式是一个简单但非常有效的纹理运算符。它将各个像素与其附近的像素进行比较，并把结果保存为二进制数。由于其辨别力强大和计算简单，局部二值模式纹理算子已经在不同的场景下得到应用。LBP最重要的属性是对诸如光照变化等造成的灰度变化的强健性。它的另外一个重要特性是它的计算简单，这使得它可以对图像进行实时分析。2.4人脸表情分类人脸表情识别前面所有步骤都是为了最后的表情特征分类，本问主要探讨基于机器学习的支持向量机。支持向量机（SuportVectorMachine,SVM）用的经典的统计学方法是模式识别的基础，当要识别样本数量有限时很难达到理想的识别分类效果。但实际情况中，待测样本不可能无限多。SVM是在统计学理论基础上发展起来的一种经典的小样本分类方法。在一定程度上解决了样本数量小的难题。有效解决了模型选择问题非线性等问题，而且SVM方法有效避免了传统学习方法的过学习问题，维数灾难问题。因为具有突出的学习能力现在已经成为机器学习研究理论的热点,在目前机器学习中有着广泛的应用。

人脸表情特征提取及分类识别3.1PCA主成分分析模式识别中有很多方法，其中线型映射方法中主成分分析（PCA）占据重要的位置，在多维模式空间中，PCA方法根据样本点的位置分布，并以样本点在空间的方差最大方向为基准判别矢量，并以此来提取数据特征和进行数据压缩。根据概率论原理统计特征知道，一个随机变量的方差越大，则其包含的有效信息就越多，当随机变量的方差为零时，该变量为一个常数不包含任何有效信息。主成分分析法是一种数学变换的方法，它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分，依次类推。PCA在图像处理中也称K-L变换，特征提取方法中属于无监督线性方法，该方法在均方误差最小意义下可以实现数据压缩的最优变换。因为各个主成分分间是线性无关的，因此该方法适用于消除图像特征相关性计算。可以按方差大小顺序也就是按对应的特征值从大到小的顺序排列各个主成分。包含噪声的主成分具有以下特征：其对应的方差较小，另一方面也就是其对应的数学量子特征值较小，在进行特征向量分析时把这些噪声分量排除在外，从而达到降维的目的。通常判别分析平面由前几个方差较大的主成分量构成。在人脸表情识别中应用主元分析法需要一定的步骤进行特征空间的训练，具体如下：对于一个给定的训练样本数为N的人脸表情训练集，要使MxM的每幅图像按列排列成为一个向量取值Xi,i取值0,1,2,…,N。表达并计算所有表情图像样本的总体训练表情图像u,公式如下u=1Ni=1Nxi公式要有编号，如（3-1）获得中心化后的表情图像，计算方法简单即用每幅人脸表情图像减去平均图像，公式如下xit=xi-ui=1,2,…,N构造一个有序的矩阵，该矩阵由中心化后的表情图像一次排列构成，公式如下A=x1−u,x2计算矩阵S=AS=Sv=γv（3-4）其中γ为特征值，v为对应的特征向量。假设vit为Vit=1λⅈAv其中λ为矩阵ATA的l个非零特征值，Vit为AT根据上面求得的特征值根据下面算式计算求使η最大的K个特征值对应的特征向量Vit。一般情况下取值为η，根据以上几步计算投影得到PWpca=v1`,v2`,…,vk将表情图像投影到PCA子空间Wpca=(X−u) (3-7)最后将所有待测试图像和训练用的人脸表情图像都投影到PCA子空间就可以进行表情特征分类了。3.2支持向量机SVM是统计学习理论建立在有限样本学习基础上的分支，于1992年至1995注意格式年，Vapnik提出的支持向量机有两个标准：以训练误差约束优化问题和设置目标为置信范围最小化，很明显SVM是基于结构风险最小化准则的机器学习方法，建立在VC维理论基础之上，与其他传统方法相比较具有下面几个优点注意格式SVM的本质转化为二次规划问题求解，对于有限样本非线性高维模式识别问题有独特优势。因为SVM具有全局的独一无二的解，其具有比人工神经网络更优的逼近，可以有效地避免局部极小值问题。SVM的实质是把现实中待解决的问题从低维空间转换到高维空间，其使用工具是非线性变换。在高维空间中构造线性判别函数来实现原来空间中的非线性判别函数。其特殊的性质保证了良好的推广能力。同时非线性变换算法复杂度与维数没有直接的关联有效地解决了维数灾难问题。在基于SVM的学习方法中，其实现的核心是定义内积函数，不同的内积函数可以实现不同的学习方法，常用的有：多项式逼近，贝叶斯分类器，径向函数。多层感知网络等。基于以上分析，可以解决小样本问题，有效避免过学习和欠学习的问题，并且有效避免了维数灾难问题，本课题基于的方法设计分类器进行人脸表情识别。3.2.1最优分类面线性情况下的最优分类面线性可分的最优分类面，以二维空间两类不停样本可分情况可以由下图说明图3-1最优分类面图太大且不美观图太大且不美观图中两类不同的点代表两类样本，H为分类线，经过训练H可以把两类样本正确的分开，H1和H2是在两类样本中间穿过并且离分类线H最近。分类间隔(margin)可以由到的距离定义。最优分类线有两个标准：一是使两类正确无误的分开，从而保证经验风险最小，二是分类间隔即两类间的距离最大，保证真实风险最小，这是由推广性界中的置信范围最小来保证的。一般情况下高维空间中线性分析判别函数如下：gx=ωx+b （3-当取gx=0即y;wxi在满足上面公式的情况下使ω或ω2最小的的分类面就是所求的最优分类面。在图(4-1)中称H1和H2为超平面，H1和H2上的样板即平面内和经过的样本就是使公式（3-2）成立的样本，它们就叫做支持向量机。Lw,a,b其中ai,i=1,2,…,n为拉格朗日乘子。在Kuhn-TurcherQα=其中ai为拉格朗日系数，每个ai对应一个训练样本fx=sgn支持向量αi∗在上面公式中xi为支持向量，αi为对应的拉格朗日系数，b∗广义最优分类面最优分类面的前提条件是线性可分的，当线性可分条件不满足时，可以通过增加一个条件：ξi≥0这样条件（3-y;wxi+b−在满足条件（3-6）的约束条件下求解下面函数的极小值，公式为：ϕω,ξ=其中C为惩罚因子参数，该因子是一个正常数，可以指定它的值用于对错分样本的惩罚程度进行度量，从而在学习机器复杂性与错分样本的比例之间寻求到平衡点，C的大小与错误分类的惩罚度成正比.约束条件为：i=1ny线性可分和线性不可分条件下求最优解问题是一般和个别的关系，可以把线性可分最优解问题看作一般情形，线性不可分求解最优解问题是特殊情形。3.2.2SVM支持向量机SVM的基本思想就是首先定义一个恰当的核函数来实现非线性变换,然后通过该非线性变换将输入空间变换到一个高维特征空间,在这个特征空间中求取最优超平面。支持向量机分类函数在形式上类似于一个神经网络,其输出是若干中间层节点的线性组合,而每一个中间层节点对应于输入样本与一个支持向量的内积,如图所示图3-13.2.3SVM核函数不同的核函数可以推算出不同的SVM算法，目前机器学习领域基于SVM的研究中核函数主要有下面3种核函数多项式形式\Kx,y=RBF径向基函数Kx,y=e经过上面公式推算可以得到一个径向基函数的分类器该分类器是支持SVM的，在这里，与传统RB不同的是支持向量对应于每个基函数的中心，算法自动确定其输出的权值，其中关于选取σ只有定性的分析没有定量的分析。Sigmoid核函数Kx,y=tan通过上面核函数推出的支持向量，可以实现一个多层的隐层神经网络感知器，算法自动确定神经网络的权值，隐层节点数，并且没有经典神经网络的局部极小值问题。3.3实验结果分析基于JAFFE人脸表情库的特点与六种基本表情相符，本文釆用该数据库进行人脸表情分类的实验。在表情分类的各阶段分别釆用前面章节论述的方法进行运算，也就是经过图像与处理，表情特征提取，最后结合支持向量机（SVM）分类器对前面提取的表情人脸特征对表情进行分类。主要做两组实验哪三组？，其中一组采用与人相关的方法使用原始图像与特征降维后进行表情识别进行SVM训练并测试，实验方法为：分别取每个人的一张图像进行样本测试，剩下的类别是训练样本，遍历3种情况，取平均值作为识别率。采注意格式用径向基函数作为的核函数，实验结果如下面的表格，表3-1是与原始图像表情识别结果。哪三组？注意格式表3-1原始图像SVM表情识别结果实验结果太少实验结果太少输入输出生气厌恶恐惧高兴中性悲伤惊讶识别率生气243