人脸表情识别

1、图像处理与模式识别人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训 练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获 得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也 是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的 科研人员的关注。本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识 别系统所涉及到的关键技术：人脸表情特征提取，做了详细分析和归纳。关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a ki

2、nd of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer inte

3、raction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic.In this paper,we present the latest development of this area,and give a detailed analysisand summary for facialexpression feature extraction.

4、Keywords : face location; integral projection; facialexpression recognition; manifold learning;GILTSA TOC o 1-5 h z 1简介12研究背景及意义23国内外研究概况及发展趋势24几种最新的表情特征提取方法3静态图像的表情特征提取方法3动态图像序列的表情特征提取方法51简介自然语言和形体语言是人体语言的主要部分。通过面部的不同变化来进行表 达是形体语言的一种表达方式，我们把这种表达方式称之为面部表情，是我们进 行交往和表达情绪的一种重要手段。情绪的产生通常会出现相应的形体语言行 为，比如

5、面部表情和身体的动作，而面部表情不经过特殊训练很难进行掩饰。因 此，当一个人准备对其交流的人进行欺骗时，自然语言的掩饰往往比面部表情更 为容易。在日常的生活中，人类通过人脸的细小的变化可以精确且充分的传递各 种信息，同样的，也可以通过人脸表情信息去识别对方所要表达的态度和内心观 点，因此人脸表情在人类平常的生活交流和交往中占据着重要的作用。专家研究表明：在人类的日常交流中，情感信息的表达主要是通过语言、声 音、和面部表情来传递的，其中通过语言传递的信息占信息总量的7%，声音传 递的信息（主要包括音调的高低，语速的快慢等因素）为38%，而通过人脸表情 传递的信息却达到信息总量的55%。因此可知，

6、人脸表情是进行人与人之间情感 信息交流的重要方式。不同于常见的人为的通过人眼去观察脸部表情的变化来获 取信息，我们所指人脸表情识别是通过软件分析人面部表情的变化来获得其内心 的情绪和思想活动，进而得到大量的更加真实的内在信息。在人机（人类与计算 机或者机器人）交互中，如果机器能够获取并理解人脸表情的一些信息，机器能 够更好的理解人的表达和需求，这样可以使得机器更加的智能化，更有利于机器 人的实际应用发展。同时，利用计算机对人类表情进行分析也能够更好的促进人 与人之间的交流，使得人与人之间，尤其是残障人士更好的表达自己，也能使得 彼此之间能够更好的理解彼此的所表达的实际内心想法。然而在人脸表情识

7、别研 究中我们发现，相对于预处理和最终的识别过程，在特征提取过程中，由于人脸 是易变的、非刚性的，很难用固定的模型进行描述，因此特征提取是人脸识别技 术中一个基本而又十分重要的环节。这里将会对特征提取和降维技术以及它们存 在的问题进行研究，以求得更好的表情识别率，更好的将表情识别运用的实际的 生活中去，进而推动表情识别的研究、应用。2研究背景及意义人类表情识别技术的研究和实现的意义主要体现在以下几个方面：（1）能 够很大的拓展相关学科的研究范围，促进其发展。面部表情识别在本质上一个机 器视觉领域的问题，但是人的面部表情识别的研究融合了认知科学、生理学、心 理学等多门学科的问题。如何利用现有的心

8、理学、生理学的知识通过计算机去判 断、解释这些学科上的问题，是人工智能领域和机器视觉领域的核心问题，在这 个课题上的研究可极大促进这些学科的成熟和发展。（2）提高案件侦破效率。当今社会，犯罪人员越来越会伪装，使得办案人 员，有时候无法识别犯罪嫌疑人的供词的真假。根据在不同提问时犯罪嫌疑人的 不同表情，可以更好的甄别出谎言。这对办案人员的案件侦破效率将会有极大的 提高。（3）改善现有的人机交互，获得更加智能化的人机交互环境。如果机器人 能通过人脸表情分析，来获得人类的真实内在的想法，则可以极大的提高机器人 的智能化水平，更好的促进智能机器人的更好，更快，更实用化的发展。（4）在教育领域。通过在课

9、堂上对老师和学生的实时表情分析观察可以更 好的了解学生的兴趣爱好，老师的教学能力。以便于老师能够更好的改进自己的 教学方式，促进教师与学生的非语言交流，使老师能够在课堂上更好的把握学生 的心里发展。（5）医疗领域。在利用机器人进行手术操作和利用机器人进行病人的护理 中，根据病人表情的变化来了解病人身体状况，可以更好的进行手术和护理操作， 避免悲剧发生。3国内外研究概况及发展趋势未来研究方向主要有以下几个方面：（1）人脸为非刚性的柔体，人脸的不同表情表现在图像上会产生多种不同 的变化，如五官的位置，形状等。不同的表情特征对于表情识别的识别率和速度 影响极大。因此如何提取表情的有效特征，对于这些特

10、征如何进行有效的表达这 些是科研人员必须要解决的问题。（2）人类表情千变万化，而且存在时间很短，对于整个表情识别的过程需 要进行人脸定位、特征提取和识别，因此计算量必然很大。如果对于这些过程进 行粗略处理，那么识别结果必然会受到一些因素的影响，识别率一般不会太高； 而进行精细处理，虽然能有效的提高识别率，但是时间的花费必然很高。如何提 出一种有效的算法，既能具有较低的时间去处理这些过程，又能具有较高的识别 率，是科研人员不得不需要面对的一个问题。（3）人脸表情会受到多种因素的影响，比如光照、姿态的变化，脸部阻挡 等。如何解决这些问题对表情识别的影响，也是比较大的一个挑战。4几种最新的表情特征提

11、取方法静态图像的表情特征提取方法静态图像就是无变化的静止图片，在经过一系列的预处理（如旋转校正、人 脸定位、尺度归一、缩放等）之后就作为后续处理过程的对象。a、几何特征提取方法几何特征的提取方法是一种宏观的方法，也就是说从总体上表示出人脸的结 构变化。该方法的主要工作是提取人脸面部的特征点，通过利用特征点之间的几 何关系来提取人脸表情特征。但是，几何特征的获取对特征点提取的准确性要求 比较高，对细微变化的信息区分性不够。代表性的几何特征提取方法主要有以下三种:主动形状模型(Active Shape Models, ASM)。是由Cootes等提出的 一种基于统计模型的特征匹配方法，首先提取表情

12、轮廓的特征点，特征点的集合 形成训练集。这样就可以用点分布模型进行描述，得到样本的统计模型。然后ASM 方法使用局部纹理模型在人脸表情图像中寻找特征点的最佳位置，并且根据搜索 结果来调整统计模型的参数，这样可以使模型与人脸表情图像的轮廓逐步逼近， 就可以达到准确定位目标的目的。活动外观模型。1998年，Cootes等首先在ASM模型的基础上提 出了 活动外 观模型(ActiveAppearance Models， AAM )方法。跟 ASM 类似的是，AAM也是在对训练数据进行统计分析的基础之上建立模型，再利用该 模型对目标来进行拟合计算。Cheon等提出了一种差分主动外观模型(AAM)和流

13、形学习相结合的人脸表情识别方法，首先用差分AAM功能计算输入的人脸图像和 一个模型之间的差异，然后用流行学习算法将提取的特征投影到连续的特征空 间，最后进行表情的分类识别。尺度不变特征转换(Scale-invariant FeatureTransform，SIFT)。是 一种局部描述子，它具有尺度不变性，可在图像中检测出关键点。Berretti等 提出一种方法，利用SIFT描述子来描述图像的深度及纹理，然后选择最相关的 功能特征，特征提取后再利用SVM进行分类，在BU-3DFE数据库中，已获得 77. 5%的平均识别率。b、外貌特征提取方法外貌特征的提取方法是一种微观的方法，外貌特征是基于使用

14、全部人脸图像 像素性质的特征，反映了人脸图像底层的信息，尤其表现了局部细微变化的信息。 代表性的外貌特征提取方法主要有以下二种：局部二 值模式(Local Binary Pattern， LBP)。是一种有效的 纹理描述算子，是用来做图像局部特征比较的，它能对灰度图像中局部邻近区域 的纹理信息进行度量和提取，并且能有效抑制光照的影响。使用LBP算子的优点是它具有良好的旋转以及灰度的不变性，而且能够克 服图像的位移、旋转以及光照不均衡等方面的问题。它的计算比较简单，能够有 效提取代表图像本质的纹理特征信息。Shan等人用增强的LBP算法来进行特征 提取，而且他们发现通过用支持向量机（SVM）的方

15、法来分类的话，可以得到很 好的识别效果。除了这个，他们还用LBP算法来对低分辨率的图像就行特征提 取，发现它还是有着稳定的表现。（2）Gabor小波变换。是人脸表情特征提取的一种经典手段，利用一组滤 波器对图像进行滤波，其结果就可以反映局部像素之间的关系（梯度、相关性、 纹理等）。Gabor小波的方法已经被广泛应用于人脸表情的特征提取，它能够检 测多尺度、多方向的纹理变化，同时受光照变化影响较小。Liu等提出了一种结 合Gabor小波和核主成分分析（KPCA）进行人脸表情识别的方法，取得了较好 的性能。动态图像序列的表情特征提取方法基于动态图像序列的特征提取方法与静态图像的不同之处在于：动态序

16、列 图像反映了人脸表情运动的连续过程，因此动态图像序列的表情特征主要由人脸 的形变及面部各个区域的肌肉运动上体现出来。目前，基于动态图像序列的特征 提取方法主要有光流法、模型法、特征点跟踪法和弹性图匹配法等。a、光流法1998年，Negahdaripour将光流重新定义为动态图像的几何变化和辐射度 变化的全面表示，研究景象中物体的结构及其运动与图像灰度在时间上的变化关 系。在人脸表情识别中，多采用光流法提取动态图像序列的表情特征，这主要在 于光流法具有突出人脸形变、反映人脸图像序列运动趋势的优点。Yacoob等首 先使用连续帧之间的光流场和梯度场来表示图像的时空变化，实现图像序列中人 脸图像的

17、表情区域跟踪;然后根据特征区域运动矢量的变化，计算人脸肌肉的运 动，进而分类对应不同的表情。b、基于特征点跟踪的方法将特征点选在灰度变化较大的区域，比如眼角点、嘴角点等。跟踪这些点便 于得到脸部特征的位移或形变信息Tie等提出了一个自动从视频序列的面部模 型上提取26个基准点，并通过多个粒子过滤器来进行跟踪的方法。根据基准点 的位移，可以构成一个网络模型，最后可从计算得到人脸表情的变化。C、基于模型跟踪的方法不同于特征点的跟踪，基于模型跟踪的目标是整个人脸。这里的模型可以是 2维或3维的，但大多数模型都需要较复杂的计算Huang等使用多分辨率的3 维变形的人脸模型来对人脸图像建模，而且采用了多

18、层次的跟踪方法。全局形变 的跟踪由底层的数千个节点来完成，对于局部的纹理变化，用非刚性面部跟踪算 法来进行获取。该方法适用于3维人脸深度扫描数据，可以对细微的表情细节 进行提取和跟踪。d、弹性图匹配法弹性图匹配法的基本原理是：在输入的人脸表情图像上选取特征点来构成 具有一定拓扑结构的弹性图，然后提取每个节点上的特征矢量，构造相似度函数 来比较特征矢量和拓扑结构的相似程度。如果相似度最大，就可以完成匹配。曹 宇嘉等选定34个特征点，再将部分节点连接起来后形成一定的拓扑结构，并在 每个节点上用差值模板来提取1 X 40维的特征矢量，就构成了一张弹性图。 然后还要经过全图匹配阶段、子图匹配阶段、逐点调整阶段。参考文献：王志良，孟秀艳.人脸工程学M.北京：机械工业出