人脸表情自动识别系统的研究与实现课件

1、人脸表情自动识别系统的研究与实现导师：赵政学生：孙涵提纲研究背景及意义国内外研究水平及存在问题本文采用的技术及方法工作进度安排参考文献研究背景及意义人类的语言分为自然语言和形体语言两类，面部表情是形体语言的一部分。在人类交往过程中，言语与表情经常是相互配合的。一些心理学家研究发现在人类进行会话交流传递信息时：话语内容占7%；说话时的语调占38%；而说话人的表情占55%，所以说表情在人类交往活动中起到了重要的作用。因此对人类面部表情的识别与分析有重要的意义，它不仅将有利于我们开发更高效的人机交互界面，也是研究情感机器人，使之能表现、识别和理解人类的情感的工作起点。国内外研究水平人脸表情识别是人机

2、智能交互的重要基础，该课题涉及图像处理、运动跟踪、模式识别、生理学、心理学等研究领域，是当前国内外模式识别和人工智能领域的一个研究热点。关于表情分类与识别的研究工作可以分为基于心理学的和基于计算机识别的两类，在心理学方面，1971年，Ekman和Friesen对人类情绪进行了分类，提出6种基本情绪:高兴(happiness)、悲伤(sadness)、惊奇(surprise)、恐惧(fear)、厌恶(disgust),、愤怒(anger)，每种基本情绪都对应着一个独特的较为典型的脸部表情。在此基础上他们又提出了脸部运动编码系统(Facial Action Coding System，FACS)，

3、将脸部肌肉运动划分为不同的运动单元(Action Units, AUs)，每种运动单元对应了不同的表情状态。;在计算机识别方面，最早是1978年，Suwa曾对选定的连续录像画面中脸部固定的20个点进行跟踪识别，并与典型模式进行比较以实现脸部表情识别。目前在国际上对人脸面部表情的识别及其相关方向的研究主要有美国的麻省理工大学（MIT）、卡耐基梅隆大学（CMU）、马里兰大学（Maryland）、日本东京大学（Tokyo）等。在国内，也有很多大学和科研机构从事表情识别研究，主要有清华大学、哈工大、北京交通大学、中科院自动化所和计算所等。表情识别的3个关键环节自动人脸表情识别系统包括人脸检测，特征提取

4、和表情分类3个关键环节.在分析人脸表情和抽取特征数据之前，首先要进行人脸检测。检测到人脸之后将人脸从背景中分割出来，并进行尺寸，灰度等的归一化。之后的特征提取可以分为静态和动态图像2种情况。最后，要定义一些人脸情感类别并且设计分类的算法来进行人脸的表情分类.表情特征提取的主要技术表情识别的关键在于表情特征提取的准确性和有效性上。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情况下要求图像对光照、角度等因素要进行充分的预处理，使获得的灰度值具有归一性。运动特征利用了不同表情情况下人脸的主要表情点的

5、运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，方向主要有三个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。整体法与局部法整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有：基于特征脸的主分量分析（Principal Component Analysis，PCA）法、独立分量分析法（Independent Component Analysis，ICA）、Fisher线性判别法（Fishers Linear Disc

6、riminants，FLD）、Fisher运动法（Fisher Actions）、隐马尔科夫模型法（Hide Markov Model，HMM）和聚类分析法。局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一样。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。几何法和容貌特征法几何特征法是根据人的面部的各个部分的形状和位置（包括嘴、眼睛、眉毛、鼻子）来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以识别

7、不同的表情。重要的方法是：基于运动单元（AU）的主分量分析法。在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是Gabor 小波。当然，这三个发展方向不是严格独立，它们只是从不同角度来进行特征提取，都只是提供了一种分析表情的思路，相互联系，相互影响。有很多种方法是介于两者甚至是三者之间。主成分分析PCA算法介绍PCA已广泛的运用于人脸识别和表情识别中，PCA是根据像素间的二阶相关性，利用代数中的子空间法给图像矩阵大大降维，提取那些能代表所要识别的几种特征人脸表情的主要特征分量并形成特征识别空间，利用待识别区域在此特征空间的投影距离来识别。PCA基于K-

8、L正交变换，它将一组高维训练图像集进行K-L正交变换，生成一组新的正交基，以消除原有向量间的相关性。提取出该正交基中对应较大特征值的部分特征向量，从而生成低维的表情特征空间，同时保留原高维空间的主要成份分量。PCA算法介绍 设训练集中每一幅表情图像对应一个高维向量，则训练集可表示为S=X1，X2，.，XN，Xk表示第k(1=k=N)幅表情图像向量。N为训练图像的总数。则训练集的总体协方差矩阵为: 对该协方差矩阵对角化以获得特征值，和对应的特征向量，则所有的特征向量组成一个标准正交系。特征脸方法的不足用训练过的人和未训练过的人分别做测试，实验结果：本文采用的方法对于人脸先定位眼睛和嘴的区域，然后

9、对眼睛和嘴的区域分别进行PCA算法，形成特征眼和特征嘴，然后将测试图片的眼睛和嘴的区域分别投影到特征空间，得到眼睛和嘴在特征空间的坐标，然后根据眼睛和嘴对于表情识别的重要性给与不同的权重，进行分类。与小波变换相结合小波变换的实质是对原始信号的滤波过程，各尺度时间内的低频信号和高频信号能够提供原始信号的时频局部信息。在图像识别领域，应用比较多的是对数字图像的二维离散小波变换。经过小波分解处理的图像数据可以得到一系列不同分辨率的子图像，分别刻画出不同频率的图像信息。一副图像经过一层二维小波变换后，被分成4个子图：LL，LH，HL，HH。LL频带保持原图像的内容信息，HL频带保持了原图像的水平方向上

10、的高频边缘信息;LH频带保持了原图像的垂直方向上的高频边缘信息;HH频带保持了原图像在对角线方向上的高频信息与小波变换相结合对定位后的眼睛和嘴区域先进行小波变化，然后对不同频带图像分别做PCA，根据实验结果选取识别率好的频带图像，作为分类依据，并给不同频带图像以不同的权重，初步观察，近似图像和水平高频将对识别有较好效果。人脸表情识别系统流程图原始图片二值图片眼睛区域嘴区域低频图像高频图像低频图像高频图像投影坐标投影坐标投影坐标投影坐标分类结果二值化，去噪水平投影定位眼嘴截取截取小波变换小波变换PCAPCAPCAPCA分配权重进行分类进度安排9月11月完成算法的理解与研究和程序的初步编写与调试。

11、12月2月完成基于JAFFE人脸数据库的实验，根据实验结果调整算法，完善识别系统。3月5月编写论文。 主要参考文献1Essa Irfan A. Coding, Analysis, Interpretation, and recognition of Facial Expressions J. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997-07, 19(7): 757-763.2Calder Andrew J, Burton A Mike, Miller Paul, Young Andrew W. A P

12、rincipal Component Analysis of Facial Expressions J. Vision research,2001, 41: 1179-1208.3Baek Kyungim, Draper Bruce A, Beveridge J Ross, She Kai. PCA vs. ICA: A comparison on the OL./facialrecognition/FRVT2000/frvt2000.htm4Havran C, et al. Independent Component Analysis for face authentication A. K

13、ES2002 proceedings- knowledge-based intelligent Information and Engineering Systems C. Crema (Italy), 2002-09. 1207-12115Bartlett Marian Stewart, Lades H Martin, Sejnowski Terrence J. Independent component representations for face recognition Proceedings of the SPIE Symposium on Electronic Imaging A. Science and Technology; conference on Human Vision and Electronic Imaging C.California: San Jose, 1998-01.6Cohen Ira, Garg Ashutosh, Huang Thomas S. Emotion Recognition From Facial Expressions using Multilevel HMM OL./ashutosh/pap