人脸表情识别综述

1、人脸表情识别综述一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、 医疗、通信和汽车领域等二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感， 每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本 情感，由愤怒（anger）、高兴（happiness）、悲伤（sadness）、惊讶（surprise）、 厌恶（disgust）和恐惧（fear）组成人脸面部表情运动的描述方法-人脸运动编码系统FACS （Facial ActionCoding System），根据面部肌肉的类型和运动特征定义了基本形变单元AU（Action U

2、nit），人脸面部的各种表情最终能分解对应到各个AU上来，分析表 情特征信息，就是分析面部AU的变化情况FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间 描述信息，只是一个启发式信息三、人脸表情识别的过程和方法1、表情库的建立：目前，研究中比较常用的表情库主要有:美国CMU机器人研究 所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database（简称CKACFEID）人脸表情数据库；日本ATR建立的日本女性表情数据库 （JAFFE），它是研究亚洲人表情的重要测试库2、表情识别:（1）图像获取:通过摄

3、像头等图像捕捉工具获取静态图像或动态图像序列（2）图像预处理：图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。今目的:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和 分类识别打好基础主要工作今人脸表情识别子区域的分割以及表情图像的归一化处理（尺度归一和 灰度归一）（3）特征提取：将点阵转化成更高级别图像表述一如形状、运动、颜色、纹理、 空间结构等，在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降 维处理。今特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等1）采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、 嘴巴等的位置变化进

4、行定位、测量,确定其大小、距离、形状及相互比例等特征， 进行表情识别优点：减少了输入数据量缺点：丢失了一些重要的识别和分类信息，结果的精确性不高2）基于整体统计特征的方法主要强调尽可能多的保留原始人脸表情图像中的 信息，并允许分类器发现表情图像中相关特征，通过对整幅人脸表情图像进行变 换,获取特征进行识别。主要方法：PCA和ICA （独立主元分析）PCA3用一个正交维数空间来说明数据变化的主要方向优点：具有较好的可重 建性缺点：可分性较差ICA今可以获取数据的独立成份，具有很好的可分性基于图像整体统计特征的提取方法缺点：外来因素的十扰（光照、角度、复杂 背景等）将导致识别率下降3）基于频率域特

5、征提取:是将图像从空间域转换到频率域提取其特征（较低 层次的特征）主要方法：Gabor小波变换小波变换能够通过定义不同的核频率、带宽和方向对图像进行多分辨率分析 能有效提取不同方向不同细节程度的图像特征并相对稳定，但作为低层次的特征， 不易直接用于匹配和识别，常与ANN或SVM分类器结合使用，提高表情识别的 准确率。4）基于运动特征的提取：提取动态图像序列的运动特征（今后研究的重点）主要方法：光流法光流是指亮度模式引起的表观运动，是景物中可见点的三维速度矢量在成像 平面上的投影，它表示景物表面上的点在图像中位置的瞬时变化，同时光流场携 带了有关运动和结构的丰富信息光流模型是处理运动图像的有效方

6、法，其基本思想是将运动图像函数f （x, y,t）作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解约束方 程，计算运动参数。优点：反映了表情变化的实质，受光照不均性影响较小缺点：计算量大（4）分类判别:包括设计和分类决策在表情识别的分类器设计和选择阶段，主要有以下方法：用线性分类器、神 经网络分类器、支持向量机、隐马尔可夫模型等分类识别方法1）线性分类器：假设不同类别的模式空间线性可分，弓I起可分的主要原因是 不同表情之间的差异。2）神经网络分类器：人工神经网络（Artificial Neural Network,ANN）是一种 模拟人脑神经元细胞的网络结构，它是由大量简单的基本元

7、件一神经元，相 互连接成的自适应非线性动态系统。将人脸特征的坐标位置和其相应的灰度 值作为神经网络的输入，ANN可以提供很难想象的复杂的类间分界面。神经网络分类器主要有：多层感知器、BP网、RBF网缺点：需要大量的训练样本和训练时间，不能满足实时处理要求3）支持向量机（SVM）分类算法：泛化能力很强、解决小样本、非线性及高维模 式识别问题方面表、新的研究热点基本思想：对于非线性可分样本，首先通过非线性变换将输入空间变换到 一个高维空间，然后在这个新空间中求取最优线性分界面。这种非线性变换 通过定义适当的内积函数实现，常用的三种内积函数为：多项式内积函数、 径向基内积函数、Sigmoid内积函数4）隐马尔可夫模型（Hidden Markov Models, HMM）:特点：统计模型、健壮的 数学结构，适用于动态过程时间序列建模，具有强大的模式分类能力，理论 上可处理任意长度的时序，应用范围非常广泛。优点：运用HMM方法能够比较精确的描绘表情的变化本质和动态性能5）其他方法：基于人脸物理模型的识别方法，将人脸图像建模为可变形的3D网格表面 把空间和灰度放在一个3D空间中同时考虑。基于模型图像编码的方法是使用遗传算法来编码、识别与合成各种不同的 表情四、研究展望（1）鲁棒性有待提高：外界因素（主要是头部偏转及光线变化的干扰）采用多摄像头