基于非对称局部梯度编码及多特征融合的人脸表情识别.ppt

1、报告人：,基于非对称局部梯度编码及多特征融合的人脸表情识别,答 辩 人：,指导老师：,汇报内容,一、绪论 二、人脸表情识别基础理论 三、基于非对称局部梯度编码的人脸表情识别 四、基于多特征融合的人脸表情识别 五、总结与展望,一、绪论,研究背景与意义 情感是人类内心的符号，面部表情是人们丰富情感的外在表现 100%信息= 7%语言+38%声调+55%面部表情 人脸表情识别是情感分析的一个重要组成部分，是一个具有交叉性与挑战性的研究课题,促进学科发展,商业价值,日常生活,研究意义,一、绪论,人脸表情识别系统,良好的描述能力、信息较少冗余、特征维数不能过高,汇报内容,一、绪论 二、人脸表情识别基础理

2、论 三、基于非对称局部梯度编码的人脸表情识别 四、基于多特征融合的人脸表情识别 五、总结与展望,二、人脸表情识别基础理论,人脸检测,基于知识模型：肤色特征、边缘特征、五官特征、纹理特征 基于统计模型：人工神经网络、Harr-like+Adaboost,二、人脸表情识别基础理论,图像预处理,直方图均衡化,高斯滤波,线性平滑滤波器 图像上的噪声一般服从Gauss正态分布 二维Gauss函数表达式：,滤波去噪,几何变换,中值滤波,图像旋转,图像比例缩放,二、人脸表情识别基础理论,特征提取,全局特征提取方法,纹理特征提取方法,几何特征提取方法,主成分分析（PCA） 线性判别分析（LDA） 离散余弦变换

3、（DCT） ,Gabor小波 局部二值模式（LBP） 局部梯度编码（LGC） ,主动形状模型（ASM） 主动外观模型（AAM） ,二、人脸表情识别基础理论,局部梯度编码（LGC）,二、人脸表情识别基础理论,主动外观模型（AAM）,训练样本,建立人脸 形状模型,误差衡量,关键 特征点,建立人脸 纹理模型,外观模型,测试实例,最优外观 系数,二、人脸表情识别基础理论,分类识别,高维数、非线性、小样本问题,引入核函数解决非线性问题,多分类问题： 采用“一对一”、“一对多”两种方式,决策边界简单,汇报内容,一、绪论 二、人脸表情识别基础理论 三、基于非对称局部梯度编码的人脸表情识别 四、基于多特征融合

4、的人脸表情识别 五、总结与展望,三、基于非对称局部梯度编码的人脸表情识别,本章思想 针对局部梯度编码算子（LGC）只能在固定大小邻域内提取图像纹理特征的不足，提出了一种非对称邻域LGC算子（Asymmetric Region Local Gradient Coding，AR-LGC）多尺度融合的表情特征提取方法。,原始图像,尺寸归一化,表情分类,Gauss滤波,提取XOR-AR-LGC 特征,三、基于非对称局部梯度编码的人脸表情识别,非对称局部梯度编码（AR-LGC）,邻域大小的可扩展性可能忽略局部邻域内强度的变化,纹理平滑化降低算子鉴别能力,三、基于非对称局部梯度编码的人脸表情识别,异或非对

5、称局部梯度编码（XOR-AR-LGC） 设序列 和 的第 位为 和 ，XOR-AR-LGC编码表示为：,三、基于非对称局部梯度编码的人脸表情识别,XOR-AR-LGC特征提取过程 1）将经过预处理后的表情图像分成n*n 个子块； 2）对每个子块采用XOR-AR-LGC算法进行编码； 3）统计每个子块的XOR-AR-LGC直方图； 4）级联 所有子块的直方图，级联后的直方图表示该幅表情图像的特征。,三、基于非对称局部梯度编码的人脸表情识别,实验结果与分析 本章算法识别率,（a）JAFFE,（b）CK,三、基于非对称局部梯度编码的人脸表情识别,实验结果与分析 误识别表情,（a）误识别为生气,（b）

6、误识别为悲伤,（c）误识别为厌恶,（b）误识别为悲伤,三、基于非对称局部梯度编码的人脸表情识别,实验结果与分析 AR-LGC邻域大小选择,（a）JAFFE,（b）CK,三、基于非对称局部梯度编码的人脸表情识别,实验结果与分析 XOR-AR-LGC与AR-LGC的对比试验,三、基于非对称局部梯度编码的人脸表情识别,实验结果与分析 不同算法的对比试验,（a）识别率对比,（b）其他性能对比,汇报内容,一、绪论 二、人脸表情识别基础理论 三、基于非对称局部梯度编码的人脸表情识别 四、基于多特征融合的人脸表情识别 五、总结与展望,四、基于多特征融合的人脸表情识别,本章思想 纹理特征可以较好地描述图像的细

7、节变化信息，几何特征可以较好描述图像的形变信息，全局特征能以较低维数的特征描述整个图像的全局信息。,单个特征在分类性能上的片面性和局限性 特征间具有一定的互补性,针对以上问题，为充分有效利用特征，本章提出一种基于差异性 和重要性的加权多特征融合的人脸表情识别算法，通过特征选择 与融合构建具有更强描述鉴别能力的特征,四、基于多特征融合的人脸表情识别,异或AR-LGC特征 从水平、垂直、对角线梯度比较中心像素点周围邻域强度大小，并且融合了不同尺度上的强度关系，所提取的特征能很好地反映图像的细节信息。 AAM特征,在眉毛、眼睛、鼻子、嘴巴区域上，选取了对表情识别起关键作用且具有较低错误定位率的23个

8、点作为特征点，利用如下公式计算特征点间的相对距离，构建人脸表情识别的几何特征。,四、基于多特征融合的人脸表情识别,DCT特征,四、基于多特征融合的人脸表情识别,基于差异性和重要性的特征选择算法（DIFS） 特征的互补性是保证多特征融合后的特征具有较好的鉴别能力和较高识别率的关键，作为特征选择的重要依据。,正分差异度,错分差异度,总体差异度,重要度,互补度,5个样本的分类结果 特征1：（1,1,0,1,0） 特征2：（1,0,0,1,1）,四、基于多特征融合的人脸表情识别,由于不同的特征的自身特性对分类识别的影响不同，对特征进行适当的加权可以提高特征子集的分类性能。设最优特征集 ，权重系数 ，

9、，则加权后的融合特征表示为： 粒子群优化算法（PSO） 较快的收敛速度、较强的全局搜索能力、参数设置少和实现方便 采用PSO寻找最优特征子集C中特征的权重系数最优解W 。,四、基于多特征融合的人脸表情识别,多特征选择与融合,Step1.计算每个特征的重要度，选择 重要度最大的特征加入特征子集,Step2.计算待选择特征与当前特征子集的互补度，依据互补度选择互补度最大的特征加入特征子集，构建最优特征子集,Step3.利用粒子群优化算法选择最优特征子集中的每个特征权值，构建加权融合特征,DIFS,四、基于多特征融合的人脸表情识别,实验结果与分析 本章算法在JAFFE库和CK库上的识别率,（a）JA

10、FFE,（b）CK,四、基于多特征融合的人脸表情识别,实验结果与分析 DCT中Zig-Zag算法区域大小的选择,四、基于多特征融合的人脸表情识别,实验结果与分析 差异性权重系数 和重要性权重系数 的选择,四、基于多特征融合的人脸表情识别,实验结果与分析 不同算法的对比实验,汇报内容,一、绪论 二、人脸表情识别基础理论 三、基于非对称局部梯度编码的人脸表情识别 四、基于多特征融合的人脸表情识别 五、总结与展望,五、总结与展望,本文以基于静态图像的人脸表情识别为课题展开研究,五、总结与展望,研究展望 面部表情识别研究工作中仍有很多需要突破的方向： 1）本文的研究基于静态图像，如何在保证实时性的情况下通过图像序列做表情识别，是进一步研究的重点。 2）人脸表情数据库有待扩充和完善； 3）如何将人类在多种模态下的情感特征有效结合，从而获得更充分的情感信息值得研究。,攻读硕士期间的学术活动及成果情况,参加的学术交流与科研项目 （1）国家自然科学基金重点项目：基于可穿戴计算的情感交互理论与方法,61432004,