面部遮区的鲁棒表情识别

面部遮区的鲁棒表情识别

随着计算机科学和模式识别技术的快速发展，自动面部表情识别已成为研究的热点。研究人员提出了几种方法来识别人们的情绪（如欢乐、悲伤、惊喜、愤怒、可怕、害怕等）以及面部动作单元（如内部眉毛、外部眉毛等）。由于面部表情的复杂性和多样性，许多面部表情识别研究通常局限于单一背景、相同的摄影、没有头部运动、没有说话等控制环境。相对于受控环境下的人脸表情识别,鲁棒表情识别要求对光照变化、头部运动、噪声、部分遮挡等具有鲁棒性.其中,对遮挡具有鲁棒性的人脸表情识别获得了更多的关注.文献提出了表情特征局部表征和分类器融合,实现了对存在遮挡的表情序列的识别.文献提出了人脸局部空间动力学状态模型,从视频序列鲁棒地识别人脸表情.文献提出了基于Gabor小波的特征提取和2种分类器的表情识别,获得了对眼部、嘴部等局部遮挡情况下表情识别的鲁棒性.文献提出了3种基于主成分分析(PCA,PrincipalComponentAnalysis)的方法重构具有遮挡的面部表情,并取得了较好的表情识别效果.上述研究提出了各种方法识别具有遮挡的面部表情,但没有检测和去除面部遮挡.这使得待识别的表情仍然存在遮挡物的错误信息,不可避免对表情识别结果造成误差.本文提出了一种先检测并去除遮挡,然后进行表情识别的方法.该方法采用鲁棒主成分分析(RPCA,RobustPrincipalComponentAnalysis)和显著性检测实现对面部遮挡的检测,并提出遮挡区域重构和更新权值的AdaBoost分类器进行鲁棒表情识别的方法,实现了对面部遮挡的鲁棒性.1d结合rpca的资本积累检测姿势的变化、眼镜、头发或手等均可能造成面部的遮挡,这些遮挡会对人脸表情识别造成不利的影响.本文提出基于RPCA的面部表情重构和显著性检测方法进行面部遮挡检测.1.1检测rpca的能量函数PCA是一种用于降低数据维数的统计方法,并能够尽量保留原始数据的变化.但是PCA并不能很好地处理由头发、手等遮挡影响的表情.文献提出了RPCA,它对于训练样本中的非目标(由于遮挡、光照、图像噪声等造成的赝品)具有鲁棒性,可以用于从噪声数据中构建低维线性子空间.本文将RPCA应用于有遮挡的人脸表情重构,以实现对遮挡的鲁棒性.定义D=[d1,d2,…,dn]∈Rm×n,其中每一列di为一个训练图像样本,n为训练图像数,m为每一个图像样本的像素数,则RPCA的能量函数如式(1)所示:Erpca(B,C,μ,L)=n∑i=1m∑p=1[Lpi(˜e2piσ2p)+Ρ(Lpi)](1)式中,B=[b1,b2,…,bk]∈Rm×k为D的前k个主成分;C=[c1,c2,…,cn]=BT为系数矩阵;μ为样本均值;σ=[σ1,σ2,…,σm]T为对应m个像素位置的尺度参数;˜epi=dpi-μp-k∑j=1bpjcji为误差值,其中dpi,μp,bpj,cji分别为D,μ,B,C的元素;0≤Lpi≤1为基于图像和像素位置的非目标处理;Ρ(Lpi)=(√Lpi-1)2为惩罚函数.通过RPCA训练获得基底B和均值dmean,则RPCA重构图像对应的列向量dreci可由下式得到:dreci=dmean+BBΤ(di-dmean)(2)当训练包含眼镜、头发或手等遮挡的人脸图像时,与遮挡对应的像素可能被RPCA认为是非目标.因此,由RPCA重构的图像可能不会包含遮挡.图1为由PCA和RPCA重构人脸的效果.可以看出由RPCA重构的人脸图像包含了较少由遮挡引入的错误信息.1.2局部显著性检测本文采用显著性检测方法定位人脸上的遮挡区域.对待识别的人脸图像I进行RPCA重构,获得重构图像R,它们的差值图像D被送入一个显著性检测器,寻找具有高复杂度的局部区域(局部显著性值HD,RX大于某阈值),这些区域被假定为遮挡区域.局部显著性检测的定义如式(3)所示:ΗD,RX=-∑iΡD,RX(li)lbΡD,RX(li)(3)其中PD,RX(li)为D在局部区域RX取值li的概率.由于人脸具有显著性的特点(如眼睛、嘴巴等),基于差值图像的显著性检测方法可以很容易地检测出人脸上重要区域的遮挡.图2所示为手遮挡和人造遮挡被检测的结果.2卢伯茨表情识别遮挡的处理对于实现鲁棒的表情识别尤为重要.本文提出基于RPCA的遮挡区域重构和更新权值的AdaBoost方法实现鲁棒的表情识别.2.1旋转特征本文采用一组扩展的类Haar小波特征用于boost学习.如图3所示,该组特征包含了7个垂直特征和7个45°旋转特征,并能够取得较矩形特征更好的效果.为了简化45°旋转特征的计算,本文采用旋转训练图像的方法,则图4a中的45°旋转特征就变成图4b中的垂直特征.通过积分图像的方法,可以快速计算原始训练图像和旋转的训练图像中的所有垂直特征.2.2局部遮遮法重构人脸图像虽然RPCA对遮挡具有鲁棒性,但其不能重构原始图像的所有细节,可能存在误差,所以将整个重构图像替代原始图像将引入误差.为了减小遮挡区域的影响,本文采用局部遮挡区域重构的方法,将I的遮挡区域Rocl的像素值由R的相应区域像素值代替,得到遮挡区域重构人脸图像P,如式(4)所示:Ρ(x,y)={Ι(x,y)(x,y)∉RoclR(x,y)(x,y)∈Rocl(4)2.3基于adabolst的多分类训练分类器为了减少面部遮挡的影响,本文提出更新权值的AdaBoost方法进行表情识别.该方法首先基于一对多的多分类AdaBoost方法训练分类器,然后根据遮挡情况更新弱分类器权值,其过程如下.步骤1给定训练样本(x1,y1),(x2,y2),…,(xn,yn),其中xi为第i个训练图像,yi∈{1,2,…,k}为xi所属类别,k为类别数.步骤2设定l=1,2,…,k1开始初始类型对于yi=l,ω1,i(l)=12nl;对于yi≠l,ω1,i(l)=12(n-nl).2基于adabsost的adabsot特征区域面积l①归一化权值ωt,i(i)←ωt,i(l)n∑j=1ωt,j(l)使得ωt为一个概率分布.②对于每一个特征j,训练一个使用单个特征的分类器hj,并根据ωt(l)计算误差εj=∑iωi(l)|hj(xi)-yi|.③选择分类器ht(l),使其有最低的误差εt.④更新权值:ωt+1,i(l)=ωt,i(l)β1-eit,其中,如果样本xi被正确分类,ei=0,否则ei=1,并且βt=εt1-εt,αt(l)=log1βt.步骤3分类器Η(x)=argmaxl∑tαt(l)ht(x,l)∑tαt(l)步骤4更新权值的AdaBoost分类器为Η′(x)=argmaxl∑tα′t(l)ht(x,l)∑tα′t(l)式中,α′t(l)=αt(l)×(1-RotRft);Rft为特征区域面积;Rot为弱分类器特征区域和遮挡区域的交叠区域面积,如图5所示.3结果3.1研究方法图像数据本文的算法在BHU(BeihangUniversity)人脸表情数据库和日本女性表情数据库上进行训练和测试.本文首先从BHU人脸表情数据库收集了105个表情图像用于RPCA训练,其中一部分不包含遮挡,一部分包含遮挡.图6所示为包含头发遮挡、手遮挡、眼镜遮挡以及人工添加遮挡的表情图像.本文从BHU人脸表情数据库和日本女性表情数据库收集了6种表情(高兴、厌恶、生气、害怕、惊讶、悲伤)共1200个人脸图像,每种表情200个图像,其中100个用于训练,100个用于测试.所有样本都归一化为24×24大小的灰度图像并进行了直方图均衡.图7为数据集的样本表情.3.2不同遮挡方法对比本文进行RPCA训练的参数选择详见文献,显著性检测的阈值选择使遮挡检测达到低误检和高检测率.本文使用经过500轮训练后的AdaBoost分类器进行了不同环境下的表情识别测试.如图8所示,对无遮挡情况以及手遮挡、头发遮挡和太阳镜遮挡4种情况下的人脸表情进行了识别,其表情识别结果和遮挡检测结果见表1.由表1可以看出,在手遮挡和太阳镜遮挡的情况下,本文方法的表情识别率较AdaBoost方法分别提高了2.6%和9.5%.但是,在无遮挡和头发遮挡的情况下,本文方法略有下降.相对于AdaBoost方法,本文方法可以获得各种遮挡情况下更高的整体识别效果.遮挡检测结果显示,对于中等或较大的遮挡本文方法有较高的检测率,而较小的遮挡则被漏检,并存在少量的误检情况.尽管由于遮挡检测的漏检和误检可能引入一定的误差,但由于AdaBoost方法本身具有鲁棒性,这些误差对表情识别的影响是有限的.此外,本文方法的遮挡检测、遮挡区域重构和AdaBoost分类器权值更新