基于asm框架的全自动人脸特征点定位算法

基于asm框架的全自动人脸特征点定位算法

在计算视觉研究领域，近年来，一些与面部特征（如识别脸、识别脸）相关的研究课程取得了很大的发展和良好的效果，并具有广阔的应用前景。然而，现在的数据透视结果只能提供一个狭窄的位置，而无法提供精确的轨迹，比如眼睛和嘴巴的位置。面部特征的定位，即如何自动定位皮肤的形状和特征的算法（见图1）。在面部分析领域，自动面部特征的定位算法可以提供正确的面部定位结果。人脸特征点定位作为人脸分析领域中一项基础性工作,有着广泛的应用背景.已经发表的基于人脸特征点定位的相关应用研究主要有四个方面.第一,姿态估计和凝视方向分析.第二,作为分析人脸面部的眼睛和嘴巴运动的基础,人脸特征点定位被应用在驾驶员疲劳驾驶分析中.第三,娱乐领域,微软已开发了可供用户体验的基于正面人脸特征点定位的人脸漫画自动生成系统.第四,人脸识别.基于准确人脸特征点定位结果的人脸识别的相关研究已经发表,并且在姿态变化的人脸图像上得到了较好的结果.综上所述,全自动人脸特征点定位的研究是人脸分析领域中一项关键性工作.这个问题的解决对于之后的人脸分析起着重要的作用.随着主动形状模型(Activeshapemodel,ASM)和主动表象模型(Activeappearancemodel,AAM)研究结果的发表,基于样本统计学习建立形状模型的方法得到了很大的发展,也为全自动人脸特征点定位工作提供了很好的思路和解决框架.ASM和AAM的巨大成功使人脸特征点定位工作有了很大的进展和突破.但是传统的ASM和AAM方法在处理多姿态人脸图像、正面表情和光照变化复杂的图像时都存在很大的缺点.之后很多研究工作都针对传统的ASM和AAM算法进行改进.早期的改进工作大部分集中在人脸模型参数估计方面.文献对参数估计方法做了详细分析并且探讨了如何求解这样的优化问题.之后的改进工作大部分都基于纹理描述,文献用多高斯模型代替传统方法中的单高斯模型.文献用Gabor小波代替灰度模型.Zhang在纹理学习中引入了基于RealAdaBoost分类器的鉴别学习并且取得了很好的结果.Matthews将AAM方法和Lucas-Kanande光流跟踪算法结合起来.微软亚洲研究院也在如何将ASM和AAM结合的方法中提出了新的思路.本文对人脸特征点定位问题进行研究,目标是设计鲁棒的对表情、光照以及姿态变化的人脸进行全自动定位的算法.本文将按照以卜内容进行组织:第1节介绍人脸特征点定位算法的基本框架以及本文针对基本框架中的哪些部分进行改进.第2节详细介绍基于多个子空间的人脸形状模型.第3节详细介绍本文提出的基于随机森林分类器和点对比较特征的人脸局部纹理模型.第4节详细介绍本文在人脸模型参数优化部分进行的改进.第5节是实验结果的整理.最后是工作的总结和展望.1人脸特征点定位框架人脸特征点定位算法的框架如图2所示,包括模型学习和特征点定位两个部分.模型学习部分首先需要手工标定训练集合中的每幅人脸图像,每幅人脸标定88个特征点.之后进行人脸形状建模和人脸纹理建模得到人脸的2D可形变模型.特征点定位部分是在检测到人脸之后,首先初始化人脸的形状,之后根据训练好的2D可形变模型进行参数优化得到和目标人脸匹配的定位结果.人脸特征点定位框架主要包括四个部分:人脸形状建模,人脸纹理建模,人脸形状的初始化和人脸模型参数优化.本文将对其中三个部分的工作(如图中灰色框所示):即人脸形状建模,人脸纹理建模和人脸模型参数优化进行详细介绍.而人脸形状的初始化部分,本文采用已有的工作中的眼睛定位算法对人脸形状进行初始化.区别于传统ASM和AAM工作以及其他人脸特征点定位算法的改进工作,本文有以下两点主要贡献:1)引进有效的机器学习方法来建立局部纹理模型.这部分工作改进了传统ASM方法中用灰度图像的梯度分布进行局部纹理建模的方法,引入了基于随机森林分类器和点对比较特征的局部纹理建模方法,这种方法基于大量样本的统计学习,能够有效解决人脸特征点定位中光照和表情变化这些难点;2)在人脸模型参数优化部分,本文成功地将分类器输出的结果结合到人脸模型参数优化的目标函数当中,并且加入形状限制项使得优化的目标函数更为合理.2面部形状的形成2.1人脸特征点定位问题对于传统ASM的形状建模方法.为方便不熟悉的读者,这里进行简略的总结.人脸形状可由人脸的88个标定点组成的向量表示为形状建模分两步.第一步:对训练集合中的每个形状向量,进行中心、尺度和方向的归一化.训练集所有样本经过归一化后得到训练集合的形状向量集:S={X1,X2…XN}.PCA分析得,为均值向量,P为特征向量矩阵.对于任意一个人脸形状X可以表示为:.其中a为儿何参数,b为PCA形状参数.几何参数a包括水平、垂直方向的平移变量Xt,Yt,尺度变量s和角度变量θ.Ta如下式,表示形状的几何变化人脸形状X可以表示为儿何参数a和PCA形状参数b的函数X=Ta(+Pb)=f(a,b).人脸特征点定位问题就变成了估计最优的儿何参数a和PCA形状参数b的问题.2.2基于多个子空间的人脸形状模型传统的人脸形状建模方法提供了对人脸特征点定位很好的解决方案,即将人脸特征点定位问题转化为优化儿何参数a和PCA形状参数b的问题.这种建模方法对于单姿态的人脸形状建模(如正面人脸形状建模)是有效的.如图4(a)所示为对2000张正面人脸进行中心、尺度、方向归一化后的人脸形状分布.图4(b)所示为对5000张多姿态人脸,包括人脸向左转、向右转、向上抬头、向下低头和正面朝向五种姿态的人脸经过中心、尺度、方向归一化后的人脸形状分布.从上面的分析可以看出,对于多姿态人脸形状,用传统的形状建模方法很难达到很好的结果.因此本文采用基于多个子空间的人脸形状建模方法.其具体想法是:将样本按照姿态分为向左、向右、向上、向下和正面,分别对每个姿态样本进行中心、尺度、方向归一化后进行PCA分析.这样,对于训练集合中的多姿态样本,本文训练得到了多个均值和PCA投影矩阵.用数学符号表示:本文将姿态分为五种,由训练集样本分别训练5种模型Mi,i=1,2,3,4,5;分别对应正面、朝左、朝右、朝上和朝下五种模型.对于每种模型Mi,训练好的均值向量表示为,PCA投影矩阵表示为Pi,对于任意一个人脸形状X可以表示为X=Tai(+Pibi).那么人脸特征点定位问题就变成了估计最优的模型i(i=1,2,…,5)以及在第i种模型下的儿何参数ai和PCA形状参数bi的问题.如图5(a)所示为正面模型M1,图5(b)为朝左模型M2的PCA前三维主分量.图5(a)为人脸正面模型M1,中间一列是人脸正面模型的均值,左边一列是正面均值分别减去投影矩阵P1的前三维,右边一列是正面均值分别加上投影矩阵P1的前三维.3面部特征的建模3.1关键周围纹理的模拟人脸特征点定位的目标是自动找到待定位的88个关键点.如何学习这88个关键点周围的纹理就变得很重要.传统ASM方法的纹理建模采用局部纹理建模方法,即用单高斯模型来描述每个关键点周围的纹理.传统AAM方法的纹理建模采用全局纹理建模方法,即对整个人脸的纹理归一化后进行PCA统计学习.上述纹理学习方法都是基于产生式模型对训练集合的纹理变化进行建模,并不考虑每个关键点周围的纹理和附近其他点周围纹理的差异,而且很难处理光照、表情等变化剧烈的人脸图片.对于人脸纹理建模方法的改进工作中很重要的一种是基于鉴别式模型的方法,如文献的工作就通过Haar特征结合RealAdaBoost分类器得到了比较好的效果.3.2点对比较特征本文引入鉴别式学习方法,考虑每个关键点周围的纹理和附近其他点周围纹理的差异,用识别的方法来解决关键点的定位问题.创新为点对比较特征的提出和基于随机森林分类器的局部纹理描述.图6(a)说明本文局部纹理建模是为每个关键点设计一个分类器,整个人脸共需设计88个分类器.图6(b)以左眼的左眼角为例说明如何对一个关键点进行局部纹理建模即分类器设计.首先选择对于特征点定位更加有效和计算快速的特征:点对比较特征;并且使用随机森林分类器来进行局部纹理建模.本文提出点对比较特征的优点是:不需要经过乘法和除法运算,因此计算速度快.另外,随机森林与点对比较特征相结合,使得分类器的设计和特征选择结合在一起进行.现有的用统计学习进行关键点定位的算法中,大部分使用的特征是Gabor特征,梯度特征,或者Haar特征.本文提出进行关键点定位的特征是图像块p中任意两个像素点灰度大小的比较,称为点对比较特征,如图7所示任意选两个点p1,p2进行比较大小.用数学公式表示如下本文选取一个点对比较特征作为一个弱分类器,随机抽取一对点对p1和p2,如果I(p1)≥I(p2),弱分类器结果为1,否则弱分类器结果为0.对于一个32×32大小的图像块,这样任意选取两个点有种组合,弱分类器总数目约为520000.本文选取点对比较特征的原因是:首先,这种特征仅仅需要在原始灰度图像上任意取两个点比较灰度值的大小,不需要进行各种变换,不需要乘法、除法、开方等等运算,因此这种特征具有计算快的特点.其次,选取点对比较特征作为弱分类器,在训练过程和判决过程中均不需要阈值的设定,其作为弱分类器有着集成为强分类器的优势,因此具有稳定的特点.再次,点对比较特征包含更加明确的点的儿何位置,对于关键点定位问题有着比Haar等特征更好的表现.但是由于该特征数目巨大,因此必须结合好的特征选择方法,随机森林正是一种好的分类器设计和特征选择相结合的方法.随机森林(Randomforest)是Breiman在1999年提出的一个分类器融合算法.其基本思想是将很多弱分类器集成为一个强分类器.如图8所示,一个随机森林由N棵决策树构成,每颗决策树(如决策树T1,T2,…,TN)是一个决策树分类器,决策树的每个节点都是一个弱分类器,随机森林的决策结果是所有决策树分类结果的平均.在训练过程中,随机森林中的每棵决策树的不同之处在于训练样本集合,分别是从总样本集中随机选取的一个子集;而每棵决策树的训练方法相同,在每个节点弱分类器选择的时候,从随机产生的多个点对比较特征中选取当前分类效果最好的一个作为该节点的弱分类器.之后记录这个弱分类器,进而进行其左右子节点的设计,直到达到最后的叶子节点.在分类过程中,样本在其到达的节点按照该节点保存的点对比较特征,进行灰度值比较,并按照灰度值比较的结果到达其左子节点或者右子节点,一直这样进行下去,直到到达最终的叶子节点.以一个C类的分类问题为例,一个样本p通过每个决策树分类器Yn有(C个输出结果(C类,输出C个置信度,每个置信度pn,p(f(p)=c)表示了该样本p属于第c类的概率),最后随机森林的判决基于所有决策树结果的平均,如式(4)所示.4人脸特征点定位优化如2.2节所述,本文提出的多姿态人脸特征点定位的目标是估计最优的模型类别Mi,以及在第i种模型下的几何参数ai和PCA形状参数bi的问题.从而得到最优的人脸形状传统ASM的参数估计的优化目标为本文提出的优化算法的优化目标为本文提出的参数估计算法的优化目标函数(7)有三点区别于传统的优化目标函数(6).首先,本文将每个随机森林分类器输出的结果,即矩阵Wi加入到优化目标之中,即第i组模型Mi随机森林分类器得到的结果.其次,本文加入形状参数应该落在形状PCA模型参数空间中较紧致的区域这一限制,加入惩罚项来限制PCA形状参数bi.k表示惩罚项的权重,k=0表示为不加惩罚项,当k逐渐增加时,对PCA形状参数的限制也逐渐增强.本文中k根据实验值取1.再次,本文对形状模型i进行优化输出最优形状模型Mi下的最优特征点定位结果.本文提出的人脸特征点定位参数优化算法步骤如下:步骤1.对于所有姿态类型中的任意一个姿态类型i∈{1,2,3,4,5},得到姿态模型Mi初始化;通过眼睛定位结果初始化儿何参数ai,PCA形状参数bi采用平均形状的bi=0.步骤2.在当前形状的88个点X周围5×5的范围内选取随机森林分类器输出概率最大的88个点的位置Y代替.步骤3.优化位姿参数ai步骤4.优化形状参数步骤5.如果,停止;否则,令转到步骤2步骤6.比较每种姿态类型的最优特征点定位结果,选取使式(7)最小化的结果作为最优结果;输出最优姿态i及对应的ai和bi.本文提出的优化算法较传统算法能够更好地收敛,原因在于:首先,根据局部纹理的随机森林分类器输出Wi为优化目标中的各个点进行加权,使得那些不可靠的点在优化时权重很小,而分类器输出置信度比较高的点在优化时权重较大.其次,加入形状限制项,考虑待定位人脸的形状参数应该落在PCA形状模型参数空间中较紧致的区域这一限制,使得优化过程中不合理的形状被很快地剔除.5随机森林分类器性能测试为了验证算法的有效性,本文设计了两个实验.第一个是随机森林分类器的参数选择实验.为了达到好的特征点定位结果,需要每个特征点的随机森林分类器在速度和性能上折衷,因此随机森林分类器的参数选择是本文必须讨论的问题.第二个是本文算法在正面人脸数据库和多姿态人脸数据库上的测试结果.正面人脸数据库包含表情和光照变化的人脸,多姿态人脸不包括复杂表情变化和光照变化,只有姿态变化.这样分开统计实验结果能够分别验证本文算法在多姿态、表情,以及光照三个方面的表现.5.1决策树数目n和训练停止条件d训练随机森林需要确定的参数有:决策树的总个数N,节点进行测试的特征数目n,训练停止条件:节点层数d和训练停止的节点分类错误率e.在根节点n=10,其他节点n=100·d.而训练停止的节点分类错误率e取1%.关于决策树数目N和训练停止条件d的选择本,本文设计卜面实验:以左眼的左眼角为例,训练集合包括正样本1200个,负样本9600个.在训练集合上调整分类器参数得到识别率曲线,如图9所示.随着决策树数目N的增加和层数d的增加,分类器识别率性能逐渐增加,但是分类速度也随着决策树目N和层数d的增加而降低.因此本文在速度和性能之间折衷,选取决策树数目N=50,停止条件的分类器层数d=12.5.2数据库人脸数据库本文建立的正面人脸数据库包括2000张人脸图片,主要收集了来自四个数据库的数据(THFacelD数据库,Yale数据库,FRGC数据库和JAFFE表情数据库).THFaceID数据库为本实验室采集的数据库,包括了年龄、性别和表情的变化.其他三个均为公开的数据库,Yale数据库包括光照和表情的变化,FRGC数据库包括可控和非可控条件下的光照以及轻微表情变化的人脸样本.JAFFE数据库包括比较丰富的表情变化.多姿态人脸数据库构成来自THFaceID数据库,CMUPie数据库,Feret数据库.其中THFaceID数据库中的人脸包括向左向右各20度、30度、40度以及抬头低头的样本.CMUPie人脸数据库包括每人向左向右的22.5度、45度、67.5度以及抬头低头的样本,Feret数据库没有抬头低头样本,包括每人向左向右各15度、25度、40度、60度的样本.人脸样本首先手工标定88个特征点.图10(见下页)是数据库人脸样本的示例.将2000张正面人脸图像分为训练集合(1500张)和测试集合(500张),将多姿态样本分为训练集合(2200张)和测试集合(660张),训练集合要包含到各个姿态的样本.本文算法自动检测人脸并且自动定位正面人脸的两眼.以人眼定位结果作为初始化进行人脸特征点定位.误差的衡量采用点对点误差,即求自动标定的88个点和手工标定的88个点的误差,以人脸两眼距离作为归一化.误差计算公式为其中Pa为自动定位的点,Pm为手工