一种鲁棒的人脸特征点定位方法

一种鲁棒的人脸特征点定位方法

近年来，作为计算视觉的一个重要课题，人类特征的检测主要有两种方法：自下而上的方法和自上而下的方法。自顶向下的方法从人脸图像的全局入手,严密考察各器官之间的关系,从而提取出人脸的特征,并对人脸进行跟踪.很多较为成功的自顶向下的方法是基于主动外观模型(activeappearancemodel,AAM)发展起来的.Edwards等人首次将AAM应用于人脸识别.Cootes等人使用多个AAM对人脸进行跟踪.Hou等人提出了直接外观模型(directappearancemodel,DAM),通过参数的最新变化直接预测形状,不再将形状和纹理信息结合在一起.Li等人改进了DAM方法,将其用于不同视角的人脸对齐.自顶向下的方法能够较好地把握全局信息,但是缺点在于对初始位置的定位非常重要,一旦出现偏差,将导致整体跟踪结果的偏移和变形.另外,AAM采用主元分析作为统计分析工具,其缺点在于所获得的每个参数对整个模型都产生作用,不能通过调节某个参数来控制特定的区域,使得基于AAM构建的统计模型不能用来自由地生成某个特定的期望图形.因此当采用AAM对整体人脸进行跟踪时,会产生由于局部区域统计误差导致的整体人脸跟踪不准确.自底向上的方法与自顶向下的方法正好相反,考虑到人脸各器官之间存在着空间约束,通过对各局部信息(脸部器官)的定位和跟踪,并结合器官之间的空间位置关系,完成对整体(人脸)的定位和跟踪.绝大多数自底向上的方法均将眼睛作为首选的特征进行搜索,这主要是因为眼睛具有特殊的外观特性以及相对稳定的对称特性,可以使用自由伸缩模板方法或基于特征空间的方法等.但是这些方法都是在亮度空间内对眼睛进行搜索,其效果难免会受到获取图像时的状态的影响,比如光照条件、脸的朝向和位置以及表情等.在AAM被提出后,Cootes等人通过首先对眼睛进行定位来实现对AAM的约束.近年来,随着硬件设备的发展,产生了一些根据人眼虹膜的光学特性进行跟踪的仪器,如Zhu等人使用特殊的红外线仪器追踪眼睛瞳孔,在此基础上采用基于MeanShift的眼睛追踪模型来改进追踪结果.鼻孔也经常被作为搜索和追踪的特征,但是当人低头时,很容易导致无法检测到鼻孔,这是一个致命的缺陷,因此鼻孔一般作为辅助的搜索特征.Gorodnichy提出的算法直接通过对反光情况的计算来确定鼻尖位置,并以此作为追踪的目标.Wang等人结合使用了粒子滤波器,但是仅仅对嘴唇进行了跟踪.引入多个跟踪特征可以加强跟踪的鲁棒性,Torre等人作了一些尝试,但是只切换地跟踪了人脸中的眼睛或嘴唇,并没有对它们进行同时跟踪.还有很多方法对眉毛、眼睛、鼻子、嘴等区域分别进行跟踪,但是识别效果一般,而且需要细节支持,如皱纹等,另外其捕捉精度也相对较低.针对目前存在的人脸特征点定位问题,本文提出了一种鲁棒的人脸特征点自动定位方法.在训练的基础上,首先从具有较强特征的人眼入手,再对多器官进行有权重的组合,自底向上地对人脸器官进行定位,从而鲁棒地得到人脸的特征信息,取得了较好的效果.1人脸位置的征提取人脸检测和面部器官特征区域定位是人脸特征提取的前提和基础.本文提出的方法首先将准确的人脸位置从背景中检测并分割出来,再对脸部各个器官的特征区域进行定位.1.1椭圆模型拟合虽然不同人的皮肤颜色可能相差很大,但是它们在色度上的差异远小于亮度上的差异.通过实验发现,人的肤色在YCbCr空间中大致是Cb值为150和Cr值为100.因此,本文建立了一个数学模型,通过输入像素的Cb和Cr值,利用一个函数来计算该像素是皮肤的概率.假设肤色模型服从高斯分布N(m,C),其中m为[Cb,Cr]的数学期望值,C为[Cb,Cr]的协方差,则输出点的肤色概率可以表示为Ρ(Cb,Cr)=exp(-0.5(x-m)C-1(x-m)Τ),x=[Cb,Cr]Τ.}(1)通过肤色模型得到的人脸区域由于周围相似肤色的影响,可能包含局部冗余信息,因此本文方法采用椭圆模型进行匹配.一个椭圆可以通过它的中心(ˉx,ˉy)、长轴与x轴的夹角θ,以及短半轴a、长半轴b来确定.假设C是一个待匹配的连通区域,该区域的总像素点为N,则匹配椭圆的中心就是该连通区域的重心.椭圆的方向由该连通区域的中心矩得到:θ=12arctan(2μ1‚1μ2‚0-μ0,2).(2)式中:μi,j=1ΝΝ∑k=1(xk-ˉx)i(yk-ˉy)j.定义Imin、Imax分别为倾角为θ的椭圆的最小和最大惯性力矩:Ιmin=∑(x,y)∈C[(x-ˉx)cosθ-(y-ˉy)sinθ]2,Ιmax=∑(x,y)∈C[(x-ˉx)sinθ-(y-ˉy)cosθ]2.}(3)则长、短半轴长度分别为a=(4/π)1/4[Ι3max/Ιmin]1/8,b=(4/π)1/4[Ι3min/Ιmax]1/8.}(4)由式(2)～(4)可以得到与区域最匹配的椭圆E,然后定义评价函数为V=[∑(x,y)∈E(1-b(x,y))+∑(x,y)∈C∩(x,y)∈Eb(x,y)]/∑(x,y)∈E1.(5)式中:b(x,y)={1,若(x,y)∈C;0,否.V计算了椭圆内部空洞的点数以及区域内位于椭圆外侧的点数,V的值被用来衡量区域与椭圆的相似性.V的值越小,则匹配程度越好.然后根据如下约束条件进行筛选:1)椭圆拟合评价函数V小于阈值T1;2)椭圆长短轴比例a/b小于阈值T2;3)椭圆长轴与水平方向夹角θ的绝对值大于阈值T3.假定所有人脸在图片中都处在正立或者稍倾斜状态,经过多次实验给出的上述阈值的经验值分别为T1=0.5,T2=3,T3=5π/12.经过筛选可以去掉与皮肤颜色相似的噪音像素,剩下的就是所需要的人脸区域.1.2声的过分增强在通过上述方法得到的人脸图像中,利用基于先验经验的人脸器官的几何模型来定位其特征区域.首先对人脸区域进行降噪和二值化的预处理,然后对得到的特征区域进行标记,查找出器官候选区,最后使用基于经验的几何模型对器官特征区域进行定位.为了得到正确的面部器官特征信息,首先需要去掉人脸上的其他信息,否则这些信息会干扰面部器官特征区域的选取.对图像进行高通滤波可以增加面部器官与其他区域的对比度.为了防止对背景噪声过分增强的副效应,采用Sobel梯度算子计算高通模板的中心权重.在位置(x,y)处中心权重的计算公式为w=[z(1-s)+(1-z)(1-g)]·(f-8)+8.z={0.4,s>0.5;0.8,s≤0.5.(6)式中:s为点(x,y)处归一化的Sobel梯度值;g为归一化的灰度值;z是为了防止对背景噪声的过分增强,根据Sobel梯度值设置的一个权重调整参数;f为经验的高通系数,这里取11.因此中心权重值与该点的梯度值及灰度值都有关.最后通过取阈值将高通滤波后的图像进行二值化处理,并进行区域标记,对标记后的每个区域块计算块的中心(x,y)以及方向角.如果器官特征区域被分成几个不同的特征块,则它的大小、中心都会改变,从而影响下一步匹配的正确性.因此需要采用近邻法对同一器官的分开的块进行合并.经过标记及合并,每一块特征信息都被看作面部器官候选特征.通过对人脸器官欧氏距离取平均,可以构造出由特征块组成的人脸几何模型,如图1所示.在图1中,以2个眼睛中心的连线为基准线,设(x1,y1)及(x2,y2)分别代表右眼A及左眼B的中心,则该基准线ax+by+c=0的基准系数及其与x轴的夹角为a=y2-y1,b=x1-x2,c=x2y1-x1y2,θ=tan-1(-b/a),-π/2≤θ≤π/2.}(7)令Dn、De和Dm分别为根据经验推算得到的鼻心、眉心和嘴的中心到基准线的欧氏距离,假设以两眼间的欧氏距离D=√(x1-x2)2+(y1-y2)2为基准距离,根据先验知识,在人脸器官的几何模型中Dn、De和Dm可以分别用0.6D、0.3D和1.0D来表示.对于眼睛,任意选择2个特征块,在已知基准系数和θ的情况下,计算其方向角θ1和θ2,并归一化半长轴长l1和l2,用以下评价函数估计这2个特征块与眼睛的相似度:Ee=exp{-1.2[(l1-l2)2+(l1+l2-D)2+(θ1-θ)2+(θ2-θ)2]}.(8)式中:指数第一项计算2只眼睛的相似度,第二项计算两眼中心距离和每眼长度的距离差,最后两项计算两眼是否位于基准线上.当该评价函数大于一定阈值时,这2个特征块被判定为眼睛特征区域.对于嘴,假设第k个特征块的中心为(ˉxk,ˉyk),嘴中心至基准线的欧氏距离为dm=|aˉxk+bˉyk+c|/√a2+b2.(9)本文采用如下评价函数来估计第k个特征块与嘴的相似度:Em=exp[-4.8(dm-Dm)/D2].(10)类似的,可以对左、右眉毛及鼻子设计评价函数进行检测,记其评价函数分别为Erb、Elb和En,最后采用全局评价函数来决定其特征区域和人体器官结构的相似度.定义全局评价函数为E=0.5Ee+0.2Em+0.1Erb+0.1Elb+0.1En.(11)可以看出,本文方法根据经验知识指定了在定位过程中,眼睛重要性最高,嘴其次,然后是眉毛,最后才是鼻子.2fap的定义和算法本文方法采用AAM对人脸进行特征提取和跟踪匹配.如上文所述,AAM是一个全局性的方法,当初始模型不正确时,很容易造成匹配结果的变形和偏差,因此本文方法在该模型的基础上采用1.2小节中区域划分的结果,在局部区域内继续进行跟踪,使初始模型达到局部最优效果,并将其推广到多器官的组合乃至整张脸,以期达到较好的跟踪效果.通过前面对人脸各个器官区域进行定位,设定了不同的搜索区域窗口,然后分别对每个器官进行训练,并利用器官训练集在窗口内进行搜索.这样“分而治之”的方法克服了由于主元分析的统计模型所带来的整体统计的局限性,可以使跟踪达到局部最优化的效果,从而使匹配的效率和准确率大大提高.在平衡了算法效率和效果后,本文方法参考了MPEG-4中人脸动画参数(faceanimationparameter,FAP)的定义,采用58个特征点(13个轮廓点和45个内部特征点)定义人脸外形特征,如图2(a)所示.通过上述器官区域定位,可以得到如图2(b)所示包含人脸器官的矩形窗口Rle(左眼)、Rre(右眼)、Rlb(左眉)、Rrb(右眉)、Rn(鼻子)、Rm(嘴)以及椭圆窗口Rc(脸部),然后扩展出眼部左、右区域Rl和Rr(图2(b)中包含Rle、Rlb的矩形框和包含Rre、Rrb的矩形框)、眼部区域Reye(图2(b)中包含Rl、Rr的矩形框)、眼鼻部区域Ren(图2(b)中包含Reye和Rn的矩形框)、眼鼻嘴部区域Renm(图2(b)中包含Ren和Rm的矩形框)、整个脸部区域Rf(图2(b)中人脸最外部的矩形框),并针对每个区域采用标准AAM进行训练生成13个训练集.本文方法的局部搜索算法的步骤如下.1)单独对于右眼区域Rre、右眉区域Rrb分别利用其AAM训练库进行匹配,并根据与模板的距离(各点偏移绝对值之和,下同)作为估算误差Ere和Erb,然后对右眼部区域Rr利用对应的AAM训练库进行匹配,得到估算误差Er.比较2种方法的估算误差,如果(Ere+Erb)/2<Er,则采用右眼眉分区域AAM搜索局部更优,令E0=(Ere+Erb)/2;否则,右眼眉区域整体AAM搜索局部更优,令E0=Er.对左眼,同理得到E1.2)对眼部区域Re使用对应的AAM训练库进行匹配,得到估算误差Ee.比较分别在左眼区域和右眼区域得到的局部最优方法的估算误差E0和E1,如果(E0+E1)/2<Ee,则采用左、右眼部区域分别搜索局部最优,令E2=(E0+E1)/2;否则,眼部区域的整体搜索局部最优,令E2=Ee.3)对眼鼻区域Ren使用对应的AAM训练库进行匹配,得到估算误差Een.然后得到鼻子部整体搜索的估算误差En,合并眼部区域得到的局部最优方法估算误差E2与眼鼻区域进行比较.如果(E2+En)/2<Een,则采用左、右眼部区域分别搜索局部最优,令E3=(E2+En)/2;否则,眼部区域的整体搜索局部最优,令E3=Een.同理,加入嘴部区域后比较E3、Em和眼鼻嘴整体区域Eenm,令E4=min((E3+Em)/2,Eenm).4)最后加入脸部轮廓区域后比较E4、Ec和人脸整体区域Ef,令E5=min((E4+Ec)/2,Ef).此时,整体搜索完成,E5即为整体最优的估计误差.通过这样的迭代过程,局部特征的最优性得到了保证;通过结合整体统计的方法,获得较高的特征定位精度.3实验结果与分析用于皮肤模型生成的样本图片共计155张人脸图像和123张非人脸图像,通过计算样本可得m=[117.4361,156.5599]Τ,C=[160.1301,12.143012.1430,299.4574].为了验证模型的鲁棒性,选取一些人脸或者非人脸的图像进行测试和概率计算,并对计算结果进行统计,结果如表1所示.由实验可知,直接采用高斯模型判断肤色已经能够取得较好的效果.虽然在非肤色的像素集合中也存在比较接近肤色的像素点,但肤色和非肤色的像素概率平均值仍然有非常明显的差别,由此证明本文方法所采用的皮肤模型是比较成功的.图3给出了本文方法的搜索效果与一般自顶向下的AAM的搜索效果的对比,可以看到本