基于肤色分割与颜色特征融合的人脸定位方法

基于肤色分割与颜色特征融合的人脸定位方法

人脸及特征定位方法面部特征的定位是许多计算机视觉应用程序中不可或缺的处理步骤。不同人之间面相的差别(如不同性别、种族、年龄等)以及单个人脸在不同条件(如不同光照、姿态、表情、装饰物等)下表观的差别导致人脸及特征定位是一个极具挑战性的任务。由于人脸图像是受到多种因素影响的复杂模式,如何找到一种有效的方法提取人脸特征已成为近年来计算机视觉领域的热点问题之一,很多学者已经提出各种各样的算法,一般来讲可分为:模板匹配方法,即预先定义描述整个人脸或各器官的标准模板图像或轮廓,通过在整幅图像中计算各区域与标准模板的相似度确定人脸是否存在,并可对人脸特征作初步定位。然而,模板匹配受图像尺度、人脸姿态以及照明条件的影响太大,往往需要在多角度、多尺度下进行匹配,故导致匹配过程非常耗时。统计学习方法,即直接对人脸灰度图像进行处理,通过大量样本的训练,获得人脸表观模型,在此基础上对图像各区域进行判决。一般情况下,基于表观的方法依赖于从人脸图像和非人脸图像进行统计分析和机器学习的技术,典型的方法有ANN、SVM、Eigenfaces。这些方法在理论上十分可行,但是训练样本的选择和算法收敛均非易事。不变量特征描述方法,即在图像中搜索不同姿态、光照、视点下关于人脸结构或表观的不变特征量。例如,基于几何特征的方法提取眉、眼、鼻和嘴这类特征,然后建立描述这些特征之间相互关系的统计模型并用于定位人脸。由于图像中不可避免地存在着光照变化、噪声和遮挡,人脸特征往往会受到破坏从而影响特征识别。再如,基于色彩分析的方法利用姿态、尺度无关的肤色信息,在合适的色彩空间中建立人脸肤色的统计模型能有效地对彩色图像中的人脸候选区域进行粗定位。由于利用了数字图像的色彩信息,大大提高了人脸定位速度,基本能做到实时并且不受人脸旋转或侧转的影响。但是,若需要精确提取各器官特征,仍必须采用形状分析和几何特征分析方法。考虑到定位精度及处理速度的要求,本文将肤色分割技术与灰度图像的广义对称变换相结合,提出一种有效的人脸及特征定位方法。首先,根据人脸肤色统计模型确定人脸的待选区域,并通过二值图像的Blob分析方法剔除无效区域;然后基于人脸待选区域的色度信息分割并检测嘴唇区域;接着利用灰度图像的广义对称变换获得待选区域中可能的双眼位置,并利用嘴唇位置信息,结合人脸几何模型知识鉴别真实双眼位置;最后,确定人脸其它器官的精确位置。实验结果表明,当存在头发遮挡以及眼镜干扰等不利因素时,该方法仍具有较强的鲁棒性。1面部区域的初步定位1.1人脸图像的二值化阈值分割在YCbCr空间中,人脸肤色的亮度(Y)变化独立于色度(Cr、Cb)变化,并在Cr-Cb平面上近似呈2D高斯分布。设YCbCr空间中N个脸部像素的色度值为vk=[Cbk,Crk]T1(≤k≤N),则高斯概率密度分布函数:式中μ和Σ分别是样本集合的均值向量及协方差矩阵。为使肤色模型具有广泛性,实验中采用的人脸肤色样本均来自Google图像搜索引擎得到的数百张人脸图像,其光照条件、人种、年龄、性别都有差别,样本总数N=274457。根据(1)式可计算输入图像(图1(a))像素的肤色概率密度,所得灰度图(图1(b))表示每个像素为人脸的似然程度。在随后的二值化阈值分割中,若阈值过高,肤色区域数量突然增多,且单个区域面积减小;若阈值过低,则会把背景误判为人脸区域。为此,借鉴分水岭(Watershed)分割算法的思想,采用自适应方法,即:阈值在某区间内从大到小逐步降低,直至分割的区域总面积变化最小。然后,采用数学形态学中的“闭”算子对分割结果进行平滑处理以去除独立的微小区域和空洞。最后,利用连通成分分析方法将每个分割的区域加以标号,以便后面人脸区域判定。1.2人脸区域的划分复杂背景下,肤色分割得到的人脸待选区域中,可能会存在很多和人脸肤色相近或相同的其它区域,也有可能裸露的手臂或前胸被误判为人脸。二值图像Blob分析方法能够计算每个连通成分的形状参数,因而可以用于剔除非人脸区域,本方法采用的具体判定依据及过程如下:1)空洞数(h>1):眼睛和唇部的颜色同人脸肤色相差很大,在肤色分割过程中必然会形成人脸区域内部的空洞,故只有空洞数大于1的区域才可能是人脸区域;2)长短轴比(08.<r<16.):人脸区域的包围椭圆的长宽比应该在某个限定的范围内,手臂这类肤色区域的长宽比显然比人脸大;3)倾斜角(-90°<θ<90°):除特殊情况外,人脸的中轴线不应该是向下倾斜的。具体实现中,r和θ采用椭圆拟和方法计算。值得注意的是,为获得准确的拟和参数,需填补待选区域中的空洞。若记像素坐标为(xi,yi),则区域C的最佳拟和椭圆参数如下:中心(重心):(x,y)=(1Ai∈∑Cxi,1Ai∈∑Cyi)式中A是区域C的面积。根据θ,可对候选区域进行校正得到接近竖直的人脸区域,如图1(f)。2关键函数定位人脸待选区域的提取对器官特征的定位极为有利,避免了对整幅图像的处理和分析。后续的定位处理需要在每各待选区域中进行,避免遗漏。2.1几何分割法的应用通常,唇色同人脸肤色有较大的差别,并且相比与其它器官(如眼、鼻等),其覆盖面积较大,因此可以首先定位嘴唇。唇色与肤色具有类似的分布聚集性,故利用基于统计模型的肤色分割也可以达到唇色分割目的。但在本文中,为避免建立唇色模型,简化处理过程,采取了另一种有效的方法。我们发现,在HSI(Hue-Saturation-Intensity)空间中,唇色的H分量往往集中在某个局部区域(如图2(a)),因此直接分割H分量图。为达到自适应目的,利用直方图分析法选取整个待选人脸区域中H值最小的10%像素进行分割。然后利用形态学的“开”运算去除唇部区域中的空洞并计算整个区域的重心作为嘴唇中心。仍然可以利用一些约束性质剔除非嘴唇区域,如覆盖面积、长宽比等。如果不存在满足约束的嘴唇区域,那么可以判断该待选区域为非人脸区域。2.2pi、pj和水平线之间的垂直切合人脸的眼、眉、嘴等都具有很强的几何对称性,这为定位这些器官提供了有利的线索,本方法采用灰度图像的广义对称变换(GeneralizedSymmetryTransform-GST)定位双眼,它对人脸偏转、表情变化、光照变化甚至部分遮挡等条件不敏感,因而具有很强的鲁棒性。GST是Reisfeld针对全局对称性(镜像对称)变换的缺点提出的一种检测物体点对称性的局部算子,它对梯度图像进行处理,用来描述图像上各个像素的点对称性。设任意像素pk=(xk,yk),k=,12,...,K的灰度为f(pk),则其边缘强度和边缘方向如下式:其中∇pk=(∂f(pk)/∂y,∂f(pk)/∂x)是该像素的灰度梯度。如图3(a)所示,pipj是连接边缘像素pi和pj的直线(假设θi<θj),αij(0≤αij≤π)是直线pipj和水平线之间的逆时针夹角,作如下几个定义:(a)中点为p的点对(pi和pj)集合:Γ(p)={(i,j)|(pi+pj)/2=p}(b)高斯距离加权函数:,其中σ是尺度因子,与检测物体的尺寸有关,通过调整σ可获得不同尺度上的对称性。(c)相位加权函数:P(i,j)=1[-cos(θi+θj-2αij)]1[-cos(θi-θj)],当pi、pj两点边缘方向相对且与二者连线方向一致时P(i,j)最大。则点对pi和pj在p=(pi+pj)/2的轴对称性贡献为于是,p处的轴对称变换为由于需要检测眼眶的椭圆区域,因此我们采用GST的变化形式-径向对称变换(RadialSymmetryTransform-RST):它着重强调与主对称方向垂直的方向上点对的作用,保证了被图像边缘包围的某点处响应最强。如图3(b),我们所采用的对称计算区域是围绕眼眶由亮到暗变化的椭圆形,其短轴为人脸区域宽度的1/20,长轴为短轴的2倍。根据(5)式计算径向对称强度图(图3(c))后,选取强度最大的20个点作为双眼候选位置。若已知嘴心和人脸椭圆,则有先验知识:双眼应位于嘴上部,且在人脸中轴线两侧;双眼连线应垂直于人脸正直方向;双眼距离应该在0.5倍和1倍人脸宽度(2a)内。因此,采用匹配代价函数的寻优方法确定真正双眼位置:首先,根据嘴心位置以及椭圆长轴方向将所有候选眼划分为左眼候选点pl,l∈L和右眼候选点pr,r∈R。然后,对i∈L,j∈R计算如下匹配代价函数:式中λ=.05α,γ(i,j)是直线pipj同水平方向夹角。搜索S最小值可得图3(d)所示的双眼位置。3进行精确定位在已检测到的双眼和嘴心位置的基础上可以对人脸其它器官进行精确定位。限于篇幅,下面主要对人脸边界定位作详细介绍,其它特征定位可采用文献中介绍的积分投影(integralprojection)方法,不再赘述。3.1人脸几何结构的确定对于正面人脸而言,头顶边缘、下颌边缘、左耳根和右耳根定义了一个正椭圆,除左右耳外的绝大部分器官都处在该椭圆内。一个比较合理的人脸几何结构如图4(a)所示,其中的左、右眼心和嘴心构成一个倒置等边三角形,人脸几何尺寸与该三角形具有比较固定的比例关系。该几何模型是通过对大量的人脸测量得到的,具有广泛性。3.2高树立的好氧化学法测量细胞在不同个体间差异会导致下颌在椭圆模型的下边界上下波动而左右脸颊分别在椭圆模型左边界和右边界左右波动。观察可知,这些特征都是面部肤色及灰度强度垂直或水平过渡的边界。因此,我们将校正姿态后的肤色似然图与灰度图作乘积得到如图5(b)的复合图,并采用水平和垂直方向的高斯微分算子(GaussianofDerivatives)计算复合图两个方向上的梯度。为精细检测发髻、下颌及双颊位置,在椭圆模型中定义如图5(a)中4个虚线矩形,搜索各矩形内梯度在两个方向积分投影最大值即可确定各特征位置。4人脸定位算法在实际应用中的验证为评估本方法性能,采用了大量图像进行测试,图5给出部分结果。图5(a)为图1(a)定位结果,其中的人脸姿态偏斜。图5(b)为大倾斜角姿态的人脸特征检测结果。图5(c)是对噪声较强的视频图像定位结果。图5(d-e)为佩戴眼镜定位结果,其中图5(d)定位成功,而图5(e)中由于右眼镜片反光干扰导致定位有误差,但整个人脸基本上定位正确。图5(f-g)中,虽然头发将眼睛遮挡,但是仍然定位成功。实验结果表明了本方法正确性。本文主要目的是针对原有人脸定位算法在实际应用中的缺点,研究对姿态、遮挡及成像质量等条件变化更具有适应性的算法,主要用于室内自然环境