人脸检测问题研究综述

人脸检测问题研究综述

1人脸检测系统的应用背景面部特征的检测是输入图像时确定每个脸的位置、大小和位置的过程。面部特征的识别是人类信息数据处理的一项重要技术。近年来，它已成为计算机及其他犯罪现场的一个受广泛关注、研究活跃的问题。人脸检测问题最初来源于人脸识别(facerecognition).人脸识别的研究可以追溯到20世纪60—70年代,经过几十年的曲折发展已日趋成熟.人脸检测是自动人脸识别系统中的一个关键环节,但是早期的人脸识别研究主要针对具有较强约束条件的人脸图像(如无背景的图像),往往假设人脸位置已知或很容易获得,因此人脸检测问题并未受到重视.近几年随着电子商务等应用的发展,人脸识别成为最有潜力的生物身份验证手段,这种应用背景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力,由此所面临的一系列问题使得人脸检测开始作为一个独立的课题受到研究者的重视.今天,人脸检测的应用背景已经远远超出了人脸识别系统的范畴,在基于内容的检索、数字视频处理、视觉监测等方面有着重要的应用价值.人脸检测研究具有重要的学术价值.人脸是一类具有相当复杂的细节变化的自然结构目标,此类目标的检测问题的挑战性在于:(1)人脸由于外貌、表情、肤色等不同,具有模式的可变性;(2)一般意义下的人脸上,可能存在眼镜、胡须等附属物;(3)作为三维物体的人脸的影像不可避免地受由光照产生的阴影的影响.因此,如果能够找到解决这些问题的方法,成功构造出人脸检测与跟踪系统,将为解决其它类似的复杂模式检测问题提供重要的启示.目前,国外对人脸检测问题的研究很多,比较著名的有MIT,CMU等;国内的清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院自动化研究所等都有人员从事人脸检测相关的研究.而且,MPEG7标准组织已经建立了人脸识别草案小组,人脸检测算法也是一项征集的内容.随着人脸检测研究的深入,国际上发表的有关论文数量也大幅度增长,如IEEE的FG(IEEEInternationalConferenceonAutomaticFaceandGestureRecognition)、ICIP(InternationalConferenceonImageProcessing)、CVPR(ConferenceonComputerVisionandPatternRecognition)等重要国际会议上每年都有大量关于人脸检测的论文,占有关人脸研究论文的近1/3之多.有关人脸检测的内容在人脸识别研究的综述中有所涉及,但仅仅侧重于人脸识别系统的输入环节,目前较为详尽的人脸检测与跟踪综述为文献,着重于介绍各种方法所使用的特征和模型,本文则系统地整理分析了相关的研究文献,按照人脸检测的问题分类与模式分析、人脸特征的提取与综合等线索对近年来的研究进行了综述.2人脸模式的系统研究人脸检测问题所包含的内容十分广泛,从不同的角度可以有多种分类方法(表1).本文主要讨论静止图像中的人脸检测问题.动态图像中单帧内的人脸检测与静止图像的情况基本相同,若考虑动态信息则属于人脸跟踪(facetracking)问题,将不在本文讨论.人脸图像所包含的模式特征十分丰富,如图1所示.这些特征中哪些是最有用的、如何利用这些特征,是人脸检测要研究的一个关键问题.人脸模式具有复杂而细致的变化,因此一般需要采用多种模式特征综合的方法,如图2所示.归纳起来,根据利用特征的色彩属性可以将人脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类.前者适用于构造快速的人脸检测和人脸跟踪算法,后者利用了人脸区别于其它物体的更为本质的特征,是人脸检测领域研究的重点.根据特征综合时采用的不同模型,可以将基于灰度特征的方法分为两大类:基于启发式(知识)模型的方法和基于统计模型的方法.由于人脸检测问题的复杂性,无论哪一类方法都无法适应所有的情况,一般都针对人脸检测领域内某个或某些特定的问题.3面部特征的提取人脸模式的特征包括肤色特征和灰度特征.3.1色度空间与结构肤色是人脸的重要信息,不依赖于面部的细节特征,对于旋转、表情等变化情况都能适用,具有相对的稳定性并且和大多数背景物体的颜色相区别.因此肤色特征在人脸检测中是最常用的一种特征.肤色特征主要由肤色模型描述.使用何种形式的肤色模型与色度空间(chrominancespace)的选择密切相关.可以从两个方面考察某种色度空间:(1)在该色度空间中能否用给定的模型描述“肤色”区域的分布;(2)色度空间中“肤色”与“非肤色”区域的重叠有多少.人脸检测常用的色度空间主要有RGB(红、绿、蓝三基色)、rgb(亮度归一化的三基色)、SHI(饱和度、色调、亮度)、YIQ(NTSC制的光亮度和色度模型)、YUV(PAL制的光亮度和色度模型)、YCbCr(CCIR601编码方式的色度模型,与YUV在数学上具有等价性)、CIEL*a*b(国际照明委员会提出的基于色度学的彩色模型)等.常用的肤色模型有高斯模型、混合高斯模型和直方图模型.Terrillon等考察了归一化的r-g、CIE-xy、归一化的TSL、CIE-DSH、HSV、YIQ、YES、CIE-L*u*v和CIE-L*a*b9种色度空间,比较了高斯模型和混合高斯模型在不同色度空间中的性能,发现除了少数情况外,一般需要使用混合高斯模型才能较好地描述肤色区域的分布.Terrillon等同时指出,最终限制检测性能的因素是不同色度空间中“肤色”与“非肤色”区域的重叠程度.Jones等研究了RGB空间中“肤色”与“非肤色”像素的分布,根据标定出肤色区域的近2万幅图片(包含约20亿个像素)建立了三维直方图,在此基础上比较了直方图模型和混合高斯模型,发现前者的性能略好于后者.除上述3种肤色模型外,还有直接利用几何参数描述肤色区域分布范围的模型、三维投影模型、基于神经网的肤色模型等.此外也有同时考虑“肤色”与“非肤色”像素分布的基于贝叶斯方法的模型.3.2人脸核心区域灰度特征包括人脸轮廓特征、人脸灰度分布特征(镶嵌图特征、直方图特征等)、器官特征(对称性等)、模板特征等.轮廓是人头部的重要特征.Craw等首先在低分辨率图像中使用一个轮廓模板匹配出人脸的大致范围,然后在高分辨率图像中使用Sobel算子获得边缘的位置和方向,并连接出完整的人脸轮廓.Wang等提取边缘特征并根据广义Hough变换抽取椭圆形状信息.人脸核心区域(眼睛、鼻子、嘴区域)具有独特的灰度分布特征.Yang等首先提出了人脸的镶嵌图(mosaicimage,又称为马赛克图)特征.所谓镶嵌图就是将图像划分为一组大小相同的方格,每个方格的灰度为格中各个像素的平均值.镶嵌图特征是指这些块的值应满足的约束规则.Lu等依据人脸的左右对称性,通过提取投影直方图特征检测人脸的旋转角度,再提取镶嵌图特征.Dai等提取空间灰度共现矩阵(SGLD)特征等等.人脸区域内的各个器官(如双眼、鼻子、嘴等)是人脸的重要特征.Kouzani等使用人工神经网分别检测眼睛、鼻子、嘴以及人脸的整体特征.人脸区域的灰度本身可以作为模板特征,通常取仅包含双眼、鼻子和嘴的面部中心区域作为共性的人脸模板特征,排除掉头发、脸颊两侧变化很大的部分.被广泛地用于基于统计学习的人脸检测方法中.4面部特征的综合人脸的检测过程实际上就是对人脸模式特征的综合判断过程,包括多种方法.4.1细胞被裂变后的人脸及细胞的归并对于彩色图像,在确定肤色模型之后,首先可以进行肤色检测.在检测出肤色像素后,需要根据它们在色度上的相似性和空间上的相关性分割出可能的人脸区域,同时利用区域的几何特征或灰度特征进行是否是人脸的验证,以排除其它色彩类似肤色的物体.区域分割与验证在很多方法中是密切结合、统一考虑的.在一些情况下,仅根据肤色像素的聚积特性即可完成区域分割.Yoo等利用肤色像素的连通性分割出区域,使用椭圆拟合各个区域,根据椭圆长短轴的比率判断其是否为人脸.Cai等根据肤色模型提供的像素的似然度,采用从局部最大值处逐渐扩展的方法得到肤色区域,然后使用灰度平均脸模板匹配的方法验证区域内是否有人脸.对于较为复杂的情况,则需要考虑两方面的问题:(1)由于光照和脸部器官的影响,人脸可能被割裂为若干互不连通的肤色区域;(2)人脸区域可能与其它类肤色区域连接在一起.聚类-归并-验证策略是较常用的解决方法:首先将肤色像素按照较为严格的颜色一致性和几何约束条件聚类为区域,然后按照一定规则进行归并,归并后或归并过程中利用其它特征进行验证.Garcia等按照色度的差异将肤色进一步量化为不同的类型,将类型相同且相邻的肤色像素聚类为区域,根据几何位置、形状和色调相容性进行归并,归并过程中利用区域的小波特征进行验证.Yang等根据色度的一致性和空间距离将肤色像素聚类成区域,然后逐步归并直到得到符合一定先验知识的椭圆区域为止,最后检查区域中由眼睛、嘴巴等特征形成的暗区或空洞,以确定是否为人脸.Abdel-Mottaleb等首先排除了局部邻域内亮度变化较大的肤色像素,对其余肤色像素进行聚类,从而得到色度一致的区域;然后使用基于邻接图的方法归并不连通的区域,并且检查区域内亮度在邻域中变化较大的像素(可能对应于眼睛、嘴等特征)所占的比率,对归并结果进行验证.另一种策略是先用较弱的条件将肤色像素聚类为区域,再将符合一定条件的区域分裂开.Wei等根据区域的大小和形状找出可能的人脸,剩下的区域按照一定规则不断分裂,以便找出与类肤色背景连接在一起的人脸,最后利用亮度信息对各个区域进行验证.还有一些方法使用肤色模板进行搜索匹配.Karlekar等对YCbCr格式的彩色图像进行了小波变换,训练一个多层感知器在Cb,Cr平面的低通色度子图中检测肤色像素,然后使用一个“人脸-背景”二值人脸模板匹配搜索,最后利用亮度分量的小波变换系数验证搜索结果.Wu等采用了模糊模板匹配方法,该方法不仅建立了肤色模型,同时也建立了头发颜色的模型.根据人脸位姿的不同,构造了5种“肤色-发色”模板,并定义了相应的隶属度函数和模糊匹配规则,对所有可能尺度和位置的区域进行搜索.此外,还有在分割之前就将肤色检测的结果与其它特征融合在一起的方法,如Sun等提出的基于肤色与对称信息的方法、Kim等提出的肤色信息与深度信息相结合的方法等.4.2人脸局部特征检测基于启发式模型的方法首先抽取几何形状、灰度、纹理等特征,然后检验它们是否符合人脸的先验知识.Govindaraju等使用变形模板(deformabletemplate)匹配头顶轮廓线和左右两条面颊轮廓线,实现人脸定位.Yang等提出了基于镶嵌图(mosaicimage,又称为马赛克图)的人脸检测方法.Yang等将人脸的五官区域分别划分为4×4个和8×8个马赛克块,使用一组规则进行检验,并且利用边缘特征进一步验证.卢春雨等对镶嵌图方法进行了改进,按照人脸器官的分布将人脸划分为3×3个马赛克块,在检测中自适应地调整各块的大小,使用一组基于各块灰度和梯度统计特征的知识规则检验该区域是否为人脸,取得了较好的实验结果.人脸区域内的各个器官也具有较为恒定的模式,因此一些方法首先检测器官(如双眼、鼻子、嘴等)或局部特征,然后根据它们的相对位置关系判断整个区域是否为人脸.Kouzani等将使用人工神经网分别检测出来的眼睛、鼻子、嘴以及人脸的整体特征及相互间的位置关系输入一个模糊神经元网络,根据其中的领域知识判断被检测的区域是否为人脸.Miao等从输入图像中提取可能对应于眉毛、眼睛、嘴等器官的水平方向的马赛克边缘(mosaicedge),计算各段边缘的“重心”(gravitycenter)后,使用“重心”模板进行匹配,最后使用灰度和边缘特征验证匹配的结果.该方法对人脸位姿的变化具有较强的适应能力.采用局部特征检测方法的还有基于双眼检测的方法、基于概率框架的局部特征聚类方法以及结构模型、纹理模型和特征模型相结合的方法等.人脸灰度模板也可以看作是一种启发式模型.梁路宏等使用了直接的平均脸模板匹配方法.与Cai等的方法不同,该方法考虑到眼睛在人类辨识人脸过程中的特殊作用,使用双眼模板首先进行粗筛选,然后使用不同长宽比的人脸模板进行匹配,最后使用马赛克规则进行验证.使用的模板参见图3.此外还有Lu等根据投影直方图分析首先确定人脸的旋转角度,然后使用基于镶嵌图的方法检测人脸;Dai等根据空间灰度共现矩阵特征检测人脸等等.其它基于知识模型的方法可以参见文献.利用人脸的轮廓、对称性等少量特征的方法适用于较强约束条件下(如简单背景、头肩图像)的人脸检测.由于使用的特征较少,此类算法可以达到较高的检测速度,实现实时检测与跟踪.利用人脸五官分布特征的知识模型方法能够在一定程度上适用于复杂背景图像中的人脸检测,同时达到较高的检测速度,如文献等.但是需要看到,要想进一步提高知识模型的适应能力,需要综合更多的特征,这实际上涉及到图像理解这一困难的问题.这是此类方法进一步发展遇到的主要障碍.4.3人脸检测问题的分类由于人脸图像的复杂性,显式地描述人脸特征具有一定困难,因此另一类方法——基于统计模型的方法越来越受到重视.此类方法将人脸区域看作一类模式,即模板特征,使用大量的“人脸”与“非人脸”样本训练、构造分类器,通过判别图像中所有可能区域属于哪类模式的方法实现人脸的检测.实际上,人脸检测问题被转化为统计模式识别的二分类问题.4.3.1人脸检测算法此类方法将人脸区域图像变换到某一特征空间,根据其在特征空间中的分布规律划分“人脸”与“非人脸”两类模式.主分量分析(Principal-ComponentAnalysis,PCA)是一种常用的方法.它根据图像的统计特性进行正交变换(K-L变换),以消除原有向量各个分量间的相关性.变换得到对应特征值依次递减的特征向量,即特征脸.Moghaddam等发现人脸在特征脸空间的投影聚集比较紧密,因此利用前若干张特征脸将人脸向量投影到主元子空间F和与其正交的补空间F¯¯¯F¯,相应的距离度量分别称为DIFS(DistanceInFeatureSpace)和DFFS(DistanceFromFeatureSpace).对于人脸检测问题,由于没有考虑“非人脸”样本的分布,需要同时使用DIFS和DFFS才能取得较好的效果.MIT的Sung等提出了基于事例学习的方法,同时使用了19×19像素分辨率的“人脸”和“非人脸”样本.样本预处理后按行列顺序展开为样本向量进行主分量分解.采用k-均值聚类方法在特征空间中建立6个“人脸”簇(Clusters),同时建立包围“人脸”簇的6个“非人脸”簇,以使“人脸”与“非人脸”模式的边界更为清晰.Sung等使用样本到各个簇中心的距离训练一个多层感知器进行分类.需要指出的是,人脸检测中“非人脸”样本的选取是一个较为困难的问题.Sung等使用了“自举”(bootstrap)方法加以解决:首先建立一个仅使用“人脸”簇的初始分类器对一组图像进行检测,将所有的错误报警(不是人脸而被错检为“人脸”的结果)加入“非人脸”样本库,构造新的使用“人脸”与“非人脸”簇的分类器重新检测.以上过程不断迭代,直到收集了足够的“非人脸”样本.属于特征空间方法的还有因子分解方法(FactorAnalysis,FA)和Fisher准则方法(FisherLinearDiscriminant,FLD).Yang等在混合线性子空间(mixturesoflinearsubspaces)中对“人脸”和“非人脸”样本的分布进行建模,分别使用基于EM算法的扩展FA方法和基于自组织映射(Self-OrganizingMap,SOM)的FLD方法构造检测器.此外,小波变换也被用于人脸检测,如文献中使用了小波变换提取人脸的多分辨率特征作为分类的依据.4.3.2正面和正面旋转人脸人工神经网(ANN)方法是把模式的统计特性隐含在ANN的结构和参数之中,对于人脸这类复杂的、难以显式描述的模式,基于ANN的方法具有独特的优势.CMU的Rowley等使用了多个ANN检测多姿态的人脸,算法的框架如图4所示.图中显示了两类ANN:1个位姿检测器(poseestimator)用于估计输入窗口中人脸的位姿、3个检测器(detector)分别检测正面(frontal)、半侧面(halfprofile)和侧面(profile)的人脸.使用经过对准和预处理的“人脸”样本以及采用“自举”(bootstrap)方法收集分类器错分的样本作为“非人脸”样本训练各个ANN,进一步修正分类器.检测时对输入图像中所有可能位置和尺度的区域首先使用位姿检测器估计人脸位姿,经校准和预处理后送入3个检测器中,最后对检测器的分类结果进行仲裁.在上述框架下,Rowley等对正面端正人脸和正面旋转人脸的检测单独进行了研究.对于正面端正的人脸,仅使用了正面人脸检测ANN,是一种三层前向网:输入层对应20×20像素的图像区域;隐层节点分为对应不同人脸区域的若干组,与输入层部分连接;ANN输出1到-1区间的值表示这个区域是否为人脸.Rowley等使用相同的“人脸”样本和不同“自举”过程收集的“非人脸”样本训练了多个正面人脸检测ANN,对它们的检测结果进行仲裁,以进一步减少错误报警.对于正面旋转人脸的检测使用了旋转角度检测器及正面人脸检测ANN,并使用相似的多ANN仲裁方法降低错误报警.基于人工神经网的方法还有Juell等和Kou-zani等提出的基于人脸器官检测的多级网络方法、Anifantis等提出的双输出人工神经网的检测算法等.4.3.3基于概率估计的人脸检测基于概率模型方法的一种思路是计算输入图像区域region属于人脸模式object的后验概率p(object|region),据此对所有可能的图像窗口进行判别.CMU的Schneiderman等提出一种基于后验概率估计的人脸检测方法.该方法利用贝叶斯原理将后验概率估计转化为一个似然度求解问题:P(region|object)P(region|object¯¯¯¯¯¯¯¯¯)<object¯¯¯¯¯¯¯¯¯object>λ=P(object¯¯¯¯¯¯¯¯¯)P(object),Ρ(region|object)Ρ(region|object¯)<object¯object>λ=Ρ(object¯)Ρ(object),将难以估计的先验概率P(object¯¯¯¯¯¯¯¯¯)Ρ(object¯)和P(object)用一个比率参数λ代替,作为调节检测器敏感度的参量.Schneiderman等采用64×64像素的模式区域,将其分为16个子区域,通过子区域独立性等假设降低“人脸”和“非人脸”模式分布表达式P(region|object)和P(region|object¯¯¯¯¯¯¯¯¯)Ρ(region|object¯)的复杂性,最后转化为稀疏编码的直方图,通过计算训练样本的频度求得两种模式的概率分布.Schneiderman等还将概率估计的方法用于检测正面旋转人脸和侧面人脸,同时使用多分辨率信息复用和由粗到精搜索的策略提高检测的速度.属于这一类的还有Weber等提出的视点不变性学习(Viewpoint-InvariantLearning)的方法等.另一种概率模型是用于描述信号统计特性的隐马尔可夫模型(HiddenMarkovModels,HMM),目前也被应用于人脸检测与识别.Nefian等根据正面人脸由上到下各个区域(头发、额头、双眼、鼻子、嘴)具有自然不变的顺序这一事实,使用一个包含五个状态的一维连续HMM加以表示.将头部图像按照这五个区域划分为互有重叠的条块,对各块进行K-L变换,选取前若干个变换系数作为观测向量训练HMM.Nefian等还提出了基于嵌入式HMM的人脸检测方法.该方法同时考虑到人脸由左到右各个特征的自然顺序,使用了二维HMM,并且采用二维DCT变换的系数作为观察向量.此外还有Meng等使用HMM描述人脸的小波特征中不同级间的相关性等方法.基于HMM的方法一般只使用“人脸”样本进行训练,主要针对用于人脸识别的头肩部图像.4.3.4svm的泛化应用支持向量机(SupportVectorMachines,SVM)是Vapnik等提出的基于结构风险最小化原理(StructuralRiskMinimizationPrinciple,SRM)的统计学习理论,用于分类与回归问题.SRM使VC(VapnikCherovnenkis)维数的上限最小化,这使得SVM方法比基于经验风险最小化(EmpiricalRiskMinimizationPrinciple,ERM)的人工神经网方法具有更好的泛化能力.Osuna等将SVM方法用于人脸检测,取得了较好的实验结果.该方法的基本思路是对每一个19×19像素的检测窗口使用SVM进行分类,以区分“人脸”和“非人脸”窗口.SVM的训练使用了大量人脸样本和“自举”方法收集的“非人脸”样本,并且使用逼近优化的方法减少支持矢量的数量.需要说明的是,长期以来SVM的训练需要求解计算复杂度极高的二次规划问题,限制了该方法的应用.Platt提出的SMO(SequentialMinimalOptimization)算法解决了SVM训练困难的问题.4.3.5高检测系统的鲁棒性检测基于统计模型的方法是目前比较流行的方法,是解决复杂的人脸检测问题的有效途径.它具有如下优点:(1)不依赖于人脸的先验知识和参数模型,可以避免不精确或不完整的知识造成的错误;(2)采用了实例学习的方法获取模型的参数,统计意义上更为可靠;(3)通过增加学习的实例可以扩充检测模式的范围、提高检测系统的鲁棒性.基于统计模型的方法大多适用于复杂背景图像中的人脸检测.目前基于统计模型的方法主要针对正面端正人脸的检测.评估不同方法的性能需要共同的测试集,目前比较公认的测试集是Sung等的MIT测试集和Rowley等的CMU测试集(涵盖了Sung等的测试集).表2列出了几个具有代表性的算法在该测试集上的检测结果统计.由于基于统计的方法对训练样本具有较强的依赖性,因此表中同时列出了各种方法使用的样本规模.需要指出的是,由于人脸检测问题本身的复杂性,加之不同方法往往具有不同的针对性,表2所列数据并不是为了比较各种方法的优劣,而是用来说明目前的研究所达到的大致水平.基于统计模型的方法具有很强的适应能力和鲁棒性,但由于需要对所有可能的检测窗口进行穷举搜索,计算复杂度很高,因此检测速度有待于提高,另外“非人脸”样本的选取仍然是一个较为困难的问题.此类方法主要针对正面端正人脸的检测,旋转人脸、多姿态人脸的检测由于比较复杂和困难,有效的方法还不多.5人脸检测的出路本文结合近年来人脸检测问题上的研究工作,综述了人脸检测问题的研究现状.随着人机交互技术日益成为当前研究的一个中心,人脸检测问题越来越受到重视,成为模式识别与计算机视觉领域研究的一个热点.人脸检测问题的内涵十分广泛,已有的方法一般都是针对某一类问题提出的.由于人脸检测问题的复杂性,实现通用的人脸检测方法还不现实,因此解决特定约束条件下或某种应用背景下的人脸检测问题仍将是该领域研