第8章-人脸检测

第八章人脸检测吴士泓人脸检测问题最初作为自动人脸识别系统的定位环节被提出，近年来由于其在安全访问控制、视觉监测、基于内容的检索和新一代人机界面等领域的应用价值，开始作为一个独立的课题受到研究者的普遍重视。8.1引言人脸检测（FaceDetection）是指在输入图象中确定所有人脸（如果存在）的位置、大小、位姿的过程。人脸检测问题最初来源于人脸识别（FaceRecognition）。人脸检测研究具有重要的学术价值。人脸是一类具有相当复杂的细节变化的自然结构目标，此类目标的检测问题的挑战性在于：（1）人脸由于外貌、表情、肤色等不同，具有模式的可变性；（2）一般意义下的人脸上，可能存在眼镜、胡须等附属物；（3）作为三维物体的人脸的影像不可避免地受由光照产生的阴影的影响。8.2人脸检测问题的分类与人脸模式分析

人脸检测问题所包含的内容十分广泛，从不同的角度可以有多种分类方法（表1）人脸图象所包含的模式特征十分丰富，如图1所示。这些特征中哪些是最有用的、如何利用这些特征，是人脸检测要研究一个关键问题。人脸模式具有复杂而细致的变化，因此一般需要采用多种模式特征综合的方法，如图2所示。

归纳起来，根据利用特征的色彩属性可以将人脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类。前者适用于构造快速的人脸检测和人脸跟踪算法，后者利用了人脸区别于其它物体的更为本质的特征，是人脸检测领域研究的重点。根据特征综合时采用的不同模型，可以将基于灰度特征的方法分为两大类：基于启发式（知识）模型的方法和基于统计模型的方法。由于人脸检测问题的复杂性，无论那一类方法都无法适应所有的情况，一般都针对人脸检测领域内某个或某些特定的问题。8.3人脸模式的特征提取肤色特征灰度特征8.3.1肤色特征肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转，表情等变化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述。可以从两个方面考察某种色度空间：（1）在该色度空间中能否用给定的模型描述“肤色”区域的分布；（2）色度空间中“肤色”与“非肤色”区域的重叠有多少。人脸检测常用的色度空间主要有：RGB（红、绿、蓝三基色）、rgb（亮度归一化的三基色）、SHI（饱和度、色调、亮度）、YIQ（NTSC制的光亮度和色度模型）、YUV（PAL制的光亮度和色度模型）、YCbCr（CCIR601编码方式的色度模型，与YUV在数学上具有等价性）、CIEL*a*b（国际照明委员会提出的基于色度学的彩色模型）等。常用的肤色模型有高斯模型、混合高斯模型和直方图模型。除上述三种肤色模型外，还有直接利用几何参数描述肤色区域分布范围的模型、三维投影模型、基于神经网的肤色模型等。此外也有同时考虑“肤色”与“非肤色”象素分布的基于贝叶斯方法的模型。8.3.2灰度特征灰度特征包括人脸轮廓特征、人脸灰度分布特征（镶嵌图特征、直方图特征等）、器官特征（对称性等）、模板特征等。轮廓是人头部的重要特征。人脸核心区域（眼睛、鼻子、嘴区域）具有独特的灰度分布特征。人脸区域内的各个器官（如双眼、鼻子、嘴等）是人脸的重要特征。人脸区域的灰度本身可以作为模板特征，通常取仅包含双眼、鼻子和嘴的面部中心区域作为共性的人脸模板特征，排除掉头发、脸颊两侧变化很大的部分。被广泛地用于基于统计学习的人脸检测方法中。8.4人脸模式的特征综合人脸的检测过程实际上就是对人脸模式特征的综合判断过程，包括如下方法。肤色区域分割与人脸验证方法基于启发式模型的方法基于统计模型的方法8.4.1肤色区域分割与人脸验证方法对于彩色图象，在确定肤色模型之后，首先可以进行肤色检测。在检测出肤色象素后，需要根据它们在色度上的相似性和空间上的相关性分割出可能的人脸区域，同时利用区域的几何特征或灰度特征进行是否是人脸的验证，以排除其它色彩类似肤色的物体。区域分割与验证在很多方法中是密切结合、统一考虑的。在一些情况下，仅根据肤色象素的聚积特性即可完成区域分割。对于较为复杂的情况，则需要考虑两方面的问题：（1）由于光照和脸部器官的影响，人脸可能被割裂为若干互不连通的肤色区域；（2）人脸区域可能与其它类肤色区域连接在一起。聚类－归并－验证策略是较常用的解决方法：首先将肤色象素按照较为严格的颜色一致性和几何约束条件聚类为区域，然后按照一定规则进行归并，归并后或归并过程中利用其它特征进行验证。另一种策略是先用较弱的条件将肤色象素聚类为区域，再将符合一定条件的区域分裂开。还有一些方法使用肤色模板进行搜索匹配。此外，还有在分割之前就将肤色检测的结果与其它特征融合在一起的方法.8.4.2基于启发式模型的方法基于启发式模型的方法首先抽取几何形状、灰度、纹理等特征，然后检验它们是否符合人脸的先验知识。Govindaraju等使用变形模板（DeformableTemplate）匹配头顶轮廓线和左右两条面颊轮廓线，实现人脸定位。Yang等提出了基于镶嵌图（MosaicImage，又称为马赛克图）的人脸检测方法。人脸区域内的各个器官也具有较为恒定的模式，因此一些方法首先检测器官（如双眼、鼻子、嘴等）或局部特征，然后根据它们的相对位置关系判断整个区域是否为人脸。人脸灰度模板也可以看作是一种启发式模型。梁路宏等使用了直接的平均脸模板匹配方法。该方法考虑到眼睛在人类辨识人脸过程中的特殊作用，使用双眼模板首先进行粗筛选，然后使用不同长宽比的人脸模板进行匹配，最后使用马赛克规则进行验证。使用的模板参见图3。此外还有Lv等根据投影直方图分析首先确定人脸的旋转角度，然后使用基于镶嵌图的方法检测人脸；Dai等根据空间灰度共现矩阵特征检测人脸等等。利用人脸的轮廓、对称性等少量特征的方法适用于较强约束条件下（如简单背景、头肩图象）的人脸检测。由于使用的特征较少，此类算法可以达到较高的检测速度，实现实时检测与跟踪。利用人脸五官分布特征的知识模型方法能够在一定程度上适用于复杂背景图象中的人脸检测，同时达到较高的检测速度。但是需要看到，要想进一步提高知识模型的适应能力，需要综合更多的特征，这实际上涉及到图象理解这一困难的问题。这是此类方法进一步发展遇到的主要障碍。

8.4.3基于统计模型的方法由于人脸图象的复杂性，显式地描述人脸特征具有一定困难，因此另一类方法——基于统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模式，即模板特征，使用大量的“人脸”与“非人脸”样本训练、构造分类器，通过判别图象中所有可能区域属于哪类模式的方法实现人脸的检测。实际上，人脸检测问题被转化为统计模式识别的二分类问题。基于特征空间的方法基于人工神经网的方法基于概率模型的方法基于支持向量机的方法1）基于特征空间的方法

此类方法将人脸区域图象变换到某一特征空间，根据其在特征空间中的分布规律划分“人脸”与“非人脸”两类模式。主分量分析(PCA,Principal-ComponentAnalysis)是一种常用的方法。它根据图象的统计特性进行的正交变换（K-L变换），以消除原有向量各个分量间的相关性。变换得到对应特征值依次递减的特征向量，即特征脸。了基于事例学习的方法，同时使用了19×19象素分辨率的“人脸”和“非人脸”样本。。样本预处理后按行列顺序展开为样本向量进行主分量分解。采用k-均值聚类方法在特征空间中建立6个“人脸”簇(Clusters)，同时建立包围“人脸”簇的六个“非人脸”簇，以使“人脸”与“非人脸”模式的边界更为清晰。属于特征空间方法的还有因子分解方法（FactorAnalysis,FA）和Fisher准则方法(FisherLinearDiscriminant,FLD)。2）基于人工神经网的方法

人工神经网（ANN）方法是把模式的统计特性隐含在ANN的结构和参数之中，对于人脸这类复杂的、难以显式描述的模式，基于ANN的方法具有独特的优势。

CMU的Rowley等使用了多个ANN检测多姿态的人脸，算法的框架如图4所示。在上述框架下，Rowley等对正面端正人脸和正面旋转人脸的检测单独进行了研究。对于正面端正的人脸，仅使用了正面人脸检测ANN，是一种三层前向网：输入层对应20×20象素的图象区域；隐层节点分为对应不同人脸区域的若干组，与输入层部分连接；ANN输出1到-1区间的值表示这个区域是否为人脸。Rowley等使用相同的“人脸”样本和不同“自举”过程收集的“非人脸”样本训练了多个正面人脸检测ANN，对它们的检测结果进行仲裁，以进一步减少错误报警。对于正面旋转人脸的检测使用了旋转角度检测器及正面人脸检测ANN，并使用相似的多ANN仲裁方法降低错误报警。3）基于概率模型的方法

基于概率模型方法的一种思路是计算输入图象区域region属于人脸模式object的后验概率p(object|region)，据此对所有可能的图象窗口进行判别。一种基于后验概率估计的人脸检测方法。该方法利用贝叶斯原理将后验概率估计转化为一个似然度求解问题：将难以估计的先验概率

P(object)和用一个比率参数

P(object)λ代替，作为调节检测器敏感度的参量。另一种概率模型是用于描述信号统计特性的隐马尔可夫模型(HiddenMarkovModels,HMM)，目前也被应用于人脸检测与识别。Nefian等据正面人脸由上到下各个区域（头发、额头、双眼、鼻子、嘴）具有自然不变的顺序这一事实，使用一个包含五个状态的一维连续HMM加以表示。将头部图象按照这五个区域划分为互有重叠的条块，对各块进行K-L变换，选取前若干个变换系数作为观测向量训练HMM。Nefian等还提出了基于嵌入式HMM的人脸检测方法。该方法同时考虑到人脸由左到右各个特征的自然顺序，使用了二维HMM，并且采用二维DCT变换的系数作为观察向量。此外还有Meng等使用HMM描述人脸的小波特征中不同级间的相关性等方法。基于HMM的方法一般只使用“人脸”样本进行训练，主要针对用于人脸识别的头肩部图象。4）基于支持向量机的方法

支持向量机（SupportVectorMachines，SVM）是Vapnik等提出的基于结构风险最小化原理（StructuralRiskMinimizationPrinciple,SRM）的统计学习理论

，用于分类与回归问题。SRM使VC（Vapnik

Cherovnenkis）维数的上限最小化，这使得SVM方法比基于经验风险最小化（EmpiricalRiskMinimizationPrinciple,ERM）的人工神经网方法具有更好的泛化能力。Osuna等将SVM方法用于人脸检测，取得了较好的实验结果。该方法的基本思路是对每一个19×19象素的检测窗口使用SVM进行分类，以区分“人脸”和“非人脸”窗口。SVM的训练使用了大量人脸样本和“自举”方法收集的“非人脸”样本，并且使用逼近优化的方法减少支持矢量的数量。需要说明的是，长期以来SVM的训练需要求解计算复杂度极高的二次规划问题，限制了该方法的应用。Platt提出的SMO（SequentialMinimalOptimization）算法解决了SVM训练困难的问题。

基于统计模型的方法总结

不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整的知识造成的错误；采用了实例学习的方法获取模型的参数，统计意义上更为可靠；通过增加学习的实例可以扩充检测模式的范围、提高检测系统的鲁棒性。基于统计模型的方法大多适用于复杂背景图象中的人脸检测。

目前基于统计模型的方法主要针对正面端正人脸的检测。评估不同方法的性能需要共同的测试集，目前比较公认的测试集是Sung等的MIT测试集和Rowley等的CMU测试集（涵盖了Sung等的测试集）。表2列出了几个具有代表性的算法在该测试集上的检测结果统计。基于统计模型的方法具有很强的适应能力和鲁棒性，但由于需要对所有可能的检测窗口进行穷举搜索，计算复杂度很高，因此检测速度有待于提高，另外“非人脸”样本的选取仍然是一个较为困难的问题。此类方法主要针对正面端正人脸的检测，旋转人脸、多姿态人脸的检测由于比较复杂和困难，有效的方法还不多。8.5小结随着人机交互技术日益成为当前研究的一个中心，人脸检测问题越来越受到重视，成为模式识别与计算机视觉领域研究的一个热点。人脸检测问题的内涵十分广泛，已有的方法一般都是针对某一类问题提出的。由于人脸检测问题的复杂性，实现通用的人脸检测方法还不现实，因此解决特定约束条件下或某种应用背景下的人脸检测问题仍将是该领域