视频人脸检测与跟踪技术综述

视频人脸检测与跟踪技术综述

面部检测是指确定输入图像中所有面部的位置、大小和姿势的过程。近年来人脸检测和跟踪成为计算机视觉和模式识别领域的一个非常活跃的话题。基于视频的人脸检测与跟踪作为人脸信息处理中的一项关键技术,在基于内容的图像检索、视频会议、可视电话、远程视频监控以及人机交互等方面都有着很重要的应用价值。在实际应用中,由于客观因素的影响,如人脸本身复杂的细节变化、人脸多姿态、各种遮挡、光照不均匀、以及复杂背景时,人脸检测和识别普遍存在计算量大、速度慢、鲁棒性差的弱点。为了解决这些问题,近年来很多学者重现了众多检测方法,并通过融合或者改进提高了检测的健壮性和精确性,同时使检测的速度满足了工程上的要求。笔者分析了人脸检测和跟踪国内外的研究现状及背景,总结了近几年来对视频人脸检测和跟踪的算法,并对未来的发展进行展望。1人脸检测的早期研究人脸检测是人脸识别的一部分,人脸检测的研究最早是从二十世纪八十年代开始的。随着科学的进步,人脸识别和检测的应用越来越广泛,其研究也越来越受到国际科研机构的重视。早期的研究方法侧重于模板匹配、子空间方法等,使用简单的启发式和人体测量技术。自Freund提出Adaboost算法以来新的方法及改进技术不断涌现,到目前为止人脸检测的模型基本分为3类:1)基于特征的方法;2)基于模板的方法;3)基于统计理论的方法。1.1基于分类器的训练由Freund在1995年提出的Adaboost算法是最早的人脸检测算法。Adaboost算法是一种迭代算法,其核心思想是自动从多个弱分类器的空间中挑选出若干个分类器,构成一个分类能力很强的强分类器。其算法本身是通过改变数据分布来实现的,它根据每次训练集中各个样本的分类是否正确以及上次的总体分类的准确率来确定每个样本的权值。将修改过权值的新数据送给下层分类器进行训练,最后将每次训练得到的分类器融合起来,作为最后的决策分类器。Adaboost算法能够快速检测人脸,其缺点是只能检测到正面的人脸,对于旋转角度过大或者侧面人脸的检测则完全失效。1.2人脸图的一般特征基于特征的方法实质就是利用人脸的等先验知识导出的规则进行人脸检测。1)边缘和形状特征人脸及人脸器官具有典型的边缘和形状特征,如人脸轮廓、眼睑轮廓、虹膜轮廓、嘴唇轮廓等都可以近似为常见的几何单元。2)纹理特征人脸具有特定的纹理特征,纹理是在图上表现为灰度或颜色分布的某种规律性,这种规律性在不同类别的纹理中有其不同特点。3)颜色特征人脸的皮肤颜色是人脸表面最为显著的特征之一,目前主要有RGB,HSV,YCbCr,YIQ、HIS等彩色空间模型被用来表示人脸的肤色,从而进行基于颜色信息的人脸检测方法的研究。1.3人脸通用模板基于模板匹配的方法(template-matching-methods)的思路就是通过计算人脸模板和待检测图像之间的相关性来实现人脸检测功能的,按照人脸模型的类型可以分为两种情况:1)基于通用模板的方法。这种方法主要是使用人工定义的方法来给出人脸通用模板。对于待检测的人脸图像,分别计算眼睛、鼻子、嘴等特征同人脸模板的相关性,由相关性的大小来判断是否存在人脸。通用模板匹配方法的优点是算法简单,容易实现,但是它也有自身缺点,如模板的尺寸、大小、形状不能进行自适应的变化,从而导致了这种方法适用范围较窄;2)基于可变形模板的方法。可变形模板法是对基于几何特征和通用模板匹配方法的一种改进,通过设计一个可变模型,利用监测图像的边缘、波峰和波谷值构造能量函数,当能量函数取得最小值时,此时所对应的模型的参数即为人脸面部的几何特征。这种方法存在的不足之处在于能量函数在优化时十分复杂,消耗时间较长,并且能量函数中的各个加权系数都是靠经验值确定的,在实际应用中有一定的局限性。1.4人脸检测系统基于统计理论的方法是指利用统计分析与机器学习的方法分别寻找人脸与非人脸样本特征,利用这些特征构建分类器,使用分类进行人脸检测。它主要包括神经网络方法,支持向量机方法和隐马尔可夫模型方法。基于统计理论的方法是通过样本学习而不是根据人们的直观印象得到的表象规律,因此可以减小由于人眼观测不完整和不精确带来的错误而不得不扩大检测的范围,但是这种方法需要大量的统计特性,样本训练费时费力。2人脸检测算法的改进综合上文可以看出,很多研究方法尽管得到了一定成效但是又各有缺点和不足,为了尽量减小由外界环境和自身因素以及由算法本身的缺陷造成的影响提高检测效率和精确性,人脸检测的研究还在继续进行,研究者们也提出越来越多的改进算法。2.1单元尺度不变性不变矩理论是计算机视觉、模式识别、图像处理的重要内容,常用的基于区域的不变矩理论最早是由Hu提出来的,在人脸检测中主要应用了Hu矩处理的旋转、缩放、平移三不变的特性。下面以平面图像为例介绍Hu矩的特性。设图像的质心坐标为(x0,y0):g(x,y)是一个有界的二维函数,其中(p+q)阶矩定义为:其中(p,q=0,1,2…)(p+q)阶中心矩定义为:中心矩vpq是平移不变的。可对其进行尺度规范化,验证其尺度不变性,定义尺度规范矩为:1)平移不变性水平移动a,竖直移动b,x′=x+a,y′=y+b中心矩为:表明具有平移不变性。2)缩放不变性缩放倍数为λ,x′=λx,y′=λy,则g(λx,λy)的中心矩为:而归一化中心矩为:具有缩放不变性。3)旋转不变性η01=η10=0,对任何变换,归一化中心矩始终不变。这表明Hu矩不仅具有平移、缩放不变性,而且具有旋转不变性。这一特性可与Adaboost算法结合使用,弥补Adaboost在旋转角度过大或者完全侧面人间不能检测的缺点,实验结果证明这是可行的。2.2ycbcr彩色空间要从色彩聚类的角度进行转化传统的很多人脸检测方法都需要训练大量的人脸和非人脸样本,学者们提出了基于彩色图像的肤色模型来检测人脸的方法,这种模型取得了一定效果,但是容易受到光线和复杂背景的影响,鲁棒性也会因此变差。特别是用RGB色彩空间时因为RGB同时包含了亮度和色度信息,相关性较高,随着环境和亮度的变化使得人脸检测变得复杂繁琐。按如下方法进行改进,把RGB彩色空间转换到YCrCb空间:首先进行光补偿,将各个像素的R、G、B分别扩展到最高的255。Y是亮度分量,Cb是蓝色色度分量,Cr是红色色度分量。转换成YCbCr彩色空间具有将亮度和色度空间相分离的特点,肤色聚类效果也很好,而且该空间计算方法简单,速度快,易于实现。然后将转化后的Cb分量与Cr分量图作差得到初级图像,最后利用自动阈值将灰度图像处理成二值图像。通过以上做法得到了人脸,但手,胳膊,颈部都显示出来。再结合眼部特征进行检测确定是否存在人脸及其人脸的位置。结合肤色特征通过图像差分方法提取清晰准确的活动区域,有效地解决了视频中人脸检测的问题。2.3基于fcm的人脸聚类分析常用方法中很多要对多姿态人脸进行样本训练,而对多姿态人脸样本的手工分类性能容易受到主观因素的影响,而且分类繁琐耗时,研究者提出利用数据挖掘技术中的FCM对人脸进行聚类分析实现对多姿态人脸进行角度自动划分。决策树也是数据挖掘中的一种分类方法主要用于分类和决策,根据FCM划分的结果,构建一个自顶而下的树经过若干次分类划分为原来混杂的样本集,最终分裂为以一个个类别纯度高的子集。使树的每一个节点表示一个属性上的测试,每个分枝代表一个测试输出,而每个树叶节点表示一个类或类的分布,树的最顶层节点是根节点。实验证明这种检测方法提高了检测的速度而且具有很好的检测性能。3人脸检测算法的可行性及与相关理论的中立地条件笔者介绍了现阶段基于视频的人脸检测算法研究的进展。在对人脸检测不同情况分类的基础上,重点介绍了人脸检测的主要方法,分析和讨论了各种方法的缺点和不足。基于视频的人脸检测是一项艰难而不断发展的技术,但是由于环境的变化如光照和遮挡及人脸本身的复杂性,检测的精确度和鲁棒性都有待进一步研究。学者们也在不断地研究,不断提出新方法,笔者列举了几种同时融合传统人脸检测算法的方法,提高了检测速度,精确性和可行性。随着研究的深入,视频系统的人脸检测技术不断得到发展和完善,但是由于人脸问题本身的复杂性还存在着很多的不足,至今仍没有形成一个较为通用的、简单的解决方案。还有许多工作待解决:1)每一种