（应用数学专业论文）基于肤色和active+contour的人脸检测改进算法.pdf

中山大学硕士学位论文：基于肤色； d a c t i v ec o n t o u r 的人脸检测改进算法 基于肤色和a c t iv 6c o n t o u r 的人脸检测改进算法 专业：应用数学 硕士生：李婷 导师：戴道清教授 摘要 人脸检测是备受关注的一个研究课题。作为彩色图像，肤色特征是人脸的一 个重要特征。利用肤色在y c b c r 空间和h s v 空间中均有较好的聚类性质，可以 构造得到图片在这两个空间中的肤色投影图，结合使用a c t i v ec o n t o u r 的l e v e l s e t 算法对肤色区域进行分割合并得到初步侯选区域，再使用基于灰度图的l e v e l s e t 算法修正，最终得到人脸侯选区域。 对于得到的人脸侯选区域，还需判断该侯选区域是否为真正的人脸区域。本 文在已有用颜色分量构造眼睛，嘴巴投影图方法的基础上做了一些改进，根据眼 睛，嘴巴一般位于肤色区域的较中心位置特点引入了位置距离图( 代表了图片中 各象素点处于肤色区域的远近程度) ，利用位置距离图辅助颜色分量构造出眼睛， 嘴巴的投影图。在投影图中搜索定位得到最可能为眼睛，嘴巴的地方后，根据它 们之间的几何位置关系最后判断，该区域是否为真正人脸。 本文方法的优点在于：采用了基于混合空间的肤色投影图结合l e v e l s e t 算 法进行肤色检测，能有效去除非人脸的背景象素影响，减少有效的人脸侯选区域， 提高人脸检测结果的正确性。另外由于采用特征定位的方法，可以有效地适应多 种人脸角度变化的情形，及人脸有附加物存在( 眼镜，胡子等) 的情形，有较好 的鲁棒性。 关键字：区域活动轮廓的l e v e l s e t 算法，肤色投影图，眼睛投影图，嘴巴投影图 中山大学硕士学位论文：基于肤色j f d a c t i v ec o n t o u r 的人脸检测改进算法 t h e i m p r o v e da l g o r i t h mo ff a c ed e t e c t i o n b a s e do ns k i ua n da c t i v ec o n t o u r m a j o r ：a p p l i e dm a t h e m a t i c s n a m e ： l i n gl i s u p e r v i s o r ：p r o f e s s o rd a o q i n gd a i f a c ed e t e c t i o nh a sb e e nt h et o p i c so fa l le x t e n s i v er e s e a r c hf o rs e v e r a ld e c a d e s s of a ra sc o l o ri m a g eb ec o n c e r n e d s k i ni sa l li m p o r t a n tc h a r a c t e r i s t i c u s i n gt h e c l u s t e r i n go fs k i ni nc o l o rs p a c ey c b c ra n dh s vc o n s t r u c ts k i nm a pb a s e do nt h e s e t w os p a c e s ，t h e nu s el e v e l - s e ta l g o r i t h mo ns k i nm a pt ou n i t ea n d s e g m e n tr e g i o n st o g e tf a c ec a n d i d a t er e g i o n s i no r d e rt oi m p r o v et h ev a l i d i t y , l e v e l - s e ta l g o r i t h mo n f a yi m a g e w i l lb eu s e d a g a i nt oa d j u s tt h ec a n d i d a t er e g i o n s t h en e x ts t e pi st ov e r i f yw h e t h e rt h ec a n d i d a t er e g i o nr e p r e s e n tar e a lf a c e c o m b i n i n ge x i s t i n gm e t h o do fc o n s t r u c t i n ge y em a pa n dm o u t hm a pb yc o l o r c o m p o n e n t s ，t h i sa r t i c l ew i l li n t r o d u c ed i s tm a pf d i s t a n c eo fe a c hp i x e l st os k i n c a n d i d a t er e g i o n ) i n t oc o n s t r u c t i o no fe y em a pa n dm o u t hm a p l o c a t et h em o s t p o s s i b l ea r e ao fe y ea n dm o u t hb ys e a r c h i n ge y ea n dm o u t hm a p ，j u d g ew h e t h e rt h e c a n d i d a t er e g i o ni sar e a lf a c es i m p l yb yt h e i rg e o m e t r ys i t u a t i o n t h em e r i t so ff a c ed e t e c t i o na l g o r i t h mi nt h i sa r t i c l ea r e ：f i r s t ，u s em i x t u r eo f s k i nm a pi nt w oc o l o rs p a c e sc o m b i n i n gl e v e l - s e ta l g o r i t h m ，al o to fn o n f a c er e g i o n s c a nb ee x c l u d e d ，s ot h a ti tc a nr e d u c et h et i m ef o rs e a r c h i n gb a c k g r o u n dr e g i o n s s e c o n d ，s i n c eu s i n ge y e ，a n dm o u t hp o s i t i o nt ov e r i f yt h er e a lf a c er e g i o n ，i tc a na d a p t t od i f f e r e n ts i t u a t i o na st oc h a n g i n go ff a c ea n g l e ，a n da d j u n e t i o no nf a c es u c ha s g l a s s e sa n db e a r d ，s ot h ea l g o r i t h mh e r ei sr o b u s ti nas e n s e k e y w o r d s ：l e v e l s e tb a s e do nr e g i o n a la c t i v ec o n t o u r s ，s k i nm a p ，e y em a pa n dm o u t h m a p 儿 中山大学硕士学位论文：基于肤色j f f l a o t i v ec o n t o u r 的人脸检测改进算法 第1 章绪论 1 1 人脸检测问题的产生及其重要意义 人脸的处理 2 7 包括人脸定位【3 7 】，人脸识别【3 8 】，面部表情识别【3 9 】，智能 人机接口，图像监控，视频检索等领域，有着广泛应用前景，各种人脸处理程序 首先的第一步就是人脸检测。人脸检测的主要步骤包括在任意的背景中进行区域 分割，特征提取，人脸区域验证及人脸表情估计。有效快速的人脸图像检测很有 意义，它类似于人脸追踪，但它的特点是不依赖于前一帧的信息，它常常用来在 追踪时初始化( 突然出现的) 对象。 人脸检测的正确性将影响到后续人脸处理工作的进行。故人脸检测的研究备 受关注。另外，人脸检测问题的解决可以促进其它物体的检测问题的解决。人脸 是一个3 维的物体，同时人脸的特征如肤色，发型，表情姿势等很容易改变，如 何正确有效地检测出人脸，并确定人脸位置相对于检测其它物体来说难一些，故 当复杂的人脸检测问题能被解决时，其它物体检测问题就可以用类似的方法处 理。 因此，从以上角度来看人脸检测都是很有研究意义的。 现在比较常见的应用领域有公安系统，证件核对系统，银行及海关的监控系 统及自动门卫系统，银行信用卡验证，医学，档案管理，视频会议，人机交互系 统，人脸数据管理的自动化等。 1 2 人脸检测技术存在的难点，挑战 人脸检测技术目前存在的几大问题【2 7 】： ( 1 ) 姿势问题。人脸图像很大程度上依赖于拍摄时人脸的角度，角度不好可能使 得眼晴，鼻子等面部特征受到部分或全部的遮挡。 中山大学硕士学位论文：基于肤色* d a c t i v ec o n t o u r 的人脸检测改进算法 ( 2 ) 结构成份问题。人脸表面有可能存在一些附属异物，脸部特征如胡子，眼镜 是否存在；图像中人脸器官的形状，尺寸，纹理，颜色及大小等因素的易变性。 ( 3 ) 人脸表情问题。人脸表情变化可能使得脸部特征发生变化，影响人脸检测的 结果。 ( 4 ) 遮挡问题。人脸可能被其它物体所遮挡或部分遮挡。 俗) 图像定位。摄像机或照相机的光轴的旋转直接改变人脸图像。 ( 6 ) 成像条件。光照及摄像机性质等成像环境的变化使用图像质量差别较大；图 像的背景变化很大。 由于存在以上问题，难以找到统一的模式来描述人脸，故人脸检测技术仍是 一项极具挑战性的任务，是计算机视觉和模式识别领域的一个重要内容。这里需 要说明的是，在许多论文中所提到的人脸检测算法实际上只是人脸定位，人脸检 测和人脸定位的主要区别是后者只是前者的一种简化，本文所做工作主要为人脸 检测。 1 3 本文所做工作 本文进行人脸检测主要包括如下两个模块：基于象素的肤色检测算法模块， 以此找出图片中人脸侯选区域；接着在每个候选区域中使用特征投影图的特征定 位模块，定位特征后结合特征几何关系进行人脸区域验证。多人脸检测通过将每 个人脸肤色区域划分到不同侯选区域，再判断这些侯选区域代表真正人脸来实现 即可。故本文算法适用于单人脸或多人脸检测的情况。 本文主要做了以下工作： 第一：在做基于象素的肤色检测模块时，利用已有的肤色在两个颜色空间 y c b c r 和h s v 中有较好的聚簇分布的结论，及结合【4 0 】混合彩色空间的思想， 得到了一个结合y c b c r 和h s v 彩色空间的混合彩色空间。由于混合彩色空间得 到的直接肤色模型在实验中进行肤色检测效果并不太好，故本文结合【1 5 中提到 的模糊隶属度函数思想，通过定义不同的隶属度函数得到此混合彩色空间中关于 肤色的非参数模型。根据这个混合彩色空间的肤色模型构造出肤色投影图。 第二：肤色投影图构造出来后，还需要进行区域分割合并得到人脸侯选区域。 中山大学硕士学位论文：基于肤色和a c t i v 6c o n t o u r 的人脸检测改进算法 a c t i v e c o n t o u r 的l e v e l s e t 算法在人脸检测中一般用于轮廓检测【4 1 】，但这个算 法也适用于区域分割合并，在医疗图象中常用于肿瘤部位的分割 4 2 】。本文尝试 应用l e v e l s e t 算法的区域分割作用应用到人脸检测中，对肤色投影图进行区域分 割合并，再在灰度图中使用l e v e l s e t 算法调整区域，最后得到侯选人脸区域。实 验证明，l e v e l s e t 算法用在人脸区域分割合并的效果是比较好的，得到的侯选人 脸区域大部分都能满足每个侯选区域包含单个人脸，而且该区域包含一个人脸的 大部分器官特征。 第三：在特征眼睛和嘴巴投影图的构造上，根据眼睛，嘴巴特征一般位于肤 色区域的较中心位置引入了位置距离图，它代表了图中各象素点位于肤色区域的 远近程度。本文结合已有的用颜色分量构造特征投影图【1 】基础上加入了距离函 数图的影响，对原有的特征投影图方法做了改进。在得到了眼睛，嘴巴投影图后， 首先在嘴巴投影图中通过从大到小搜索象素值的水平投影形成的波峰及对应得 到嘴巴区域的长度高度比例是否合理，最终定位嘴巴位置，然后在眼睛投影图中， 去掉已经定位的嘴巴位置处的响应值，也通过从大到小搜索象素值的水平投影形 成波峰及对应眼睛区域的合理性，最终定位眼睛位置。根据人脸的器官分布先验 知识，判断定位到的眼睛和嘴巴位置的几何位置关系是否合理，从而判断该侯选 区域是否为真正的人脸。 中山大学硕士学位论文：基于肤色；f d a c t i v 6c o n t o u r 的人脸检测改进算法 第2 章基于肤色的人脸检测方法 由于肤色对图像尺度，人脸姿态，表情等不敏感，不同的人种，不同年龄的 人，不同性别的人的肤色表现在色度上是稳定的。故在彩色图象人脸检测中常常 将肤色作为重要特征使用。本文研究的工作为基于肤色的彩色图象人脸检测，故 在此单独介绍最近几年基于肤色人脸检测的发展情况。 基于肤色的人脸检测一般包括两个步骤，第一步：通过肤色检测确定人脸侯 选区域；第二步：侯选区域验证。下面将分别从这两个步骤出发介绍基于肤色人 脸检测的情况。 2 1 肤色检测 肤色检测方法总的可以分为两类：基于象素的肤色检测和基于区域的肤色检 测。这两类方法都需要进行肤色象素判断。故要解决的问题首先是选定一个合适 的颜色空间，其次是使用一个合适模型来描述肤色在该空间的分布形状。 下面将在2 1 1 节介绍几种常用的颜色空间，在2 1 2 节介绍肤色模型的构造 方法，最后在2 1 3 节中介绍基于象素的肤色检测和基于区域的肤色检测方法。 2 1 1 颜色空间 1 r g b 空间 r g b 是最常用的颜色空间 2 6 1 1 2 7 4 。但是r ，g ，b 三个分量间有较大的 相关性，且它不能很好地将亮度信息和色度信息分开，因此r g b 空间一般不适 合作为肤色检测的颜色空间。 2 归一化的r g b 空间 归一化的r g b 空间【2 6 】【2 7 】【5 】由r = 百而r，g = 百急，6 = 百而b 4 中山大学硕士学位论文：基于肤色幂f l a c t i v ec o n t o u r 的人脸检测改进算法 得到。又由于r + g + 6 = 1 ，因此可以去掉其中一个分量，将三维空间r g b 降维 为二维。归一化的r g b 空间具有一个较好的性质【4 3 】，在忽略散射光的情况下， 同一表面的转动对它的r g b 值影响不大。 唯筹加一s 嘉 s 。1 。面 4 二- g 4 爿- 螂，g ，丑) 】陋们、。 矿。r + g + b 4 t s l t s l 空间是归一化的色度，亮度空1 4 。 s = 【詈( ，1 + g 2 ) 】 r 。= r 一1 3 , g = g - 1 3 r 叠 a r c t a ( 二) 知+ 1 4 ，g o g 删a n ( 勺2 # + 3 4 , g 0 g 0 g = 0 l = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b 实验证明t s l 空间具有更好的描述能力【3 。 中山大学硕士学位论文：基于肤色和a c t i v ec o n t o u r 的人脸检测改进算法 5 y c b c r 空间 y c b c r 空间是r g b 空间的非线性转化空间，它常用于数字视频，如j p e g ， m p e g 等。y 分量刻画亮度信息，c b 分量刻画蓝色成分信息，c r 分量则刻画红 色成分信息。y c b c r 空间优于r g b 空间在于c b ，c r 空间均以低于y 分量分辨率 来表示。人类视觉的特点为对亮度比对色度敏感【4 4 ，因此y c b c r 空间比r g b 空间更能符合人类视觉的特点。 r g b 空间到y c b c r 空间的线性变换如下： l ，= 0 2 9 9 r + 0 5 7 8 g + o 1 1 4 口 c b = 0 5 6 4 ( b n c r = o 7 1 3 僻一y ) 6 一种新的彩色空间y c b c r 空间的非线性转化空间 h s u 等人【1 】提出了一个由y c b c r 空间经非线性转化得到的新彩色空间。他 们认为在y c b c r 空间中，色度分量c b ，c r 是关于亮度分量y 的函数： d ( y ) ，c r ) 。新的线性空间记为y c b c r ， f 孵 一 c i ( y ) ： 口) - e ( y ) ) 瓦南+ c i ) y 蜀，蚝y ，f ；6 ，r jc ，r e k , ，蚝 其中 ) = g 口) = c r 口) = + 竖二塾! ：咝二堕! ，y 。k i k t y m 。 岷+ 坠掣耶y + + 瞄- r ) ( 1 1 8 - 1 0 8 ) 玛一k 口一瓦) 0 1 8 - 1 0 8 ) k 一 ，y k ，毛 4 0 ，b 2 0 且 m a x r ，g ，b 卜m i a r ，g ，b 1 5 ， i r - r g 1 5 r g ，r b 以上即为r g b 空间的直接肤色模型描述。 c - c c h l i a n g 等人【5 】提出了归一化r g b 空间中的直接模型：多项式模型。 首先将r g b 空间转化成归一化的r g b 空间，得r = 百而r，g = 百彘a 7 中山大学硕士学位论文：基于肤色 f l a c t i v ec o n t o u r 的人脸检测改进算法 这个模型除了使用这两个分量外，还使用了由这两个分量通过多项式构造出来的 另三个分量： 正 = 吒r 2 + b u r + c u ，无口一o ，2 + b t r + c t ， w ( r ，g ) 一( ，一0 3 3 ) 2 + ( g 一0 3 3 ) 2 ， 其中a 。一一1 3 7 6 7 ，阮= 1 0 7 4 3 ，c 一0 1 8 5 2 ，a ，= 一0 7 7 6 ，岛= 0 5 6 0 1 ，e i = 0 1 4 6 6 。 图象中某一点若满足以下四个条件就被认为是肤色象素点： 1 ) g 五( r ) ，g g b ；4 ) r g 苫4 5 。 此类模型还包括a l b e r t oa l b i l t 等人 6 】使用的在y c b c r 空间的直接模型， g o m e z 和m o r a l e s 等【7 】用机器学习方法同时找到合适颜色空间及对应的肤色直 接模型，及a h l b e r g 8 ，c h r i s t o p h eg a r c i a 【9 】，j o r d a o 1 0 等人建立的相关肤色模 型。 2 非参数模型 另一个常用的肤色模型为非参数模型，它主要通过训练估计出肤色分布规 律，而不给出对肤色分布形状的直接描述。这种模型方法通常被称为肤色概率投 影图( s p m ) ，对空间中的每一点都给出它与肤色的相似程度。 一种方法是基于直方图的肤色概率投影图构造法【1 1 】 1 2 】。他们首先将彩色 空间量化成若干个分段区间，每个区间对应着某个范围的颜色分量值的组合c 。 在训练时记录真正肤色象素对应的颜色分量组合落入该区间的次数n u m ( c 1 ，训 练结束后将次数进行归一化处理( c ) 2 f n u m 丽( c ) 或( c ) 2 莉n u m ( c ) 僦 得到每组颜色分量c 与肤色的相似程度，从而得到肤色概率表。对于一幅图象， 只需要转化成相应的彩色空间，再根据肤色概率表查找与肤色的相似度，相似度 大于某个阈值就认为是肤色。 另一种是贝叶斯分类器方法【1 3 】。前面基于直方图方法中提到的 ( c ) ：毒粤实际上是c 为肤色的条件概率p ( c i 啪n ) 。根据贝叶斯规则， n u m ( c ) 有： 中山大学硕士学位论文：基于肤色 d a c tiv oc o n t o u r 的人脸检测改进算法 p l c ) = 而面而面p ( 可cs 瓦k i n ) 面p ( s k 赢i n ) 而丽 p ( s k i n ) ，p ( n o n s k i n ) 是先验知识，p ( c i s k i n ) ，p ( c i n o n s k i n ) 可以通过训练直方图计 算得到，从而得到阈值0 ，当p ( s k i n l c ) 0 时接受颜色分量c 为肤色象素。 此外还有使用神经网络建立的模型。b r o w n 等人【1 4 】于2 0 0 1 年提出了基于 自组织网络的肤色模型。分别使用两个自组织网络对肤色和非肤色两类进行单独 训练，得到肤色和非肤色的分界面。另外，目前较新的方法是基于模糊数学的方 法 1 5 1 ，建立肤色的模糊隶属函数，得到象素点与肤色的相似度。 非参数模型的好处在于训练和使用非参数模型的速度较快；另外它与肤色在 彩色空间中分布形状无关，但与训练集的代表性有关。缺点在于训练使用时需要 较大的存储空间存储中问过程和结果，因为颜色分量c 是对应到每一个区间的， 每个区间分量值范围越小，则分段的个数越大，要求占用更多存储空间。 3 参数模型 参数模型可以弥补非参数模型有效性依赖于训练集的缺点，它可以根据训练 集的数据产生得到新的数据。下面看几种常见的参数模型。 最简单的是高斯模型【1 6 】，肤色模型可以表示为一个椭圆的高斯联合概率分 布。p ( c i 娥n ) 。! 可p i 1 一心) r 2 i 1 “，c 为颜色分量，以，；是肤色分布的 打i ，p 均值，方差。 其次为混合高斯模型 1 7 1 1 3 1 ，它可以用来描述肤色分布形态比较复杂的情 况，它由高斯模型发展而来。p ( c i s k i n ) = b ( c i s k i n ) ，k 为该彩色空间颜色 分量的个数， 为权系数， 一1 。 另外还有椭圆边界模型。在彩色空间中肤色的分布的形状往往是椭圆形的， i 习此可以建立相应的椭圆边界模型，落在边界及边界以内的颜色分量c 被认为是 肤色象素。例如h u s 等人 1 】提出在y c b c r 空间中肤色分布为类椭圆形状，建立 肤色模型为： 中山大学硕士学位论文：基于肤色年d a c t i v ec o n t o u r 的人脸检测改进算法 丁( x - - e c x ) 2 + ( y - 矿e c y 一) 2 = 1 ( ；) 。( 一c 。o 血s o 口。s 。i n 。o 口l ，。( c c ，b 一- 。c y x ) 其中c z = 1 0 9 3 8 ，c y = 1 5 2 0 2 ，e 篮- 1 6 0 , e c y = 2 4 1 ，a = 2 5 3 9 ，b ；1 4 0 3 ， 0 = 2 5 3 弧度。 另外，l e e 和y a o 等人【2 】于2 0 0 2 年提出了另一个椭圆边界模型。 参数模型的好处在于：它能通过训练得到一个广义的肤色模型，并可以根据 不同情况自适应地修改它，以便在光照条件，摄像机性能，外界环境改变的情况 下保持肤色模型的稳定有效性。它的缺点在于建立模型的过程复杂，及计算复杂， 时间消耗大。 2 1 3 基于象素和基于区域的肤色检测 取定了彩色空间及肤色模型后，确定了判断象素点是否为肤色的方法，就可 以进行肤色检测得到人脸侯选区域。 前面提到肤色检测确定侯选区域可以通过两种方法来实现，一种是基于象素 的肤色检测，一种是基于区域的肤色检测，这两种方法各有好处。下面简单介绍 一下这两种方法的做法，区别和各自的优缺点。 1 基于象素的肤色检测 首先给出基于象素的肤色检测的流程图如下： 图2 1 基于象素的肤色检测，先通过判断输入图像中每一象素点是否为皮肤象素， 再采用某种区域分割合并方法将属于同一区域的象素连接起来形成连通区域，这 些连通区域将构成最终所需要的人脸侯选区域。 肤色判断方法在上两节中详细介绍了。区域分割合并算法，则包括区域竞争 法，有监督的g r f 方法，分水岭算法，椭圆形状算法等。 中山大学硕士学位论文：基于肤色 p a c t i v ec o n t o u r 的人脸检测改进算法 目前大部分的基于肤色的人脸检测算法都是采用基于象素的肤色检测来选 定侯选区域【6 】 5 】 1 8 】。 这种方法的好处是在理想情况下，它能得到较准确的肤色区域。但在实际情 况中，由于还没有一种肤色模型可以完全适应光照，环境等因素的改变，故无法 正确判断象素点是否为皮肤象素，常出现误判，漏判的情况。误判使得一些非肤 色的背景象素被认为是肤色，在人脸检测中意味着增加了一些侯选区域或扩大了 侯选区域的范围，这些区域可能会造成整个检测过程的失败，例如，两个人靠得 很近，做肤色检测后两人之间的背景象素被误判为肤色区域，将两个人各自的肤 色区域连在一起，在下一步区域合并的时候就会出错。漏判是另一种情况，它使 得原肤色象素被认为是背景象素，这使得原来属于同一脸上的肤色区域经判断后 使去了连通性，断裂成一块一块，有时断裂程度太大甚至会使得区域合并方法失 败，即应该属于同一块区域的象素无法连接形成连通区域。以上两种情况都会使 得肤色检测失败。因此在使用基于象素的肤色检测时要注意这两个问题。 2 基于区域的肤色检测 同样先给出基于区域的肤色检测的流程图如下： 图2 - 2 基于区域的肤色检测与基于象素的肤色检测顺序刚好相反，它先通过区域分 割合并算法，将图象的象素点按选定的性质分为若干个性质均匀的小区域，再在 每个小区域中用前面两小节提到的肤色象素判断方法计算该区域内为肤色的象 素点的个数，若肤色点个数达到一定的阈值，则认为此区域为肤色区域 【1 9 【2 0 】【2 1 】。 这种方法的好处是，它首先对图象进行了区域的划分，有利于保持区域的连 通性，克服由于基于象素判断方法造成连通性破坏的情况。但这种方法要求区域 划分的准则选择得合适，不合适的准则可能使得本来属于同一区域的象素被划入 不同的候选区域，或者使得侯选区域中掺入了过多的背景，若区域划分失败的话， 人脸检测整个算法可能就相当于失败了。 中山大学硕士学位论文：基于肤色* d a c t i v ec o n t o u r 的人脸检测改进算法 2 2 侯选区域验证 经过肤色检测确定了人脸候选区域后，下面一步是验证每一个人脸侯选区域 是否为真正的人脸。总结相关文章，可以看到侯选区域的验证方法主要分为两类： 一类是基于特征的方法，另一类是基于图象的方法。 基于特征的方法，是通过找出相应的人脸特征来定位检测人脸的。常用的特 征包括嘴巴，眼睛等器官本身的几何特征，器官问的空间位置关系，人脸轮廓等。 通过特征可以快速定位人脸。 基于图象的方法则不直接利用人脸的特征信息，而将区域内人脸验证作为一 般的模式识别问题，通过训练学习使系统得到检验人脸的能力及模板，然后使用 训练好的模板搜索侯选区域可能的人脸区域来实现人脸区域验证的目的。它是一 种直接的处理方法，因为它不需要对原图象进行太多的预处理步骤。 但这两种方法不是绝对的分类，现实工作中经常将两者结合起来使用。 2 2 1 基于特征的方法 1 边缘特征 人脸器官具有典型的边缘和形状特征，如轮廓，眉毛边沿，眼睑轮廓，虹膜 轮廓，鼻侧线和嘴唇线等可以近似为椭圆，圆，弧线段或线段等简单几何单元。 边缘检测是抽取边缘表现的最先步骤。s o b e l 算子为最常用的边缘检测算子， t h em a r r - h i l d r e t h ，c a n n y ，z e r o c r o s s ，一阶或二阶的g a u s s i a n ，l a p l a c i a n 等算子 在边缘检测中有不同的优势 2 6 】。在做边缘检测前，一般要先对图像进行边缘增 强。使用边缘检测后得到的边缘经常是断断续续的，还需要将这些断开的边缘连 接起来构成物体真正的边缘。 s a n u ns f i s u k 等k 1 5 * n s o n l a m p h u n g 等人【1 8 】则使用了人脸的边缘信息对 侯选区域进行验证。y a o x i nn ，等人【2 2 】在侯选区域中使用眼睛模板进行搜索， 通过定位眼睛来验证侯选区域。 中山大学硕士学位论文：基于肤色和a c t i v ec o n t o u r 的人脸检测改进算法 2 灰度信息 脸部特征如眉毛，瞳孔，嘴巴比脸部其它区域具有较低的灰度值，前额，脸 颊，鼻粱和下颌等其它区域的灰度值较高，因此人脸具有明显的灰度分布特征 f 2 6 ，通过搜索灰度投影信息的谷点，峰点，可以粗略得到人脸器官的大概位置 及一些特征的分布位置。另外使用灰度信息的另一常用人脸检测方法是镶嵌图 法。使用灰度信息时光照的影响很大，光照不均匀时，各区域的灰度值虽然会有 不同的变化，但眼睛和嘴巴，鼻子和嘴巴，鼻子和脸颊等区域灰度比值会保持一 定的比率。 c 一c c h i a n g 等人 5 】通过在侯选区域中的灰度信息等找到嘴角，眼睛位置来 验证是否为人脸。算法主要包括三个步骤：1 根据非肤色象素的分布估计出图中 人脸的转动角度；2 结合侯选区域已经得到的嘴巴中心位置及使用s o b e l 算子找 到的边缘信息，定位嘴角。3 利用前面得到的人脸转动角度和嘴角的位置，及眼 睛与嘴巴的几何关系，眼睛四周的灰度值较低，及c r 值偏高等先验信息，就可 以方便地找出眼睛位置。实验证明这种算法对脸部表情变化有很好的鲁棒性。 h o n g - b i nd e n g 等人【2 3 】使用遗传算法得到肤色模型后进行肤色检测，在区 域验证时采用了结合侯选区域的颜色及灰度特性共同验证该区域是否为真正人 脸。 3 颜色信息 灰度信息是图像特征的基本表现，但颜色是观测物体更有力的工具，由于颜 色是三维信息，保留更多有用的方面，使得具有相同灰度的二个形状在颜色空间 中变得不同。人脸的器官如嘴巴具有颜色偏红的特点，眼睛周围亮，中间暗的特 点等都可以通过颜色信息表达出来。 h s u 等人【1 】在侯选人脸区域中根据眼睛，嘴巴的颜色特点，及灰度关系，做 出眼睛和嘴巴的投影图，并通过搜索定位得到特征的位置，进行相互几何关系验 证后得出该区域是否为真正人脸。 4 其它特征 正面人脸是一般是左右对称的，对应边缘和灰度特征基本相同。各个器官也 中山大学硕士学位论文：基于肤色和 c t i v ec o n t o u r 的人脸检测改进算法 具有自身的对称性【2 6 】。眉，眼，鼻等区域是按一定比例关系组织在一起，各器 官按照从上而下的顺序排列，两眼和嘴中心构成一个三角形。每个人的眉，眼， 鼻和嘴的相对位置，眉毛的厚度和弧度，嘴的宽高，脸形等特征各具特点。头发 的灰度和肩宽等也可作为辅助特征。 d es i l v a 等【4 5 】提出一个基于特征搜索法的脸部特征抽取模板。算法首先假 设已经找到了头顶线这个参考特征，根据眼睛在头顶线之下的几何性质，往下搜 索边缘密度骤升的地方标记为眼睛平面( 边缘密度定义为水平面上白的边缘象素 点个数黑的象素点的个数) ，将头顶线到眼睛平面的长度作为一个参考长度( 下 表2 1 给出一般人脸特征长度表) ，根据这个长度确定一个人脸模板，将模板叠 加到图像上就可以得到眼睛和嘴巴，鼻子的粗略位置，再经过微调模板上的器官 分布得到最终的特征位置图，通过相互验证就可以证明是否为人脸。 表2 - 1 人脸几何特征长度表： 头高眼距眼到鼻眼到嘴 一般长度 1 9 7 20 5 1 6o 3 0 30 5 5 6 2 2 2 基于图象的方法 1 线性子空间法 线性子空间的主要思想是将人脸图像投影在低维人脸特征子空间上，使得该 特征子空间和非人脸子空间有最大线性分离度，然后找出差别函数进行分类或者 找出一个非线性决策面。线性子空间法的代表算法有经典p c a ，l d a ，f d a ， f a ，f l d ，m f a 等。 s o nl a mp h u n g 1 8 等人提出一个基于肤色和p c a 的人脸检测算法。首先通 过训练得到一个关于肤色簇的3 维高斯分布函数，建立肤色模型。采用基于象素 的肤色检测算法，先用肤色模型找出每个肤色象素点后，根据人脸的椭圆形状限 制，肤色象素点以这一原则组合成一个个侯选区域。人脸区域验证的时候主要采 用p c a 的方法：1 用一个矩形框框出侯选区域，并归一化为1 5 x 1 5 的图象后，将 中山大学硕士学位论文：基于肤色年f l a c t i v ec o n t o u r 的人脸检测改进算法 图象按列堆积成一个列向量z ；2 将向量z 投影到由训练得到的特征脸空间y 中 ( 该特征空间由2 0 张特征脸张成) ，得到特征向量w = y 7 ( z 一) ，z m 为训练时的 人脸均值向量；3 用两个高斯分布函数分别表示人脸分布和非人脸分布，通过计 算w 在两个分布函数中的值判断它是属于人脸类或非人脸类。 类似的使用p c a 方法的还有b m e n s e r 等人【2 4 】，他们的方法前面几步与上 面方法类似，只是在判断特征向量w 是否为人脸时不同，这里通过计算w 到特征 脸空间的距离( d f f s ) 及w 在特征脸空间的距离( d i f s ) 来实现。h y e o nb a e 等 4 6 1 也使用了同样的方法进行人脸验证。 2 神经网络法 神经网络是模式识别中常用的方法，是一种非线性的求解过程，虽然神经网 络的训练内部运作具有不可理解性，但有时它却能得到很好的分类效果，于是它 的用处还是很大的。神经网络飞速发展到现在己不仅指多层感知器模型，还包括 了专家决策器，复杂学习算法，自组织网络训练，基于遗传算法的演化，修整器 等模型。 最早用于人脸检测的神经网络方法是基于m l p 多层感知器，但它只对相对 简单的数据集才有较好的效果。 第一个能解决数量较大且复杂的数据集的神经网络是由r o w l e y 4 7 提出的 局部连接的神经网络。由l i n 等a 4 8 提出基于概率决策的神经网络( p r o b a b i l i s t i c d e c i s i o n - b a s e d n e u r a l n e t w o r k s ) 用于完全自动化的人脸识别系统，p d b n n 是由 分层专家组成的分类器，它与决策专家系统( d e c i s i o n - b a s e dn n ) 有相似的性 质，但这里它多受了一个概率条件约束。一种较新的学习方法为s n o w 稀疏神 经网络 4 9 1 。s n o w 学习结构是一个线性的稀疏神经网络，特别适合运用在有大 量特征值参与决策，而事先无法知道它们优先级的情况。这种学习结构具有稀疏 的连接单元，计算只依赖于当前的活动特征，而不是整个特征空间。该结构的一 个主要特点是错误率只随样本的无关特征数成对数级增长，而且计算的时间和空 间效率也比较高。r o t h 等【4 9 】将它应用于人脸检测。 神经网络常用于人脸检测，这些方法同样适用于基于肤色的人脸检测中，只 需要将神经网络用于人脸区域的验证即可。不少新的神经网络被提出用于人脸侯 中山大学硕士学位论文：基于肤色年l a o tiv ec o n t o u r 的人脸检测改进算法 选区域的验证，如m b i a n c h i n i 等人【2 5 】使用的基于r n n 的人脸检测方法等。这 个方面的应用还有待于进一步研究。 2 2 3 基于特征和图象方法的总结 在基于肤色的人脸检测中，在确定侯选区域，验证侯选区域的方法完全可以 参照一般情况下的人脸检测算法，人脸检测算法中的基于特征方法，及基于图象 的方法只需要改变一点点条件就可以用在验证侯选人脸区域中。人脸检测算法的 详细情况可以参考e r i kn j i e l m a s 2 6 ，m i n g - h s u a nv a n g 2 7 等人的人脸检测综述 文章。 这里对这两种方法的缺点作个简单的总结： 基于特征的方法的缺点是，将计算机理解底层信息如灰度等转化成高层信息 如眼睛等的关系模型复杂，而且有一定的局限性；另一个缺点是对图片质量要求 较高，光照改变等外界条件对这种方法的效果好坏影响很大。 基于图象的方法的缺点是，训练学习和搜索检测时间消耗大，虽然后来提出 了训练的提升算法，但要达到实时检测还需要进一步改进；另一个缺点是，要取 得较好的检测效果，在训练学习时使用的样本数要非常多，而且覆盖范围要广， 包含尽可能多种类的样本。在实际中要改进这两个缺点还是相当困难的。 中山大学硕士学位论文：基于肤色 f l a c t i v ec o n t o u r 的人脸检测改进算法 第3 章活动轮廓知识准备 活动轮廓( a c t i v e c o n t o u r ) 5 0 ，是一条能根据自身内部能量及由图像特征 得到外部能量在图像区域内进行移动的曲线。选择合适的内部能量和外部能量能 使曲线逼近物体的边界或得到所需要的其它特征。这种方法被广泛应用于包括边 缘检测，形状匹配，图像分割，目标跟踪等方面。 活动轮廓模型的基本思想是通过最小化能量函数e 。，来实现对图像的 分割和边缘检测，能量函数的通式如上所说应为： e 二e r g y = 绷甜+ 正赢。讲 e 。j 表示由曲线自身所必须受到的约束条件，满足的性质得到的能量， 与图像无关，称为内部能量。在实际使用中，这一项通常被取为对曲线光滑性约 束，故内部能量也常被称为是光滑能量或样条能量。 e 。f 表示由图像特征得到的能量，称为外部能量，例如图像的梯度信 息，区域均匀性信息等。外部能量的选择是保证曲线能向图像真正边缘移动的关 键。目前对外部能量如何选择的讨论仍是一个热点，还有待解决。 根据曲线，曲面的表示方法不同，能量函数的运动求解格式不同，主要分为 两种：参数活动轮廓模型和几何活动轮廓模型。本章第一节将结合外部能量常用 信息梯度信息比较这两种模型，第二节阐述外部能量常用的另一信息，区域 信息用在模型的情况，第三节着重介绍与本文相关的几何区域活动轮廓模型部 分。 3 1 参数活动轮廓模型及几何活动轮廓模型 3 1 1 参数活动轮廓模型 中山大学硕士学位论文：基于肤色和a c t i v ec o n t o u r 的人脸检测改进算法 参数活动轮廓模型最早由k 盅s s ，w i t k i _ 1 1 ，t e r z o p o u l o s 等人提出，也称为 k a s s - w i t k i n t e r z o p o u l o s 模型 2 8 】。 首先，将图像中的闭合曲线 定义为 c = c ：陋，6 】一q ，c 0 ) 一c p ) ，c 一阶连续可微) ，这样就得到曲线的一个参数化表 示方法。 在图像中，令r 为图像的边缘集合，则r = u c s ，j 为有限或可数的。 考虑灰度信息，：t i e r 2 一r ( f l 为有界的) ，取映射x = “，x 2 ) 一1 w “，屯) i ， 为提取出灰度信息的梯度模， q bv x ( x , ，屯) ：( 兰，当为j 的梯度。 嘱d k 同时，定义一个函数g ： o ，+ o 。 一 o ，+ o 。 ，使得梯度响应无穷大的点逼近到 0 ，这里函数g 必须满足以下两个性质【5 0 】 ( 1 ) g 是单调递减的 ( 2 ) g ( 0 ) = 1 l i mg ( s ) = 0 结合梯度模及函数g ，定义x g ( 1 w o ) 1 ) 为边缘检测算子，通常可以选 = 击 在给出了以上一些定义后，就可以具体给出曲线的能量定义如下。 对任意曲线c c ，它所具有的能量为： e ；舅c ( q ) 1 2 由+ 商c “( 日) 1 2 由十巾b ：o w ( c ( 口) ) 1 ) 由 ( 3 1 ) c ( 口) ；( c 1 = 串d q ，夸，卜 岫l_厮d2c1 2 , d 2 c 2x 2 在能量格式( 3 1 ) 中，前两项合在一起称为曲线的内部能量，用于强调光 1 8 中山大学硕士学位论文：基于肤色和a c t i v 6c o n t o u r 的人脸检测改进算法 滑性限制，其中一阶导数使得曲线像膜一样运动，二阶导数项使得曲线像细木条 一样弯曲( 一般常取芦= 0 ，使得边缘处可以允许二阶不连续的情况) 。第三项为 外部能量，它使得曲线能贴近物体的边界。 在前面已经给出g 需要满足的条件，这里从实际意义上来解释g 取单调递减 趋于0 的原因。曲线是根据能量最小化来逼近图像的实际边缘，故在实际边缘附 近能量应该是局部最小的，这样才能使曲线向边缘运动。同时，曲线能量中内部 能量只与曲线自身有关，故只有使曲线外部能量在靠近边缘的时候逐渐减小，到 真正的边缘时达到最小值0 ，才能使曲线正确逼近到边缘。这就是边缘检测算子 g 必须取单调递减趋于0 的原因。 采用变分原理得到能量函数( 3 1 ) 相应的欧拉一拉格朗日方程为【5 0 】： + c ”+ 慨2 ( 1 w ( c 1 ，c z ) i ) = o( 3 2 ) jc ) = c 求解( 3 2 ) 时引进一个额外的参数时间变量，使曲线