（通信与信息系统专业论文）视频通信中的人脸模型基编码研究.pdf

浙江大学博士学位论文摘要 摘要 随着多媒体、通信和计算机等技术的快速发展以及人们对视频通信服务需求不断 的增长，低码率图像编码技术成为一个活跃的研究领域。模型基编码作为一种分析 综合的编码方法具有高压缩性和自然的重建图像效果。受到了极大的关注，并在标准 m p e g - 4 中得到体现。针对如视频会议和个人移动通信等主要活动目标为人脸的视频 应用，本文深入系统地研究了复杂场景中的人脸识别、脸部特征形状估计、脸部整体 运动跟踪、通用人脸模型的自动调整、参数压缩以及图象综合等模型基编码的核心技 术得到如下研究成果： 给出了视频场景中主要活动目标为头肩的应用中的脸部区域快速有效的定位算 法。 建立了梯度面积投影曲线模型，用于候选人脸的校验。 简化了现有的眼睛、嘴巴形变模板能量函数，提高了模版匹配速度，提取的能量 最小化过程中的初始参数防止了模板收缩。 提出了改进的鼻子边缘轮廓形变模板，对不同人脸姿势的鼻子形状提取快速准确。 提出了形变模板和活动轮廓模型的相结合的下巴轮廓跟踪算法，跟踪结果稳定准 确。 给出的角点检测方法提取的运动估计关键点，减少脸部整体运动参数估计的误差。 提出了一种实用的通用人脸模型自动匹配方案，加快了模型自动匹配速度。 提出了一种基于特征区域的纹理的编码算法，大大提高了压缩比。 关键词：模型基图象编码，人脸识别，脸部特征形状估计，人脸综合 浙江大学博士学位论文 a b s t r a c t t h et e c h n i q u eo fl o wb i tr a t ei m a g ec o m p r e s s i o nh a sb e c o m ea na c t i v er e s e a r c hf i e l d b e c a u s eo ft h er a p i dd e v e l o p m e n ti nm u l t i m e d i a ，c o m m u n i c a t i o na n dc o m p u t e ra n dt h e i n c r e a s eo fp e o p l e sr e q u i r e m e n tt ov i d e o s e r v e t h em o d e l b a s e di m a g ec o d i n ga sa n a n a l y s i s s y n t h e s i sc o d i n gm e t h o dw i t hh i g hc o m p r e s s i o na n dn a t u r a lr e c o n s t r u c t e di m a g e e r i e c tf o c u s e sr e s e a r c h e r s e y e s a n di t st h e o r yi sr e p r e s e n t e di nt h em p e g 4s t a n d a r d t o t h ev i d e oa p p l i c a t i o n ss u c ha s v i d e o p h o n em e e t i n go rp e r s o n a lm o b i l ec o m m u n t i o ni n w h i c ht h em a i na c t i v eo b j e c t sa r eh u m a nf a c e s ，t h ec o r et e c h n i q u e si nm o d e l b a s e di m a g e c o d i n gs u c ha sf a c er e c o g n i t i o ni nc o m p l e xs c e n e ，f a c i a lf e a t u r ec o n t o u re s t i m a t i o n ， t r a c k i n go fw h o l ef a c em o t i o n ，a u t o m a t i ca d a p t a t i o no fg e n e r i cf a c em o d e l ，a n dp a r e m e t e r s c o m p r e s s i o n ，i m a g es y n t h e s i sa n de t c a r ed e e p l ys t u d i e di nt h i st h e s i s ，s o m er e s u l t sa r e o b t a i n e da sf o l l o w i n g ： af a s ta n de f f e c t i v ea l g o r i t h mt ol o c a t ef a c er e g i o ni nv i d e os c e n ew h o s em a i na c t i v e o b j e c t sa r eh e a d s h o u l d e r si sg i v e n am o d e lo f g r a d sa r e ap r o j e c t i o nc u r v ei sb u i l tt ov e r i f yf a c ec a n d i d a t e t h es i m p l i f i e de n e r g yf u n c t i o n so fe y ea n dm o u t hd e f o r m a b l et e m p l a t e sm a k e st h e t e m p l a t e sm a r c h i n gf a s ta n dt h ei n i t i a lp a r a m e t e r se x t r a c t e df o rt h em i n i m i z a t i o np r o c e s s p r e v e n tt e m p l a t e sf r o ms h r i n k i n g ae n h e n c e dd e f o r m a b l et e m p l t eo fn o s es h a p ei sp r o p o s e dt oe x t r a c tn o s ec o n t o u ri n f a c ew i t hv a r i a n tp o s e sf a s ta n de x a c t l y a na l g o r i t h mt ot r a c kt h ec h i n sc o n t o u rb yc o m b i n i n gd e f o r m a b l et e m p l a t ew i t h s n a k e si sp r o p o s e da n dc o r r e s p o n d i n gt r a c k i n gr e s u l ti ss t a b l ea n da c c u r a t e t h ee x t r a c t e dk e yp o i n t sb yg i v e nc o r n e rd e t e c t i o nm e t h o dm a k e sl e s s e re r r o rf o rf a c e w h o l em o t i o ne s t i m a t i o n a n a p p l i e ds c h e m ei sp r o p o s e df o ra u t o m a t i ca d a p t a t i o no fg e n e r i cf a c em o d e lm a k e s t h em a t c h i n gp r o c e s si sf a s t t h ep r o p o s e de n c o d i n ga l g o r i t h mb a s e do nf e a t u r er e g i o nf o ra c t i v et e x t u r eg r e a t l y i n c r e a s e st h ec o m p r e s s i o nr a t i o k e y w o r d s ：m o d e l - b a s e di m a g ec o d i n g ，f a c er e c o g n i t i o n ，f a c i a lf e a t u r es h a p ee s t i m a t i o n 。 f a c es y n t h e s i s 浙江大学博士学位论文 第一章绪论 第一章绪论 视频通信技术的概念已经建立多年，从以前的电影电视到今天的远程教育、网 上购物和视频点播，无疑它在人们的日常生活中起着重要着用。随着计算机技术、通 信技术和多媒体技术的快速发展以及人们对视频通信服务需求不断的增长，各种视频 压缩技术相继产生。模型基编码是一种基于分析一综合方法的图像编码技术，其极低 码率和自然的重建图像使它成为一个活跃的研究领域并在最新的视频编码标准 m p e g - 4 中得到体现。考虑到这一编码技术的提出与视频编码技术的发展息息相关， 本文首先简要回顾视频编码技术的理论基础和现有的视频编码技术。 1 1视频编码技术的理论基础 人类在感知外部世界过程中，超过6 0 的信息来自视觉系统，并且视觉获取的 图像具有直观性强和信息丰富等特点。人们利用照片和电视来记录和回放历史，但早 期的电视技术是基于模拟技术成果，无论存储、传输还是抗干扰等方面都存在难以改 变的缺陷，所以，1 9 4 8 年o l i v e r 01 就提出对模拟电视信号的p c m 编码，借助数字技 术及计算机技术来获取和利用图像信息，开始了图像技术的数字时代。然而，数字化 的视频图像所具有的数据海量特性与计算机硬件存储资源及网络带宽之间存在的巨 大差额变成了人们有效利用数字视频信息的瓶颈。因此，数字视频图像数据的压缩编 码技术自然成为了解决这一矛盾的重要手段。 虽然表示视频图像需要大量的数据，但图像数据是高度相关的，其数据中存在极 大的冗余度：组成一幅图像的相邻象素的颜色存在空间连贯性产生空间冗余度：序列 图像前后帧常具有相同背景或相同目标因平移产生位置的不同构成时间冗余度；对图 像编码时建立的用以表达图像数据的码本不能使每象素所需的平均比特达到最小而 形成信息熵冗余度；因人类视觉系统( h v s ) 对某些失真不敏感的固有缺陷( 如对颜 色空间分辨率低于亮度信号分辨率，对画面静止部分的空间分辨率高于活动部分以及 对细小的亮度变化难以觉察等) 导致的视觉冗余度：其它如结构的、知识的等冗余度。 数据冗余造成比特数的浪费，消除这些冗余可以节省码字减少大量的图像数据，达 到压缩图像的目的。 经典的图像压缩编码理论依据是佃农( s h a n n o ) 信息论瞄j ，将图像信号视为信源， 其具有熵值h 。按解码后的图像是否与原图像完全相同分为无失真编码和有失真编 码。 对无失真编码，仙农定理表明：只要以大于图像熵值的平均码长对图像进行编码， 就一定能找到一种编码方法，使解码后的图像与原图像完全一致，没有任何失真，否 则无论采用什么方法编码，总要丢失一些信息。可见，图像的熵值h 是图像无失真 编码的平均码长的下限，无失真编码保持编码后图像熵值不变，因此又称为信息保持 编码或熵编码。 由于受编码平均码长下限的约束，无失真编码的压缩比不会太高。适当丢失一些 信息，允许特别是人眼能容忍的一定程度的失真，来换取更高的压缩比，这正是有失 真编码。仙农的率失真理论确定了有失真编码中的码率与失真度的关系： 浙江大学博士学位论文第一章绪论 一个具有失真函数尉驯的信源，若有平均失真d ，对任意小的两个正数和a 必 存在一种编码方法使信息率r 胄例+ 点而平均失真d 0 ，t 0 缈( ，) = ( d2 + r2 ) “，0 t 0 ，m 1 ( 2 1 4 ) 可见，函数插值过程中，点间的线性变换由非线性变换所近似，因此。可以增加 多项式来克服这一缺点，于是，插值函数改为： f ( x ) = ，妒( 工一x ，) + v t p ，( 工) j 。1 。1 ( 2 1 5 ) 其中：m = d i m 露，n ，v 2 ，v m r 3 ，是阶数鲋的3 变量多项式张成的线性 空间，而p ，力。，跏是& 中的多项式，( 2 1 5 ) 满足： 艟 j 妒( 工f l p i l x 【 m x ，) + 1 ，p ，( 工，) = y i , i = 1 , 2 ，棚 ，= 1 ) = 0 ，= 1 2 ，m 实际应用时，m 常取为1 。则有： ( 2 1 6 ) p ，( z ) =p ，工+ q7 ( 2 1 7 ) 圈2 9 基于径向基西数插值的攮型全局调鼙 浙江大学博士学位论文第二章人脸建模与模型调整 所以，基于径向基函数插值的全局模型调整算法实现过程如下： 1 ) 由已提取的脸部特征点集x 和径向基函数按( 2 1 1 ) 计算矩阵彳 2 ) 由( 2 1 6 ) 和( 2 1 7 ) 解出p ，。q ，和f 3 )对通用模型上的点j ，按( 2 1 5 ) 计算出其对应的特定模型上的位置。 图2 9 是该算法实现的模型全局调整结果。实验中将分析得到的服角、嘴角以及 前面全局调整后的模型整体轮廓点组成特征点集y ，径向基函数采用： 矿( r ) = ( d2 +r 2 ) “一d - m ：1 f = o 5 调整结果将模型的眼角和嘴角点与实际人脸的对应位置相匹配。给后砸的局部模型匹 配提供好的初始位置。 2 2 2 3 基于线条醋弹性匹配的局部脸部调整 经过以上全局调整后，实际检测到的人脸各特征区域轮廓与人脸模型上相应当特 征形状仍存在一定的差距，而局部调整的目的就是减少这些差距。本文采用的基于线 条画( l i n ed r a w i n g ) 的弹性匹配算法将这些特征区域( 如眼睛、嘴巴等) 的轮廓作 为输入，主要完成两个任务：( 1 ) 建立人脸模型上的点与检测到的人脸轮廓上的点之 间的对应：f 2 1 形变人脸模型使得对应点之间的距离最小。形变过程只发生在j 和y 方向上，而：坐标保持不变。 为匹配已测量到的特征轮廓，线条画的弹性匹配算法把相应的经全局调整的模型 轮廓由轮廓局部模式匹配所产生的“作用力”来形变，而形变过程以迭代方式进行不 断改进局部模式匹配的可靠性。其对应关系通过跟踪脸部模型上的特征轮廓点与实际 人脸特征的弯曲轮廓来定义，人脸模型上的轮廓点的弯曲力拓展剑以确定人脸模型上 所以结点的弯曲力。这一方法可平滑地将弯曲力扩展到模型上所有的结点，也就是说， 在这一技术中，人脸模型上的结点弹性相连，当人脸模型上的轮廓结点被固定到已检 测到的相应轮廓点上时，弹性对人脸模型上其他结点产生作用力，使那些结点不稳定 的这些不均衡的作用力牵动模型结点建立新的平衡位置，确保形变平滑得拓展到人脸 模型上的所有表面点 l l j p j ( ，) 麒9 理想的镪移 啊2 1 0 线袭硼匹配示童圈 如图2 1 0 ，给定开始段和和目标段，弹性匹配算法确定了一个使开始段和结束段 失真的力场。开始受到与目标段局部模式匹配产生的力的作用而弯曲。由于很难一步 就得到低误差的匹配，因此，采用迭代方法。每次迭代中，两线条画之间的部分失真 2 4 ：一 浙江大学博士学位论文第= 章人脸建模与模型调整 被消除，以至于新的匹配更可靠，这一行为由设定开始段的弹性特性来模型化，每次 迭代减少开始段的硬度，从而提高局部匹配的可靠性，最后达到精细匹配。 线条画的弹性匹配由d b u r r i “1 于1 9 8 1 年提出。为给出匹配算法，首先介绍几个 相关的概念： 1 线条画( l i n ed r a w i n g ) 线条画是线段链的一个连接，即若干线段逐个相连的一串线条链，可用3 d 向量 有序表来表示： 工= ( x f ，) ，f ，j 1 ) ：1 isn ) ( 2 1 8 ) 其中( 。f 撕) 表示段上点的x 和) ，坐标，毋是一标志，等于l 表示点i 连接到点f + l ， 鼾等于0 表示后面没有连接。可见，线条画中的段可以不连接。图2 1 0 中的粗段组成 开始线条画工l ，细线段构成目标线条画三2 。 线条画工的点构成的有序表中的点记为： p ( f ) 。( 一，y f ) f 2 1 0 ) 2 相似性度量 设开始线条画和目标线条画的有序顶点表分别表示为厶2 帆， ，s l , ) ：l i - n t 和厶2 缸2 ，y 2 ，s 2 1 ) ：l i n 2 ) ，相应的点表分别为 p l ( 0 ：1 isn - ) 和 妇砌) ：l _ ，2 。为了形变开始线条画以匹配目标线条画，希望对l 。中每一点寻 找出落在工2 线段上的对应点，为找出这一局部匹配，必须采用l 中的与工2 中线段间 的相似性度量。最简单的相似度量是基于近似性的，即是说，对厶中的每一点，在 l 2 中选择一条距此点最近的线段。考虑到可能有多条线段与点具有相同距离，d b u r r 将线段方向并入相似性度量中，相似性度量由位置差测度和方向不相容测度来构成。 为计算方向大不相容性，对工- 中每一点都给出一个方向特性叩，定义如下： fp i ( i + 1 ) 一p i ( f ) ，j ，= 1 叭2 1 p l ( i ) 一p l ( i 1 ) = o ( 2 2 0 ) 因为j 产0 时，p l ( f ) 必须与p l ( i 一1 ) 连接，所以定义确保不允许有孤立点存在。三2 中的 线段方向d ，只对萨l 作定义： o l ，= p 2 ( j + 1 ) 一p 2 ( j ) 同样限制鸸的长度不能为零以剔除临近点。 不相容性( f t ，) 定义为： 珊( f ，) =1 1 _ ( o ，o l ，) 0 i i i 耵 ( 2 2 1 ) l i 中的点i 与工2 上的线段，的方向 5 ，0 ( 2 2 2 ) 即( f ，) 是叩，与d 6 的夹角的正弦值，因此，当两向量平行时，方向不兼容性为o 。 两向量垂直时，方向不兼容性为1 。于是，厶中的点i 与l 2 上的线段的位置差p ( f d 定义为点i 与线段上点的最短距离： 浙江大学博士学位论文 第= 章人脸建模与模型调整 其中： 删) = 皆i ii i 们，。1 1 0 l l 咖口si l b l l ( 2 ：。) a = p 1 ( o p 2 ( j ) ， ( 2 2 4 b 2 p 2 ( j + i ) 一p 2 ( j ) ， ( 2 2 s ) 口为向量。与6 的夹角。当0 口8 c o s 口 1 1 6 l l 时，p o t ，) 定义为； 加2 错 伍：。， 其中( - ) 为向量内积运算，且c 为： c2p l ( i ) 一p 2 ( ) f 2 2 7 ) p 2 ( j ) 是p 2 ( j ) 和p 2 ( j + 1 ) 中较接近p l ( o 者，如图2可看出它们的几何描述。11 圈2 1 i1 中的点，舅厶上的缝段，的位移向量可麓的几何绪杓 于是，厶中的点和如上的线段，的相似度量j l d 定义为方i 甸与位置距离之和， j ( f ，) = 棚( f ，) + p ( f ，) ， s o ( 2 2 8 ) 其中的位置差是主要项而方向不相容用以解决出现两个位置差很接近时该选择哪一 个的模糊性。 对每个i ，使烈f ，) 最小的那个，表示为山即：烈i j 3 = m i n 6 ( i d ) ：l 与隘2 ) 。 3 位移向量 工1 中的点i 与工2 上的线段，的点线对的( f t ，) 间位移向量定义为： f ( p 2 k ，1 ) 一p l ( i ) ， d 1 ( j ) 5 j l 叫l s 佃口高， j 脚c o s 口 1 1 6 i | o c o s 口 删 ( 2 2 9 ) 6 上是6 逆时针转9 0 。所得到的向量。图2 1 2 给出了位移向量的几何描述。图中可见， 2 6 浙江大学博士学位论文第二章人脸建模与模型调整 实际上，位移向量是垂直于b 的。但当超出b 的范围时，位移向量就采用b 的距p l ( o 较近的那个端点与p l ( i ) 的连接对工，每中的每个点i ，上面给出的数值集4 定义了唯 一的位移向量d l ( i , j ，1 。 交换开始和目标线条画的位置，按照上面的定义方法，对工2 中的每个点卢2 ( ，) 与三一中线段i 可以定义位移向量以( ，m 同样对每个j ，将使j ( ，f ) 最小的那个i 表示 为4 ，因此对工2 中的每个点p e q ) 也唯一定义了一个位移向量以( ，以) 瓣强纛点 目2 1 2两饿条上每一点上的位移向量 图2 1 2 给出了两线条画上各点的位移向量。这些位移向量定义两个向量场，可 理解为作用于线条画并使两线条画不相似的“力”场，即是说，立场越大，两线条画 的差距越大，导致它们越不相同，相似的失真越大，随着力场的减小，两线条画越接 近。因此，将其中一条用弹性特性来模型化时，它在一定种程度上响应力场，同时也 对减少局部匹配误差时提供平滑效果。 4 位移向量的协同平滑 图像中每一点0 ) 处的平滑位移向量定义为其邻域内位移向量的加权平均。而高 斯加权函数正好提供了周围点比远处点影响较大的效果。开始线条画到目标线条画的 位移向量定义了对开始线条画的“推”力，目标轮廓到开始轮廓的位移向量定义了对 开始线条画的“拉”力，平滑位移向量场西( j ) 定义为这些推力和拉力的一个函数： d s ( 工，y ) = y 9 2 ( j ) d 2 ( j ，) i 一：1 3 1 2 l i 9 2 ( j )l j ( 2 3 0 ) 其中g l ，9 2 为高斯加权： g l ( f ，i ) ：唧 玉兰生生掣二丛 啄 ( 2 3 1 ) 9 2 ( f ，女) = e x p 二堡二璺! 二堡唑! 塑：掣二些二堡业业： 盯： ( 2 3 2 ) - 2 7 竺n 一烈 竺艺 陧一 浙江大学博士学位论文第二章人脸建模与模型调整 d 2 ，( ，) 和d 2 y ( j ，l ) 分别表示向量j 2 ( j ，) 的x 和y 坐标，是减幅因子，其取值 小- t - - 1 产生超调。d s k ( x | ) ，) 中的上标t 表示迭代次数。而q 为第k 次迭代时的平滑邻域 大小，常取： o l = ( 2 3 3 ) f 为【l ，2 】中常数，的可以理解为刚性参数，当o k 较大时，开始轮廓上每点的平滑位移 向量近似相同，将导致线条画的刚性形变，当噜较小时，形变越来越不是刚性，相当 于线条画的弹性增加了。 根据以上各定义，为让开始线条画工j 形变成目标线条画工2 的弹性匹配算法可 以按如下迭代方式实现： ( 1 ) 置= 工，； ( 2 ) 由( 2 3 0 ) 计算平滑位移向量场出。( x ) ，并以之平移模型上的非特征轮廓控 制点( x , y ) ； ( 3 ) 按照下式产生弯曲线条画： 彤1 ( d = 形。( 力+ ( 西1 0 7 ，y o ) ，西小oj ，o ，y o ) ，o b 的情况，对g t ，则该象素点标记为运动点，值象素值为2 5 5 ，否则标记为背景点， 值象素值为0 ； 对d f 每个象素点作同样处理，直到所有点都扫描完为止。这样一幅二值图像， 称为分割模板。模扳中仍有部分非运动象素误判为运动象素，而且运动区域的边缘也 不明确。为此，本文仍采用形态腐蚀和膨胀算子，加强运动区域的边缘连接并消除部 分剩余噪声。 对于单目标人脸视频，场景中只有头肩活动，只要设法获取头肩轮廓，就可以得 到人脸区域了。但由于分割到的活动区域边界并不连续，为此，采用局部直线来拟台， 具体实现过程是： 1 ) 自上而下分别从左向右和从右向左扫描分割模板，得到外轮廓后。对左右边 界点分别使用7 点中值滤波； 2 ) 对外轮廓上每一点，连续扫描其后面的连续3 个边界点，如果有一个与当前 点偏离太大，则往后扫描与当前点偏离相对较小的边界点，该点与当前点之间用直线 连接，接着从该点出发，重复这个过程。 本文分割过程中选取的置信度a 为经验值o o l ，观察窗大小为5 5 ，背景样本选 自观察窗外四周2 4 个点，形态算子的使用3 3 结果元素。如图3 5 ，( b ) 是s e a n 序 列当前帧f z a m “k ) 与前面帧f r a m e ( k - 3 ) 帧差的绝对值图像o f ( k ) ；( c ) 是基于运动信 息分割出的头肩区域；( d ) 中水平线以上区域定为分割出的脸部区域。 - 3 9 七 i 一砰 新江大学博士学位论文 第三章脸部区域定位 a jf r a m e ( k 一3 ( b i帧专d f t k )f c i 活动又肩膀区域( d l 定位出瞌部匹域 啊3 5 运动信息头分喇龋暴 图3 5 f d ) 中水平线是根据头肩宽度变化而定位的，按该定位方法利用运动信息直 接分割出脸部区域，但这种定位是不够精确的甚至可能出现错误，因此，本文主张采 用结合前面空域上的颜色分割结果和时域分割提取候选人脸区域。空域颜色分割提取 了场景中所有与皮肤颜色相近的区域，而时域运动分割则消除了场景中与皮肤颜色相 近的背景区域，保留了运动的皮肤颜色区域作为候选人脸区域。图3 6 ( a ) 是s c a n 序列 当前帧经过颜色分割得到面积相对较大的8 块区域，经时域运动分割得到的运动区域 如图3 ，5 ( c ) ，融合两分割结果，得到图3 6 ( b ) q a4 块区域作为候选人脸，以提交给后 续的人脸校验等处理。 ( a ) 颜色分割 ( b ) 候选人脸区域 田3 6台颤色和运动分捌的馁选人置区t 3 。2 。3 人脸特征区域滤波 以上分割可能得到多个候选人脸，这些候选人脸区域是不是真的包含人脸，需要 高层的知识来识别。本文先按脸部几何特性对候选人脸进行特征区域滤波来排除部分 非人脸区域。 考虑到脸部特征区域与脸部的其他部分相比有较低的灰度强度，首先将候选人脸 灰度图像采用基于特征保留的二值化算法进行二值化，即对每个候选人脸区域a 进行 如f 处理： 1 ) 使用s o b e l 边缘检测算子求出a 的边缘图像e ； 2 ) 计算d 的直方图，得到一个二值化闽值乃 3 )统计a 中灰度小于r 或者属于边缘图像j 的所有象素的灰度平均值t a ； 4 ) 死作局部阈值对一二值化 ( a l 候选人脸的特征保留二值化( b ) 候选人脸的特征区域滤波 3 7 馔盏人脸的特征区域滹镀 m 毫上 一一 浙江大学博士学位论文第三章脸部区域定位 图3 7 ( a ) 是图3 4 ( c ) 中候选人脸灰度图像经特征保留二值化的结果。 二值化候选人脸区域一包含的面积相对较大的前l o 个子区域可能是脸部特征区 位，如眉毛、眼睛和嘴巴，也可能是阴影或其他噪声。因此，本文通过特征区域滤波 的方法消除它们。记巩为一的第一个可能的特征子区域，h 为b 。的象素数，按区 域的惯量椭圆公式计算子区域b 。的重心坐标( x o y o ) 和的方向角0 ： 铲古。，磊y 。= 瓦1 e 巾z m f=( xo x ) ( yo y ) i f ，y ) eb 。 p2 i 1 觚州j m2 0 鼍1 1 10 2 ) + ；22 ( 3 。1 1 ) ( 3 1 2 ) ( 3 1 3 ) 按9 将a 中的所有可能的特征子区域划分为两类，满足4 4 t 2 ； 4 ) r b 。满足删除。 ， t 3 ，n a 是4 的象素数。 阈值乃乃的选择依赖于候选人脸a 的及其内部特征子区域形状及面积大小。若候选 人脸4 在脸部滤波器滤波后剩下的区域数小于3 ，则将爿从候选人脸中删除。图3 6 中，( b ) 是( a ) 经脸部特征滤波后的结果。 经特征区域滤波后，图3 4 ( c ) 和3 6 ( b 1 都只剩下两个候选人脸区域。 3 2 4 人脸校验 经人脸特征区域滤波保留下来的候选人脸区域是否为真的人脸还须进一步判断。 一般地，脸部所有特征区域几乎都是相互平行的，即它们具有相同的方向，重新计算 滤波后的候选人脸一所含的区域的平均方向d j ，理论上该方向与候选人脸a 的方向 相一致，而且脸部特征的灰度在沿着方向d 。的积分投影不受人脸姿势的影响并具有 尺度不变性。因此，为进行脸部识别，先将候选区域爿旋转使得d 成水平方向，这 样经姿势调整的候选人脸更有利于人脸检验算法对候选人脸的识别，同时，为减少因 分割误判的非人脸象素对人脸校验产生的影响，对经姿势调整的候选人脸，计算出包 含所以特征子区域的m r b 。 人脸校验的一个简单方法是k h s e o 1 2 3 1 提出的人脸模板( 图3 8 ) 校验算法，模 板由两部分组成：黑色区域和多灰度区域。黑色区域用于计算该区域的边缘强度和。 4 1 浙江大学博士学位论文第三章脸部区域定位 多灰度区域用于计算嘴唇亮度和，模板能量函数为： e = 盯e d g e i + i i i e b l a e k 碚g r a y ( 3 1 4 ) e d g e ，和厶分别为象素i 处的梯度强度和图像灰度，f 为加权系数。校验过程是： 1 ) 将候选人脸一归一化为模板大小m 。 2 ) 采用s o b e l 算子计算( 规范后的) 候选人脸灰度图像的梯度图e d g e a 3 ) 按公式( 3 1 4 ) 计算爿的能量毋 4 ) 若邑大于预置阈值时，接受候选人脸区域彳为真的人脸。 3 0i h $ e o 人奠曩鬣 s e o 模板校验速度快，但只实用于完全正面人脸校验，为克服这一脸部姿势的限 制，x q z h u l l “采用了人脸投影曲线校验方法进行候选人脸校验，该算法首先建立 一条模板曲线( p t ，j p 乃，p t s ) ，即通过统计的方法，分别对人脸图像库中正面只含 双眼和嘴巴区域的m r b 内的灰度图像沿水平方向投影并归一化所得到的曲线。 对经过特征滤波和旋转后的候选人脸a 中任意3 块区域口l ，b 2 ，毋，如图3 9 ( a ) 。 检测出包含这3 块区域的最小矩形，将含在该矩形中的图像灰度沿水平方向做积分投 影，得到一条水平投影曲线。记第，条水平线的灰度积分投影值为p c ，则投影曲线 由( p c ，p c ”p c 。) 组成，w 为m r b 高度。当a 的所有这种水平积分投影曲线都算 完并归一化后，与脸部投影模板曲线( p t ，尸t 2 , p t s ) 作相似比较。常用于比较两条 曲线相似性的度量有曲线的傅立叶描述子或小波描述子的欧氏距离，距离越小曲线越 相似。z h u 采用集合的h a u s d o r f f 距离为相似度量。选定相似度阚值，当候选人脸a 的任意3 个子区域占l ，口2 ，目的m r b 内的水平投影曲线与脸部投影模板曲线的 h a u s d o r f f 距离均大于给定的阈值时，拒绝a 为人脸区域，否则，接受月成为人脸区 域，并且将具有最小距离的m r b 认为是含有眼睛区域和嘴巴区域脸部区域。 船l j t ：1 8 露o f 墨i ，五2 矗j ( a ) x q z h u 积分投影曲线( b ) 本文的模板曲线 圈3 9 脸部积分投影曲线 z h u 的模板曲线反映了脸部各特征区域在垂直方向上几何分布关系，这种关系 不受姿势的影响。但在不同光照的下，积分投影曲线与模板曲线出现不相似。导致正 ：一 浙扛大学博士学位论文第三章脸部区域定位 确的人脸被误判。由于脸部各特征区域具有的丰富边缘信息，而这些边缘信息受光照 的影响相对较小。基于这一思想，本文对z h u 的投影曲线校验法进行改进，用梯度面 积代替灰度积分建立描述人脸特征在垂直方向分布的特征曲线，称为梯度面积水平投 影曲线。具体说，如图3 9 ( b ) ，对候选人脸的任意3 个子区域b 1 ，b 2 ，岛的m r b 内的梯度图象，以一定面积的矩形垂直滑过这个m r b ，这个面积块中平均梯度作为其 中心垂直位置的水平投影值构成水平投影曲线t l l ( h p t ，l i p 如h p 矗) 。另外，考 虑到鼻梁所在水平位置具有较高的灰度特性，因此，本文对人脸图象含双眼和嘴巴的 m r b 由灰度积分投影统计产生垂直投影模版曲线t l 2 ( 阡乃，阡t | 即l ) 校验过 程按如下步骤进行： 1 ) 特征滤波和旋转后的候选人脸区域彳中的任意3 个子块区域，计算包含此3 子区域的m r b ： 2 )计算m r b 中的2 条投影投影曲线l l ( p c ，p c a p c 。) 和l 2 ( p a ，p c 2 ，, p e r ) ； 3 ) 计算价值： e 脚2 酬厶一死1i i 删+ 口2i il 2 一死2i 1 - l a w d r o f f ( 3 1 5 ) 其中m 和8 2 为加权系数，曲线距离仍采用集合的h a u s d o r f f 度量； 4 ) 计算完所有的m r b 的价值e 后，如果所有m r b 的价值都大于选定的阈值 死则拒绝一为人脸，不然，具有最小价值的3 区域的m r b 就是人脸的双眼和嘴巴区 域。 图3 1 0 ( a ) 和( c ) 分别是本文统计出脸部灰度水平积分投影模板曲线和梯度面 积水平投影模板曲线，( b ) 和( 邯是同一人脸图象的相应的投影曲线，计算可得，面积 水平投影曲线与相应的模板曲线有较小的距离，因而具有更高的相似性，能判别出 m r b 是脸部区域，但灰度积分水平投影曲线与相应的模板曲线距离较大，相似性降低， 所以识别结果拒绝m r b 为脸部区域。 ( a ) 模板曲线( b ) 灰度水平投影曲线( c ) 模板曲线“) 梯度面积投影曲线 圈3 1 0 给基于投影模版曲线的脸部识别 对上面得到的候选人脸区域中经梯度面积投影曲线检验后得到的真实人脸如图 3 1 1 所示，可见，图3 3 ( a ) 中的一个较小面积的人脸因分割导致部分特征丢失而 没能正确校验出来。 圈3 校验出的真实人脸 浙江大学博士学位论文第三章脸部区域定位 3 2 5 实验结果与讨论 本节分别对s c a n 测试序列和数码相机拍摄的g o n g 图像序列利用本文的算法进 行了脸部区域定位实验。实验主要考察算法对相对静止背景的复杂场景中的脸部区域 定位能力。图3 1 2 ( a ) 是对大小为4 8 0 x7 2 0 的s e a n 序列的脸部区域定位结果，图3 1 2 ( b ) 是对2 4 0 3 6 0 大小的g o n g 序列脸部区域定位结果。图1 3 给出了具有较大的头部转 动姿势利用本文算法提取的脸部区域。 由于没有完善的分割评判标准。因此分割结果的优劣只能靠主观判断。从观察上， 本文的算法利用了空域上的皮肤颜色分割和时域上的运动分析，并通过脸部特征的几 何分布结构和纹理信息等高层语义，定位的脸部区域较为准确，即便在复杂场景中也 能获得满意的定位结果。但也存在一些有待进一步解决的阈值问题，如颜色分割中的 阀值和人脸校验中的预置阈值的选择。虽然对同一视频，甚至对于大多数有较好光照 的图象序列来说，阈值相对稳定，但无法找到同时适合所有图象的阈值。在对候选人 脸的校验时的，无论采用什么样的人脸校验方法，都有一个用以拒绝或接受候选人脸 成为真实人脸的阈值选择问题，一个好的阈值可以适应一个或多个图像序列，但同样 不能找到能适应所有序列的阈值。这些问题，也正是图象分割中的难题，涉及到模式 识别、图象理解乃至人眼与仿生学等多学科领域的综合知识，也是众多的研究人员努 力工作的一个方向。 3 3 本章小结 为将通用的3 d 人脸线框模型匹配到视频场景中的真实人脸上，首要的问题是如 何在视频场景中定位人脸，即从复杂的场景中分割出脸部区域。因此，基于场景中主 要活动目标为人脸头肩这一实际应用环境，本章给出了脸部区域定位算法，算法融合 空域的皮肤颜色分割和时域的运动分割提取视频场景中的候选人脸，利用人脸特征滤 波剔除部分因分割产生的非人脸的候选区域，并通过本文提出的梯度面积积分投影曲 线进行人脸校验。试验表明按照本章的脸部定位方法，能快速有效的提取场景中的人 脸区域。为下一章的脸部特征参数提取提供必要的人脸所在位置。 浙江大学博士学位论文 第三章脸部区域定位 “) s c a n 序列脸部区域定位结果 ( b ) g o n g 序列脸部区域定位结果 圈3 1 2 序列的脸部区域定位结果 浙扛大学博士学位论文 第三章脸部区域定位 圈3 1 3不同头部羹势的脸部区域定位 浙江大学博士学位论文第四章脸部特征形状估计与运动躁踪 第四章脸部特征形状估计与运动跟踪 人脸模型基编码系统解码端利用接收到的脸部特征参数综合出视频图像，这些特 征参数主要包括用以调整通用人脸模型的脸部特征形状位置参数和驱动人脸整体运 动的头部全局运动参数。如何获取这些参数是模型基编码的关键技术，也是本文的中 心任务之一。为得到这些参数，编码端必须对输入视频进行图像分析，估计眉毛、眼 睛、嘴巴和脸部轮廓等特征形状，找出特征点的位置。本章首先对前面已经分割出的 脸部区域进行脸部各特征区域的定位，然后采用基于特征的图像分析方法找出一部分 明显的脸部特征点，通过形变模板和活动轮廓跟踪等算法抽取这些特征区域形状，最 后选取脸部关键点并在后继帧中匹配出对应点来估计脸部整体运动参数。 4 1 脸部特征区域的定位 获得视频中的脸部区域后，为进一步缩小脸部特征参数的搜索范围，脸部各特征 区域( 如眼睛、嘴巴和眉毛等区域) 的定位成为当前的首要任务。 一般地，人脸部各特征区域间具有：1 ) 对称性，如眼睛、眉毛都是左右对称； 2 ) 顺序性，如眉毛、眼睛、鼻子、嘴巴和下巴按从上到下的空间几何位置的顺序排 列；3 ) 比例性，如每个眼睛的宽度以及两内眼角间的距离占两眼连线在脸部范围线 段的l 5 ，两嘴角分别位于过两眼睛中心的两条垂直线上，两眼连线与两嘴角连线相 互平行，两平行线间的距离约为脸部高度的1 3 。这些特性有助于脸部特征区域的定 位和特征参数的分析。 4 1 1基于直方图的脸部特征区域的定位 本文将正面脸部简单的分为3 个子区域，如图4 1 ( a ) ，右跟、左眼和嘴巴分别 包含在r 1 ，r 2 和r 3 区域中。两虚线的初始位置分别设定为脸部区域的水平和垂直平 分线。按照脸部区域灰度直方图，如图4 1 ( b ) ，鼻梁所在垂直方向上具有较高的亮 度，因此，将垂直虚线调整到垂直方向直方图的这一波峰位置，两眼分别在其两侧。 水平方向上，由于眼睛区域和嘴巴区域相对皮肤有较深的颜色，其水平灰度直方图均 出现波谷，将水平虚线调整到这两波谷的中间，眼睛区域在水平虚线上面，嘴巴在其 下面。这样，眼睛和嘴巴所在区域被缩小到更小的范围。 考虑到图像灰度特性所具有的模糊性，本文利用梯度直方图来进一步精确锁定眼 睛和嘴巴区域所在的位置，梯度水平和垂直直方图见图4 1 ( c ) 。这是因为脸部五官 区域，特别是眼睛，相对光滑的脸部皮肤来说，除了有较深的颜色外，还具有丰富的 边缘和纹理信息。我们使用具有一定面积的滑动框，如图4 1 ( d ) ，沿垂直方向滑动，统 计落在滑动框内脸部梯度面积，位于区域上面定位的水平虚线以上具有较相对大的梯 度面积的位置，即含有最多边缘信息的滑动框所在位置认为是眼睛所在水平位置，图 4 1 ( e ) 是这一算法找到的眼睛所在垂直位置。为确定两眼睛区域位置，再次统计水平 虚线以上灰度直方图，在直方图中检测两波谷位置作为两眼睛的虹膜位置，利用眼睛 比例分布的比例特性，定位出两眼睛区位的位置。知道了眼睛位置，利用脸都区域的 分布特性和比例特性，可以定位嘴巴区域位置，并进一步找到鼻子和眉毛区域所在位 置，图4 1 ( f ) 是该算法给出的眼睛和嘴巴位置。 4 7 浙江大学博士学位论文 第四章脸部特征形状估计与运动曩踪 田4 1 基于i 方田的人脸特征区域定位 4 1 2 基于k 一均值聚类的脸部特征区域的定位 对已确定为真实人脸的脸部区域，姿势调整后，其特征保留二值化和特征滤波后 的子块按式( 3 1 1 1 计算重心坐标，定义子块间的水平距离为子块重心的p 坐标差，子 块间的垂直距离定义为重心的y 坐标差，并用这些距离作为j ，均值聚类器的度量， 将这些脸部特征子块分成不同的类： 1 ) 计算所有子块间的水平距离和垂直距离； 2 ) 分别将最上面和最下面的小块作为初始的眼睛类和嘴鼻类，使用子块的垂 直距离作为度量使用弘均值将所以小块划分为两类：眼睛类和嘴一鼻类。 3 ) 对眼睛类中的小块，又分别将最左和最右边的小块作为初始右眼和左眼类， 以块的水平距离为度量，按b 均值分类为左眼类和右眼类。 4 ) 对嘴鼻类中的小块，仍将最上和最一f 块分别作初始鼻子和嘴巴类，按块的 垂直距离以群均值划分为鼻子类和嘴巴类。 圈4 2 基于矗均值聚类的脸部特征区域定位 经过以上分类后，小块被分在左眼、右眼、鼻子和嘴巴四个类中。每个类的重心 由该类中各子块重心的平均来计算，以每个类的平均重心为中心和一定大小的矩形区 域，如包含类中所以子块的最小矩形块m r b 作为相应的特征区域。这样就得到四个局 部区域，分艰区域、右眼区域、鼻子区域和嘴巴区域。 4 8 - 浙江大学博士学位论文 第四章脸部特征形状估计与运动最踪 4 2 脸部特征形状估计 上面已将脸部特征区域紧缩在特征窗口内，下一步就要检测个特征区域的轮廓形 状位置。这些