（信号与信息处理专业论文）基于asm自动人脸特征点定位及应用的研究.pdf

、， j ” 十 j 参 飞 。i ， 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名j 、7 范如 签字日期：沙l 。年b , 9 ， 日 导师躲乙h 签字日期：沙f 。年否月叫日 b簟n 吖矿 ；j 专 j 中图分类号：t p 3 9 1 4 1 u d c ：6 2 1 3 学校代码：1 0 0 0 4 密级：公开 北京交通大学 硕士学位论文 基于a s m 自动人脸特征点定位及应用的研究 a u t o m a t i cf a c i a lf e a t u r ep o i n t sl o c a l i z a t i o na n d a p p l i c a t i o nb a s e d o na s i m 作者姓名：孙砚铭 导师姓名：苗振江 学位类别：工学 学科专业：信号与信息处理 学号：0 8 1 2 0 4 1 9 职称：教授 学位级别：硕士 研究方向：图像处理 北京交通大学 2 0 1 0 年6 月 采j 增，ij， 致谢 本论文的工作是在我的导师苗振江教授的悉心指导下完成的，苗振江教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 苗振江老师对我的关心和指导。 苗振江教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向苗振江老师表示衷心的谢意。 苗振江教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，郭萍、雷丽坤、王一等同学对我论文中的研 究工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢我的父母，他们的理解和支持使我能够在学校专心完成我的学业。 中文摘要 中文摘要 摘要：人脸特征点的定位在人脸识别、人脸表情分析以及卡通人脸生成等方面具 有非常重要的作用。人脸特征点定位就是对人脸的形状和人脸局部特征( 如眉毛、 眼睛、鼻子和嘴巴等) 的位置、关键点或轮廓线进行描述。 本文对国内外现有的特征点定位算法进行了分析，在比较了现有方法的基础 上，主要工作如下： ( 1 )对目前比较常见的人脸特征点定位算法进行了总结，对各种分类及代 表性方法进行了对比，重点讨论了基于主动形状模型( a s m ) 的人脸 特征点定位算法的整个搜索过程和多分辨率框架，针对存在的问题以 及改进算法进行了分析比较。 ( 2 )设计并实现了一个基于a s m 人脸特征点定位及应用的系统。在对人 脸特征点的定位上，考虑到准确性和运算量的问题，本文采取了基于 人脸检测和主动形状模型的方法，通过“由粗到精”的过程，提高面 部特征点定位的准确程度和搜索速度。 ( 3 )利用根据a s m 图像搜索所获得的特征点，可以增加对关键特征部位 的点的描述。 ( 4 )在对视频的处理方面，为了提高收敛速率和精度，利用了相邻帧图像 变化较小的特点，将前一帧得到的定位结果应用到下一帧的处理。 通过实验，证明了以上方法的可行性，并将得到的实验结果应用到人脸线条 画生成和人脸动画方面。同时也分析了在人脸特征点定位方面存在的不足，最后 给出了进一步的研究方向。 关键词：人脸特征点定位；人脸检测；主动形状模型；多分辨率框架：人脸动画 分类号：t p 3 9 1 4 1 j 哆 f j a b s t r a c t a bs t r a c t a b s t r a c t ：f a c i a lf e a t u r ep o i n t sl o c a l i z a t i o nt a k e sa ni m p o r t a n tr o l e i nt h ef a c e r e c o g n i t i o n , f a c i a le x p r e s s i o na n a l y s i s ，c a r t o o nf a c es y n t h e s i s ，e t c i tc a np r o v i d et h e d e s c r i p t i o nf o rf a c es h a p ea n dt h ei n f o r m a t i o no ft h el o c a lf e a t u r e s ，s u c ha se y e b r o w s ， e y e s ，n o s e ，m o u t h a n ds oo n b ys y s t e m a t i c a l l ya n a l y z i n ga n dc o m p a r i n go fe x i s t i n gf e a t u r ep o i n t sl o c a l i z a t i o n m e t h o d s ，t h em a i nw o r ko ft h ep a p e ri n c l u d e s ： ( 1 ) f i r s t , t h ec u r r e n tc o m m o na l g o r i t h m sf o rf a c i a lf e a t u r ep o i n t sl o c a l i z a t i o na r e s u m m a r i z e da n dc o m p a r e d t h e n , w ef o c u so nt h ep r o c e s so fa s m s e a r c h i n g a n dm u l t i r e s o l u t i o nf l a m e s ，t h e nw ea n a l y z et h ep r o b l e ma n ds o m ei m p r o v e d a l g o r i t h m sb a s e do nt h et r a d i t i o n a la c t i v es h a p em o d e l s ( 2 ) d e s i g na n di m p l e m e n tas y s t e mo ff a c i a l f e a t u r ep o i n t sl o c a l i z a t i o na n d a p p l i c a t i o nb a s e do na s m c o n s i d e r i n gt h ea c c u r a c ya n dt h ec o m p u t a t i o n w o r k l o a d ，i nt h i sp a p e r , w el o c a t et h ef a c i a lf e a t u r ep o i n t sb a s e do nf a c e d e t e c t i o na n da c t i v es h a p em o d e l s i no r d e rt oi m p r o v et h ea c c u r a c ya n d e f f i c i e n c yo f t h ep o i n t sl o c a l i z a t i o n , w ea d o p tac o a r s e t o - - f i n es e a r c hs t r a t e g y ( 3 ) t h r o u g ht h ed a t ao ff a c i a lf e a t u r ep o i n t st h a tw eg e tf r o mt h ea l g o r i t h m ，n e w p o i n t sc a nb ea d d e dt og e tam o r ea c c u r a t ed e s c r i p t i o nb yt h er e l a t i o n s h i po ft h e n e a r b yp o i n t s ( 4 ) i nt h ea s p e c to fh a n d l i n gv i d e ow i t hf a c ei ni t , w en o to n l yu s et h em e a ns h a p e t h a tw eg e tf r o mt r a i n i n g ，w ea l s om a k ef u l lu s eo ft h er e s u l tt h a tw eg e tf r o m t h el a s tf r a m e ，w h i c hc o n t r i b u t e st oh i g h e re f f i c i e n c y ，n l er e s u l t so fo u re x p e r i m e n t sd e m o n s t r a t et h ef e a s i b i l i t yo fo u rm e t h o d s t h eu s eo f a c t i v es h a p em o d e l sh a sb e e ns h o w nt ob ea ne f f i c i e n ta p p r o a c ht oi m a g e i n t e r p r e t a t i o na n dp a t t e mr e c o g n i t i o n a n dt h er e s u l t so fe x p e r i m e n t sc a nb eu s e di n f a c i a ls k e t c hg e n e r a t i o na n df a c i a la n i m a t i o n a tl a s t , w ed i s c u s st h el i m i t so ft h e a l g o r i t h m , a n dp u tf o r w a r ds u g g e s t i o n sf o rf u r t h e rs t u d i e s k e y w o r d s ： f a c i a lf e a t u r e p o i n t s ；f a c ed e t e c t i o n ；a c t i v es h a p em o d e l s ； m u l t i r e s o l u t i o nf r a m e s ；f a c i a la n i m a t i o n c i 。a s s n o ：t p 3 9 1 4 1 、 o e ，- l l j 序 序 人脸特征( f a c i a lf e a t u r e ) 一般指脸部的五官，人脸特征点的定位是指在输入 图像中确定人脸特征的位置、大小等的过程。人脸特征点的定位作为人脸信息处 理的一项关键技术，近年来成为模式识别和计算机视觉领域内研究十分活跃的课 题之一。 人脸特征点定位问题最初来源于人脸识别( f a c er e c o g n i t i o n ) ，人脸的识别技 术是计算机视觉领域的前沿课题，具有广泛的应用前景，因而对人脸特征点定位 问题的研究就具有重要的学术价值。而现今人脸特征点定位的应用背景已经远远 超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视频监测等方 面都有着重要的应用价值。 本文是国家9 7 3 项目“可视媒体的交互及融合处理”的重要组成部分，在此感 谢该项目的大力资助，并感谢苗振江教授的悉心指导。 ， 叶l i j 目录 目录 中文摘要i a b s l r a c t i 序i l 弓i 言1 1 1 研究的背景和意义一l 1 2 研究现状一1 1 3本文研究的主要问题及内容安排。1 2人脸特征点定位方法1 2 1基于先验规则的方法。1 2 1 1 镶嵌图1 2 1 2 几何投影1 2 1 3 二值化定位1 2 1 4 广义对称1 2 2基于几何形状信息的方法。1 2 2 1s n a k e 模型k 1 2 2 2 可变模板1 2 2 3 点分布模型p d m ( p o i n td i s t r i b u t e dm o d e l s ) 1 2 2 4 主动形状模型a s m 1 2 2 5 主动外观模型a a m 1 2 3基于外观信息的方法1 2 3 1 神经网络1 2 3 2 主成分分析p c a 1 2 3 3 支持向量机s v m 。1 2 4基于关联信息的方法l 2 4 1 概率网络l 2 4 2 动态链接模型d l a 一1 2 4 3g a b o r 小波网络g w n l 2 5基于色彩信息的方法。l 2 6特征定位方法的比较l 3主动形状模型( a s m ) 的方法及改进1 北京交通大学硕士学位论文 3 1s n a k e 模型的基本思想1 3 2a s m 算法l 3 2 1a s m 模型训练阶段1 3 2 2a s m 图像搜索过程1 3 3a s m 算法存在的不足及改进1 3 3 1a s m 算法存在的不足1 3 3 2 几种改进思想的分析比较1 3 4a s m 的发展1 4基于a s m 的人脸特征点定位系统的实现1 4 1基于a s m 人脸特征点定位系统1 4 2人脸检测算法1 4 3基于h a a r 弱特征的人脸检测1 4 3 1a d a b o o s t 训练算法1 4 3 2a d a b o o s t 人脸区域检测1 4 4基于a s m 人脸特征点定位的实验1 4 4 1 样本集的训练1 4 4 2 对静态人脸图片定位结果1 4 4 3 对视频的处理结果1 4 5实验结果分析1 5基于a s m 人脸特征点定位的应用。1 5 1人脸线条画1 5 2三维人脸动画l 6总结与展望。1 6 1 总结1 6 2 展望1 参考文献1 作者简历1 独创性声明l 学位论文数据集1 寸 多 引言 1 1 研究的背景和意义 1 引言 随着互联网信息技术的发展以及计算机的软硬件性能的显著提升，多媒体的 应用变得越来越普及，更加友好更加人性化的人机交互技术不断涌现，并应用于 我们的日常生活当中。这些技术已经不再仅仅依赖于传统的键盘、鼠标、显示器 等设备，而是开始向着多模态人机交互的方向发展。多模态人机交互模拟人类自 然交流的方法，包括视觉、听觉、触觉和嗅觉，试图综合图像、声音、文字等手 段，达到与计算机进行交流的目的，其中以视觉交流最为方便和易于接受。 无论是在街道、商场、办公场所还是在互联网这个虚拟的场景中，人脸是日 常生活和工作中最常见、最易于采集的信息，因而与人脸的相关工作也就变得越 来越受到重视。在计算机视觉研究领域中，与人脸相关的一系列研究课题，如人 脸检测、人脸表情识别、人脸分析等方向，得到了很大的发展，已经在实际中取 得了应用( 如，在公安机关、人工智能、a t m 识别认证等方面) ，并且这种实用性 正越来越广泛地深入到人们的日常工作和生活中。而人脸检测和人脸特征定位准 确度的提高则是提高人脸识别、人脸分析性能的关键所在。 人脸检测就是在输入的图像或者图像序列中搜寻所有出现的人脸，以及人脸 的大小、位置和角度信息等。这是一项具有挑战性的课题，因为在各种条件下的 人脸模式极其复杂，很难用一个统一的模型将其描述，另外，只有高效的人脸检 测系统才能具备实用性。 人脸特征点定位 1 - 3 ，就是在已经检测出的人脸图像中，通过使用某种算法， 自动对人脸的形状和人脸局部的特征( 如眉毛、眼睛、鼻子和嘴巴等) 的位置、 关键点或轮廓线( 二维形状) 的描述。人脸特征定位既是人脸识别研究的一个关 键问题，也是计算机视觉和图形学领域的一个基本问题。 人脸特征点定位为人脸图像的处理与分析提供了重要的几何信息，特征点定 位的准确与否直接关系到后续应用的可靠性。该方向的研究在人脸识别、人脸姿 态表情分析、人脸合成及基于模型的人脸图像编码中有着重要的应用。归纳起来 有如下几个方面： i 姿态估计和凝视方向分析 4 - 6 ，在人脸的姿态及人脸表情分析中，可以通 过人脸一些器官的相对位置及形状进行分析来确定，人脸特征定位是姿态、表情 分析的前提； 1 2 研究现状 近几年来，国内外学者们已经提出许多种关于提取人脸特征点和特征部位的 方法，根据提取特征所依据的基本信息的类型，可以将现有的人脸特征点定位的 方法大致分为以下六类：基于先验规则的方法：基于几何形状信息的方法； 2 引言 基于外观信息的方法：基于关联信息的方法；基于色彩信息的方法：其 他方法。 基于先验规则的方法 先验规则是根据脸部特征到的普遍特点总结的一些经验描述。人脸图像上有一 些明显的基本特征，如眼睛、鼻子和嘴巴等脸部特征，这些特征部位被称为人脸 的核心区域，其亮度一般比周边区域的要低，双眼大致对称，鼻、嘴分布在对称 轴上等。 虽然人脸的表面特征千差万别，但通常意义上的人脸结构上都存在着三庭五眼 的标准，这一标准的存在为我们的检测和识别工作提供了基础。为了利用这些基 本特征进行脸部特征定位，一般要先对输入图像作变换使所要使用的特征得到强 化，而后根据规则从图中筛选出候选点或区域。主要的算法有镶嵌图、几何投影、 二值化定位和广义对称等。 基于先验规则类的方法构造简单，仅使用了一些简单的低层图像信息，其难点 在于如何将人们的直观印象精确地表述为可用的代码化规则，以及如何处理规则 的精确性与普适性之间的矛盾。由于这类算法强烈地依赖于预先设定的先验规则， 使得算法的普适性不高，对问题的条件通常也有较多限制，如要求图像中只能有 单人、背景不能过于复杂、分辨率不能过低、姿势和表情的变化不能过大等。因 而，这类方法适用于人脸特征点和特征部位的粗检，需要结合其它方法才能进一 步细致的检测。 基于几何形状信息的方法 几何形状信息，即目标对象的几何形状特征，它具有很好的直观性，易于理 解和应用，因而很早就在模式识别领域得到广泛的使用。这类方法的一般思想是： 根据人脸特征的形状特点构造一个带可变参数的几何模型，该模型的可变参数反 映了对应特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图 像的边缘、峰、谷和灰度分布特性的动态交互来得以修正。该几何模型还设定一 个相应的评价函数来度量被检测区域与模型的匹配程度，搜索时不断调整参数使 能量函数最小化，从而使模型逐渐收敛于待定位的特征。主要算法有s n a k e 模型、 可变模板、点分布模型( p d m ) 、主动形状模型( a s m ) 和主动外观模型( a a m ) 等。 基于几何形状信息的方法在原理上大多较为简单易懂，但在使用的时候面临 很多困难。这是因为，作为一种低阶信息，几何信息受各种因素的影响都比较大， 因而鲁棒性较差。因此，为了保证定位的精度，此类方法通常都对图像质量有较 高的要求，且对姿态、表情及光照条件的变化等也都有一定的限制。此外，由于 脸部特征附近的对比度较低，边界搜索过程收敛缓慢，因而运算量一般都比较大。 色彩信息类方法的基本思想是用统计方法建立起面部特征的色彩建模，在搜 索中根据被测点的色彩与模型的匹配度，筛选出待测特征的可能位置。色彩信息 在人脸检测中有广泛的应用，而在脸部特征定位方面的应用则相对较少，这是因 为，肤色在色彩空间中具有聚合性，而面部特征的色彩信息较为复杂，如眼睛与 嘴巴，以及眼睛的瞳孔与眼白的色彩都有显著区别，这给统一建模造成了一定的 难度。 色彩信息类方法对光照条件和图像采集设备的特性较为敏感，易受环境因素 的干扰，精度难以保证：但其优势在于系统的运行速度快，受姿态、尺寸、表情 等变化的影响小，适合于粗定位或一些对运行时间有较高要求的应用。 4 引言 其他方法 山世光【1 2 】等首先利用眼睛区域的谷特性和频率特性定位两个虹膜中心位置， 然后用积分投影来确定唇部和鼻子区域的位置，在此基础上进行关键特征点( 主 要是眼角点、嘴角点、下巴曲线上的主要特征点) 的定位。 王红光 1 3 】等通过具有旋转不变性及较好稳定性的z e r r l i k c 矩和神经网络相结 合的方法来定位人脸的特征点。其主要思路是：首先利用角点检测方法提取人脸 图像中的角点，然后通过z e m i k e 矩和神经网络对它们进行筛选，从而达到自动定 位人脸特征角点的目的。该方法对于一般情况下的目标特征检测也具有借鉴意义。 m g a r g e s h a 1 4 等给出了一套定位人脸特征点的综合方法：首先是利用p c a 方法和r a d o n 变换找到眼睛，然后对眼睛下方的区域进行亮度阈值和曲率分析检 测到鼻尖，最后结合色度分析和边缘检测找到嘴唇的角点。 左坤隆 1 5 】等根据人脸图像的边缘梯度图提出了一种新的基于梯度向量流场 的眼睛特征提取方法。该算方法改进了原有的梯度向量流迭代方程求解梯度向量 流场，以梯度向量流场中的汇点作为候选点，然后通过人脸器官的集合位置关系 等方法评价候选点以定位眼球。该算法能较好地容忍一定的光照变化、人脸的小 角度倾斜和旋转、闭眼和眼镜等干扰，具有较好的眼睛特征抽取能力。 人脸特征点定位的特点在于特征的图像区域小，本身荷载的信息量较少，区 分度有限，更易受到目标对象本身状态和外部因素等的干扰。通过以上各类方法 的简介，可以看出人脸特征点定位的方法正趋于成熟，但还没有出现一个稳健的 算法。为了提高算法的抗干扰能力，需要综合利用脸部的各类信息，但算法的准 确性和运算量却是一对显著的矛盾。因此，可以通过不同算法之间优势互补，引 入前后之间的联系，利用由粗到精的搜索策略提高整体的速度。 1 3 本文研究的主要问题及内容安排 本文在传统的主动形状模型算法( a s m ) 的基础上开展研究工作，对人脸面 部的关键特征点定位算法进行了实验研究，主要工作如下： ( 1 )对目前比较常见的人脸特征点定位算法进行了总结，对各种分类及代 表性方法进行了对比，重点讨论了基于主动形状模型( a s m ) 的人脸 特征点定位算法的整个搜索过程和多分辨率框架，针对存在的问题以 及改进算法进行了分析比较。 ( 2 )设计并实现了一个基于a s m 人脸特征点定位及应用的系统。在对人 脸特征点的定位方面，考虑到准确性和运算量的问题，本文采取了基 5 北京交通大学硕士学位论文 于人脸检测和主动形状模型的方法，通过“由粗到精 的过程，提高 面部特征点定位的准确程度和搜索速度。 ( 3 )利用根据a s m 图像搜索所获得的特征点，增加关键特征部位的点的 描述的策略。 ( 4 )在对视频的处理方面，为了提高收敛速率和精度，利用了相邻帧图像 变化较小的特点，将前一帧得到的定位结果应用到下一帧的处理。 本文的结构安排如下： 第一章，引言，主要介绍了人脸特征定位的研究背景和意义，以及研究现状。 第二章对各种人脸特征定位的方法做了比较详细的介绍，并对各种类型算法 行了分析比较。 第三章着重对传统的主动形状模型的方法作了说明，并指出其存在的不足以 现有的改进方法。 第四章介绍了本文中所使用的基于a s m 的人脸特征点定位的方法。 第五章是对a s m 所提取到的人脸特征点的应用进行了研究。 第六章是对本文的总结以及对未来工作的展望。 6 人脸特征点定位方法 2 人脸特征点定位方法 人脸特征点定位是人脸识别、三维人脸重建、人机交互等领域中的一个重要 课题。作为人脸信息处理中的一项关键技术，人脸征点定位技术近年来成为模式 识别和计算机视觉领域内受到普遍重视、研究十分活跃的课题。 而要对人脸特征点进行定位，首先要确定我们需要的人脸特征点有哪些。根 据人脸识别和表情分析的要求，一般根据人脸的以下几个方面的特点来定义所需 要的人脸特征： 从外形结构上来看，人的头部、面部是以颅骨为内核和架构，外面由肌肤、 软骨、毛发等组织包裹而成。 从建模角度看，在人的面部，眼睛、眉毛、嘴唇、鼻子、颧骨、下巴是具有 代表性的部位，在人脸识别领域，也是区分一个人脸与另一个人脸的关键部位。 在人脸特征点标定过程中，就应该在眼睛四周、眉毛沿线、嘴唇四周、鼻子 下方沿线，及颧骨、下巴外围标注特征点。 根据1 2 节中对于已经存在的一些人脸特征定位方法的分类，下面介绍一些比 较典型的方法。 2 1 基于先验规则的方法 2 1 1镶嵌图 y a n g 和h u a n g 1 6 提出了镶嵌图( m o s a i ci m a g e ，又称马赛克图) 的方法，首 先将图像划分成一组大小相同的方格，取每个方格中各像素灰度的均值作为该方 格的灰度，然后根据一组规则确定可能是人脸的区域，然后将方格的边长减半， 重新构建一个镶嵌图，再根据一组规则分别定位出眼睛、鼻子、嘴巴等脸部特征。 最后，将前两步所得到的人脸区域二值化，并使用边缘跟踪技术最终确定脸部特 征的位置。为了实现尺寸无关性，对所有可能的方格尺寸都作了测试。因此算法 的运算量很大，准确率也不高。但所提出的由粗到精的搜索策略对后来的研究有 很大的影响。 k o t r o p o u l o s 1 7 等使用长宽比可变的矩形单元代替了方格，以便更好地拟合人 脸。为了设定矩形单元的长宽比，利用了灰度值在x 和y 方向上的投影来确定眼、 鼻、嘴和脸颊边界的位置，从而确定出脸部的大致范围，据此设定矩形单元的长 宽比。这样既缩小了搜索的范围，也避免了循环测试，不但使运算量大幅度减少， 7 北京交通大学硕士学位论文 也使准确率大大提高，但是这种方法无法处理复杂背景或者多人的情况，而且对 目标的姿态变化较敏感。 2 1 2几何投影 几何投影是一种基于灰度信息的有效提取图像特征的方法，它利用了人脸核 心区域灰度比周围区域灰度值低的特点，先统计出x 或者y 方向上的灰度值或灰 度函数值和，找出特定的变化点，然后将不同方向上的变化点位置相结合，就可 以得到人脸核心区域的位置。 k a n a d e 1 8 等首先将这一方法应用于人脸识别。b r u n e l l i 1 9 等在投影中使用 x 、y 两个方向上的梯度信息以取代原始灰度值，减小了对光照条件的敏感度。k a r i n s o b o t t k a 等【2 0 】也对k a n a d e 的算法作了改进，他们将积分投影函数应用于边界图 分析，从而确定出面部各个特征的位置。 f e n g 和y u e n 2 1 等提出使用方差投影函数v p f ( v a r i a n c ea r o j e c f i o nf u n c t i o n ) 函数来定位脸部特征，该函数的作用是计算指定方向上的所有象素的灰度值方差， 与简单求和相比，它对复杂背景的适应力较强。 z h i h u az h o u 等 2 2 1 提出了一种混合投影函数，该函数结合了积分投影函数和 v p f ，能够反映出图像在某个方向上灰度均值和方差的综合变化情况。但是不同的 人的投影图是相差很大的，而且投影曲线也是很不规则的。另外，光照的影响也 容易影响该方法的准确性。 姜军 2 3 】等提出以“或”运算代替求和运算的广义投影运算，他们先将图像二 值化，而后在一定高度范围内作水平方向投影得到一系列短线，最后根据先验规 则对短线两两配对从而筛选出最终结果。该算法能应对多人的情况，运行速度很 快，但错误率较高。 s a m a d 2 4 使用逼近和轮廓映射混合的方法，可以有效地检测到佩戴眼镜的眼 睛。 总的来说，几何投影法计算量较低，对于姿态变化不大并且背景简单的人脸 图像检测结果也很好，但在大的姿态变化或复杂背景下容易失效。 2 1 3二值化定位 l i m i n gz h a n g 2 5 等利用先验知识来检测眼睛，先用直方图阈值法将图像二值 化，根据其中黑色区域的面积、形状和相对位置等几何特征确定出瞳孔的位置， 最后通过边缘追踪依次找到上眼眶、眼角和下眼眶。该方法运算量很小，但容易 8 人脸特征点定位方法 受到光照条件和图像质量的影响。范宏深 2 6 】等提出了一种近似的方法，首先将图 像二值化后，再计算出黑色区域的有效面积、质心、外接矩形、圆性质等几何特 征，然后依据经验标准筛去一部分黑色区域，并将余下的黑色区域作配对筛选， 从而得到双眼的位置。 此类方法运算量很小，但容易受到光照条件和图像质量的影响，在追踪边界 时容易发生断线问题，稳定性无法保证。 2 1 4广义对称 对称性是识别物体可利用的基本性质之一，它包括点对称性( 也叫中心对称 性) 和轴对称性。绝大多数自然物体或人造物体都存在着这两种对称性，对于人 脸图像来说，眼睛、眉毛、嘴等都具有很强的点对称性。为了描述物体的点对称 性，r e i s f e l d 2 7 2 8 等定义了广义对称变换g s t ( g e n e r a l i z e ds y m m e t r yt r a n s f o r m ) ， 它只考察人眼中心点的强对称性和脸部特征的几何分布，对人脸偏转、表情变化、 光照变化等条件不敏感，因而具有很好的鲁棒性。但计算量很大，而且只利用了 各点的对称性，容易产生大量的候选点，使得定位的精度受到影响。 周杰 2 9 】等在此基础上提出了方向对称变换d s t ( d i r e c t i o n a ls y m m e t r y t r a n s f o r m ) ，利用对称性在不同方向上的分布情况反映物体的基本形状特征，从而 提高了定位的精确度，此外，还事先利用一些先验规则估算尺度因子和人眼的可 能区域，减小了运算量。 刘文予【3 0 】等提出了离散对称变换d s t ( d i s c r e t es y m m e t r yt r a n s f o r m ) ，在计 算对称性之前加入一个对图像灰度不均匀区域的检测过程，仅对灰度不均匀区域 执行广义对称变换以加快系统的运行速度。 此类方法的共同缺点是对闭着的眼睛无效。 2 2 基于几何形状信息的方法 2 2 1s n a k e 模型 s n a k e 方法是由k a s s 3 1 等于1 9 8 7 年提出来的一种用于边界检定和图像分割 的方法，也可以用来对脸部特征进行定位。简言之，就是表征拟合误差的“能量 为最小的曲线。s n a k e 模型的基本思想将在3 1 节中进行详细介绍。 s n a k e 方法的主要优点是图像数据、初值估计、目标轮廓特征及基于知识的约 束条件都集成在一个特征提取过程中，经过适当的初始化之后，能够自主收敛到 9 提出使用参数化的可变模板来定位眼和嘴，其中人眼模型如图2 1 所示。 图2 1 眼睛模板 f i g u r e 2 - 1t e m p l a t eo f t h ee y e 使用了一个能量函数作为匹配度评价函数，其定义如式2 1 所示： e = e + e + b + 互+ 三乙明d ( 2 - 1 ) 其中，外部能量由峰e 、谷巨、边缘乓及光强互四部分信息组成，k 的 定义如式2 2 ： 1 0 人脸特征点定位方法 ” e 眦_ 畦2 鲁( t 一疋) 2 + 等( a + 圭 ，+ ) 2 + 等( 仍+ 三 ，+ 6 ) ) 2 + 等( 6 2 ，) 2 倍2 其中 毛，毛，屯) 为权值，不同的权值组合可以使函数具有不同的功能。定位分 为四个阶段，通过设定不同的权值并使能量函数最小化。可变形模板首先被“拖 到人眼附近，而后逐步完成尺寸、偏转角度以及位置和形状上的微调。由于利用 了特征区域的先验全局信息，因此可以较好地检测出相应的特征形状，并且充分 考虑了人脸是变形体的特点，稳定可靠，且与光照条件和姿态五官，但它的缺点 是：模板的初始位置对定位结果有很大的影响；能量函数优化过程收敛缓慢，耗 时长；能量函数中各种权值是通过经验设定的，难以保证最优。 2 2 3 点分布模型p d m ( p o i n td i s t r i b u t e dm o d e l s ) p d m 是c o o t e s 3 4 等1 9 9 2 年提出的一种参数化的形状描述模型。l a n i t i s 3 5 】 等首先将这一方法应用于人脸特征定位及人脸识别。建立起一个由1 5 2 个控制点 组成的人脸模型，并对各个控制点附近的与形状无关的局部灰度信息也分别建立 了p c a 模型。搜索时，将基准模型放在目标图像附近，首先根据每个控制点当前 位置附近的局部灰度信息计算出一个目标位置，而后使整个模型根据约束改变形 状，使各个控制点与目标位置的距离尽可能地接近，如此反复，直至各个控制点 都移动到合适的位置。 与s n a k e 方法相比，p d m 在模型中引入了与目标特征有关的信息，从而降低 了对噪音和局部变形的敏感度，但运算量仍然较大。 2 2 4主动形状模型a s m 主动形状模型( a c t i v es h a p em o d e l s ) 是t f c o o t e s 3 6 等人在1 9 9 4 年提出的 一种基于统计学的、灰度和形状分离的可变形模型，它用一组离散的控制点来描 述对象的形状，并用p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，主成分分析) 方法建立 起各个控制点的运动模型，对控制点的基准位置和移动模式作了约束，从而保证 了模型的整体形变始终在可接受范围之内。 本文就是针对a s m 的方法进行的实验，所以a s m 的具体介绍将在文中的3 2 节中，在此不作赘述。 2 3 1神经网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，6 州n ) 方法的研究具有悠久的历史， 很适合用于解决非线性问题，因而在模式识别领域有着广泛的应用。该方法通过 训练一个网络结构，把模式的统计特性隐含在神经网络的结构和参数中。它以类 比于生物神经系统处理信息的方式，用大量简单的处理单元并行连接构成了一种 独具特色的信息处理系统。这种系统具有自组织、自学习的能力，可以随经验的 累积而改善自身的性能。 w a i t e 3 7 等将这一方法应用于人眼定位。完整的人眼图像受个体差异、眼睛 状态和目标对象姿态等变化的影响较大，而子特征点( m i c r o f e a t u r e s ，包括左右眼 角和上下眼眶顶点) 附近区域相对稳定，根据这一特点，以各子特征点附近的灰 度图像为输入分别建立神经网络。在检测时，先用各个神经网络对目标区域进行 遍历搜索，再结合先验规则对搜索结果进行筛选和结合。这个算法训练过程比较 简单，有较强的鲁棒性，但区分度不足。r e i n d e r s 3 8 等提出以梯度向量信息代替 原始灰度值作为系统输入，其优点是受光照、阴影、视角和目标物体尺寸的影响 较小。同时，用一个统一模型对各个子特征点作同步检测，从而减少了遍历次数， 且对尺寸、方向、目标状态和光照条件都有良好的适应能力。 1 2 人脸特征点定位方法 2 3 2主成分分析p c a p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，主成分分析) 是模式识别领域的一类经 典算法，它通过k - l 变换将表征人脸的高维向量映射到由若干个特征向量( 也称 e i g e n f a e e ，特征脸) 张成的子空间中，从而实现对人脸图像的最优解析和重构。 作为分类器利用的是次元子空间( 特征空间的补空间) ，先用p c a 模型重构被检 区域，求出重构图与原图之间的距离，当距离小于一定阈值时即被认定为候选区 域。 t u r k 和p e n t l a n d 3 9 首先将这一算法应用于人脸识别和定位。c o o t e s 等提出使 用多p c a 模型来辅助确定p d m 模型初值。为了降低p c a 分类器对目标物体的尺 寸和角度偏转的敏感性，针对不同角度不同尺寸的脸部特征分别建立了模型，并 在搜索中采用了金字塔搜索策略，因此该算法运算量较大。这种方法的缺点是p c a 技术主要着眼于最优化地解析和重构图像，当作为分类器使用时会产生大量的虚 警点，需要结合其他算法加以剔除。 2 3 3支持向量机s v m s v m ( s u p p o r tv e c t o rm a c h i n e ，支持向量机) 【4 0 】是2 0 世纪9 0 年代以来依据 统计学习理论发展起来的一种通用的模式识别方法，与传统学习理论力图使经验 风险最小化不同，它着眼于使学习过程中的结构风险( s t l l l c t l l r a lr i s k ) 最小化， 较好地解决了小样本情况下的学习问题。 s v m 方法可以用于脸部特征检测，g a n gp a n 4 1 等使用了方形扫描窗口，将 眉毛与眼睛作为一个整体作为定位的对象，从而减少了眉毛对定位的干扰。d i h u a l i 4 2 等提出了一个二级的s v m 系统，先用线性核心的s v m 筛选出候选点，再用 多项式核心的s v m 作最终判定。直接应用s v m 方法的主要困难：首先是训练s v m 需要求解二次规划问题，计算复杂度高，内存需求量大；其次是当训练样本个数 较大时，会得到的大量的支持向量，使得分类器的计算量过高。 外观信息类方法对目标对象尺寸大多较为敏感，为了实现尺寸无关性，一种 常用的办法是采用b u t t 4 3 等提出的金字塔搜索策略，即保持扫描窗口大小不变， 而对目标图像做多级采样，得到一系列不同分辨率的图像，然后在这些图像上分 别作遍历搜索。 2 4 基于关联信息的方法 图2 - 2k i n 和c i p o l l a 的概率网络 f i g u r e 2 2p r o b a b i l i t yn e to fk i na n dc i p o l l a 2 4 2动态链接模型d l a 络 滤 ) ， 中 ) ， d l a ( d y n a m i cl i n ka r c h i t e c t u r e ) 是m a l s b u r g 于1 9 8 1 年提出来的一种神经网 络模型，它既保留了神经元的独立性，又能够很好地表述神经元之间的相关语义 信息，因而对目标对象的局部突变有很好的适应能力。l a d e s 等将其应用于模式识 别领域，其动态链接模型是一个神经元矩阵，每个结点由4 0 个不同方向、不同频 率的g a b o r 小波函数组成，其返回值组成一个向量，称为j e t ，用以表征局部信息。 w i s k o t t 等此基础上作了三方面改进：首先，将结点的分布由阵列式改为散布 式，每个结点分别对应一个脸部特征点，这使得模型更加直观和灵活；其次，引 入了集束( b u n c h ) 的概念，一个集束由若干个j e t 组成，分别对应于特征点的不 同状态( 如眼睛的开闭) ，检测时，以集束中的各个j e t 与被检测点的匹配度的最 大值作为相似度估计值，从而增强了模型对不同状态的适应能力；第三，在匹配 函数中引入了相位信息，提高了匹配函数的区分能力，使定位更为准确。该算法 对目标对象在姿