（计算机应用技术专业论文）基于hmax模型的人脸表情识别研究.pdf

1 1 1 11 1 11 11 11 1 111 1 1111i 17 4 7 2 71 学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。 本人授权浙江理工大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在 不保密口 。 学位论文作掌签名：弋返是 日期：山忙 月 日 年解密后使用本版权书。 指剥雠：强疡 日期：彦矾9 年) 月 浙江理- t 大学硕上学位论文 摘要 人脸表情识别是一个涉及到模式识别、图像处理、人工智能等多学科的综合课题。所 谓人脸表情识别是让计算机对人脸的表情信息进行特征提取分析，结合人类所具有的表情 信息方面的先验知识使它进行自我思考、推理以及判断，进而去理解人脸表情蕴含的信息， 实现人机之间智能化的交互。它在许多领域都有着潜在的应用价值，包括机器人技术、图 像理解、视频检索、合成脸部动画、心理学研究、虚拟现实技术等。 对人脸表情识别的研究主要包括三个部分：人脸检测、表情特征提取以及表情分类。 目前在这三个方面计算机视觉研究者们进行了很多研究，但这三个方面仍有问题未得到很 好的解决，包括人脸误检、表情识别的鲁棒等。 本文分析了目前国内外有关人脸表情识别的理论和技术，着重对人脸检测、表情特征 提取以及表情分类这三个环节进行了深入研究，其主要研究内容和成果如下： 1 人脸检测方面 本文研究了v i o l a 提出的基于h a r r - l i k e 特征、积分图、a d a b o o s t m 算法、级联模式的 人脸检测方法和人脸模板匹配技术，分析了v i o l a 人脸检测方法产生人脸误检的原因，提 出了把v i o l a 人脸检测方法和人脸模板匹配技术相结合来减少人脸误检率。 本文首先采用v i o l a 人脸检测方法搜寻可疑人脸区域，在此基础上，结合人脸模板匹配 技术，对找到的可疑人脸区域进行验证以排除非人脸区域，获得真正的人脸区域。 2 特征提取方面 本文研究了表情特征的分布和h m a x 模型，并根据表情特征的分布特性对h m a x 模 型的特征块模板抽取方法做了改进，最后使用改进的h m a x 模型进行表情特征的提取。 所提取的表情h m a x 特征与其他通过图像处理得到的特征相比，具有更好的不变性和区 分性。 3 表情分类方面 本文设计了基于a d a b o o s t m 2 学习算法和b p 神经网络的表情识别分类器。用b p 神 经网络作为弱分类器，利用a d a b o o s t m 2 学习算法构造一个强分类器作为表情识别的分类 器。 4 在上述理论研究的基础之上，对人脸检测、表情特征提取以及表情分类进行了相 关实验，证明了本文提出的方案的正确性。 关键词：人脸检测；模板匹配；h m a x 模型；表情识别；a d a b o o s t ；b p 神经网络 r e s e a r c ho nt h ef a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do nh m a xm o d e l a b s t r a c t f a c i a le x p r e s s i o nr e c o g n i t i o ni sac o m p r e h e n s i v et o p i ct h a tr e l a t e st op a t t e r nr e c o g n i t i o n , i m a g ep r o c e s s i n g ，a r t i f i c i a li n t e l l i g e n c e ，e t c a n di tm e a n st h a tt h ec o m p u t ei st oa n a l y z ea n d d e t e c tt h es p e c i a le x p r e s s i o ns t a t ef r o mt h eg i v e ne x p r e s s i o ni m a g ea n dt h e nt oa s c e r t a i nt h e s u b j e c t ss p e c i f i ce m o t i o na u t o m a t i c l y , a n da c h i e v ea ni n t e l l i g e n ti n t e r a c t i o nb e t w e e nh u m a na n d c o m p u t e r i th a sp o t e n t i a la p p l i c a t i o n si nm a n ya r e a sw h a ti n c l u d e sr o b o t i c st e c h n o l o g y , i m a g e u n d e r s t a n d i n g ，v i d e or e t r i e v a l ，s y n t h e t i c f a c i a l a n i m a t i o n ，p s y c h o l o g ys t u d y , v i r t u a l r e a l t e c h n o l o g y , e t c o ff a c i a le x p r e s s i o nr e c o g n i t i o ns t u d yc o n s i s t sm a i n l yo ft h r e ep a r t s ：f a c ed e t e c t i o n ，f a c i a l f e a t u r ee x t r a c t i o na n de x p r e s s i o nc l a s s i f i c a t i o n m a n yc o m p u t e rv i s i o nr e s e a r c h e r sh a db e e n d o n em a n ys t u d i e so nt h e m ，w h i l et h e r ea r es t i l ls o m ep r o b l e m sn o ts a t i s f a c t o r i l yr e s o l v e d ， i n c l u d i n gt h ef a c ef a l s ed e t e c t i o n ，f a c i a lr e c o g n i t i o nr o b u s t n e s s ，e t c a n a l y z i n gt h et e c h n o l o g ya n da l g o r i t h m st h a tr e l a t et of a c i a le x p r e s s i o nr e c o g n i t i o na th o m e a n da b r o a d ，t h et h e s i sf o c u s e so nr e s e a r c h i n gf a c ed e t e c t i o n ，f a c i a lf e a t u r ee x t r a c t i o na n d e x p r e s s i o nc l a s s i f i c a t i o n ，a n dp r o p o s i n gs o l u t i o n st op r o b l e m sw h i c ha r em e n t i o n e da b o v e t h e m a i nc o n t e n ta n dt h ea c h i e v e m e n t so f t h er e s e a r c ha r ea sf o l l o w s ： 1 a s p e c to ft h ef a c ed e t e c t i o n t h et h e s i ss t u d i e sv i o l a sf a c ed e t e c t i o nm e t h o da n df a c e t e m p l a t em a t c h i n gm e t h o d ， a n a l y z i n gt h er e a s o nw h yv i o l a sf a c ed e t e c t i o nm e t h o dp r o d u c e sf a c ef a l s ed e t e c t i o n ，a n dt h e n p r e s e n t sam e t h o dt h a tc o m b i n e sv i o l a sf a c ed e t e c t i o nm e t h o dw i 也f a c et e m p l a t em a t c h i n g m e t h o dt or e d u c et h ef a c ef a l s ed e t e c t i o nr a t e t h et h e s i ss e a r c h st h es u s p i c i o u sf a c er e g i o n sw i t hv i o l a sf a c ed e t e c t i o nm e t h o df i r s t l y ，a n d t h e nu s e sf a c et e m p l a t em a t c h i n gt e c h n o l o g yt oj u d g ew h e t h e rt h e s e r e g i o n si n c l u d ef a c er e a l l y 2 a s p e c to ff a c i a lf e a t u r ee x t r a c t i o n r e s e a r c h i n gt h ed i s t r i b u t i o no fe x p r e s s i o nf e a t u r ea n dh m a xm o d e l ，a n dt h e nt h et h e s i s p r e s e n t sa ni m p r o v e m e n tf o r f e a t u r eb l o c k st e m p l a t ee x t r a c t i o nm e t h o do nh m a xm o d e l a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fd i s t r i b u t i o no fe x p r e s s i o nf e a t u r e ，f i n a l l yu s i n gh m a xm o d e l 浙江理工人学硕士学位论文 t oe x t r a c tt h ef a c i a lf e a t u r e ，w h i c hi sc a l l e dh m a xf e a t u r e t h eh m a xf e a t u r eh a sag o o d i n v a r i a n c ei ns c a l e ，t r a n s l a t i o na n dd i r e c t i o n c o m p a r e i n gw i t ho t h e rf e a t u r e ，w h i c hi se x t r a c t e d t h r o u g ho t h e ri m a g ep r o c e s s i n gm e t h o d s ，t h eh m a xf e a t u r eh a sab e t t e re f f e c tt od i s t i n g u i s h d i f f e r e me x p r e s s i o n 3 a s p e c to ff a c i a le x p r e s s i o nc l a s s i f i c a t i o n t h et h e s i sd e s i g n e saf a c i a l e x p r e s s i o nr e c o g n i t i o nc l a s s i f i e rb a s e do na d a b o o s t m 2 l e a r n i n ga l g o r i t h ma n db pn e u r a ln e t w o r k u s i n gb pn e u r a ln e t w o r ka saw e a kc l a s s i f i e r , t h et h e s i su s e sa d a b o o s t m 2l e a r n i n g a l g o r i t h mt om a k eas t r o n gc l a s s i f i e ra sa l le x p r e s s i o nr e c o n g i t i o nc l a s s i f i e r 4 b a s e do nt h ep r e s e n t e dt h e o r ya b o v e ，t h et h e s i sc a r r yo u te x p e r i m e n t sa b o u tf a c ed e t e c t i o n ， f a c i a lf e a t u r ee x t r a c t i o na n de x p r e s s i o nc l a s s i f i c a t i o nt ov e r i f yt h ec o r r e c t n e s so ft h em e t h o d s t h a ta r ep r e s e n t e da b o v e k e yw o r d s ：f a c ed e t e c t i o n ；f a c et e m p l a t em a t c h i n g ；h m a xm o d e l ；f a c i a le x p r e s s i o n r e c o g n i t i o n ；b pn e u r a ln e t w o r k ；a d a b o o s t i i i 浙江理工人学硕十学位论义 目录 摘要。i a b s t r a c t i i 第一章绪论l 1 1 课题的研究背景和意义1 1 2 表情识别的研究历史与国内外研究状况1 1 2 1 研究历史2 1 2 2 国内外研究现状2 1 2 3 表情识别存在的问题3 1 3 人脸表情自动识别系统4 1 3 1 人脸表情识别系统概述4 1 3 2 人脸的检测4 1 3 3 特征提取：6 1 3 4 表情分类7 1 4 本文的创新点和主要工作内容7 1 4 1 本文的创新点7 1 4 2 本文的主要工作内容一8 1 5 论文的结构安排8 第二章人脸检测：10 2 1a d a b o o s t 算法10 2 1 1a d a b o o s t 算法的背景1o 2 1 2a d a b o o s t 算法结构。1 l 2 2v i o l a 的人脸检测14 2 2 1h a a r - l i k e 特征一15 2 2 2 积分图1 6 2 2 3 弱分类器训练18 2 2 4 强分类器训练19 2 2 5 级联分类器2l 2 2 6 样本准备2 2 2 2 7 检测实现2 3 2 3v i o l a 人脸检测方法的实验结果和分析2 5 2 4 本文提出的人脸检测方法一2 6 2 4 1v i o l a 人脸检测方法误检分析以及本文方法的提出一2 7 2 4 2 人脸模板匹配技术2 7 2 4 3 本文人脸检测方法的实现2 8 2 5 本文人脸检测的实验结果与分析2 9 2 6 本章小结31 第三章特征提取。3 2 浙江理t 大学硕士学位论文 3 1 表情特征的分布3 2 3 1 1 关键点选取3 2 3 1 2 关键点定位3 3 3 2h m a x 模型：3 4 3 2 1h m a x 模型的结构。3 4 3 2 2h m a x 模型的实现3 5 3 2 3h m a x 模型的分析3 7 3 3h m a x 模型在表情识别应用上的局限3 8 3 4 改进后的特征块模板提取3 8 3 5 使用改进的h m a x 模型提取表情h m a x 特征3 9 3 6 本章小结4 l 第四章表情分类4 3 4 1b p 神经网络4 3 4 1 1b p 神经网络概述4 3 4 1 2b p 神经网络的结构4 3 4 1 3b p 神经网络设计4 4 4 1 4b p 神经网络训练4 5 4 2 基于a d a b o o s t m 2 和t i p 神经网络的分类器4 8 4 2 1 分类器设计思想4 8 4 2 2 分类器训练算法4 8 4 2 3 基于a d a b o o s t m 2 和b p 神经网络分类器的表情识别过程5l 4 3 表情识别实验结果与分析51 第五章总结与展望5 5 5 1 本文工作的总结一5 5 5 2 工作展望5 5 参考文献5 6 致谢6 ( ) 攻读学位期间公开发表的论文6 l v 浙江理工人学硕十学位论文 第一章绪论 1 1 课题的研究背景和意义 人脸表情识别是当前一个非常热门的研究课题，它是计算机视觉、生物特征识别、人 工心理理论、情感计算、生理学、心理学等多学科、多领域交叉的一个极富挑战性的课题。 人脸表情识别的涵义【l 】是让计算机对人脸的表情信息进行特征提取分析，结合人类已有的 关于表情方面的知识使计算机进行联想、思考及推理，从而理解和分析人脸表情所含有的 情绪。典型的人脸表情包含高兴( s m i l e ) 、悲伤( s a d n e s s ) 、厌, 恶, ( d i s g u i s t ) 、惊奇( s u r p r i s e ) 、恐 惧( f e a r ) 、愤怒( a 1 1 9 e r ) 以及中性( n e u t r a l i t y ) 圆。 人脸表情识别是让计算机理解人类情感和分析人类情绪的前提与基础【3 一钉，是智能机器 走进人们日常生活所必须要解决的问题，也是人们探索和理解智能的必要途径【3 一钉。对人脸 表情识别的研究可以促进计算机视觉、人工智能等多学科的发展。随着对其研究的不断深 入会对人们的日常生活乃至于人类社会产生深远的影响。 长期以来，人类与计算机之间的交互最常用就是简单的单向交互，即人们单向对计算 机进行操作，而计算机本身无法自主的判断人的情感和行为状态，这就使得人机之间的交 互显得机械和呆板。如果计算机能够自主的识别人的情感和行为状态，将会使得整个人机 交互的过程显得客观和智能，将会使得人类与计算机之间的交互进入新的时代。如果计算 机能够像人类那样理解和表达情感，并能够自主适应环境，这将从根本上改变人与计算机 之间的交互关系，从而使得计算机能够更好的为人类服务f 5 】。 人脸表情识别在许多的领域都有着潜在的应用价值，包括机器人技术、图像理解、视 频检索、合成脸部动画、心理学研究、虚拟现实技术的研究与开发等【5 1 。人脸表情自动识 别的研究对于增强计算机的智能化和人性化，开发新型的人机交互环境，从而推动心理学， 医学等其他学科的发展，有着重要的现实意义，并最终将会产生巨大的经济效益和社会效 应。 随着模式识别、图像处理、人工智能等学科的发展以及计算机的软硬件技术的提高， 为人脸表情识别的进一步研究了很好的便利条件。在人脸表情识别的研究过程中，人脸检 测、图像预处理、表情特征提取和分类等方面有着许多基础理论和技术可以借鉴和利用。 本文正是在这种背景下进行表情识别的研究工作。 1 2 表情识别的研究历史与国内外研究状况 浙江理工大学硕士学位论文 1 2 1 研究历史 对人脸表情的研究最早源于心理学和生物学上的研究需要而进行的。生物学家f r i e s e n 与心理学家e k m a n 在进行情感活动研究时发现【6 】人类有六种主要的情感，每种情感都代表 着人的一种独特的心理活动，这六种情感被称为基本情感。在任何一个种族的文化中这六 种情感所代表的涵义是相同的，都是由愤怒、高兴、伤心、惊讶、厌恶和恐惧所组成。f r i e s e n 和e k m a n 从解剖学出发，提出了一种描述人脸表情运动的方法一人脸运动编码系统 f a c s ( f a c i a la c t i o nc o d i n gs y s t e m ) ，它根据脸部肌肉的运动特征和类型定义了基本形变单 元a u ( a c t i o nu n i t ) 。f a c s 系统总共定义了4 4 个a u 以及一些用来描述眼睛和头部的方位 变换的单元。基于f a c s 系统，可以把人脸的各种表情分解为各个a u 。分析人脸表情信 息，也就是分析人脸的a u 变化。 1 2 2 国内外研究现状 在进入9 0 年代后，人们对于入脸表情识别的研究变得非常活跃。国内外大量的研究 人员和机构都在进行这方面的研究。美国、中国等国家都有专门的组织在进行这方面的研 究。其中，美国马里兰大学( m a r y l a n d ) 的计算机视觉实验室、伊利诺斯州大学( u i u c ) 、卡 耐基梅隆大学( c m u ) 的机器人研究所、麻省理工学院( m i t ) 的多媒体实验室的感知计算组、 斯坦福大学( s t a n f o r d ) ，英国的曼彻斯特大学、剑桥大学，日本的大阪大学、东京大学、城 蹊大学、a t r 研究所等的研究尤为突出。 在国外，日本a t r 研究所的k m a s e 7 j 提出了利用光流来跟踪a u ，从而进行表情识别。 m a s e 提出的表情分析方法从下至上以及从上至下两个方向进行：( 1 ) 从下至上：在矩形区域 中计算光流，量化成4 个方向，在每个窗口中提取一个主要的肌肉收缩方向，定义并提取 特征向量来表示表情序列中光流变化最活跃的点。( 2 ) 从上至下：假设脸部图像被分解成各 个a u ，把a u 集合成矩形，在矩形中计算光流。实验只对高兴、愤怒、厌恶、惊奇这四 种表情进行了分类。他这种方法不足之处是：当a u 对应平滑和无特征单元时，结果严重 依赖于矩形的定位。 美国佐治亚工学院的i r f a na e s s a 教授8 1 和马里兰大学的y a s e ry a c o o b 教授9 1 实现的表 情识别也都是基于f a c s 编码系统，他们把分析中心集中在眼睛、嘴以及眉毛边缘等相关 部位的运动，把这些部位的光流方向场量化为8 个方向，同时建立了一个时间模型，对六 种基本表情的整个变化过程做出规定，并增加中性表情以次作为开始和结束，最后定义了 表情变化每个阶段的开始和结束的规则。 2 浙江理t 大学硕士学位论文 在国内，较早进行表情识别研究的是哈尔滨工业大学高文教授【1 0 1 领导的团队，该团体 进行多功能感知机的研发，尝试着把表情识别、语音识别、人脸识别、并行计算技术、数 字模拟混合计算技术、手语识别、智能体技术、实时处理技术、人脸检测与跟踪、文字识 别、自然语言理解等技智能领域技术有机结合在一起，构造一个可以用于包括视觉、昕觉 等在内的软件和硬件的开发平台。 北京科技大学的王志良教授建立了人工心理理论结构体系，来进行人工分析和模 拟人的情感活动以及应用于情感机器人系统等应用中。目前该课题组正在对情感计算和建 模、表情合成和分析等方面进行深入研究中。 2 0 0 3 1 0 ，第一届“中国情感计算与智能交互学术会议“在中国举行，会议的主要内容 是人脸表情识别与合成【1 2 】。 虽然人脸表情识别技术进过国内外多年的研究，但是构建的表情识别系统仍然存在着 一些问题。 1 2 3 表情识别存在的问题 表情识别系统存在的主要问题包括以下几方面： 人脸检测精度有待提高 人脸表情识别系统需要对输入图像自动检测人脸从而获得识别所需要的精确表情图 像。人脸检测长期以来受到检测的正确度和速度困扰。直到v i 0 1 人脸检测方法的提出，这 个困扰才得以解决。但随之而来的一个问题是v i 0 1 人脸检测方法的精度不高，即对非人脸 的误检非常高。因此人脸检测精度还有待进一步提高 表情识别计算量有待降低 人脸表情含有丰富的信息，目前的特征提取和识别算法很难达到全自动地、实时地识 别脸部表情复杂而细微的变化。因此表情特征提取和识别算法的效率还有待进一步提高。 鲁棒性有待提高 人脸表情识别系统需要提取人脸表情的特征信息并进行分类识别，其结果容易受到外 界因素的干扰，其中主要的影响因素是头部偏转、遮挡物和光线变化等。一些研究者提出 了采用多摄像头、色彩补偿等技术来解决干扰。这些方法有一定的效果，但当头部运动过 于复杂、多种光线交叉变化时，这些方法的识别率在一定程度上还是不理想。因此系统的 鲁棒性还需进一步提高。 浙江理工大学硕士学位论文 1 3 人脸表情自动识别系统 1 3 1 人脸表情识别系统概述 表情自动识别系统主要包含三个部分：人脸检测、表情特征提取以及识别分类。图1 1 显示了人脸表情自动识别系统的一般流程。 图1 1 人脸表情自动识别一般流程 下面本文从这三个方面展开讨论和分析。 1 3 2 人脸的检测 人脸检测是指对于一幅图像，在其进行检测，确定它是否包含人脸。如果有则返回人 脸的大小以及位置。 人脸检测经过近二十年的发展，出现了各种检测方法，总体上可以将这些方法划分为 两类：基于先验知识以及基于统计理论。 ( 一) 基于统计理论 基于统计理论的人脸检测方法是把人脸检测问题转化为二类问题的分类，利用机器学 习和统计分析来分别寻找非人脸样本和人脸样本的统计特征，训练分类器，最后使用分类 器完成检测。基于统计理论的方法主要有：v i o l a 方法、隐马尔可夫模型方法、子空间方 法、神经网络方法。 v i o l a v i o l a 1 3 1 提出了一种基于a d a b o o s t m 、h a r r - l i k e 特征、积分图以及级联模式的实时人 脸检测算法。该方法使用h a r r - l i k e 作为特征同时也是弱分类器，引入积分图来计算h a r r - l i k e 特征，采用a d a b o o s m 算法生成强分类器，使用级联模式提高人脸检测速度。该方法拥 有较好的检查速度和准确度，其缺点是误检率高。 r a i n el i e n h a r t 等1 1 4 】对vi o l a 所使用的的h a r r - l i k e 特征进行了扩展，并把它用于人脸 检测系统。他们的系统可以对旋转人脸进行快速检测，并有很高的检测正确率，其缺点同 样是误检率高。 神经网络 4 浙江理工人学硕十学位论文 神经网络( a n n ) 方法是训练一个网络，网络的结构和参数包含了统计的特征信息。 r o w l e y 1 5 1 在1 9 9 8 年构建了第一个基于神经网络的人脸检测系统。他的系统主要分为 两个过程：第一过程是基于神经网络的分类器。基于神经网络的分类器在输入层是接收规 定大小的检测区域，而输出的是【1 ，1 之间的数值，根据输出的数来判断检测区域是否为人 脸；第二过程是对重复检测的区域进行判别并合并。由于样本和分类器自身的影响，系统 的检测结果会产生一些重复检测的区域，因此系统使用了一个多层的神经网络来对重复检 测的区域进行判别并合并。 r o w l e y 方法的的缺点在于它仅能检测正面垂直的人脸。因此在原来系统的基础上【1 6 】 r o w l e y 增加了一个单层网络对旋转人脸进行检测，接着对原图像进行反旋转，最后送到原 来系统中进行人脸检测，这样该系统可以用于任意旋转的人脸图像的检测。 支持向量机 支持向量机方法是由在结构风险最小化的统计学习理论的基础上发展起来的【1 7 】【18 1 。一 般的分类器训练方法是基于经验风险最小化，如神经网络；而s v m 则是基于结构风险最 小化。 使用支持向量机进行分类器训练需要求解具有高复杂度的的二次规划问题，而这是限 制s v m 应用的一个主要因素 1 9 】。 子空间 子空间方法是一种基于特征空间的方法。该方法首先把图像变换到某一个特征空间 中，然后根据其所在的特征空间的分布规律来区分是否为人脸与和非人脸。子空间方法主 要分为以下两类【2 0 】：线性判别分析和主成分分析。 t u r k 等人将主成分分析方法用于人脸检测与识别。他们将包含人脸的图像投影到一 个由若干个最大的特征向量组成子空间中。若要显示某个人脸，就对这些特征向量加权求 和。这些特征向量被称为特征脸，而该方法也被称为特征脸方法。 y a n g 等人【2 2 】提出的f i s h e r 线性判别方法是典型的线性判别分析方法。他们使用了自组 织映射将人脸与非人脸样本各划分为2 5 个类，计算各类类间离散度与类内离散度，然后 利用两者的比值求出投影矩阵。相比较于特征脸方法，该方法同时考虑了类间与类内的离 散度，选取的投影方向优于特征脸方法，得到了更好的检测效果。 隐马尔可夫模型方法 隐马尔可夫模型( h m m ) 方法是假设该模型可以被定义为一个参数化的过程。该过程的 参数可以通过精确的方法估算出来。它首先决定隐态形成一个隐马尔可夫模型模型，然后 浙江理t 大学硕士学位论文 通过学习来自样本集的各个状态间的转移概率来训练一个隐马尔可夫模型，每个样例由一 系列观测值表示。在隐马尔可夫模型被训练后，观测值的输出概率就决定了该观测值属于 哪一类。 n e f i a n 等人【2 3 1 把人脸从上到下划分为五个互有重叠的区域，这五个区域为头发、额头、 眼、鼻、嘴。然后根据这个划分构造了一个含有五个状态的一维连续隐马尔可夫模型来表 示人脸，接着对各个区域进行k l 变换，取每个区域的若干最大特征向量作为观测值对隐 马尔可夫模型进行训练。 基于先验知识 基于先验知识的人脸检测方法是先提取人脸的各种已有的先验基本特征，比如纹理、 灰度、几何形状等等，然后根据已有的先验规则来确认图像中是否包含人脸。这些已有的 先验规则包括在正面图像中人脸通常都包含两只位置相互对称的眼睛，灰度图像中眼睛区 域要比其他地方暗等。 模板匹配刚是一种特典型的基于先验知识的人脸检测方法。它用模板方法隐式描述已 有的先验特征和规则。基于模板匹配的人脸检测方法需要事先定义一个人脸模板，然后计 算输入图像与模板的似然度，确定一个阈值，通过似然度与阈值的比较来判断图像中是不 是包含人脸。 1 3 3 特征提取 特征提取就是要从大量的图像数据中选择最能反映和区分对象的信息，而提取的信息 应该具备以下几个条件： 能表现出人脸某一种表情的本质特征。 不受其他与表情无关的信息的干扰。 数据避免过高的维数。 对不同表情之间有非常好的区分性。 目前所用到的表情特征主要有：运动特征、频率特征和灰度特征三种。运动特征利用 了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情 图像在不同的频率分解下的差别，速度快是其显著特点；灰度特征是从表情图像的灰度值 上来处理，利用不同表情有不同灰度值束得到识别的依据，这种情况下要求图像对光照、 角度等因素要进行充分的预处理，使获得的灰度值具有归一性。 表情特征提取的方法按图像的类型可分成两类：一类是提取序列图像中的表情特征； 6 浙江理工大学硕上学位论文 另一类是提取静态图像中的表情特征。 常用的静态图像特征提取的方法有：基于点分布模型的方法( p d m ) 【2 5 】、基于活动外观 模型( 气m m ) 【2 6 】、主成份分析法p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 2 7 1 、g a b o r 小波2 8 1 、基于 局域二值模式( l b p ) 【2 9 】等。 常用的序列图像特征的提取方法有：光流法【3 0 】、特征点跟踪法【3 1 1 和差分图像法吲等。 1 3 4 表情分类 表情分类是指根据一组样本类别，设计相应的分类机制对表情进行分析然后归入相应 类别。常用的表情分类方法有以下四种： ( 1 ) 基于概率模型的分类方法 3 3 , 3 4 】该方法是属于统计概率模型的方法。它首先对表情 建立参数的分布模型，然后对被识别表情计算属于每个类的概率，最后取最大概率的类别 为识别结果。概率模型的分类方法的优点是具有非常健壮的数学结构，其缺点是不容易找 到好的参数来对表情特征分布进行准确描述。 ( 2 ) 基于模板的匹配分类方法网基于模板的匹配是给每一种表情建一个模板，然后把 待识别表情与所有表情模板进行相似度匹配计算，与某种表情的相似度值越高，就认为待 识别的表情属于该种表情。 ( 3 ) 基于支持向量机的分类方法【1 7 a 8 , 3 6 1 支持向量机是一种两类问题的分类方法，而表情 识别是多类别问题的分类，因此需要将支持向量机方法扩展为多类别问题的分类情形。扩 展的策略一般为：在所有样本中，选择c 类样本作为二类问题的中一类，把剩下的c 1 类 作为二类问题的中另一类，这样把多类别问题分成一个二类问题来解决。 ( 4 ) 基于神经网络的分类方法1 37 j 神经网络适用于解决表情问题的分类，它的输出层节 点对应七种基本表情，输入层节点对应从表情图像中提取的特征维数。神经网络方法的优 点是具有良好的容错性和泛化性，及自适应、自学习能力的特点。 神经网络方法在表情识别上比其他类型的方法有其独到的优势：它可以通过学习的过 程获得其他方法难以实现的关于表情识别的规律和规则的隐性表达。此外，神经网络以并 行方式处理信息，如果能用硬件实现，就能显著提高速度。 1 4 本文的创新点和主要工作内容 1 4 1 本文的创新点 7 浙江理工大学硕十学位论文 研究了v i o l a 人脸检测方法和人脸模板匹配技术，分析了v i o l a 人脸检测方法产生 人脸误检的原因，提出了把v i o l a 人脸检测方法和人脸模板匹配技术相结合来减少人脸误 检率。( 第二章) 对表情特征的分布特性和h m a x 模型进行了研究，并根据表情特征的分布特性对 h m a x 模型的特征块模板抽取方法做了改进。( 第三章) 1 4 2 本文的主要工作内容 本文的主要工作内容包括以下几方面： 1 人脸检测方面本文提出了把v i o l a 的人脸检测方法和人脸模板匹配技术相结合来解 决人脸误检问题，并做了相应的实验来验证了该方法的正确性。 2 特征提取方面本文研究了表情特征的分布特性和h m a x 模型，并根据表情特征 的分布特性对h m a x 模型的特征块模板抽取方法做了改进，最后使用改进后的h m a x 模 型进行表情特征的提取。 3 表情分类方面综合分析了已有的各种表情分类方法，采用了基于a d a b o o s t m 2 学 习算法和b p 神经网络的表情识别分类器，并结合改进的h m a x 模型进行了人脸表情识别 实验，并以相应的实验结果验证了本文对h m a x 模型改进的有效性。 4 在上述理论研究的基础之上，实现了人脸检测系统和人脸表情识别系统。 1 5 论文的结构安排 第一章绪论介绍了本课题研究的背景和意义、国内外的研究动态、表情识别相关的 方法和技术以及目前表情识别存在的困难，最后介绍了本文的创新点、主要工作内容以及 论文的结构安排。 第二章详细介绍了a d a b o o s t 学习算法、v i o l a 的人脸检测和人脸匹配技术，分析v i o l a 的人脸检测方法误检产生的原因，阐述了v i o l a 的人脸检测和人脸匹配技术结合的具体过 程，最后给出实验结果和分析。 第三章详细介绍了表情特征关键点的选取和标定、h m a x 模型，分析h m a x 模型在 人脸表情识别上的应用局限和对其改进的地方，然后阐述了使用改进的h m a x 模型进行 表情特征提取的具体过程。 第四章详细介绍了b p 神经网络以及它的训练过程，然后阐述了a d a b o o s t m 2 结合 b p 神经网络分类器的构造过程，最后给出了表情识别实验的相关结果和数据，并对实验结 r 9 浙江理工人学硕上学位论文 第二章人脸检测 对于人脸在图像中位置不确定的表情图像，一个人脸表情识别系统是无法进行表情识 别分析的，所以进行表情识别的一个前提是进行人脸的检测。 人脸检测长期以来受到检测准确度和速度的困扰，直到上世纪9 0 年代，由v i o l a 【1 3 】 提出的基于a d a b o o s t m 、h a r r - l i k e 特征、积分图和级联模式的人脸检测方法极大地提高了 人脸检测地速度和准确度，才使得人脸检测技术真正走向实用。 本章讲述了a d a b o o s t 算法、v i o l a 人脸检测方法以及人脸模板匹配技术，然后讲述了 基于v i o l a 人脸检测和人脸模板匹配技术的实现过程，最后给出了实验结果和分析。 2 1a d a b o o