（计算机应用技术专业论文）表情识别系统的设计与实现.pdf

摘要 计算机人脸表情识别技术是指计算机从人脸图像中分析并提取表情特征， 应用人工智能和模式识别的方法加以归类和识别，进而理解人的情感。它是图 像处理、模式识别、心理学等领域的一个的交叉课题。它推动计算机的情感化、 人性化和智能化，具有重要的研究价值和广泛的应用前景。本文以表情识别的 基本流程为线索，研究相关算法，并逐步实现一个表情识别系统。 针对现有表情识别过程中的特征选择、多类s v m 分类器、识别系统运算速 度等问题，本文主要基于f a i 、投票、平衡二叉树、并行处理原理，对表情识别 算法进行深入研究，主要工作如下： 1 基于f a i 与投票法的特征选择算法：研究传统的基于f a i 的属性约简算 法，发现两个重要缺陷：a 直接把f a i 累积值j ( k ) 作为约简标准，而，( 七) 反映 的是第k 维特征的宏观分类能力，易出现较大偏差；b 基于粗糙集“样本相容 性 的约简控制，应用于连续型特征值时，对离散化的级数比较敏感，很容易造 成约简算法耗时低效。将该算法改进为基于“类对”的f a i 值f ，( 后) 的票选法。 新算法提高了属性约简( 即特征选择) 的效度。 2 基于多类s v m 分类器的表情分类算法的改进：发现基于二叉决策树的一 对多型多类s v m 的结构性缺陷：其二叉树是非平衡的，树的高度大，造成较严 重的分类累积误差。将其改进为基于平衡二叉树的多类s v m ，通过降低分类树的 高度来降低分类的累积误差。针对“一对一”型多类s v m 的漏洞一投票冲突， 增加近邻分类法来解决。然后，对比分析了“一对一”型多类s 和多类s v m 这两种分类算法的性能。 3 基于多核的表情识别算法的并行化探索：表情识别过程中，相关图像处 理和模式识别算法的海量运算，造成识别速度低下，严重削弱表情识别技术的 应用价值。借助并行处理思想和o p e n 即编译接口，尝试将本文表情识别的相关 串行算法并行化，以充分发挥多核的高速并行运算能力，提高表情识别技术的 实用性。 关键词：人脸表情识别，特征提取，并行计算，支持向量机，g a b o r 小波变换 f a c i a le x p r e s s i o nr e c o g n i t i o no fc o m p u t e rt e c h n o l o g yi sw h a tt h ec o m p u t e r a n a l y z ea n de x t r a c ts o m eo ff a c i a le x p r e s s i o n sf e a t u r e sf r o mt h eh u m a n f a c i a li m a g e ， a c c o r d i n gt ow a y so fp e o p l e sc o g n i t i o na n dp a t t e r nr e c o g n i t i o na n dc l a s s i f i c a t i o n m e t h o d s ，i d e n t i f ya n du n d e r s t a n dt h ee m o t i o n a l i ti sac h a l l e n g i n gc r o s s - c u t t i n gi s s u e i n v o l v e di nt h ei m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o n ，p s y c h o l o g ya n do t h e rf i e l d s ， w h i c hi sar e s e a r c hh o ts p o to v e rt h ep a s tt w od e c a d e s , w h i c hp r o m o t ef e e l i n g s ， h u m a na n di n t e l l i g e n to fc o m p u t e r s f a c i a le x p r e s s i o nr e c o g n i t i o ni sm o r ea n dm o r e i m p o r t a n ti nr e s e a r c hv a l u ea n db r o a di na p p l i c a t i o np r o s p e c t s i nt h i sp a p e r , f o rc l u e s t ot h ep r o c e s so ff a c i a le x p r e s s i o nr e c o g n i t i o n , ih a v es t u d i e dc o r r e l a t i o na l g o r i t h m s a n dp r o g r e s s i v e l yr e a l i z e daf a c er e c o g n i t i o ns y s t e m f o rf e a t u r es e l e c t i o n , m u l t i c a t e g o r ys v mc l a s s i f i e r , c o m p u t i n gs p e e do ff e r i n t h ep r o c e s so fe x i s t i n gf a c i a le x p r e s s i o nr e c o g n i t i o n ，ir e s e a r c hs e v e r a la l g o r i t h m so f f e kw h i c hb a s e do nt h ef a i ，v o t e ，a v l t r e e ，p a r a l l e lp r o c e s s i n gt h e o r y , a n dt h e m a i nw o r ko ft h ep a p e ri sa sf o l l o w s ： 1 t h ef e a t u r es e l e c t i o na l g o r i t h mb a s e do nt h ef a ia n dt h ev o t i n g ：t os t u d yt h e t r a d i t i o n a la t t r i b u t er e d u c t i o na l g o r i t h mt h eo nf a i ，if o u n dt w oi m p o r t a n tf l a w s ： a u s ed i r e c t l y ，陆) t h ec u m u l a t i v ev a l u eo ff a ia st h es t a n d a r dr e d u c t i o n , w h i c h r e f l e c tt h ec o m p r e h e n s i v ep e r f o r m a n c eo ft h ef i r s tk - d i m e n s i o n a lf e a t u r ea n di sp r o n e t ob i a s ；b c o n t r o lo fr e d u c t i o n ”s a m p l ec o m p a t i b i l i t y ”o nr o u g hs e t , w h i l ei ti s u s et oc o n t i n u o u sa p p l i c a t i o no fe i g e n v a l u e s ，i ti st h em o r es e n s i t i v e f o rd i s c r e t e s e r i e s ，r e s u l t i n gt i m e - c o n s u m i n ga n di n e f f i c i e n to fr e d u c t i o na l g o r i t h m i m p r o v et h e a l g o r i t h mo nt h e ”c l a s s p a i r ”v o t ea b o u tt h ef a iv a l u e t h en e wa l g o r i t h mi n c r e a s e s t h ev a l i d i t yo fa t t r i b u t er e d u c t i o n ( o rf e a t u r ee x t r a c t i o n ) 2 t h ea l g o r i t h m so fe x p r e s s i o nc l a s s i f i c a t i o no nm u l t i - c l a s ss v mc l a s s i f i e r ： i f e n ds t r u c t u r a ld e f i c i e n c i e so fab i n a r yd e c i s i o nt r e e ( o ra v l t r e e ) b a s e do n o n e - t o m a n ym u l t i c l a s ss v m ：t h en o n - b a l a n c e db i n a r yt r e e ，h i g h e ra t r e ei s ，m o r e c u m u l a t i v ee r r o ra r ec a u s e db e t w e e nc h i l dc l a s sa n df a t h e rc l a s s ，t h e nii m p r o v et h e m u l t i c l a s ss v mb a s e da v l - t r e e f o rt h el o o p h o l eo f ”o n e o n o n e ”m u l t i c l a s ss v m - t h ev o t i n gc o n f l i c t s ，t h en e i g h b o r sm e t h o di sd e s i g n e dt or e s o l v ei t 3 t oe x p l o r et h ep a r a l l e l e df e ra l g o r i t h m so nt h eo fm u l t i - c o r e - i nt h ep r o c e s s o ff a c i a le x p r e s s i o nr e c o g n i t i o n ，t h e r ea r em a s sc o m p u t i n gb e c a u s eo ft h er e l a t e d i m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o na l g o r i t h m ，l e a d i n gt ol o w e rs p e e do f r e c o g n i t i o n , a n ds e r i o u s l yw e a k e n i n gt h ev a l u ea p p l i c a t i o no ff e r o no p e n m p c o m p i l e ri n t e r f a c e ，t h ei d e a sa n dt e c h n o l o g yo fp a r a l l e lp r o c e s s i n gi s u s e dt o r e c o n s t r u c t i v et h ep a r a l l e l a l g o r i t h m s o ff e r , w h i c ht h eh i g h - s p e e dp r o c e s s i n g c a p a b i l i t yc a nb eb r i n gi n t of u l lp l a y ，a n dt h e ne n h a n c et h ep r a c t i c a l i t yo ff e r k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n , f e a t u r e se x t r a c t i o n , p a r a l l e lc o m p u t i n g ， s v m ，t h ew a v e l e tt r a n s f o r m a t i o no fg a b o r i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：礁驾邀日期：趟，x = 。 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时 授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论 文，并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：燃导师( 签名) ： 武汉理工大学硕士学位论文 第1 章绪论 1 。1 人脸表情识别的研究背景及意义 人脸表情包含描述入的感情状态的各种行为信息，如恐惧、愤怒、高兴、 悲伤、惊讶、憎恶以及很多复杂情感。人类的语言分为自然语言和形体语言。 面部表情是形体语言的一部分，它既是情绪表达的一种方式，也是入际交往的 一种手段，对人类的信息交流具有重要作用。在人类交往过程中，语言与表情 经常相互配合。同时，表情比语言更能显露真实情绪。情绪作为一种内心体验， 一旦产生，通常会伴随相应的非语言行为，如面部表情和身体姿态等n 3 。一些心 理学研究表明：面对面的人际交流的效果有7 取决于所用的词汇，3 8 取决于语 音，焉5 5 剡取决于面部表情。根据生物学家达尔文所做的实验，鸯然语言因民 族、文化、地域、时代等的不同而千差万别，但是表情作为“形体语言”却存 在众多共性，从这个意义上来讲，研究表情更具有普遍的意义骆3 。 人们对表情的研究有很悠久的历史，最初与表情相关的研究主要集中在生 理学和心理学领域强1 。生理学家和心理学家主要关注表情和情绪之间的联系和区 别、表情在人们豳常交流中的作用以及表情的统一性等阆题。表情统一性指的 是不同种族、不同文化背景的人之间，对表情是否有统一的理解。这个问题是 表情识别的基础问题，对表情识别的方法论有着重要影响。对于表情和情感之 间的关系，生理心理学关注表情能够传递什么信息，表情和情感是否有依赖关 系，以及是一种什么样的依赖关系；情感能否与表情分离、是否存在不包含情 感的纯粹表情等。现有生理心理学研究对以上闽题已经有了较为统一的结论： 人和动物表情具有统一性和连惯性一1 ：生气、厌恶、害怕、伤心、高兴和吃惊， 这六种基本表情是和种族文化楣互独立的，是具有全人类性的“3 。这使表情识别 研究可以抛开人种、文化以及性别等因素，作为一个多类别分类问题。 此后，随着计算机科学的不断发展，1 9 7 8 年s u w a 等人傲了个在图像序列 中自动进行表情分析的研究晦1 ，将表情识别引入机器视觉领域。近年来，随着人 机交互( h u m a n t oc o m p u t e r i n t e r f a c e ) 技术日益成为人工智能领域中研究的热点， 人脸表情识别开始受到广泛的关注，通过对入脸表情的研究可以让计算机准确 判断并理解人的情感，甚至可以做出回应。计算机和机器人如果能够像人类那 武汉理工大学硕士学位论文 样具有理解和表达情感的能力，并能够自主适应环境，这将从根本上改变人与 计算机之间的关系，建立起友好的人机交互界面，使机器能够利用人类表情中 蕴含的信息，更好地为人类服务。 随着社会的发展，科技的进步，人们对人机交互提出了更高的要求，希望 机器可以具有人类的智慧，辅助人类的工作，即“智能机器 。机器可以有智能 的行为，例如，机器自动检测到并识别出人，进而判断出入的表情，这就要求 自动识别技术的高度发展。 作为一门多学科交叉的研究课题，人脸表情识别技术涉及到心理学、生理 学、计算机科学、认知学等多个学科的知识。从目前的研究来看，新一代人机 交互界面的构建、情感计算与情感智能的提出以及相关技术的日趋成熟都推动 了人脸表情识别技术的发展。另外，计算机本身计算性能的提高也促进了人脸 表情识别技术的进步。 1 2 人脸表情识别技术的发展及研究现状 人脸面部表情识别是生物特征识别与情感计算领域新兴的一个极富挑战性 的交叉课题。它是近几十年才发展起来的，现在逐渐成为科研热点，国内外很 多机构都在进行这方面的研究。面部表情的研究始于1 9 世纪，达尔文在他的著 名论著人类和动物的表情( t h ee x p r e s s i o no f t h ee m o t i o n si na n i m a l sa n dm a n ， 1 9 8 2 ) 中阐述了人的面部表情和动物的面部表情之间的联系和区别。1 9 7 1 年， e k m n a 和f r i e s e n 在研究六种基本表情的同时，系统地建立了包含上千幅表情图 像的图像库h 1 。此后，高文等人通过对表情图归纳，确定了六种基本表情的面部 表现喳3 。随着人脸的计算机处理技术( 包括人脸检测和人脸识别) 不断完善，利用 计算机进行面部表情分析也就成为可能。 就人脸表情识别方法而言，主要可以分为表情特征的提取与选择方法和分 类方法两方面。进入9 0 年代，对人脸表情识别的研究变得非常活跃，吸引了大 量的研究人员和基金支持。国内外很多机构都在进行这方面的研究。特征提取 方法主要包括基于特征脸的主成分分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 、 独立分量分析法( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 、线性判决分析法( l i n e a r d i s c r i m i n a t ea n a l y s i s ，l d a ) 、f i s h e 线性判别法( f i s h e r sl i n e a rd i s c r i m i n a t e ， f l d ) 、局部特征分析法( l o c a lf e a t u r ea n a l y s i s ，l f a ) 、g b a o r 小波变换法以及 2 武汉理工大学硕士学位论文 利用光流场提取表情特征的方法。分类方法主要包括支持向量机( s u p o r tv e c t o r m a c h i n e s ，s v m ) 的方法、隐马尔可夫模型法( h i d d e nm a r k o vm o d e l ，h m m ) 、 神经网络法( n e u r a ln e t w o r k s ，n n ) 及各种神经网络的变形等瞳吲。 2 0 0 0 年，荷兰d e l f t 大学的m a j ap a n y i c 总结前人在表情识别方面的研究结 果，为后来的表情识别研究工作打下了基础。美国卡内基梅隆大学( c m u ) n 4 1 和 美国加卅i 大学圣地亚哥分校( u c s d ) n 司研究人脸表情识别，取得了不同程度的进 展。2 0 0 3 年，美国伊利诺斯大学( u i u d ) 的t h o m a ss h u a n g 和i r ac o h e n 同样针 对连续视频序列中的表情识别提出了两种分类方法一树型贝叶斯神经网络( t a n ) 和m n 厦，同时对两种方法进行了改进n 。此后，t h o m a ss h u a n g 教授一直致力 于通过面部表情的识别读取人物情绪状态的研究，从而达到更好的目标。 国内各主要的研究机构近年来也在表情识别方面做了大量工作。清华大学、 哈尔滨工业大学、中科院、中国科技大学等都有人员从事人脸表情识别的研究。 2 0 0 0 年，中科院先进人机通信技术联合实验室的高文教授和金辉提出了一种针 对混合表情的识别系统n 羽，掀起国内研究人脸表情的热潮。此后，清华大学n 钔 和北京大学瞳们在表情识别方面都提出了新的算法和改进思路。北京科技大学王 志良教授首次提出了人工心理的概念h 1 ，对人的心理活动，包括情感、意志、性 格、创造等进行人工模拟，确立了人工心理理论结构体系并把这一理论应用于 情感机器人、商品选购系统等实际生活中。目前该课题组正在情感建模与计算、 表隋的分析与合成等方面进行深入探讨。2 0 0 3 年1 0 月，由中国科学院自动化研 究所等单位举办的第一届中国情感计算与智能交互学术会议将人脸表情识别与 合成作为会议内容之一，引起了国内广大研究者的极大关注。2 0 0 5 年1 0 月， 首届国际情感计算及智能交互学术会议同样在中国举行，来自世界优秀实验室 的研究人员与我国科研工作者进行密切的交流，会议还邀请一些有突出贡献的 研究者报告自己的工作内容，这极大地推动我国在表情识别技术研究方面的进 一步深入。国家“8 6 3 计划、”9 7 3 项目、国家自然科学基金等都对人脸表情 识别技术的研究提供了项目资助n 8 l 。 人脸表情识别技术经过几十年的研究发展，己在人脸检测、特征提取、情 感分类等各个核心环节中都取得了很多重大成果，大大促进了相关学科的发展。 尽管由于人脸表情的模式复杂性和人脸的非刚体性，准确的人脸表情识别仍然 存在诸多困难，但随着图像处理、模式识别、心理学、人工智能以及计算机视 觉的研究进展，人脸表情识别技术也将在未来的视频通信、智能视频监控、电 武汉理工大学硕士学位论文 脑动画等方面获得更大的发展。 1 3 表情识别流程 面部表情自动识别就是对人脸的表情信息进行特征提取分析，按照人的认 知和思维方式加以归类和理解，利用人类所具有的情感信息方面的先验知识使 计算机进行联想、思考及推理，进而从人脸信息中去分析理解人的情绪，如快 乐、惊奇、愤怒、恐惧、厌恶、悲伤等。表情识别过程通常以程序模块的序列 结构表示，这与经典的模式识别模型一致。 1 人脸表情 厶 图像库| - - - 。y i 图像预处理 ( 静噪、脸检测 分割、归一化) 表情特征 提取与选择 表情分类识别 图卜1 面部表情识别步骤 表情识别主要的步骤包括：预处理( 静噪、人脸检测、分割、归一化) 、特 征提取与选择、分类和后续处理。表情识别分为全面的和局部的识别。局部的 识别包括了特征提取器或者分类器的全部组成的一个联合单元。在全局识别中， 整个人脸提供给识别系统一个单一的输入。 自动表情识别系统的组成部分中嵌入的主要方法如下所示： 1 ) 预处理：图像预处理常采用信号处理的形式( 如去噪、像素位置或者光照 变量的标准化) ，还包括人脸及它的组成的分割、定位检测或者跟踪。表情的表 示对图像中头的平移、尺寸变化和旋转是敏感的。为了消除这些不必要的变换 的影响，人脸图像可以在分类前进行归一化( 即标准化) 。这种标准化通常是基 于由眼睛或者鼻孔提供的参考位置来实行的。分割关心的是表达有关人脸信息 的图像部分的划分。人脸分割常常处理人脸及其组成部分的外形、运动、颜色、 肌理和空间结构 1 8 】。人脸检测过程以分割的结果为基础，得出图像中脸的位置 和空间范围。然而，在现实条件下要想获得人脸或者它的组成部分的高鲁棒性 检测仍是困难的。在一个图像序列中，跟踪常以定位出人脸或其部分的形式执 行，因此先前定出的位置常被用来在随后的图像帧中估计新的位置。 2 ) 特征提取与选择：特征提取是将人脸及其组成部分的外形、运动、颜色、 纹理和空间结构的像素数据转换为能够进行表情分类的结构化数据。特征提取 通常会缩减输入空间的维数。缩减程序应能保留本质的信息，并拥有较高的判 4 武汉理工大学硕士学位论文 别能力和稳定性。这种维数的减少可以减轻维数的负担。基于几何的、运动的、 统计的或者空间变换的特征常用来表示分类前的面部表情。提取的特征往往维 度高，含有数据冗余，还需通过特征选择来精简。特征选择可用的方法有神经 网络法、粗糙集法、遗传算法等。 3 ) 特征分类：也称作( 表情) 特征识别，由一个分类器实现识别。该分类器 由模式分类器组成，与判别程序相结合。参数众多的和非参数的分类器已经被 应用于自动表情识别系统中。在面部表情识别中两个主要的类型标准是动作单 元( a u ) 和面部表情原型。与情绪状态有关的7 种原型表情是惊奇、恐惧、厌恶、 愤怒、高兴、悲伤及中性。然而，实际表情是极其丰富的，表情原型有一定的 局限性。表情特征分类( 识别) 的方法有：模板匹配法、神经网络法、概率模型 法、支持向量机法。 1 4 表情识别研究存在的问题 经过多年的研究，表情识别技术力图走向应用。但目前的表情识别技术的 应用还只是一个探索性的行为，距其作为一种成熟的技术融入人类生活中还较 远。这其中存在的问题主要包括如下几个方面： 1 表情识别种类有待增加：能识别的表情种类的多少直接反映了应用系统 功能的完备程度，现在大多数表情识别应用系统都是针对人的某一类表情来进 行分析，功能比较单一，系统提供的服务比较有限。 2 鲁棒性有待提高：因为表情识别系统需要实时定位跟踪人脸并提取面部 表情形变信息，所以系统容易受n 多 i - 界因素的干扰，其中主要的干扰是头部偏 转运动以及光线的变化。有研究者提出采用多摄像头技术、旋转不变特征技术、 色彩补偿技术来予以解决，尽管有一定的效果，但是当头部运动比较复杂、多 种光线交叉变化时，算法识别率并不理想，所以表情识别系统的鲁棒性还有待 进一步提高。 3 表情识别计算量有待降低：人类表情十分丰富，而且瞬息万变，计算机 的运算能力很难达到实时、全自动地识别表情细微而复杂的变化。在保证识别 率的前提下尽可能降低系统的计算量，确保系统能够实时识别表情。同时，在 表情识别系统的功耗等方面也需要得到很好的改善。 4 加强多信息技术的融合：表情识别应用的一个重要方向就是推测人的内 武汉理工大学硕士学位论文 心情感从而让计算机能提供一种人性化的服务。但是，情感并不仅仅只有面部 表情这样唯一的一种表现方式。并且，在很多情况下，面部表情并没有反映人 的真实的心理状态。综合多方面的信息，譬如语音语调、脉搏、体温等，来更 准确地推测人的内心情感，也将是表情识别技术需要考虑的问题。 此外，与智能处理技术的有效结合、与心理学知识的有效结合也将是表情 识别技术进一步发展所面临的挑战。 1 5 本文的研究内容及结构 本文从图像处理、模式识别和并行处理的角度对人脸表情识别进行研究， 并以表情识别的基本流程为线索逐步实现一个表情识别系统。本文的结构安排 如下： 第一章绪论：简单介绍人脸表情识别；概述人脸表情识别的研究意义和应 用前景；分析了表情识别技术的发展及国内外的研究现状；综述表情识别流程； 介绍了本文的主要研究内容和结构。 第二章常用的表情数据库和表情图像预处理：实验数据采用j a f f e 表情 库中的2 1 3 幅图像；在进行表情特征提取和分类前，对表情图像进行静噪、灰 度均衡来改善图像质量，以利于后续研究。 第三章表情特征提取与选择：研究表情特征提取技术：g a b o r 小波变换， g a b o r 滤波器设计一用于表情特征提取。同时研究传统的f a i 特征选择算法，将 其改造为基于f a i 值和投票原理的v o t 算法，并在第四章的实验中对其验证评 估。 第四章人脸表情( 分类) 识别：研究人脸表情( 分类) 识别技术；分析并 实现了二类和多类s v m 分类器的构造方法。本文利用“一对一”组合原理，改 进了投票型多类支持向量机( v o ts v m ) ；用“平衡二叉决策树”原理，改进 树形多类支持向量机为平衡二叉树型多类支持向量机( b 2 t s v m ) ，并对实验结 果进行分析与比较。 第五章并行计算：研究了并行处理的基本原理、基于多核的并行处理开发 工具o p e n m p ，进而以并行原理改进表情识别算法。 第六章总结与展望：回顾本文所做的研究，指出了需要进一步研究的内容。 6 武汉理工大学硕士学位论文 第2 章人脸表情图像预处理的设计与实现 2 1 概述 人脸表情识别过程中，在图像获取时由于环境的复杂性以及拍摄设备的性 能差异会对表情信息的有效提取产生干扰，预先对入脸翟像进行处理是必须的。 表情图像的质量会因采集仪器的性能或光照变化等因素而参差不齐，通常表现 为图像包含不同程度的噪声，不同图像的平均像素值呈现不同的明暗差异。此 外，图像还会有定程度的旋转及缩放变形。对输入的表情图像进行预处理是 表情识别系统中的一个重要环节，预处理的目的是改善图像质量，消除噪声， 统一图像的灰度僮，为蓐序的特征提取和分类识别打好基础。 表情图像的预处理包括人脸图像平滑与静噪、人脸表情子区域的分割以及 表情图像的归一化处理。表情子区域分害l 的嚣的就是根据一定的入脸检测算法， 从复杂背景中准确定位表情区域，并能够自动分割出该表情子区域。这也是表 情识别系统所特有的预处理算法。表情图像的归一化算法包括图像的灰度均衡 和妇一。悉灰度均衡的圜的是将所有的表情灰度凰像归一化为统一的灰度均值 和灰度方差，使得表情识别模型对光照变化和人脸肤色差异有较强的鲁棒性。 图像预处理的质量将直接影响表情特征提取的效果和识刹率。 2 。2 人脸表情库的分析与选择 计算枫进行窝动人脸表情识别的主要依据是来自表情图像数据库的视觉数 据一表情图像。由于研究经费、时间、精力的限制和算法性能评价的要求，大 部分研究者研究表情识别的关键技术时，往往借助现有的入脸表情数据库。目 前，在表情识别领域广泛使用的主要是以下两个数据库： ( 1 ) c o h n - k a n a d e 表情数据麾 7 武汉理工大学硕士学位论文 图2 - 1c o h n k a n a d e 表情数据库样本示例 表情数据库c o h n k a n a d e 由美国c m u 机器人研究所和心理学系共同建立， 使用基于动作单元( a c t i o nu n i t ，a u ) 编码的数据库。含有1 0 0 个1 8 到3 0 岁的 大学学生的面部表情图像序列，尺寸：6 4 0 x 4 9 0 像素，包括单个a u 或者a u 组 合，其中6 5 女性，1 5 t e 裔美洲人，3 亚洲和拉丁美洲人。c o h n - k a n a d e 表 情数据厍的样本示例如图2 一l 所示。 c o h n 。k a n a d e 表情数据库的特点是：基本表情特征鲜明，表情之间的差异较 大，较容易识别。这是源于表情库主要由年轻的西方人构成。她们的表情热烈 夸张，在实验中比较容易识别，但是，以c o h n k a n a d e 表情数据库构建的识别 系统的泛化能力较差，例如：对情感含蓄的亚洲人的表情的识别率极难提高。 本文仅以c o t m - k a n a d e 表情数据库为表情数据参考。 ( 2 ) j a f f e 表情数据库 表情数据库j a f f e 是日本a r t 建立的1 0 个日本女人的七种基本表情：惊 奇、恐惧、厌恶、愤怒、高兴、悲伤及中性等。而且，j a f f e 库中所有图像均 存在姿势端正、光照充分、成像背景单一、无眼镜胡须等遮挡物等特点。每种 表情3 - 4 幅图像，共2 1 3 幅2 5 6 x 2 5 6 像素大小的静态表情图像。图2 - 2 是j a f f e 表情数据库的样本示例。 图2 - 2j a f f e 表情数据库样本示例 通过实验与分析发现，该表情库的特点是：情感含蓄，表情识别更有挑战 武汉理工大学硕士学位论文 性。由于中日两国人属于典型的东方人，本文主要以j a f f e 表情数据库为数据 基础，重点研究表情识别方法。 2 3 图像平滑的设计与实现 图像平滑的主要目的是减小图像噪声。图像往往受到噪声干扰。噪声产生 的原因决定了噪声分布的特性以及与图像信号的关系。减少噪声的方法可分：a 空域法：例如，求邻域像素的均值或者中值；b 频域法：频域法运用低通滤波 技术。在平滑技术中，中值滤波能够有效的消除孤立点和线段的干扰，还能保 护图像的边缘信息。表情图像中，孤立点噪声普遍存在，而且对图像分析效果 的影响较大。因此，本文选择中值滤波来消除表情图像的噪声。 2 3 1 中值滤波的算法思想 一维中值滤波的算法思想：首先确定一个奇数像素的窗口w ，窗口内各像 素按灰度值大小排序后，用排在中间位置的灰度值代替原厂( x ) 灰度值成为窗口 中心的灰度值g ( x ) 。 g ( x ) = m e d f ( x - 七) ，( j i 形) )( 2 1 ) 式中：形为窗口；f ( x 一七) 为窗口的像素值。通常窗内各像素为奇数，以 便于有中间像素。 二维中值滤波的算法思想： y v = 匆d 厶 ( 2 - 2 ) 式中：彳为窗口；f ，为二维数据序列。二维中值滤波的窗1 2 形状和尺寸对 滤波效果影响很大，要在具体应用中精心选择。图2 3 中对均值滤波与中值滤波 的效果进行比较。 2 3 2 二维中值滤波算法的实现 1 ) 数据准备：读入一幅图像，构造n n 的源图像矩阵r i m 和目标图像矩 阵d i m ； 2 ) 参数设置：滤波窗口的形状设置为正方形，尺寸为k ( 通常为奇数) ，形成 窗1 2 覆盖区r i m l ( h ：n h ，h ：n - h ) ，其中h - - - f l o o r ( k 2 ) 。边缘区一图像矩阵中除 去窗口覆盖区的那部分：r j m 2 ( 1 ：1 1 ，1 ：n ) ，r j m 3 ( n - h ：玛1 ：n ) ，r i m 4 ( h ： 9 武汉理工大学硕士学位论文 1 1 一h ，1 ：h ) ，删5 ( h ：1 1 - h ，n - h ：n ) ； 3 ) 窗霹覆盖区滤波：潋r i m l 内的每个像素( x ，y ) 为中心，对单个窑园r i m l ( x 地：x + h , y - h ：y + h ) 内的k * k 个元素的灰度值按升序排列；然后，选择中间 的灰度值作为d i m l ( x ，y ) 的灰度值。按上述操作处理整个窗口覆盖区； 4 ) 边缘区滤波：以r i m 的边缘区像素的灰度值直接作为d i m 中的相应像 素的灰度值一边缘区灰度拷贝。 2 3 3 二维中值滤波算法的实验与分析 本文选用正方形3 3 像素的窗霞处理表情图像，取得良好的静嗓效果，如 图2 4 所示。中值滤波确实熊够有效的消除孤立点和孤立线段的干扰，同时，还 能保护图像的边缘信息。表情图像中，孤立点噪声普遍存在，而且对图像分析 的效果影响较大。从图2 3 中的比较可以发现，中值滤波优于均值滤波的原因是： 中值滤波实现静噪的同时，对图像的模糊化程度低子均值滤波。因此，在众多 的平滑技术中，本文选择中值滤波来处理表情图像，静嗓效果如图2 _ 4 所示。 阶跃函数 i 工i l工ii 工工工工i 工im 工i 工iu u工iiil jii 工iuu 斜坡函散 捌州 础 皿ii ! iiii血 兰角波黻数 轴) 厥信号( ”均谴滤波( d 中德滤波 图2 3 均值滤波与中值滤波比较 1 0 武汉理工大学硕士学位论文 a 有椒盐噪声的表情图像b 为3 3 中值滤波后的图像 图2 - 4 中值滤波效果 24 灰度均衡与归一化算法的研究与实现 一般的表情识别或检测算法是假定待检测图像是在均匀光照下获得的。而 实际上的光照往往是不均匀的，这会使人脸检测的准确率大幅度下降。同样， 在人脸表情识别系统中光照不均匀对识别率造成很大的影响。所以有必要对光 照进行补偿。m o s e i 驯等人从理论上证明，对于光照保持不变性的函数是不存在 的。所以理论上需要我们根据不同的光照情况选取不同的方法来补偿。但是对 于一个自动识别系统而言，显然不易达到的。对光照补偿的各种方法的研究和 比较，如表2 1 所示。 表2 - 1 光照补偿处理方法比较 适用范围实时性计算垂 直方图 盖暑i ：警i ；：星：巍i 嚣嚣的细节清晰 较好鞍小 均衡法 线性变换对光线较暗，成像教果鞍差，灰度动态范围较小较差小 都有较好的补偿效果 对数变换对光线过睹或偏亮的图像都有较好的光线补偿效果 较好较大 指数变换对面部过亮的斟像有较好的补偿作用 较好较大 在脸部表情图像中，人脸的表情特征分布不仅仅是依赖于面部图像中某个 单独的像素点的灰度，而是与整个脸部表情图像的灰度分布有关的。为了更好 地提取出人脸表情特征，就需要使脸部表情图像的灰度分布尽可能地均匀，以 提高图像的对比度。但图像的获取条件是受限制的，所以必需对获得的图像进 行灰度均衡”雎”。进行灰度均衡的目的是为了使图像在每一个灰度级上都有相似 的像素点数。基于光照鲁棒性和灰度均衡的考虑，我在本文中选用灰度直方图 武汉理工大学硕士学位论文 均衡法对图像进行灰度均衡。 2 4 1 灰度直方图均衡的算法思想 灰度直方图均衡的算法思想：计算一幅图像的灰度分布一直方图，它既是 累积分布函数的基础，又实现了灰度的归一化( 灰度的取值范围在区间 o ，1 内) ； 通过求灰度的累积分布函数，作为灰度均衡化的灰度变换函数；通过灰度级变 换一确定新的灰度级；通过像素灰度更新，达到灰度均衡化的目标。 图像的灰度直方图表示数字图像中每一个灰度级与它出现的频率间的统计 关系。直方图均衡化是通过灰度变换将一幅图像转换为另一幅具有均衡直方图 的过程，即在每个灰度级上都具有相同的像素点数。灰度的归一化是指灰度值 在 0 ，1 】中。具体说，设变量r 代表增强图像中像素的灰度级，则0 r 1 。当r = 0 ，表示黑；r = 1 ，表示白。 设原图像的灰度级为r ，变换后的新图像的灰度级为s 。s 与r 的变换关系 、-、t 为s = l = l 、辟渺，假定t ( r ) 满足：o r 1 ，t ( r ) 单调增加，且0 t ( r ) 1 。假定r 是连续变量，则可用概率密度函数p r ( r ) 来描述图像的灰度级分布， p r ( r ) 表示的是图像中灰度级小于r 的像素点概率密度函数。设p s ( s ) 表示变换后 的图像的灰度级概率密度函数，根据概率论的知识，p s ( s ) 与p r ( r ) 间有如下对应 关系： 删= 卜) 乱 ， f t 通过改变丁( r ) 就可以控制p 。( s ) 的形状。当丁( ，) ：jp ，( w ) d w ，0 r 1 ， 则易知p 。( j ) = 1 。这说明在变换后变量s 的定义域上，有一个均匀分布的概率 密度函数，同时也意味着像素灰度级的动态范围增大，对比度增大。 在本文中，处理的是离散变量，因而有如下的离散形式。当灰度级是离散 值时，可以用频数近似代替概率值。 p ，( r k ) = n _ l 0 广1 且k = 0 ，1 ，2 ，l - 1( 2 4 ) 式中p ，( r k ) 是第k 级灰度值的概率，仇是在图像中出现第k 级灰度的次数， 拧是图像中像素的总数。通常把要得到均匀直方图的图像增强技术叫做直方图均 衡化处理或直方图线性化处理。 1 2 武汉理工大学硕士学位论文 由此可得到离散形式： k 纠 量 & = 丁( 珞) = 鲁= n ( 芬) o ，s l 且k = 0 ，协。三一1 ( 2 5 ) = o ” 3 = 0 其反变换为： = t q ( s k ) ( 2 6 ) 利用累积分布函数作为灰度变换函数，经变换后得到的灰度直方图虽然不 平坦，但却比原始图像的直方图平坦得多，而且其动态范围也大大的扩展了。 因此对于对比度较弱的图像用这种方法进行处理很有效。 2 4 2 灰度直方图均衡的算法实现 1 ) 数据准备：读入一幅表情图像，构造1 1 1 xm 的源图像矩阵r i m 和目标图 像矩阵d i m ，灰度级数向量g ( 1 ：n ) ，n 为灰度级数，设定新的灰度级数v ； 2 ) 计算灰度分布：扫描一幅图像中的每个像素，统计各个灰度级上的像素 数g ( k ) ，其中k = l ，2 ，1 1 ； 3 ) 计算灰度分布密度：计算灰度级数分布密度仇：塑型； 刀 七 4 ) 计算灰度累积分布：p r ( 七) = p ( 后) ； 5 ) 灰度级变换：对n ( 七) 以1 v 为单位量化单位进行舍入计算修正计算值 b ( 露) ； 6 ) 更新灰度值：扫描整幅图像，对每个像素的灰度值k = r 1 m ( x ，y ) ，用b ( 后) 代替。 灰度直方图均衡的算法流程如下图： 图2 6 灰度直方图均衡算法流程 武汉理工大学硕士学位论文 243 灰度直方图均衡算法的实验与分析 本文选用8 比特灰度级的原始表情图像进行实验，其效果如图2 5 所示。 川原始臣僖妇衡化后莳圉挎 8 0 0 6 0 d 4 0 0 2 0 0 0 c 1 原始图像的直方图州) 均衡化后的直方图 忪三i 岫 010 02 0 00 1 0 、j川u 图2 5灰度均衡化效果 从上边的实验来看，原始图像的灰度要分布在e o ，2 3 0 之间的较窄区域，而且 其分布密度很不均衡：灰度级在 0 ，2 0 ，【1 1 0 ，1 9 0 】内的灰度分布密度极高：而 在其余区域的灰度分布密度