（计算数学专业论文）基于序列图像的表情特征提取和识别.pdf

大连理工大学硕士学位论文 摘要 人脸表情识别是指利用计算机分析特定人的脸部表情及变化，进而确定其内心情绪 或思想活动，实现人机之间更自然更智能化的交互。基于视频的人脸表情识别的研究对 于增强计算机的智能化和人性化，开发新型人机环境，以及推动心理学等学科的发展， 有着重要的现实意义，并最终产生很大经济效益和社会效益。本文在人脸表情识别的二 个主要环节上均进行了研究工作，主要工作体现在以下几个方面： ( 1 ) 结合心理学研究成果，本文首先建立了一个含1 2 0 段视频序列的基本人脸表情数 据库。然后。提出了一种基于k l 变换的光流特征提取方法。基于梯度的光流计算方法， 比较适合于皮肤的变形问题计算，且计算比较简单，只是逐点地估计位置得速度场，且 方法产生了一个随时间变化的脸部形状的空间模板和一个独立的肌肉运动群的参数化 表征。但提取的特征维数往往很高，为了提高算法效率和减少分类时间，在用光流提取 的特征基础上采用了基于贡献率的k l 变换进行特征压缩，并将压缩后的特征作为表情 识别的特征。 ( 2 ) 在序列表情图像识别方面，提出了一种基于隐马尔可夫模型的人脸表情识别方 法。把人脸的表情序列分为3 个状态，采用压缩后的光流向量作为观察向量，分别对应 着h m m 模型状态和观测值。将高斯模型引入到表情的动态分析中，作为观测值得概率 密度，给出了表情图像序列所对应的状态及初值选取方法、每一表情类别的基于h m m 的高斯模型的训练方法，并相应地给出了识别算法。 关键词：表情识别；光流特征l 主成分分析；h 一模型 墨i 堡型堕堡堕耋堂笙塑塑望型 e 船a c t i o na 1 1 dr e c o g n i t i o no f e x p r e s s i o nf e a t u r eb a s e do ns e q u e n c e i m a g e s a b s tr a c t f a c i a le x p r e s s i o nr e c o g n i t i o ni st oa n a l ) 吧ea n dd e t e c tt 1 1 es p e c i a | e x p r e s s i o ns t a t e 矗o m g i v e ne x p r e s s i o ni m a g e so rv i d e o 丹鞠sa n dn l e nt oa s c e 蹴nt h es u b j e c t ss p e c j 矗ci n b o m e m o t i o n ，a c h i e v i n gs m 刚| e r 肌dm o r en a c i l r a li n t e r - t i o nb e t w c c nh u m a nb e i l l g s 明d c o m p m e r s t h es h m yo ff a c i a l 【p r e s s i o nr e c o g n i t i o nb a s e do nv i d e of h m e sh a sf o u n d i m p o m m t r e a l i s t i cv a l u e s w em a k er e s e a r c hi 1 1t h r e es t e p so fi t to u rr e s e a r c hw o r kf o c u so n t l l ef o i l o w i n ga s p e c t ： c o m b i n i n g t h ep s y c h o l o g i c a lr e s e a r c hr e s u n s ，i n 也i st 1 1 e s i s ，w eh a v es e tu po n eb a s i c f 如i a le x p r e s s i o nd a l a b a s e 蛐c hi n c l u d e s1 2 0v i d e os e q u e n c e s 融e r s t 。w e p r e s e n taf e a n 聆 e x 把t i o na l g o r i t l l mo fo p t i c a ln o w b yk l 订a n s f o 咖1 1 1 i sp a p e re x 仃a c tm ef b a t u r er e 西o n so f 也ee x p r e s s i o n sb 姻e do nt t l ef k i a lp h y s i c s - m u s c l em o d e la n de v a l u a t s 血eo p t i c a in o wo f m e e x p r c s s i o ni m a g es e q u e n c e s t h ee i g e m n o wv e c t o r sc a nb ec a l c l l l a t e dt oc o i 删n n et h e e i g e n s e q u e n c e s ，髓d 也e r e f o r e ，也ee x p 他s s i o n sc a nb ea n a i y z c d f e a n 啪v e c t o re x t r a c t e d f b m o 曲c a ln o w i sa l w a y so fh i 曲d i m e n s i o n s ow el l s ek l 订a l l s f o r n lt 0l o wm ed i m e f l s i o n o f t h eo 埘c a ln o wb a s e d 兜a n 黜v e c t o r ，抽e nl l s et l l e 臼8 n s f o n n e dv e c t o rf o rf a c i a le x p r e s s i o n c l a s s i f i 训o n am c n l o db 鸫e do nt l 弛h i d d e nm a r k o vm o d e l ( h m m ) i sp r e s e n t e dt h mu s e st h eo p t i c a l f l o wf e a m r ev e c t o ra sn l eo b s e r v 鲥o nv e c t o r l e f t i r i g h th m mm o d e li su s e dj j ls e q u e n c c s i m a g e s ng a i n sah m mm o d e lf b re a c he x p r e s s i o n as e q u c n c ef b 叭sr e a c l l l eh m m m o d e l 1 kb i g g e s tp r o b a b i l 埘i st l ec o r r e s p o n d i n ge x p r e s s i o n k e yw o r d s ；r e c o 弘i t i o no fe x p m s s i o n s ；o p t i c a in o w 触t i 弛；p r i n c i p a ic o m p o n e n t s a 且a l y s i s ；h i d d e nm a r d 吖m o d 幽 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：坦日期：型：业 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名鸯啜确 导师签名： 壹l 童主 丝年上月日 大连理工大学硕士学位论文 1 绪论 1 1 课题的背景 计算机科学技术的迅猛发展对人类社会产生巨大的影响，一场信息革命正在酝酿。 人们认知自然、改造自然的方式也随之发生变化，在众多领域，计算机正逐渐代替人类 完成一些极具挑战性的任务，2 0 0 4 年，美国“勇气”号宇宙飞船成功踏上火星，不仅鼓 舞人类探索自然的勇气，同时还说明计算机在人类生活中己开始扮演着越来越重要的角 色。为了解决人类与计算机间更加智能更加自然的交互，新型的人机交互饵吼锄 m a c h i n ci n t e r a c t i o n ，h c i ) 技术正逐渐成为研究热点。人类自然形成的与自然界沟通的认 知习惯和形式必定是入机交互的发展方向，一方面要求计算机能看、能说、能听、能感 觉，即能够智能地感知使用者的意图，另一方面，使用者可以不必坐在计算机前通过鼠 标和键盘操作计算机，而是可以在三维空间中以更加自然和人性化的方式同计算机交 流。总之，新型的人机交互环境要求计算机必须具有自然化、智能化、人性化等特点。 实时的多媒体信息在新型的人机交互环境中扮演着举足轻重的角色，计算机应能够 通过采集用户的图像信息和语音信息，形成计算机视觉和听觉，然后处理采集到的多媒 体信息，并进行识别，从而感知使用者的意图，完成人机间的自然交互。由于实时的视 频图像传递更加丰富的信息，这对于感知使用者的意图，判断其行为极具价值，因此， 目前国内外众多研究学者将数字图像处理技术应用于实时的视频信息，使用计算机处理 数字图像信息，研究并开发新型的人机交互系统。在该研究领域，基于数字图像的人脸 检测技术、人脸识别技术、手势识别技术等陆续被提出，相关的应用系统也将逐渐改变 人们的工作与生活。 由于人脸部表情是反映人情绪和想法的最自然最直接的方式，因此，基于数字图像 的人脸表情识别技术的研究是继人脸检测及识别之后的又一研究热点。本文便是在这样 的背景下开展人脸表情识别的相关研究工作。随着麟e r n e t 的普及以及计算机性能的大 幅提高，人脸表情识别技术将被广泛应用于包括新型人机交互在内的诸多领域，并将产 生很好的经济效益和社会价值。 基于序列图像的表情特征提取和识别 1 2 相关领域研究 人脸表情识别涉及的研究领域及应用作为一门多学科交叉的研究课题，人脸表情识 别技术涉及到心理学、生理学、计算机科学、认知学等多个学科的知识。有关人脸面部 表情。过去主要是从心理学和医学的角度来研究。生物学家达尔文所做的心理学实验表 明，面部表情的含义不随着地区和国家的不同而不同。人脸面部表情的产生是由于肌肉 的牵引将正常的人脸变形成为有表情的人脸。 s c l l l o s b e 碍【1 1 首先提出了表情描述的3 个量化尺度：注意一拒绝( a r ) 、高兴一不高 兴( p u ) 和活跃程度。例如，轻视、厌烦两种表情就有很大的“不高兴”值。斯托曼在 文献 2 】中提到面部表情的分析有两种不同的体系：一类是对情绪的维量分析；另一类是 对情绪分类。多数的维量分析通常把情绪用三维空间来表示。在e 1 嘲n 和f r i e s e n 【”提出 的面部运动编码系统( f a c s ) 中采用4 4 个能够独立运动的表情活动元( a u ) 描述面部动作 这些单元与使面部表情改变的肌肉结构紧密相连，在这个系统中还定义了六种最基本的 表情：惊奇、恐惧、厌恶、愤怒、高兴、悲伤以及3 3 种不同的表情倾向，说明了具有这 六种表情的人脸特征与无表情的人脸特征相比有相对独特的肌肉运动规律，后来进一步 的研究大多数都是在f a c s 系统的基础上构建人脸表情模型，所以说这一系统的提出具有 里程碑的意义。后来，研究者们进一步揭示了运动单元与肌肉运动之间的关系，提供了表 情识别的心理学方面的依据。i a e s s a 等人f 4 1 把提取的新运动单元命名为f a c s + ， 它基于物理和几何模型，用模板匹配的方法识别表情。国内的研究中提出了f a c ( f a c s ) 的表情编码，把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量序列对 眼部和嘴部分别进行表情编码，相应的运动基于f a c s 的规则，同时又克服了f a c s 的 弱点。 可以说心理学及生物学的发展与计算机识别能力的提高是一种相辅相成的关系：一 方面通过对人类心理神经感知和人脑的研究，可以提高机器的识别能力：另一方面又可 以通过机器的识别能力进一步深入探索人类的心理，神经感知和人脑感知的过程。 1 3 表情识别技术的应用现状 人脸表情识别技术已开始在人们的生活中得到应用，尽管只应用在某些特定的场 所，功能也极为有限，但却受到了广泛的重视并带来了巨大的经济效益。目前主要的应 用领域包括人机交互、安全、机器人制造、医疗、通信以及汽车领域。 1 人机交互领域 大连理工大学硕士学位论文 在人机交互当中，人脸表情识别技术主要应用在两个方面，其一是用户利用人脸表 情来作为控制命令，指示计算机应该如何操作。通过事先进行训练，在当计算机实时监 控人脸表情变化并且发现作为控制命令出现的表情信息时，计算机就会按照既定的程序 作出反映，譬如用户眨一下眼睛，表示要求计算机取消当前的任务，眨两下眼睛表示要 求计算机将任务保存：其二是计算机能主动地从用户的面部表情推测用户的内心情感， 并自动地给出相应的人性化的服务。己有的应用例子是智能音乐播放器，随着人的心情 的变化，播放器能有选择性的播放适合用户心情的歌曲。 2 安全领域 指纹、虹膜以及人脸等生物信息可以被用在身份验证等安全管理中，同样，人脸表 情信息作为一种重要的生物信息也可以被用来表征身份。尽管每个人都会做出同一种类 型的表情，但是表情产生的部位、表情的强度、面部器官形变的轨迹、表情持续的时间 都会有较大的差异，并且这种差异相对于指纹、虹膜以及人脸来说更加不容易被伪造。 3 机器人制造领域 在美国科罗拉多州首府丹佛举行的美国科学促进会的年会上，展出了一种有着女性 脸型的新型机器人，这种机器人能按照指令完整地模仿并表达人类的2 8 种面部表情， 而且它的面部还会随着年龄的变化出现皱纹。这个机器人名叫k - b o t 【5 】。在机器人的眼 睛里装有两部照相机，它们能对面前人的表情进行观察并识别，随后就可以模仿出悲伤、 高兴或惊讶等不同的面部动作，如它会微笑、嘲笑、皱眉甚至是扬眉。此外，它的嘴唇、 脸颊和鼻子也都能移动。人脸表情识别技术的应用使得机器人不再是一个简单的、按照 给定程序工作的机器，雨是一个开始学习去理解人的意图，以便更好地为人类服务的“智 能人”，这将逐渐改变机器人在社会中的地位。 4 医疗领域 y d a i 等人设计了一个专门用来照看病人的电子护士，电子护士的主要设备是一台 安装在病人床头的带有表情识别功能的摄像机l 。在很多情况下，病人双手的活动往往 受到一定的限制，无法便利地进行按钮呼叫，同时，对于病情严重并且需要特别护理的 病人来说，任何时候守护人员的疏忽都可能寻致因为对病人处理的不及时而引起的危 险。电子护士通过自身带有的表情识别功能能很好地解决上述两个方面的问题，对于需 要服务的病人来说，并不需要用费力去按按钮，只要做出痛苦的表情，电子护士马上就 会发出呼叫信号，提醒医护人员提供必要的服务。对于需要特别护理的病人来说，病人 身体状况的变化经常会反映在面部表情上，电子护士将全天候地跟踪病人的面部表情行 为，并随时向医护人员通报病人的状态，以便能对紧急情况作出及时处理。 5 通信领域 基于序列图像的表情特征提取和识别 随着人们生活水平提高，简单的语音通信已经不能满足人们的需要，可视电话、视 频会议等应用技术的开发逐渐提上日程，但是对于目前并不富裕的带宽来说，尽管只需 要显示用户的头肩部分图像，但是所传输的数据量也相当庞大。众所周知，在人与人之 间交谈时，面部本身器官的结构特征是次要的，语言和面部表情才是传递信息的主要载 体，设想如果在通话的双方都建立一个虚拟人头部模型，仅仅通过网络传递对方的语言 和面部表情，并且利用面部表情信号驱动虚拟人头部模型进行相应的表情变化，那么就 可以实现在大大节省带宽的情况下，尽可能地传递对方要表达的信息。 6 ，汽车领域 在对2 0 0 1 年到2 0 0 4 年京津塘高速公路j e 京段的交通事故进行了统计分析的过程 中，数据表明造成交通事故的原因主要有疲劳驾驶、行人进入高速公路、司机措施不当、 车距过近、违章并线、天气、爆胎、超速等l o 多种，其中疲劳驾驶位列第一，占所有 交通事故起因的2 7 。针对此类情况，h a i s o n gg u 和q i a n gj i 等人设计了一个安装在汽车 上用来检测司机疲劳状态并提醒司机需要注意安全的设备【1 2 】。这种设备会实时分析司 机的精神状态并予以判断，当预测司机疲劳程度会影响安全驾驶或者发现司机有打盹 现象时，设备会采取必要的措施譬如报警或者播放刺激音乐来防止可能会导致的交通事 故。 1 4 人脸表情识别技术研究现状 按照对图像数据的处理流程，人脸表情自动识别系统可分为人脸图像获取、特征提 取和人脸情感分类。 图1 1 表情识别流程图 f i g 1 】e x p f e s s i o nr e c o g n i 啊0 ns y s t 哪n o w 大连理工大学硕士学位论文 考到实用性，人脸表情识别系统的首要目标是的全程自动化、实时性、高准确率和良好 的扩展性。 由于各个关键环节有自己的特点，将人脸表情识别技术进展按核心环节归 纳为： ( 1 ) 在人脸图像获取部分，需要建立基于p c 或者独立的图像获取平台，要求能够清 晰获取人脸图像，并且能够通过人脸跟踪反馈控制云台的运动； ( 2 ) 人脸检测算法要能够处理复杂背景下人脸实时检测并且对脸部遮盖、年龄、表 情、种族等带来的影响具鲁棒性，同时还要解决光照不均以及人脸旋转的问题； ( 3 ) 人脸特征提取算法需要对人脸的器官特征、纹理区域和预定义的特征点进行定 位和提取。由于人脸图像具有信息量大和模式复杂等性质，图像降维和去相关变换如 p c a 、i c a 、小波分析、对称变换、光流分析等方法得到了广泛应用口l ； ( 4 ) 表情情感分类算法要能够准确地对人脸表情进行精确分类，学者们使用了b a y e s 分类理论、神经网络、隐马尔可夫模型( h m m ) 等分类方法 一人脸检测与定位方法 人脸图像捡测与定位就是在输入图像中找到人脸确切的位置，它是人脸表情识别的 第一步。人脸检测的基本思想是用知识或统计的方法对人脸建模，比较待检测区域与人 脸模型的匹配程度，从而得到可能存在人脸的区域。 目前，人脸表情识别所用到的训练和识别数据库都是在特定的实验室环境下采集 的，通常是光照均匀的正面人脸而且人脸旋转角度小于1 0 。，人脸图像不超出图像边界， 这样就确保了场景中人脸存在的确定性，人脸检测问题就可以作为一个先验问题得到解 决。 然而有2 个问题至今尚未得到有效解决：一是任意场景下的人脸检测，另一个是人 脸特征的精确定位。人脸表情自动识别系统如果要达到良好的鲁棒性，必须解决好以上 两个问题，但是人脸在任意场景下难以有固定的模式，大小、数量、位置、光照、人脸 附属物以及噪声造成了检测和特征定位的困难。 对于单幅输入的人脸图像或任意的图像，人脸检测有2 种方法：一种是整体的方法， 就是将人脸作为一个整体处理，主要有可变模板方法、基于肤色的方法，小波分析、势 网络的方法；另外一种是分析的方法，检测人脸是通过检测一些瞳孔和鼻孔等重要的人 脸局部特征来实现的，具体方法是定位局部特征以及对应的关系，然后定位整个入脸， 如特征眼方法、遗传算法检测人脸、特征脸方法、广义对称变换等。主要人脸检测方法 与效果如表1 1 所示。 基于序列图像的表情特征提取和识别 表1 1 常见人脸检测方法及其评价 t a b 1 ，le x i s t i n g ed e t e c n o nm e t h o d sa n de v a i u a t i o n 算法运算量准确率 鲁棒性 肤色信息小低 对图像质量要求高受光照影响小 镶嵌图大较低对图像质量要求高，受光照影响大 几何投影方法小较低对图像质量要求高，受光照影响大 二值化定位 小 较低对图像质量要求高，受光照影响大 广义对称变换检测 大较高 对图像质量要求高，受光照影响大 可变形模板匹配 大高 对图像质量要求高，受光照影响大 势网络 大高 对图像质量要求低，受姿态衷情影响小 主元分析方法 大 高对图像质重要求低，受姿态亮度影响较小 多层小波分解 大高 对图像质盘要求低，受姿态影响大 神经网络大 高对图像质盘要求低，受姿态表影响较小 遗传算法 较大高对图像质量要求高，受姿态表情影响大 二、面部特征提取 目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是 从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情 况下要求图象对光照、角度等因素要进行充分的预处理，使获得的灰度值具有归一性。 运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主 要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。 人脸特征的定位和提取可以分为静态和动态图像2 种情况，对于静态图像，提取人 脸特征的过程就是人脸特征定位( 或标定) 和提取特征；对于图像序列，则是跟踪场景中 的人脸特征点，使用视频处理的方法在空域和时域进行人脸特征点运动矢量的提取。人 脸描述是人脸表情识别的前期工作，人脸可以用整体描述、特征区域描述等多种方式描 述，而人脸描述方式决定了人脸表情特征信息抽取的方法。 人脸描述方式通常可分为3 种：整体方法、分析方法和复合方法。 大连理工大学硕士学位论文 袭1 2 常用的人脸描述方法 t a b 1 2f 锄i l i a r i a ld e s c 曲i n gm e t h o d s 整体的方法分析的方法 复合的方法 动态表情模型( 从m )人脸特征点光流法基准点网格和g a b o r 小波 标注图形( l g )人脸特征点模型和1 3 垂直8 1 0 的二次网格 点分布模型( p 蹦) 线整个人脸的光流分析 随机块特征矢量( r b e v )正面基于点的模型势网络方法 人脸区域光流方法双视图基于点的模型标注图形方法 表1 2 中提到的a a m 使用1 2 2 个人工定义点刻画人脸特征信息，p d m 使用人工标注的 9 0 个特征点来描述6 种基本表情，这2 种方法都需要人工参与；l g 是对图形每个节点进 行g a r b o r 小波滤波；光流分析方法可分为对区域的分析、对人脸上部特征点的分析以及 这2 种分析方法的结合使用。为了能在归一化后的人脸图像上应用势网格分析方法，首 先用不同的滤波器进行边缘检测，然后使用高斯滤波器对提取的图像强度边缘迸行滤 波，得到一个光滑的梯度边缘，滤波过的图像可认为是一个梯度势场，这样就可以使用 弹性网格模型进行人脸分析，该网格通过弹性力变化控制人脸的进一步变形，弹性网格 模型抽取到的弹性网格变形信息可用于人脸运动信息编码。 人脸表情特征提取的方法按其所使用图像的类型不同可分为2 类，一类是静态图像 中的人脸表情特征数据提取，另一类是序列图像中的人脸表情特征提取。 静态图像中人脸特征数据提取方法包括全局人脸特征提取和人脸局部特征提取，全 局人脸特征提取方法包括基于点分布模型的方法( p d m ) 、基于混沌调制矢量的方法 ( c m 、，) 、基于小波分析的方法、p c a 分析以及使用支持矢量机的方法( s v m ) 、 基于 局部特征的人脸表情特征提取方法一般根据瞳孔和上人中的几何关系，使用图像处理的 手段对突出特征如眉毛、眼睛、鼻子、嘴、轮廓和皱纹等特征进行检测。 图像序列具有良好的时空特性，因此图像运动的局部参数模( p m l p ) 可以用来进行 特征提取。基于特征点的光流模型、基于密度流的像素跟踪模型、p c a 分析方法、势网 络模型、特征脸方法、局部特征区域跟踪等方法都得到了应用。 基于序列图像的表情特征提取和识别 表3 人脸表情特征数据提取方法的比较 t a b 1 3c o r n p 鲥s o no f 伽f b a t u r e sd a 协e x 州i o n 图像类型 方法描述特点备注 静 多参量多回归方法对a a l l 距离建 对正面视角人脸有效，要求人脸没有 态模，然后在识别过程中将输入数据 头发、眼镜影响，图像需要手工标定 图和a a l l 进行匹配 像通过使用弹性图匹配的方法将标记 人脸无毛发、眼镜影响，允许明显的 图和输入人脸图像进行匹配人脸旋转，可实时处理 用基于梯度的光流算法对归一化后正面人脸，没有头发和跟镜的遮盖， 图像的像素块进行运动估计 水平运动没有得到处理，光流矢量是 块内平均 通过使用梯度下降形状参数估计进正面人脸，没有毛发。没眼镜，背景无 行p d m 的适配 变化 获取的单色图像抽取人脸垂直线的正面，无头发和眼镜遮盖，实时处理， 亮度信息但水平信息无充分使用 对每个人脸进行多特征检测，对定双视角图像，没有头发和眼镜的遮拦 位的轮廓和突出的人脸特征进行抽 取 动 对1 9 个人脸点的标注图像通过最小正面。无头发眼镜遮盖人工标注第1 态化费用函数使用模拟退火方法适配帧 图 通过使用高斯微分滤波器对归一化 正厩，无毛发眼镜遮盖，第l 帧为无 像的人脸图像进行势网络的适配表情人脸，允许光照变化 基于光照均衡假设的稳定的回归调允许头部刚性运动，光照不同，人脸 度方法从粗到细的光流算法对大运特征区域事先人工选择 动进行估计 在右眼和嘴部分使用自适应基于梯左眼睛蓬明擞有跟睬，人腔尢屯友眼 度的光流算法进行运动估计镜的遮盏 多尺度粗到细的k b l 明滤波获得归正面，脸都无毛发。眼镜遮拦。允许光 一化人脸区域的没有噪声的2 维运照变化 动场 对入脸特征周围1 3 1 3 像素区域正面入脸。无毛发和眼镜的遮拦，第1 的光流算法进行运动估计帧是无表情的，人工归一化，人工标 定第1 帧 8 大连理工大学硕士学位论文 三、人脸表情特征分类 人脸表情识别系统的最后一个步骤就是将人脸表情进行分类，可以根据人脸活动性 分类也可以根据情感进行分类，有些系统则兼容了两者常见方法有融合脸最近邻分类 方法、基于规则的方法、基于神经网络的方法、模板匹配方法、基于隐马尔克夫模型的 多特征融合方法。 表1 4 人脸表情分类方法比较 t a b 1 4c o m p a r i s o no f f a c i a le x p r e s s i o nc l a s s i f i c a t i o nm e t h o d s 图像性质分类方法描述 识别率 静态图像基于p c a 的线性判别式规则7 4 个人图像库与弹性图像匹配8 l 二维情感空间p c a 和最小距离分类 8 4 5 标注的图像矢量进行p c a 和线性判别式 7 5 9 2 两个1 4 1 4h o p f i e l d 神经网络学习7 8 三层后向传播的神经网络学习算法 8 5 9 0 图像序列空时运动能量模型 9 8 三维情感空间p c a9 6 h 脚多参特征协同分类 9 7 平均b 2 样条特征轨迹和最小距离 9 5 中层判据描述人脸特征运动的时间恒定估8 8 计方法 1 5 本文所做的工作 人脸表情识别是指利用计算机分析特定人的脸部表情及变化，进而确定其内心情绪 或思想活动，实现人机之间更自然更智能化的交互。基于视频的人脸表情识别的研究对 于增强计算机的智能化和人性化，开发新型人机环境，以及推动心理学等学科的发展， 有着重要的现实意义，并最终产生很大经济效益和社会效益。本文在人脸表情识别的二 个主要环节上均进行了研究工作，主要工作体现在以下几个方面： 结合心理学研究成果，本文首先建立了一个含1 2 0 段视频序列的基本人脸表情数据 库，并分割归一化眼部和嘴部区域。第二章提出了一种基于光流的特征提取方法。基于 梯度的光流计算方法，比较适合于皮肤的变形问题计算，且计算比较简单，只是逐点地 估计位置得速度场，且方法产生了一个随时间变化的脸部形状的空间模板和一个独立的 基于序列图像的表情特征提取和识别 肌肉运动群的参数化表征。与以前的光流特征提取，本文中很好的利用了初始参数的选 取，使迭代次数降低，减少了计算量。但提取的特征维数往往很高，为了提高算法效率 和减少分类时间，在第二章介绍了k l 变换方法，在用光流提取的特征基础上采用k l 变换 进行特征压缩，特征脸按照取所占权重的大小进行选取，最大程度地还原原始表情信息 中聚类性较好的数据。 第四章在序列表情图像识别方面，提出了基于m n 4 的高斯模型的连续表情识别方 法。 删m 模型是一个双重随机过程，其中之一是内在的有限状态m a r k o v 链，这是基本 过程，描述状态的转移；另一随机过程描述状态和观察值之间的统计对应关系。它采用 压缩后的光流特征作为观测值。将高斯混合模型引入到表情的动态分析中，作为观测值 得概率密度，给出了表情图像序列所对应的状态及初值选取方法、每一表情类别的基于 h m m 的高斯混合模型的训练方法，并相应地给出了识别算法。 最后一章对全文进行总结，并对下一步工作做出了展望。 大连理工大学硕士学位论文 2 基本人脸表情库的建立及运动场估计 2 1 基本人脸表情库的建立 近年来，国外建立了不少用于人脸表情分析实验的数据库。c m u 的p i e 邮1 数据库 在c 删的3 dr o o m 中录制完成。该数据库包含1 3 个姿态，4 3 种光照条件，收集了人 脸常见的4 种表情：中性表情、微笑、眨眼、说话，规模为6 8 人。c m u 的c o l l l l k a i l a d e 人脸表情数据库包含2 l o 人的灰度图像动作序列，是一个基于形变单元编码的人脸表情 数据库，它根据人脸运动编码系统，把脸部动作分为4 6 种a u ，采集了人脸的大部分基 本a u 的动作序列。m i t 人脸库有1 6 人，每人2 7 幅图片，有光照、尺度和头部偏转变 化。聊m s t 人脸库有2 0 人5 6 4 幅图像，包从正面到侧面的各个角度。k o d a l 【人脸库为 彩色图像，有尺寸、姿态和光照变化。 但是，己有的数据库很多只提供了表情图片，并不是作为视频序列数据提供，不适 合进行动态表情分析；包含了视频序列的表情库很多也不是免费可以获得，因为本次研 究主要是作为一个试探性研究。同时，表情数据的采集也是人脸表情识别系统中一个非 常重要的部分，和最终的特征提取和表情分类都有直接的关系，所以，在研究比较成熟 的表情数据库建立技术的基础上，建立自己的数据库，可以在以后的处理中更加灵活地 解决可能碰到的问题，在人脸表情识别系统的开发方面也将会积累宝贵的经验。本次研 究采集的人脸表情数据库是针对基本序列表情而建立，被定名为基本人脸序列表情数据 库。 表2 1 基本人脸序列表情数据库 t 曲2 1b c 缸s e q u c e x p r e 鹤i o nd a l e | b a s e 对象数目 人种 黄种人 年龄 2 3 2 5 拍摄环境背景单一，光照均匀 图像序列 单频图像 1 5 0 + 1 8 7 0 i x e l ) ，8 位灰色 视频速率7 帧秒 视频长度平均3 秒 姿态 正面 基于序列图像的表情特征提取和识别 l 情感类型4 类 i 单一情感序列个数 l o i 总序列个数 1 2 0 需要说明的是，心理学研究表明，表情般持续时间为2 5 0 毫秒到5 秒之间，同时， 拍摄表情序列时，要求实验对象的表情变化模式为：中性伸缩高点松弛中性，所以 最终选定的表情变化时间长度为3 秒。实践证明，3 秒的时间长度让实验对象感觉比较 自然，并且能够按照既定的模式完成整个表情变化过程。 对于基本表情与面部器官变化的对应关系我们参考了f a c s a i d 系统，以及金辉 和高文提出的表情结构特点表，最终对应关系见表2 2 。 表2 2 基本表情与面部器官变化的对应关系 n i b 2 2t h er e l 鲥o f b 髂i ce x p 把s s i o n 蚰df 缸e 表情额头、盾毛眼睛脸的下半部 恐惧眉毛抬起并皱在一起，额头上眼睑抬起，下眼皮拉紧 嘴张，嘴唇轻微紧张，向后 的皱纹只集中在中部，两不 拉 横跨整个额头 厌恶眉毛压低，并压低上眼睑 在下眼皮下部出现横纹，脸颊上唇抬起 下唇与上唇紧 推动其向上，但并不紧张 闭，推动上唇向上，嘴角下 拉，唇轻微凸起；鼻子皱起， 脸颊抬起 愤怒眉毛皱在一起，压低；在眉上眼皮拉紧，抬起或不拾起；唇紧闭，唇角拉直或向下： 宇问出现竖直皱纹 上眼皮拉紧- 眉毛压低j 眼睛 鼻孔可能张大 瞪大，可能皱起： 高兴眉毛稍微下弯下眼睑下边可能有皱纹，可能唇角向后拉并抬高；一道皱 鼓起，但并不紧张：鱼尾纹从纹从鼻子一直沿伸到嘴角 外眼角向外扩张外部：脸颊被抬起； 悲伤眉毛内角皱在一起，抬高，眼内角的上眼皮抬高 嘴角下拉，嘴角可能颤抖 带动眉毛下的皮肤 惊奇眉毛抬起，变高变弯；眉毛眼睛睁大，上眼皮抬高，下眼下颁下落，嘴张开，唇和齿 下的皮肤被拉伸：皱纹可能皮下落 分开，但嘴部不紧张。也不 横跨额 拉伸 大连理工大学硕士学位论文 表情序列的后期处理及样例： 表情序列的后期处理主要是对不合格样本予以排除。不合格样本按照差错成因可以分为 两类： 1 由于光源变化、摄像机参数变化、头部运动等因素造成样本不合格； 2 由于对表情理解不到位，或者在表情变化过程中受到干扰而导致表情没有按照既 定模式进行变化造成样本不合格。 为了保证基本表情的标准性，对于各个实验对象都要求按照统一的模式迸行表情变 化，但是因为人的面部肌肉的差异，以及个人平常的生活习性，在采集数据时，在表情 的自然性和既定模式之间会出现一些矛盾，所以最后还会参照标准对表情序列进行再次 筛选。部分合格表情序列样例帧见图2 1 。 ( a ) 高兴表情系列 ( b ) 吃惊表情系列 ( c ) 生气表情系列 图2 1 库表情序列样例帧 f i g 2 1p a r ts e q u e n c ee x p 阳船i o ni m a g e si nda t a _ b 船e 基于序列图像的表情特征提取和识别 2 2 光流计算 在视觉心理学中，当人与被观察物体发生相对运动时，被观察物体表面带光学特征 部位的移动对观察者提供了运动以及结构的信息，这种带光学特征部位的移动投影到视 网膜平面上形成了所谓的光流( o p t i c a lf l o w ) ，因而有光流一定存在着运动，光流是一 定灰度的点在图像平面上的运动速度。 用图像序列作为输入的计算机视觉系统来观察脸部的运动单元n 视觉观察与感知是 通过优化估计光流方法与描绘脸部结构的几何、物理肌肉模型相结合得到的。这种建模 方法产生了一个随时间变化的脸部形状的空间模板和一个独立的肌肉运动群的参数化 爱征， 以h o r n 与s c h u n c k 为代表的基于梯度的光流计算方法，比较适合于皮肤的变形问题 计算，且计算比较简单，只是逐点地估计位置得速度场，本文采用的就是这种方法”。”。 在基于梯度的方法中，时空梯度之间的关系是极其重要的，它构成了对光流计算的 一个重要约束。设在时间r 和时间f + 毋有两幅连续的投影，在投影图上有灰度为。( z ，y ) 的像素点，这里x ，y 为该点的坐标，该点在h - 出上移至， + 觑y + 咖) 时，满足 ，( x ，y ，) = _ 厂( x + d k j ，+ 咖，+ 出) 。当变化是连续的，而且两帧间时间间隔卉呻o 时，有 泰勒级数展开可以得到式( 1 ) ， 正去+ 害+ z = o“= 害v = 等 ( z t ) 其中y = ( ”，v ) 7 既为光流矢量，是图像中对应点的灰度值。式( 2 1 ) 也称为梯度基本约 束方程。 在求解光流时，h o r n 与s c h u n c k 所采用的方法的基本思想是光流本身尽可能平滑， 即引入对光流的平滑性约束，设光滑性的约束项为： e = 肌+ “；+ + 哼) 出方 ( 2 2 ) 由基本等式( 2 1 ) ，显然要求 1 4 大连理工大学硕士学位论文 e = j 取正“+ v + z ) 2 出咖 于是，由式( 2 2 ) 和式( 2 3 ) 可知，最后求得的光流应满足 m i n e = m “：+ + t + 嘭+ 五( 工“十v + z ) 2 】函谚) 式( 2 4 ) 是形如( 2 5 ) 的变分问题 m i n 盯f ，v ，虬，q ，v i ，b ) 螂 对应的e l l l e r 方程 f e 一冬一冬：o 卿 卯 卜鲁等= 。 ( 2 5 ) 式中 代如( 2 6 ) 中，得 ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) f 。“：+ “v ：+ v ；+ a ( 伽+ v + z ) ( 2 7 ) l v 2 “= 旯正( 正+ + z ) 【v 2 v = a ( 正“+ v + z ) ( 2 8 ) 式( 2 4 ) 中a 反映对数据及约束的信度，当数据本身含有较多噪声时，原始数据的 可信度较低更多地依赖于对光滑性的约束，a 可以取较小的值，反之可以取较大的值。 在实际计算时，对象时离散化的图像，因此坐离散化处理。 。：+ 。；+ t + e 离散化为勤2 丢鼢m ，一一j ) 2 + ( 坼。- 一，) 2 + ( v j 扎，一) 2 + ( + t k 】 ( 正“+ v + z ) 2 离散化为勺2 ( 正“c ，+ 乃+ z ) 2 基于序列图像的表情特征提取和识别 于是极小化目标函数为 m i n 妇= ( + 五勺) ) 对其求关于和的偏导，并令其为0 ，有 ( 2 9 ) j ( 1 + a 只) + 六= 习一五五z 【( 1 + 五) + z 六2 凡一m ， ( 2 1 0 ) 其中，分别是和的四邻域平均，解得 于是得到迭代过程 驴瓦一鬻五 哥勰 ( 2 1 1 ) 卜刃一焉六 卜瑁一畿黯 蚴 对工，z 进行离散化 正= 去 【，( 蕾+ ”乃，- 1 ) 一，( 薯，乃，- 1 ) 】+ 【，( 薯。乃+ ”靠。一，( 蕾，乃，。】 + 【厂( 薯“，乃，气) 一，( 而， ，) 】+ ，( 西+ 。，”+ - ，) 一，( 而，”+ ， ) 】) 。去 【厂( 葺，) _ ，一1 ) 一，( ，乃，气一i ) 】+ 【，( 五+ l ，乃m ，i - 1 ) 一，( 耳+ ”以， 1 ) 】 + 【，( t ，巧+ - ，) 一，( 薯，) 】+ 【，( “，所“，) 一，( 薯“，”， ) 】) z2 玄 【，( 薯，乃，) 一厂( 薯，乃，一- ) 】+ 【，( 一m 乃， ) 一，( k t ，乃，一- ) + 【( 薯“，y ，+ l ，) 一，( 薯“，y + 1 ，f i 一) 】 ( 2 1 3 ) ( 2 1 4 ) ( 2 1 5 ) 大连理工大学硕士学位论文 代入式中求解光流。 如果取迭代初值 o ，v o ) = ( o ，o ) ，由式 “1 = 一正z ( 1 + 旯( 露+ 孑) 专= 一 。 1 1 堪酞+ 、 ( 2 1 6 ) 2 3 初始参数选取的改进 计算中，经常用到的是迭代方式1 ： ( 1 ) 取图像序列中的相邻两帧 ，( x ，m ，) ； ，= o ，1 ，2 ，一1 ) 和 厂( 而，* ，气) ；f ，= 0 ，l ，2 ，一l 作为估计( ”，v ) 的样本。对物体图像上的每一 ( 葺， ) 位置由式( 2 1 3 ) 一( 2 1 5 ) 得到z ( 葺，乃) ， ( 葺，只) ，z ，”) 。 ( 2 ) 取迭代初值( “。 ，* ) ，v o ( ，m ) ) = ( o ，o ) ，将上述估计代入式( 2 1 6 ) 得到。 ( 3 ) 对物体图像上的每一像素( 薯，辨) ，利用式，取行= 1 开始做迭代，得到 ( “2 ( _ ，m ) ，v 2 ( 一，m ) ) 。然后 + l jn ，继续利用式作迭代估计，直到值趋于稳定。 对初始参数恰当的选取，得到迭代方式2 ： ( 1 ) 取图像序列 ，( 葺，以，o ) ，( ，弘，f 2 ) ，( 蕾，m ，r 卅一。) ) 中，取相邻两帧图像 厂( 薯，m ，t 一1 ) ；f ，j = o ，l ，2 ，一1 ) 和 ，( ，m ，) ；f ，= o ，l ，2 ，一1 ) 。 ( 2 ) 取初值i = 1 ，那么相邻两帧图像为五和石。按迭代方式1 的( 1 ) ，( 2 ) ，在，( 葺，m ，气) 物体区域的每一位置作一次迭代得到( “1 0 ，m ，气) ，v 1 ( ，y ，o ) ) 。这里特别注明气 是为了表明此估计在图像 ，( 薯，肼，f 0 ) ；f ，= o ，l ，2 ，一1 ) 上取得的。 ( 3 ) 取七= 2 ，那么相邻两帧图像为z 和五。在 ，( 而，”，) ；，= o ，1 ，2 ，。一1 ) 的物 体区域的每一位景上，将上一次迭代得到的瞬时位置速度估计作为迭代初值： “o ( 薯，m ，) = 甜1 ( 葺，f 0 ) v 0 ( 葺，咒，) = v 1 ( 葺，乃，岛) 基于序列图像的表情特征提取和识别 用式( 2 。1 3 ) 一( 2 1 5 ) ( 取= 2 ) 得到正，工，z ，由式( 2 1 2 ) 在 ，( 羔，”，f 1 ) 囊，= o ，l ，2 ，j 一1 的物体区域