（电路与系统专业论文）虚拟人舌运动与嘴部表情的研究.pdf

摘要 摘要 虚拟人物设计是计算机视觉和虚拟现实研究的重要内容之一。虚拟人物表情 中，嘴部及人舌是贡献较大的区域。本文主要研究具有真实感的嘴部及人舌模型、 人脸部运动及其表情的描述及控制等。 本文的主要研究工作有： 1 提出了一个人舌三维肌肉控制模型。根据舌部解剖结构，将舌部肌群分 为舌内肌和舌外肌：舌内肌由四条肌肉构成，控制舌身形态变化，舌外肌由一对 颏舌肌组成，控制舌体的整体运动，结合三维网格模型、纹理映射技术，建成一 个舌部肌肉模型。 2 提出了一个嘴部区域肌肉控制模型。根据解剖结构，将嘴部区域分为口 周围肌群和咀嚼肌群：口周围肌群控制嘴部的形状及运动，咀嚼肌群控制下颌的 运动及嘴部的开合等。仅需要1 2 个关键点、9 条肌肉就可实现嘴部运动及表情 的表示及控制。 3 将上述模型用于单音节发音中舌体的运动研究。根据发音舌位图和发音 时电子腭位图仪的记录对发音进行分类，实现了舌体在发音中的舌位及形状的动 态变化，动态发音过程可用多线谱描述。 4 建立3 d 完整的人头部3 d 模型，可用一组1 4 条归一化多线谱曲线来描 述及控制头部运动、脸部表情等，所需数据量小，易于驱动。 上述方法经过了实验验证。实验结果表明，数据量及计算量较小，其运动与 表情较为逼真细腻。其方法可用于虚拟现实中的虚拟教师、播报员、虚拟咨询台 及仿真机器人等方面。 关键词：人舌肌肉模型嘴部肌肉模型 多线谱人舌运动及嘴部表情 发音模型三维头部运动 a b s t r a c t 栅lh u m a nd e s i g ni st h em a i nr e s e a r c hf i e l d i nc o m p u t e rv i s i o n ( c v ) a n d v i n 岫lr e a l i t y ( v r ) p e o p l e sm o u t ha n dt o n g u em a k eg r e e tc o n t r i b u t i o nt of a c i a l e x p r e s s i o n sa n dm o v e m e n t s i nt h i st h e s i s ，w eh a v eo b t a i n e da r e a l i s t i cm o u t ha n d v i v i dt o n g u em o d e l w ea l s oa n a l y s eh o w t od e s c r i b eo rc o n t r o lt h eh u m a nf a c i a l m o v e m e n t sa n de x p r e s s i o n s t h i sd i s s e r t a t i o nf o c u s e so nf o u ra s p e c t sa sf o l l o w s ： 1 a3 dm u s c l ec o n t r o l l e dt o n g u em o d e li sp r e s e n t e d b a s e do nt h et h e o r yo f t o n g u ea n a t o m ya n dm o t o r i cc h a r a c t e r i s t i c s ，t h em u s c l eo f t h i sm o d e lc o n s i s t so ft w o p a r t i n t r i n s i ct o n g u em u s c l e sa n de x t r i n s i ct o n g u em u s c l e s t h e i n t r i n s i ct o n g u e m u s c l e s w h i c ha r em a d eu po ff o u rm u s c l e s ，c a l lc o n t r o lt h es h a p eo ft o n g u ei t s e l f t h r o u g ht h ec o n s t r i c t i o no f m u s c l e s t h ee x t r i n s i ct o n g u em u s c l e sc o n s i s tac o u p l eo f g e n i o g l o s s u sm u s c l e ，t h e yc a l lc o n t r o lt h ew h o l e t o n g u e sm o v e m e n t s i nt h ee n d ，t h e r e a lt o n g u em o d e lc a l lb eo b t a i n e dw i t h 也e3 dm e s hm o d e la n dt e x t u r em a t c h i n g t e c h n i q u e 2 a3 dm u s c l ec o n t r o l l e dm o u t hm o d e li sd e s c r i b e d a c c o r d i n gt ot h em o u t h m u s c l ea n a t o m y ，t h em u s c l e so ft h em o d e la l s oc o n s i s to ft w op a r t - m u s l e sa r o u n dt h e m o u t ha n dj u g o m a x i l l a r ym u s c l e t h em u s c l e sa r o u n dt h em o u t hc o n t r o lt h el i p s s h a p ea n de x p r e s s i o n s ，w h i l et h ej u g o m a x i l l a r ym u s c l ec o n t r o lt h em o v e m e n t so f m a n d i b l e t h e ym o t h o dc a no b t a i n st h ep a r a m e t e r so fn i n em u s c l e sb yo n l yt w e l v e k e yp o i n t s ，a n dc a l lc o n t r o lt h em o u t hm o v e m e n t sa n de x p r e s s i o n sb y t h ec o n s t r i c t i o n o fn i n em u s c l e s 3 t h em o v e m e n to ft o u n g ei np a r to fe n g l i s hm o n o p h t h o n go rc o n s o n a n t i s s t u d i e db a s e do nt h et o n g u ea n dm o u t h em o d e l a c c o r d i n gt ot h es o u n dp a t t e r n so f t h ev o w e la n dt h er e c o r d i n g so fe l e c t r o p a l a t o g r a p h y ( e p g ) ，t h et o n g u es h a p e sc a n b el a b e l e di n t os o m ek i n d s t h em u l t i - c u v es p e c t r u mc a l lr e p r e s e n ta n da n i m a t et h e s h a p e sa n dt h ep o s i t o no ft o n g u ed u r i n gs p e e c h 4 t h ew h o i e3 dh u m a nh e a dm o d e li sp r e s e n t e d am e t h o dc a l l e dm u l t i c u r v e s p e c t r u mt or e p r e s e n ta n d a n i m a t ev i r t u a lh e a dm o v e m e n t sa n df a c i a le x p r e s s i o n s i s d e s c r i b e d t 1 1 i sm e t h o dd e s c r i b e sag r o u p o ff o u r t e e nt i m e v a r y i n gc u r v e so f n o r m a l i z e dm u s c l ec o n t r a c t i o n t h ea b o v e m e n t i o n e dm e t h o d sh a v eb e e nt e s t i f i e db ys e t so fe x p e r i m e n t s t h e e x p e r i m e n tr e s u l t ss h o w s m a l ld a t aq u a n t i t y , l o wc o m p u t i n gc o m p l e x i t y , l o w a b s t r a e t c o m p u t i n gt i m e ，r e a l i s t i ct o n g u ea n dm o u t hm o d e la n dr e a l i s t i ct o n g u e sm o v e m e n t s a n dm o u t h se x p r e s s i o n s t h ea p p l i c a t i o n so ft h em o d e la n dt h ec o n t r o lm o t h o d i n c l u d ev i r t u a lt e a c hd e s i g n ，v i r t u a ld i s cj o c k e y , v i r t u a ls h o p p i n ga s s i s t a n t s ，r o b o t s i m u l a t i o na n ds oo n k e yw o r d s ：t o n g u em u s c l em o d e l ，m o u t hm u s c l em o d e l ，m u l t i c u r v es p e c t r u m ， t o n g u em o v e m e n t sa n dm o u t he x p r e s s i o n s ，s p e e c hm o d e l ，3 dh e a d m o v e m e m s i i 图表索引 图表索引 图 图1 13 d 动画影片1 图1 2a v a t a r 中真实人脸建模2 图1 3中央电视台虚拟主持人3 图1 4人脸网格模型4 图1 5人脸参数模型6 图1 6w a t e r 肌肉模型7 图1 7 p i 曲i n 等人制作的人脸9 图1 8 地形图生成人脸模型1 0 图1 9有限元法生成的人脸模型1 0 图2 13 d 舌部变形模型1 3 图2 2舌部三角形模型1 3 图2 3 舌体图1 4 图2 4舌内肌解剖图1 5 图2 5 舌外肌解剖图1 6 图2 6舌几何模型1 7 图2 7m p e g - 4 标准定义的特征点1 8 图2 8 舌部模型生成方案一l8 图2 9m p e g 4 标准定义的舌部特征点1 9 图2 1 0 舌纵肌模型2 0 图2 1 l修正前后对比曲线2 2 图2 1 2舌垂直肌与舌横肌几何模型2 3 图2 1 3颏舌肌几何模型2 4 图2 1 4舌部照片2 5 图2 1 5舌部三维网格2 5 图2 1 6三维舌体模型2 5 图2 1 7舌体卷曲图2 6 图2 1 8 修正误差分析2 7 图2 1 9伸舌多线谱仿真结果2 8 图3 1克隆表情模型3 0 图3 2嘴部肌肉示意图3 1 图3 3口周围肌群3 2 图表索引 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图3 1 0 图3 1 l 图3 1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图3 1 7 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图4 1 1 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 咀嚼肌解剖图3 3 网格模型生成流程3 4 预处理照片3 4 嘴部关键特征点3 5 宽线性肌模型3 7 窄线性肌控制模型3 8 下颌控制模型4 0 实验流程图4 1 特征点标定4l 嘴部3 d 网格模型4 2 嘴部模型4 2 张嘴运动4 2 微笑运动4 3 难过运动4 3 人舌及嘴部多线谱坐标4 8 舌上卷多线谱坐标5 0 人舌左右运动及吐舌多线谱坐标51 嘴部运动与表情多线谱坐标5 2 满足表情多线谱坐标5 3 多线谱获取流程图5 4 人舌上卷运动多线谱仿真5 5 人舌左右运动多线谱仿真结果5 6 人舌吐舌运动多角度多线谱仿真结果5 6 多线谱驱动嘴部表情仿真5 7 多线谱驱动嘴部满足表情仿真5 7 元音舌位图6 2 舌x 射线图6 6 部分元音腭位图6 6 前升高腭位图6 7 谷形腭位图6 7 后升高腭位图6 8 形状因子与收缩量的影响效果7 0 舌初始状态多线谱坐标7 l 舌前升高多线谱坐标7 l i l 图表索引 图5 1 0舌谷形多线谱坐标一7 2 图5 1 1舌后升高多线谱坐标7 2 图5 1 2舌发音前升高多线谱仿真7 3 图5 1 3舌发音谷形多线谱仿真7 3 图5 1 4舌发音后升高多线谱仿真7 4 图6 1人脸肌肉网格模型7 7 图6 23 d 人头部模型7 8 图6 3眼球模型剖面7 9 图6 4眼外肌示意图7 9 图6 头部三维坐标8 1 图6 6人头部多线谱坐标8 4 图6 7人脸运动多线谱坐标8 5 图6 8人头部运动多线谱坐标8 5 图6 9人脸表情多线谱坐标8 6 图6 1 0瞌睡闭眼后睁眼8 7 图6 1 1打哈欠8 8 图6 1 2左右摇头8 9 图6 1 3上下点头8 9 图6 1 4高兴。9 0 图6 1 5惊讶。9 1 表 表2 1舌肌功能表17 表2 2不同收缩量下修正前后计算数据2 l 表3 1 嘴部肌肉功能表3 3 表3 2嘴部肌肉数据结构表3 6 i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：j 茎煳 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 必开口保密( 年) 作者签名：罩聋蛳 一 导师签名： 签字日期：寻q 墟呻年玛一 签字日期： j 留丝覃立卜 第一掌绪论 第一章绪论 1 】虚拟人脸研究背景及意义 刚剐过去的2 0 0 9 年，全球掀起了一阵3 d 影像时代风潮，当观众眼前美丽 的洛杉矶城顷刻间轰然塌陷、当被誉为近代桥梁奇迹的金门大桥瞬间断裂，当享 誉全球的埃菲尔铁塔转眼飞灰湮灭，这部耗资2 亿美元的2 0 1 2 3 d 大片一直 挑战着观众的视觉承受能力。冰河世纪3 、飞屋环球 己等多部3 d 大片的陆 续登场，宣告着个全新的数字时代的到来( 图l1 ) 。甚至就连英国s k y 电视台 也透露，在2 0 1 2 年全世界的观众有可能在家观看3 d 版的奥运直播节目。 图1 13 d 影片 f 睡1 13 d f i l m s 最新上映的美国太片阿凡选( a v a t a r ) 更是标着耗资高达5 亿美元的旗号， 把观众带入一个全新的虚拟世界，而我国第一部真人实景拍摄的3 d 电影乐 火男孩也于0 9 年8 月上映，随后登场的齐天大圣前传和麇鹿王也都 打出“首部国产3 d 动画片”的旗号。 近几年，3 d 技术已经陆续进八我们的生活，3 d 电影、3 d 电视、3 d 投影机、 3 d 游戏机纷纷推出。据相关行业调研机构d is p l a y s e a r c h 预估，到2 0 1 8 年，3 d 显示总市场出货量将达l - 9 6 亿台，出货金额将达2 2 0 亿美元。连同上游内容制 造以及游戏等其他周边业务，不难看出，这一3 d 产业蕴藏着巨大的商机。 3 d 世界中的主体是虚拟人物，所以虚拟人物设计及建模是计算机视觉和计 算机图形学领域中一个重要的研究方向，而人脸凭借其特有的广泛性和个性化， 成为众多学者研究的对象。 第一章绪论 自从1 9 7 2 年f r e d e r i c1p a r k e ei _ p a r k e ，1 9 7 2 1 建立第一个3 d 人脸模型以来， 众多学者致力于建立完善逼真的三维人脸模型( 图l2 ) ，但由于人脸涉及到复杂 的生理解剖结构，又具有极其复杂的几何形状和多变的特性，一直以来都是研究 的难点但由于三维人舱模型在远程医疗、可视电话、网络导购、虚拟主持人、 远程教育、动面电影等方面有着极其广泛的应用，并且比二维模型有着更加丰富 的信息和更好的表现力，一直咀来也是研究的热点，著名的国际会议a c m s i g g r a p h 。i c c v ( i n t e m a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n 、国际期刊1 e e e t r a m a e t i o n so np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 、i e e et r a n s a c t i o n s0 1 1 v i s u a l i z a t i o na n dc o m p u t e rg r a p h i c s 、c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g 、 i n t e r n a t i o n a lj o u r n a l o f c o m p u t e r v i s i o n 、国内期刊系统仿真学报、软件学报、 电子与信息学报等，每年都有大量的关于3 d 人脸模型建模及控制的论文刊 登。 蝴。霪繇稻丞 圈1 2a v a t a r 中真虫人脸建模 f i g 1 , 2 r e a l i s t i cf a c i a l m o d e l i n gi na v a t a r 近年来，在建模理论方面新加坡南洋理工大学的z h a n g y 等【z h a a g y 2 0 0 2 】建立了与w a t e r s l w a t e r s ，1 9 8 7 】不同的新的椭圆肌肉模型；z h a n gz 等利用 3 d 网格辅以纹理映射建立嚼格模型 z l 蛐gz ，2 0 0 4 通过控制网格点运动控制 模型形变；2 0 0 4 年l i 等 l i ，2 0 0 4 】等把面部图片当作一张有深度的三维地形图， 根据各个部分的光强和各点的方向及反射系数把人脸标记为1 2 种地形结构细 节，进而构建三维人脸模型；2 0 0 5 年，y uz 等 v u7 ，2 0 0 5 1 根据解剖学建立了皮 肤一肌肉骨骼三层模型，利用其相互作用控制运动；同年，z h a n gm 等 第一章绪论 【z h a n gm ，2 0 0 5 , 9 , m p e g - 4 审定义的特征点集中选取1 4 个比例关系进行数据库 t t 对，实现快速重建人脸模型；2 0 0 6 年，z h a n gq 等 z h a n gq ，2 0 0 6 利用层次 化特征点划分来控制各几何区域的细微运动，较真实的表现出表情细节；2 0 0 8 年，w c 等 m awc 基于分析物体表面光结构的方法，采用多项式位移映射 实现人脸建模及表情控制，较好的实现了表情细节部分：2 0 0 9 年lm a l a t e s t a 等 lm a l a t e s t a ，2 0 0 9 1 利用控制m p e g - 4 中f a p s 的变化实现了人脸表情动画过程 的综合 随着建模理论的日趋丰富，虚拟人脸在实际应用中的价值越来越得以凸显， 远程会议系统 c h o i1 9 9 4 1 d p 更友好的交= 巨界面，网络代理人 w a t e r1 9 9 7 的导购 服务研究，虚拟人辅助教学系统的开发可以帮助聋哑儿童读懂唇语 c 0 1 e 吼 a l1 9 9 9 1 ，等等。 2 0 0 1 年5 月1 3 日晚，在天津电视台黄金时间播出的f , n 技周刊节目中， 我国电视虚拟主持人的“言东方”首次与观众见面稳定高效的工作状态和极强 的可塑性是现阶段虚拟主持人最主要的优势所在，2 0 0 4 年中国中央电视台电影 频道亮相一位以小龙命名的虚拟电视主持人( 图13 ) 在各地电视台掀起了一阵 虚拟主持人的风云。 圈l j 中央电视台虚拟主持人 f i g 1 3 v i r t u a l e m c e e i n c c t v 人舌及嘴部是人脸中对情感和表情贡献较大的关键区域，具有真实感的人舌 模型及嘴部模型的建立将直接影响着人脸模型及其表情的控制效果。所以，如何 快捷有效地建立、控制和仿真人舌及嘴部模型的运动及表情，对虚拟人物设计有 着重要的意义，对进一步丰富表情细节、进一步完善实际中的应用有着至关重要 第一章绪论 的作用。 尽管目前对虚拟人舌及嘴部区域运动及表情的表示和仿真已经取得了一定 的进展但是仍然有不少不足之处。例如，模型的表示方法多为基于图像图形的 手段，所需数据币易获得，驱动需要大量数据参数；人舌模型存大多数现有模型 中都未建立，在需要舌部参与的表情及运动时缺乏真实缚；实时性受到设备成本、 数据传输速度、数据量大小等等方面的制约，还不能很好地满足实际需求等等。 因此，如何在普通设各，尽可能少的交互地条件f ，描述井仿真出具有真实感的 人舌及嘴部模型，是一个有意义的研究课题。 1 2 虚拟人脸建模研究现状 目前存在的多种人脸模型都含有丰富的结构信息，并且郜向着参数化、形象 化和简单化方向发展，各个研究小组都提出了自己的人脸模型及控制方法，其中 较为普遍应用的是网格模型、参数模型、基于肌肉的物理模型和基于图像的模型。 l2 l 网格模型 1 9 9 8 年。d e c a r l od i d e c a r l od ，1 9 9 8 建立了基于b 样条的嘲格模型( 图l4 ) - a h l b e r g a h l b e , g ，2 0 0 1 电建立了有代表性的c a n d e - 3 。 国囡 圈1 4 人脸嚼格模型 f i g 1 4 m e s hm o d e j 网格顶点又称为控制点或特征点，在眼睛、嘴巴等需要细节表现丰富的区域 顶点一般较为密集，在额头、脸颊等较平坦区域顶点一般较为稀少，顶点越多描 述人脸的精度就越高，模型仿真度高，但是复杂度相应地增加降低了模型的控 制实时性。如何在模型的精度和复杂度之间寻求一个平衡点，是建模时需要考虑 的问题。 在网格模型中引入数据结合变分技术( v a r i a t i o n a lk c h m q u e 曲可以较为逼真地 第一章绪论 描述个性特征。根据人体测量学( a n t l l r 叩o m e 仃y ) 知识 f a r k a sl ，1 9 9 4 1 ，在人的头部 规定一些能表示特征的顶点，然后测量这些顶点之间的最短距离、切线距离、两 点连线与坐标轴的角度等1 3 2 个值，对这些数据进行变分技术处理，最后利用b 样条曲面可以建立三维模型。 2 0 0 0 ，l i u l i u ，2 0 0 0 1 建立了基于网格模型的中性脸模型( n e u t r a lf a c em o d e l ) ， 该模型由1 9 4 个关键特征点和3 6 0 个三角形基本面构成，同时构建了6 5 个可调 向量用于模型的变形。可以通过改变系数来表示不同的人脸。该方法根据两幅图 像和两个图像序列来建立个性化人脸，可调参数较少，模型效果较好。 1 2 2 参数模型 参数模型是基于关键帧插值技术发展起来的。关键帧插值方法最早出现于 1 9 7 2 年p a r k e 描述的3 d 人脸网格模型的描述中，它首先通过3 d 数字化仪器、 立体摄影测绘法或光线扫描仪等方法得到一个离散的脸部形态集合，同时能够在 每个具有相同拓扑结构的脸部形态上建立一一对应的映射关系。两个脸部形态之 间的中间形态可以通过插值得到。例如p i g h i n p i g h i n ，1 9 9 8 1 等人就是使用线性插 值实现脸部表情转化的随后，也有不少研究工作者在此基础上进行了改进，但并 没有突破性进展。 该方法的主要缺点是：人脸细节不够真实；需要大量网格点位移作为参数； 不具备普适性，参数因人而异；等等。 关键帧插值法多采用人脸网格点集的关键运动状态来表示人脸运动及表情， 多为离散状态，无法表达连续人脸的运动或表情。 p a r k e 和w a t e r s 对人脸多边形网格模型进行了深入研究，结合关键帧插值技 术和人脸运动特征，提出了压缩运动参数的d i r e c tp a r a m e t e r i z a t i o n 法 p a r k e ， 1 9 8 2 】。人脸参数模型主要考虑两种参数：模型构造参数和人脸表情控制参数。 参数的选择直接决定模型的结构，同时也会间接影响到表情的产生和效果。这种 表情参数和模型结构参数分离的方法可以实现较好的数据压缩比，从而提高模型 控制的实时性。p e a r c e p e a r c e ，1 9 8 6 等人也提出了改进的参数模型( 图1 5 ) 。 第一章绪论 q q q q q q 舶1 5 脸磬敦楗掣 f i e 1 5 p a r a m e t e r i z a t i o nm o d e l 由于参数集描述的是个性化人脸的拓扑结构，无法用一个一般的基础参数集 描述一般通用人脸且仅用简单的表面几何形状米模拟面部，把人脸描述为一种 几何线框结构，没有从生理学的角度对面部行为进行分析缺乏真实感。 另一方面，当参数出现冲突时无祛产生自然的脸部表情，故参数法一般用 在脸部局部区域或特定区域的表示中。 2 0 0 5 年。m a n d u nz h a n g 等人 m a n d u nz h a n g ，2 0 0 5 利用m p e g4 定义的特征 点集选取少数几个特征点，求取6 个横向距离和8 个纵向距离，进而计算出6 个 横向比例和6 个纵向比例参数之后通过对参数进行权重处理在已有人脸数据 库中匹配最佳模型，再进行纹理映射，建立个性化人脸。该模型的效果取决于数 据库中人脸的数量及种类，较小规模的数据库很难建立较真实的人脸模型， l2 3 基于肌肉的物理模型 根据解剖学理论，人脸由头骨、肌肉、脂肪组织和皮肤组成。头骨由1 4 块 主要的骨头组成，决定整个人脸的形状，下额骨是唯一活动的关节。人脸部运动 及表情的生产和形变归根到底是由于脸部肌肉运动所引起的。根据肌肉体积不变 原理可以通过动力学模型来分析肌肉运动与脸部表情及皮肤形变的关系，进而 生成真实的人脸。 1 9 7 8 年，e k m a l lp e l a n a n p 1 9 7 8 】等人提出基于面部组织器官的解剖学原理 和肌肉运动特征的脸部运动编码系统( f a c s ) ，该系统描述了4 4 个能够独立运动 的面部动作基本运动单元( a u 对同时对6 种基本表情喜、怒、厌恶、恐惧、悲伤 和惊讶对应的一个或几个基本运动单元的组合进行了描述和区分。该系统可以对 每个基本运动单元指定一个任意的数值，通过这种赋值可以产生不同程度的脸部 表情。f a c s 的编码可以根据脸部活动的时间前后性或者事件为单位进行 该方法的主要不足在于无法生成皱纹等面部细节月基本运动单元组合的工 6 第一章绪论 作不够直观和标准。 基于基本运动单元的表示方法，1 9 8 5 年，p i a t t p l a t t ，1 9 8 5 提出一个肌肉 模型，该模型中肌肉被定义为脸部结构中特定区域的功能块，包括3 8 个通过弹 性网络相互连接的区域肌肉块。通过运动单元运用肌肉力来变形弹性网格产生脸 部表情，该方法称为质点一弹簧系统 p 1 a t t ，1 9 8 1 。 目前，质点一弹簧系统已被广泛地用于模拟可变形物体，比如线性弹簧用来 模拟线性行为，非线性弹簧可以用来模拟对象的非线性行为。整个网络模型的系 统运动是通过连接所有质点的运动来实现，而质点的运动月从牛顿力学的第二定 律。 1 9 8 7 年w a t e r w a t e r ，1 9 8 7 扩展了p l a i t 的方法，建立一个更为复杂的模型 来表现质点在受到肌肉作用下的位移。该模型根据肌肉的运动特征，将肌肉分成 线性肌和括约肌。线性肌一段呈静止状态附着在骨头上，另一端连接皮肤组织， 通过肌肉的运动直接移动其影响区域内的质点运动，进而实现模拟脸部表情。( 图 1 6 ) 嬲蛩渤斟 a 肌肉模型b 肌肉影响区域 m u s c l e m o d e l b o r i g i n o f t h e m u s c l e 图1 6w a t 盯肌肉模型 f i g 1 6 w a t e r m u s c l e m o d e l 在w a t e r 的模型中，肌肉的定义包括初始点和插入点的坐标、影响区域的方 向、角度以及位移的太小等，该模型方便快捷，被广泛应用于快速建立人脸模型。 1 9 9 0 年，w a t e r 基于动态质点一弹簧系统根据人脸的解剖生理结构建立起一个 三层质点网格模型，三个可变网格层对应于皮肤、脂肪和骨骼三层链接的肌肉， 通过肌肉收缩力在网格层的扩散产生脸部表情动画，该方法克服了手工建立脸部 模型数据量大，准确度低等缺点。但由于其肌肉模型较为单一，对线性肌肉的分 第一章绪论 类不够具体，实际表情合成中不够真实。 2 0 0 4 年，t a n g 【t a n g ，e ta 1 2 0 0 4 】等人提出了n u r b s 肌肉模型。该模型通过 改变n u r b s 曲线或曲面各控制点的加权值来表示肌肉的收缩，其中每条曲线采 用3 5 个控制点。通过改变曲线中控制点的加权值来控制各顶点的运动，进而控 制模型中各网格点的运动。该方法控制简洁，更为真实，运动较为自然，但计算 量稍大。 z e n g z e n g ，2 0 0 6 等人根据解剖学原理，对人眼部区域建立了三维肌肉控制 人眼模型( 3 d m c e ) ，c h e n c h e n ，2 0 0 8 等人根据嘴部区域肌肉解剖学特征建立 的三维肌肉控制嘴部模型( 3 d m c t m ) ，该模型在w a t e r s 肌肉模型的基础上，将 线性肌细分为：窄线性肌和宽线性肌，并且分别对窄线性肌、宽线性肌和括约肌 等三类肌肉建立三维控制机制，使得人脸运动及表情更为细腻生动。 基于肌肉的物理方法往往需要大量参数来控制脸部动画，为了减低计算复杂 度，避开复杂的生理结构，同时期出现了伪肌肉变形的建模及控制方法。 1 9 8 6 年，s e d e r b e r g 和p a r r y s e d e r b e r g ，1 9 8 6 提出自由变形，该方法通过控制 分布在三维立体栅格上的控制点来改变对象，当控制框架被任意挤压、弯曲、旋 扭时，控制框架内部的对象也相应地变形。控制点的基函数为矢值三变量的 b e m s t e i n 多现实。自由变性同时可以进行局部和整体的变形，也可以控制变性前 后物体的体积变化程度。之后，t h a l m a n nn 【t h a l m a n n 1 9 8 8 t h a l m a n n 1 9 8 9 】等 人提出的抽象肌肉动作模型，k a l r a ，c h a d w i c k k a l r a e ta 1 1 9 9 2 】等人提出的有理 自由变形，等等都是对自由变形的一些改进。自由变性的缺点是网格的调整非常 麻烦，为了获得合适的物理性状，经常需要仔细地选择和移动许多控制点，并且 对控制点的变形往往不能得到希望的性状。同时，这种模型在处理脸部的平滑性 和弹性方面，无法自适应多变的平滑变形，而一个理想的脸部模型应该具有一个 支持平滑和灵活的表面。 为了解决这种问题，样条肌肉模型给出了一个较好的解决办法。 n a h a s n a h a s ，1 9 8 8 和w a i t e w a i t e ，1 9 8 9 等人使用双三次b 样条曲面建立人脸，由 于样条通常具有连续性，一个很小的平面都可以确保是平滑的；w a n g w a n g ，1 9 9 1 】 等人利用层次b 样条模型建立人脸模型并结合伪肌肉变形方法实现脸部运动形 变，层次b 样条可以在局部的范围控制曲面变形，无需产生过多的控制点，同 时能够模拟皱纹等细节表情。 第一章绪论 1 24 基于图像的模型 使用从昔通摄像机获取的多幅图像进行建模的方法都可阻归于基于图像的 建模方法。比较有代表性的是华盛顿大学的p i n g i nf p i n g i nf ，1 9 9 8 等人利用 t o r o n t o 大学建立的线框模型标准头部模型 a l i a s ，1 9 9 5 揪，通过姿态估计、 分散点数据插值技术及细微调整进行建模的方法( 罔l7 ) 。 圈1 , 7p i g h i n 等人制作的人脸 f i 辱1 7 p i g h i n sf a c i a lm o d e l l i u l i u ，2 0 0 0 等人采用相似的方法，摄像机在被测人脸前方转动，获取两个 角度的脸部正面图像和序列图像二个正面图像称为基图像，在基图像上手工标 定5 个点，眼角内2 个点鼻尖1 个点和嘴角2 个点，之后进行头像分割，边角 检测、匹配、错误消除、头部姿态定位、获的二三维数据，再利用基于模型的自适 应非线性方法调整标准人脸，同时进行局部细节调整，最后在序列图像中取得纹 理信息进行映射，最终建立逼真的个性化人脸模型。但该模型在皮肤比较光精 的区域，边角检测很难完全实现经常失效。 i l i es i l i es ，2 0 0 2 在g e n e v a 大学建立的标准模型 f u ap ，1 9 9 8 1 和e p f l 建立的 动画模型i f u a p ，1 9 9 9 基础上，利用d f f d ( d i r i e h e t f t e e f o r m d e f o r m a t i o n ) 方法，通 过控制模型变形原始标准模型实现标准模型到三维数据的拟合取得了较好的 效果，但是该方法需要复杂的初始化设置，计算时间也比较长。 a k i m o t ot a k i m o t ot ，1 9 9 3 1 等人使用一种从正面和侧面图像提取信息对标 准模型进行修正，得到特定人脸的方法。n e u r a a r t n l n e u m a “n ，2 0 0 2 等人利用多 角度图像序列抉取 脸轮廓信息得到空间数据，然后利用从粗到细的多精度拟 合方式建立几何模型。c h o w d h u r y c h o w d h u r y ，2 0 0 3 等人从单序列图像出发采 用s f m ( s t r u c t u r ef r o m m o t i o n ) 方法获得三维数据利用优化策略使标准模型变形 成个性化模型。 l i j u ny i l i j u ny m ，2 0 0 4 l i j u ny i n