（计算机应用技术专业论文）基于三维重建的人脸姿态估计问题研究.pdf

独创性声明 删 y 1 8 2 4 歹j 6 i 茸 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得重废蜜g 电太堂或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均己在论文中作了明确的说明并表示谢意。 学位论文作者签名： 年 2 汨 学位论文版权使用授权书 本学位论文作者完全了解重庆虫e 鱼太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权重废鱼电太堂可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：碉l 礼 签字日期： 泸气年r 月沈扫 签字同期：年月日 重庆邮电人学硕士论文摘要 摘要 人脸是人类日常情感表达和交流最重要、最直接的载体。人脸姿态估 计是指根据单张人脸图像或从人脸图像序列确定头部在三维空间姿态角 度的技术和方法。作为计算机视觉及人脸识别领域的一个基本问题，人脸 姿态估计在智能人机交互、自动视频监控、人脸动画合成等方面都有着广 泛的应用。 基于三维人脸模型的姿态估计方法可充分利用人脸的三维几何信息， 并且不需要预先获得大量训练数据，近年来成为姿态估计领域研究的一个 重要方向。针对目前基于三维模型的人脸姿态估计方法存在的计算开销较 大、计算过程复杂，难以应用于实时计算，模型精度通常不高的不足，本 文首先实现了基于单张人脸照片的三维形状恢复，进而提出了基于三维模 型和线性回归原理的人脸姿态估计方法。主要工作如下： 首先，针对传统形变模型处理速度较慢，处理过程复杂的不足，本文 采用基于特征点的人脸建模方式，将基于特征点的稀疏变形模型进行修 正，根据输入图像上特征点构成的形状信息计算人脸形状系数，重建对应 于输入图像人脸的几何形状，并通过纹理映射生成最终的人脸模型。实验 结果表明，本文方法能够快速地生成真实感强的三维人脸模型。 其次，在重建出的三维人脸模型基础上，提出基于三维模型和线性回 归原理的姿态估计方法。该方法利用模型提供的三维几何信息，在模型和 姿态图像的人脸特征点间建立对应关系，运用线性回归求解人脸姿态参 数，并结合面部特征点构成的几何结构判定姿态偏转的方向。实验结果表 明，利用本文方法对多轴及单轴偏转图像进行姿态估计，用少量特征点即 可取得具有较好精确度的估计结果。 关键词：三维人脸建模，线性对象类，稀疏变形模型，人脸姿态估计， 线性回归 a b s t r a c t h u m a n 蠡l c ei sm em o s ts i 印i f i c a n ta 1 1 de s s e n t i a lc a m e ro fe m o t l o n a le x p r e s s l o n a r l dp e o p l e ，sd a i l yc o m n n m i c a t i o n f a c ep o s ee s t i m a t i o nm e 锄se s t i m a t i n gt h e3 d f a c e p o s ep a r 锄e t e r sf b mas i n 百es t a t i ci m a g e o ra i li m a g es e q u e n c ew l t hh 啪锄t a c e s 舢 ak e yr e s e a r c ht o p i ci nm cf i e l d so fc o m p u t e rv i s i o na l l df a c er e c o 朗l t l o n ，f a c ep o s e e s t i m a t i o nh a sm a i l y 印p l i c a t i o n si i li n t e l l i g e n th u m a i lc o m p u t e ri n t e r a c t l o n ，a u t o m a t l c v i d e 0s u r v e i l l a n c e ，er e c o 弘i t i o na 1 1 df a c ea l l i m a t i o n ，e t c 3 dm o d e l - b a s e dp o s ee s t i m a t i o nm e t h o dc o u l dm a l 【e m nu s eo fg e o m e t n c a l i i l f o 傩a t i o n0 ff k em o d e lw m l cn o tr e q u e s tm 弱s i v et m i n i n g d a t ai na d v 锄c e i t b e c o m e s0 n eo ft h cm 0 s ti i n p o r t a n tr e s e a r c hd i r e c t i o n so ff a c ep o s ee s t i m a t i o nf i l e di n r e c e n ty e a r s 加m i n ga tt h em a i np r o b l 锄so fl l i 曲c o m p l e x 咄1 0 wm o d e lp r e c l s l o n 觚d o t h e 刑i s emm ee x i 池g3 dm o d e l - b a s e dp o s ee s t i m a t i o nm e t h o d ，t h e3 d f a c em o d e li s f i r s t l vp e c o n s 咖c t e d 的mo n e 蠡l c ei m a g ei n “sp a p t h e i l ，a 1 1a p p r o a c hb a s e do n3 d 删d d e l 孤dl i n e a rr e 孕e s s i o nf o rp o s ee s t i m a t i o no fa2 df a c ei m a g ei sp r o p o s e d t h e m 勾0 rc o n t r i b u t i o i l sa r e a sf o l l o w s ： f i r s t l y ，a i m i n ga tr e s o l v i n gt h el o we f ! f i c i e n c ya n dl l i 曲c o m p l e x i t yi nt r ：狃1 t l o n a l d e f o 衄a t i o nm o d e l ，m ef i e 栅ep o i n t - b a u s e dm o d e l i n gm e t h o d i su s e di n “sp a p e r ，a i l d 舭s p a r s ed e f o h n a ：t i o nn 1 0 d e li sm o d i f i e d b a s i n g0 n t h eh 啪锄f a c i a ls h a p es t a t i s t l c m o d e l t h e n af e wf e a t u r ep o i n t sa r ce x 拓a c t e d 丘o mm ef 砬ei m a g et 0c a l c u l a t et h e 她a ls h a p ep a r 锄e t e r ，t h u s ，m e3 ds h a p em o d e l i n g i sa c c o m p l i s h e d ，a n dt h ef i n a l3 d 觚em o d e l i sg e n e r a t e db yt e x t i l r em a p p i n ga t1 a u s t 1 1 1 ee x p e r i m 耐r e s u l t s s h o wt h a tt h e r e a l i s t i c3 df i a c em o d e lc o u l db er e c o n s t l l l c t e dw i t l l i ns h o r t t l m e s e c o n d l y ，b a s e do nt h er e c o n s t m c t e d3 df 犯em o d e l ，觚a p p r o a c hb a u s e d0 n3 d m o d e la n dl i n e a rr e g r e s s i o ni sp r o p o s e di nt h i sp 印e r n 锄e l y ，u s i n gt h eg e o m e t n c a l i n f l o n n a t i o np r o v i d e db y3 dm o d e l ，ap o i n t t o - p o i n tr e l a t i o n s l 血pb e t w e e nf e a t u r e s o n 3 df a c em o d e la n d2 di m a g ei se s t a b l i s h e d ，m e n ，1 i n e a rr e g r e s s l o n 1 su s e dt oe s t l m a t e t h ep o s ep a r 锄e t e r s 1 1 l ed i r e c t i o n s o ft h ea t t i t u d ea i l g l e a r ee s t i m a t e db yt h e 贴o m “c a ls t m c t u r ec o n s t r u c t e db ym e f e a t u r ep o i n t sa t1 a s t t l l ec o m p 铂s o n e x p e r i m e n tr e s u l t ss h o wm a tt h em e t h o da c h i e v e sb e t t e re s t i m a t l o na c c u r a c y w l t ht e w f e a t u r ep o i n t so nb o t hn m l t i a x i s 锄ds i n g l ea ) ( i si na w i d er a n g eo f h e a dm o t l o n 重庆邮电大学硕士论文 k e y w o r d s ：3 df a c em o d e l i n g ，l i n e a rc l e s t i m a t i o n ，l i n e a rr e 伊e s s i o n i i i 重庆邮电大学硕士论文目录 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 三维人脸建模研究现状1 1 2 人脸姿态估计研究与应用现状。2 1 3 论文选题背景5 1 4 论文主要工作6 1 5 论文组织结构7 第二章三维人脸建模与姿态估计的概念与方法8 2 1 引言8 2 2 平面几何投影8 2 2 1 透视投影9 2 2 2 平行投影1 1 2 3 三维人脸建模“ 2 3 1 基于先验知识的人脸建模1 1 2 3 2 三维人脸库的标准化一1 3 2 4 人脸姿态估计1 6 2 4 1 人脸姿态角度1 6 2 4 2 基于三维模型的姿态估计方法1 7 2 5 小结l8 第三章基于正面照片的三维人脸建模1 9 3 1 引言1 9 3 2 人脸形状统计模型1 9 3 3 基于特征点的人脸形状重建算法2 2 3 4 基于正面人脸照片的纹理合成2 5 3 5 实验结果与分析2 6 3 6 小结2 9 第四章基于三维模型的人脸姿态估计31 4 1 引言31 i v 重庆邮电人学硕士论文目录 4 2 特征点的标定3l 4 3 姿态旋转模型3 2 4 4 基于线性回归的姿态估计3 3 4 4 1 三维坐标恢复3 3 4 4 2 线性回归模型3 4 4 4 3 姿态参数的确定- 3 5 4 5 实验结果与分析3 6 4 5 1 人脸姿态数据采集及预处理3 6 4 5 2 人脸投影系数的确定3 6 4 5 3 三轴共转姿态角度的估计3 7 4 5 4 单轴偏转姿态角度的估计3 8 4 6 小结4 0 第五章总结及未来工作4 l 5 1 总结4 1 5 2 未来工作一4 2 致j 射4 4 攻硕期间从事的科研工作及取得的研究成果4 5 参考文献一4 6 v 重庆邮电人学硕士论文 第一章绪论 第一章绪论 1 1 三维人脸建模研究现状 人脸是人们身份和情感传递的最重要、最直接的载体之一。通过计算 机生成具有真实感的三维人脸模型在身份认证、影视广告、人脸动画系统 以及医学手术仿真等各领域都有广阔的应用前景。真实感人脸建模成为近 年来计算机图形学、计算机视觉等领域最具挑战性的课题。 以p a r k e 等人提出的参数化人脸模型为开端，从上世纪7 0 年代至今， 众多研究者先后提出了不同的人脸建模方法，大量的创造性工作促使真实 感人脸合成技术得到了长足发展【2 3 】。国际上许多著名的科研单位及高校如 微软( 亚洲) 研究院、多伦多大学、华盛顿大学、i b m 研究院等都设有课 题组专门从事三维人脸建模的相关研究工作。国内在这方面的研究发展近 年来也较为迅速一一浙江大学、清华大学、北京工业大学、中国科学院计 算技术研究所等在真实感人脸建模方面都取得了一些研究成果。 目前三维人脸建模的方法，大致可以分为基于几何数据和基于图像这 两类。基于几何数据的建模方法一般通过深度数据采集设备( 如三维激光 扫描仪等) 获取人脸三维几何及纹理信息。基于图像的建模方法则通过对 图像数据的处理和分析，得到三维人脸模型，在处理的过程中也可能用到 某种通用的三维人脸模型。 基于几何数据的人脸建模 三维激光扫描仪是采集人脸几何形状数据最直接的方法，根据三角测 量学原理，同时获得脸部大量的三维数据和纹理信息。目前，国际上已经 有多家研究机构研制开发了基于激光扫描的商业化三维数据获取装置，其 中最著名的是c y b e r w a r e 公司的三维扫描仪。世界上许多研究小组已经开 始应用此设备从事进一步的科学研究【4 。8 】。多伦多大学的l e e l 5 】等人预先对 通过三维扫描仪获得的三维数据进行拉普拉斯变换，然后在拉氏空间中检 测特征点，最后为模型合成纹理信息，得到了较好的结果；北京工业大学 的尹宝才【8 1 等人通过c y b e 刑a r e 人脸专用扫描仪创建了一个大型、高分辨 率的中国三维人脸数据库，其中男、女性人脸模型各2 5 0 个。 此外，结构光也是另一种被用来采集人脸几何信息的有效方法【9 1 2 1 。 总体来说，利用硬件设备构建的三三维模型通常具何较高的精度和逼f 重庆邮电人学硕十论文第一章绪论 度，能清晰地描述个性特征，但是由于硬件设备造价高、不灵活、处理复 杂等限制，通常只适用于某些特殊场合。 基于图像的人脸建模 以人脸图像为基础进行三维建模只需结合人脸几何特征、人体测量学 及计算机视觉等知识就可获得具备一定真实感的三维模型，是目前人脸建 模的研究热点。现有方法大致可分为三类：基于机器视觉的人脸形状重建 方法【1 3 】、基于中性人脸( 也称平均人脸) 的形变方法【m 2 0 1 和基于统计模 型的形变算法【2 1 艺引。 基于机器视觉的人脸形状重建方法通常将机器视觉中对其它物体的 三维重建方法用于人脸对象的建模，无需人脸形状先验知识，可以直接根 据二维图像序列上的像素点恢复人脸三维形状。王琨【l3 】等人提出了利用 s t r u c t u r ef r o mm o t i o n ( s f m ) 根据两幅正面人脸图像重建人脸三维结构的 方法，该方法将反映人脸共性特征的几何对称性和规律性运用到匹配点的 寻找中，能够快速准确的找出s f m 算法需要的匹配点。 p i 曲i n 【1 6 】等人提出了空间散乱数据插值方法，根据多张照片建立人脸 三维模型的纹理映射，并采用m o r p h i n g 技术生成不同脸部表情间的过渡， 能够生成真实感较好的人脸；l i u 【1 7 】等人通过角点匹配和s f m 算法实现了 基于单个摄像头的人脸重建。但是该类方法通常需要大量的人机交互来完 成特征点对应，计算量比较大，不易实现自动化。针对这些不足，许多学 者提出基于单张图像的人脸建模算法。b l a n z 【2 3 】等人提出的三维形变模型 ( 3 dm o r p h a b l em o d e l ，3 d m m ) 以三维人脸库作为先验知识，利用线性对 象类的概念，成功地实现了基于一张图像的三维人脸自动建模。该方法通 过主成分分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 分别对人脸的三维形 状和纹理( 表面反射率) 进行统计建模，在此基础上建立了包含形状、纹 理参数、光照参数、摄像机内外参数、绘制参数等在内的复杂成像模型， 最终采用基于合成的分析技术通过优化算法估计这些参数，得到输入人脸 的三维形状和纹理统计参数。然而该模型迭代次数多、运算时间长，同时 对初值依赖性强，往往会因为局部最优解而导致建模失败。 1 2 人脸姿态估计研究与应用现状 由于简单的几何模型或结构4 i 能准确地描述人脸的真实形状和特征， 三维人脸模型可以提供丰富的儿f 【l 信息近年来，越水越多的学者将三维 2 重庆邮电大 模型应用 泛重视， 人脸 脸图像序 及人脸识 视频会议 广泛的应 位置，姿 成部分。 智能 人机交互 相应的反 力的焦点 等等就是 人的行为具有非常重要的意义。除此之外，许多智能人机交互应用，如人 脸识别、表情识别和视线跟踪，往往需要使摄像机和人脸之间保持某种特 定的空间位置关系，这时就可以应用人脸姿态估计技术求得人脸的空间姿 态参数，并调整摄像机的姿态参数使之和人脸之间保持一定的位置关系。 此外，在安全监控系统中，如果能获得人脸的三维空间姿态参数，就 能够动态地调整摄像机的姿态使之始终处于对监控对象最佳的观测位置， 实现对被监控对象的连续追踪；在主题娱乐园的交互式娱乐项目中，同样 可以根据观众脸部的空间姿态有针对性地调整周围环境的音响和画面等 效果，使观众获得身临其境的感受；另外，司机疲劳检测是人脸姿态跟踪 另一个有价值的应用。司机驾驶的过程中可能出现疲劳，通过人脸姿态估 计与跟踪，及时发现司机可能存在疲劳的趋势并及时发出警报，完全可以 避免事故的发生。 综上所述，人脸姿态估计技术的研究不仅具有学术研究价值而且还有 重要的应用价值。 目前人脸姿态估计领域存在大量研究工作，产生了众多的方法，这些 方法大体上可分为基于人脸特征( 基于外貌) 【2 4 拼1 和基j ：模型【2 9 】的两大 类。 基于人脸特征的方法 基于特徊i 的方法认为人脸三络姿态和人脸图像的某- 鼍特征( 灰度、图 像梯度等) 之l 日j 存在特定对应关系，用大量已知姿态的圳练样本通过统计 重庆邮电大学硕十论文第一章绪论 建立这种关系，对输入图像和姿态样本进行匹配得出姿态结果。 该方法中比较典型的有d a r r e l l 【2 4 】等人提出的利用本征空间进行姿态 估计，通过对每个人脸的各种姿势的照片进行处理，形成一个本征脸的集 合，对待识别人的照片，计算出本征后在集合中选择一个最相似的作为实 际姿态的一种估计。 清华大学的叶航军【25 】等人对于多姿态人脸检测中的姿态判定问题， 提出了一种基于支持向量机的人脸姿态判定算法；c h e n 【2 6 】等人将人脸看成 是由肤色和发色区域组成，计算出这些区域的几何特性( 面积、质心、转 动惯量等) ，通过大量的统计样本得到不同年龄和性别的人绕x 、】，、z 轴 的转角和这些几何特性的关系。 其他的还有西北工业大学的基于中国人面貌形态学特征的人脸姿态 估计方法【27 1 。通过录入大量人脸正面照片的测量数据，分别计算出器官特 征点分布几何特征，对这些特征从统计学的角度进行分析，寻找出支撑姿 态估计技术所需要的面貌形态学特征规律。利用单目摄影环境的成像原 理，由照片中人脸可计算模型的变化并结合获得的中国人面貌形态学特 征，计算出摄影时人脸三维偏转角度，实现姿态估计。 总体而言，在姿态样本不充足、特征定义不充分的情况下，基于人脸 特征的方法难以获得满意的估计结果。 基于模型的方法 基于模型的方法一般采用某种三维结构或模型来近似人脸，基于二维 三维特征对应求解姿态参数。所使用的模型可能是简单的几何形体，如 平面、椭圆、圆柱，也可能是某种几何结构，或是通过激光扫描或其它方 法获得的三维模型。因此，基于模型的方法又可细分成基于几何模型的方 法【2 粥1 1 ，基于平面模型的方法【3 2 - 35 1 ，基于圆柱模型方法【3 6 1 以及基于三维 模型的方法等【3 卜3 9 】。 n i k o l a i d i s 】等人用眼睛和嘴的中点构造一个等腰三角形，利用人脸 对称性的原理求得空间姿态参数，其模型简单但估计准确性不够。 梁国远【3 4 】等人近似地将人脸看成是平面，根据圆一椭圆之间的仿射关 系计算人脸姿态，但是估计角度的范围有限。 l o p e z 【37 1 、s h i m i z u 【3 引、y a n g 【3 9 】等人通过基于三维模型的姿态估计方 法能够较有效地估计出姿态参数，但计算开销较大，难以应用于实时计算。 基于立体视觉的方法 除了上述琏于人脸特征和基于模型的姿态估计方法外，还存在一些基 于立体视觉的人脸姿态估计方法【4 肌4 2 1 。其基本思想是利用两台摄像机构成 4 重庆邮电大学硕士论文第一章绪论 立体视觉系统，利用一些约束条件将特征跟踪过程中误差较大的特征点除 去，在左右两幅视图上得到比较可靠的特征点对，然后利用这些点对通过 线性或非线性的方法得到人脸的空间姿态参数。 综上所述，基于三维模型的姿态估计方法充分利用了人脸的三维几何 信息以及输入图像的信息，不需要大量的训练数据便可获得比较精确的估 计结果。因此，基于三维模型的方法受到越来越广泛的重视，成为人脸姿 态估计问题研究的一个重要方向。 1 3 论文选题背景 智能人机交互是目前计算机和人工智能研究的热点，智能人机交互的 一个重要应用便是人脸识别，让计算机“认识 人脸是近4 0 年来人们追 求的一个目标。由于人脸对象本身的复杂性，让计算机准确识别人脸是一 个具有很大挑战性的难题，一直是模式识别、人工智能领域的研究热点。 最早的自动人脸识别研究论文见于19 6 5 年c h a n & b l e d s o e 在 p a n o r a m i cr e s e a r c hi n c 发表的技术报告【43 1 ，至今已有四十多年的历史。近 年来，由于高速度高性能计算机的出现，人脸识别研究得到了诸多研究人 员的青睐，人脸识别技术有了重大突破，进入了真正的机器自动识别阶段。 尤其是19 9 0 年以来，人脸识别更得到了长足的发展，每年都有大量的学 术论文发表，现在，几乎所有知名的理工科大学和i t 产业的主要公司都 有研究组在从事人脸识别的研究。 为了揭示人脸识别研究的最新进展和学术水平，发现当前人脸识别技 术所面临的主要问题，美国国防部有关部门组织了针对人脸识别商业系统 的评测一一f a c er e c o g n i t i o nv e n d o rt e s t ( f r v t ) ，至今已经举办了两次： f r v t2 0 0 0 以及f r v t2 0 0 2 测试。从这些测试标准的测试结果看，目前的 人脸识别算法乃至人脸识别系统在摄像环境良好、用户比较配合的情况下 已经能够达到令人满意的效果，例如对10 0 0 人左右的识别系统而言，正 确识别率可以在9 5 以上。然而，这并不意味着人脸识别技术已经非常成 熟了，恰恰相反，大部分实际应用需要识别算法在普通监控摄像环境中运 行，在这样的情况下识别性能下降的非常快。 自然条件下识别算法性能下降的原因有很多：人脸外貌的变化、光照 影响、姿态问题以及人脸丰富的表情变化，加之发型、胡须、眼镜等装饰 的影响，使得人脸模式呈现出高复杂性。而姿态变化导致的人脸图像间的 重庆邮电大学硕+ 论文 第一章绪论 差异性更大。随着人脸姿态的改变，人脸成像会出现变形，原来可见的人 脸部分，也会随着旋转角度逐渐被遮挡，同一人脸不同姿态下人脸图像之 间的相关性随着姿态变化的增加迅速减少。对于多数人脸识别算法来说基 本上都需要获得正面的人脸图像，需要使摄像机和人脸之间保持某种特定 的空间位置关系。此时，我们便可以应用人脸姿态估计技术计算人脸的空 间姿态参数，调整摄像机的姿态参数以选择最佳的视角使之与人脸保持正 面对应的位置关系。 另一方面，由于目前基于图像分析的人脸识别方法，都是试图从二维 图像信息来识别具有三维信息的人脸对象，三维识别信息的缺失，这本身 的局限性就决定了在自然条件下识别率不会很高。因此，对于不同姿态条 件下人脸识别问题，引入三维信息是从根本上解决人脸识别问题的突破 口，三维人脸模型的应用使得人脸识别中的多姿态问题有了解决的途径。 1 4 论文主要工作 由于简单的几何模型或结构不能准确地描述人脸的真实形状和特征， 基于三维模型的姿态估计方法可充分利用人脸的三维几何信息以及输入 图像的信息，并且不需要预先获得大量训练数据，近年来成为姿态估计领 域研究的一个重要方向。 针对目前基于三维模型的人脸姿态估计方法普遍存在的计算开销较 大、计算过程复杂，难以应用于实时计算的不足，本文首先根据单张人脸 图像重建出三维人脸模型，进而提出了基于三维模型和线性回归原理的人 脸姿态估计方法。 首先，针对传统形变模型处理速度较慢，处理过程复杂的不足，本文 采用基于特征点的人脸建模方式，将基于特征点的稀疏变形模型进行修 正，重建对应于输入图像人脸的几何形状。实验结果表明，重建的人脸模 型具有较好的真实感，重建算法处理速度较快。 其次，在重建出的三维人脸模型基础上，提出了基于三维模型和线性 回归原理的姿态估计方法，并结合面部特征点构成的几何结构判定姿态偏 转的方向。实验结果表明，利用本文方法对多轴及单轴偏转姿态图像进行 姿态估计，用少量特征点即可取得具有较好精确度的估计结果。 本文算法的总体框架图如图1 1 所示。 6 重庆邮电大学硕士论文第一章绪论 f 7 枞，蓟灏羽、1 1 5 论文组织结构 图1 1 算法总体框架图 本论文的组织结构如下： 第一章介绍了三维人脸建模和人脸姿态估计的研究现状及应用，并说 明了本文的选题背景及主要工作等。 第二章分别介绍了三维人脸建模与人脸姿态估计的一些基本概念和 方法。 第三章在人脸形状统计模型的基础上对基于特征点的稀疏变形模型 进行修正，实现了以单张照片上少量特征点为基础的三维人脸形状建模。 第四章在第三章重建出的三维人脸模型基础上，提出了基于三维模型 和线性回归原理的人脸姿态估计算法，并针对不同姿态的人脸图像对该算 法进行了测试。 第五章对本文进行了总结，提出下一步的研究计划。 7 脸图像的某些 过大量已知姿 态的训练样本运用统计的方法建立这种关系，对输入图像和姿态样本进行 匹配得出姿态结果。在样本不充足、特征定义不充分的情况下，这类方法 一般难以获得满意的结果。基于模型方法的一般采用某种几何结构或模型 近似人脸，基于二三维特征对应求解姿态参数。由于简单的几何模型或 结构不能准确地描述人脸的真实形状和特征，基于三维模型的姿态估计方 法不需要预先获得大量训练数据，可以充分利用人脸的三维几何信息，弥 补了单幅图片包含空间几何信息不足的困难，因此可以和单目视觉系统配 合来完成人脸姿态估计的任务，从而避免使用配置较复杂的双目或多目视 觉系统。 从应用的角度来看，许多应用场合( 如医院智能护理系统、视频会议 系统、司机疲劳检测系统等) ，对象( 如病人、与会人员、司机等) 的三 维模型都能够预先获得，因此还可以进一步考虑构造出通用的三维人脸模 型并应用到不同个体，这些都使基于三维人脸模型的方法具有很好的应用 前景。 本文基于单张正面照片的三维人脸建模过程中，需要根据透视投影模 型对空间点进行三维到二维的坐标变化，以及姿态估计的过程中涉及到三 维人脸模型正平行投影到二维平面的步骤。因此，以下简要介绍一下平面 几何投影的基本知识。 2 2 平面几何投影 广义上说，投影就是将刀维的点变换成小于甩维的点，这里，我们局 限于讨论三维到二维的投影。简单而言，投影就是将三维物体转换为二维 图形的过程。投影的方式可分为平行投影和透视投影4 4 1 。 重庆邮电大学硕士论文第二章三维人脸建模与姿态估计概念与方法 2 2 1 透视投影 图像上某一点的位置与摄像机拍摄的空间物体表面对应点的几何位 置有关。这些位置的相互关系由摄像机的成像几何模型决定。成像几何模 型是对实际的成像系统的近似，最常用的成像模型就是线性模型，也叫针 孔模型或透视投影模型。 摄像机采集的数字图像是以数组形式表示的。图像坐标系是在图像上 定义的一个直角坐标系，其中每个像素的坐标( “，v ) 分别是该像素在数组中 的行数和列数，所以，( “，v ) 还是以像素为单位的图像坐标系的坐标，并没 有用物理单位表示出该像素在图像中的位置，因此还需建立以物理单位表 示的图像坐标系。该坐标系以图像内某一点a 为原点，z 轴和y 轴分别与“， ，轴平行，如图2 1 所示。 d ， m q 渺 7 rv 1r 1 ， 图2 1 图像坐标系 在x ，y 坐标系中，原点q 定义在摄像机光轴与图像平面的交点，该 点一般位于图像中心处，但由于摄像机制作的原因，也会有些偏离，若a 在“， ，坐标系中的坐标为( “。，) ，每一个像素在x 轴和y 轴方向上的物理 尺度为出，咖，则图像中任意一个像素在两个坐标系下的坐标有如下关系： 工1 ， 肛瓦+ ，忙葛+ 上式可以进一步用齐次坐标与矩阵形式表示为 i ： 1 ；_ o “o 出 1 o 万 ool ( 2 1 ) 摄像机的透视投影成像几何关系可由图2 2 表示。其中点d 称为摄像机 光心，置轴和艺轴与图像的x 轴和y 轴平行，乙轴为摄像机的光轴，它与 9 与方法 点d 与 焦距。 图2 2 摄像机坐标系和世界坐标系 摄像机所在的世界坐标系由k ，匕，乙轴组成。摄像机坐标系与世界 坐标系之间的关系可以用旋转矩阵尺与平移向量f 来描述。因此，空间中某 一点p 在世界坐标系与摄像机坐标系下的齐次坐标如果分别是 ( k ，匕，乙，1 ) r 和( t ，艺，乙，1 ) r ，于是存在如下关系： x c 艺 z c 1 = ( ； x w 匕 z 。 l = m x 。 匕 乙 1 ( 2 2 ) 其中，尺为3 3 正交单位矩阵，f 为三维平移向量，m 为4 4 矩阵。 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，即任 何点p 在图像上的投影位置p ，为光心d 与p 点的连线0 p 与图像平面的交 点。这种关系也称为透视投影或者中心射影。由比例关系有如下关系式： x = 譬一譬z c 。z c 其中，( x ，y ) 为p 点的图像坐标，( 以，z c ) 为空间点p 在摄像机坐标系下的 坐标，我们用齐次坐标和矩阵表示上述透视投影关系： 1 0 x t 艺 z c l ( 2 3 ) 八j o o o 0 o 1o ，o 厂o 0 ，。一 i l 、，_、 x y l ，。l 乙 重庆邮电大学硕士论文第二章三维人脸建模与姿态估计概念与方法 将式( 2 1 ) 与( 2 2 ) 代入上式，我们得到以世界坐标系表示的p 点坐标与 其投影点p 的坐标的关系： 料 1 _ u “o 积 1 o 万 oo1 臁p ：) x w 匕 乙 1 = m m 2 只= 慨 ( 2 4 ) 其中，m 为3 4 矩阵，称为投影矩阵；m 相关的参数只与摄像机内部结构 有关，我们称这些参数为摄像机内部参数；鸠完全由摄像机相对于世界坐 标系的方位决定，称为摄像机外部参数。 2 2 2 平行投影 当投影中心到投影面的距离为无限的时候，即为平行投影。根据投影 方向和投影平面法向之间的关系，平行投影分为正投影和斜投影。在正投 影中，投影方向和投影平面的法向平行，即投影线垂直于投影平面；在斜 投影中，投影线不垂直于投影面，如下图2 3 所示便是将三维人脸模型正 平行投影到二维平面。 妒9 ：兰画 图2 3 三维中性人脸及二维投影图 2 3 三维人脸建模 2 3 1 基于先验知识的人脸建模 对人脸的描述和刻画长期以来一直受到人们的广泛关注，艺术作品中 的人脸形象在真实感、情感表达等方面都达到很高的层次。在现实生活中， 我们也经常看到一些民间艺人根据一张人物相片来创作与其对应的卡通 形象。在面对并不熟悉对象时，这些艺术家为何依然能够描绘出如此生动、 学硕士论文第二章三维人脸建模与姿态估计概念与方法 脸形象? 对此，人们理所当然地认为是艺术家们掌握了特殊、专 技巧，并懂得如何根据图像进行人物造型。其实，另一个重要的 们对人脸结构非常熟悉，并能够抓住其中的主要特征将其绘制在 如何让计算机也拥有这样的能力，让计算机也能根据一张照片重 如生的三维人脸是计算机视觉、图形图像等领域专家孜孜以求的 目标。 计算机人脸建模过程主要包括几何形状建模和纹理建模两部分。其中， 三维形状是人脸的本质属性，因此我们主要考虑如何进行人脸的形状建 模。下图2 4 是一男一女两个人脸以及去除纹理后几何网格表示图。 g9 9 图2 4 人脸网格表示图 利用三维扫描仪获取三维形状数据和纹理信息最为直接，通常具有较 高的精度，但是由于硬件设备造价高而且不够灵活，一般只适用于某些特 殊场合。目前的研究热点主要集中于根据图像或者视频中的信息进行个性 建模。以往基于机器视觉的人脸建模方法往往需要大量的人机交互来完成 特征点对应，鲁棒性不强且不易实现自动化。因此，一些学者提出了基于 单张图片的人脸建模算法【2 3 ，4 5 4 7 1 。一般而言，在没有任何假设约束的情况 下，基于单张图像的三维形状重建是一个病态问题。b l a n z 【2 3 】等人提出的 三维形变模型( 3 dm o r p h a b l em o d e l ，3 d m m ) 为解决单张照片的人脸建模 提供了解决思路。他们以三维人脸库作为先验知识对人脸建模过程进行约 束，成功地实现了基于单张图像的三维人脸自动重建。但是该模型还存在 许多亟待改进的地方：迭代次数多、运算时间长，此外，模型匹配算法对 初值依赖性强，往往会因为局部最优解而导致建模失败。在此基础上， r o m d h a n i 【4 8 】采用多重特征对优化目标函数进行约束，在一定程度上缓解了 形变模型的局部最优问题，但同时也使得计算更加复杂。北京工业大学的 尹宝才【8 】等人从多光源、多分辨率、目标函数优化及应用研究等方面对形 变模型进行了扩展。但是，由于需要求解大规模非线性方程组，三维形变 模型及其改进算法均存在效率低的不足。 众所周知，尽管个体千差万别，但人脸却是有一定的共同之处。按器 官的组织，人脸由口、鼻、眼、眉、耳五个器官以及脸颊、额头、下巴、 1 2 第二章三维人脸建模与姿态估计概念与方法 ；从结构上看，人脸分布也满足“三庭五等等面 基于以上分析，我们认为，只有充分利用人脸形状 行约束，才能从单张照片重建出真实感较强的人脸 采用的统计建模方法是利用人脸结构先验知识的最 变模型处理速度较慢，根本无法满足应用要求。为 分复杂的参数优化过程，一些学者提出利用稀疏的 统计模型：柴秀娟、姜大龙等人提出了一种稀疏的 形变模型【4 乳5 0 】，能够在1 秒内完成形状参数估计；v e t t e r 等人也提出了类 似的基于稀疏点的形状重建算法【5 1 。52 1 。但是，由于对先验信息的使用有限， 这些方法的重建结果往往收敛于初始值附近，即重建结果与平均人脸更为 接近，而与真实人脸存在较大的差距。 针对传统形变模型处理速度较慢，处理过程复杂的不足，本文采用基 于特征点的人脸建模方式，研究具有较高精度、鲁棒性强的形变算法。如 前所述，为了从单张人脸照片中创建出效果较好的人脸模型，我们须以人 脸形状先验知识为基础，人脸形状先验知识需从人脸库中学习获得，因此， 下面就着重介绍三维人脸库及标准化的过程。 2 3 2 三维人脸库的标准化 建立标准化的三维人脸库是建立人脸统计模型、人脸建模的基础性工 作。现有研究成果表明，人脸可以近似看成线性对象类【5 3 54 1 ，根据大型三 维人脸库建立人脸统计模型是充分利用人脸结构先验知识进行建模和分 析的有效方法【2 3 1 。创建标准化的人脸数据库一一即使得数据人脸之间建立 基于特征的稠密对应关系，是将人脸数据库用于实际应用的基础工作。 甜t 陀固： 图2 5 用两张人脸照片合成平均人脸【5 7 1 右上图是未经过特征对应合成的结果，右下图是经过特征对应后的合成结果 而，对已经建立了特征对应的两张图片进行平均处理就可以获得效果较好 的合成人脸。 将三维人脸库中的人脸数据按照顶点顺序进行排列，我们可以将任意 人脸模型表示为如下向量形式： 墨= ( 而，乃，z 1 ，x ，y ，z ，h ，儿。，z ) 1 吼一 ( 2 5 ) = ( ，i ，g l ，6 l ，乃，g ，6 ，g 嵋，吃。) 孵孤 ( 2 6 ) 其中，毋是人脸库中第f 个人脸模型的形状向量，由每一个顶点的三维坐标 值( x ，y ，z ，) j l 顷序排列组合而成：是该人脸模型的纹理向量，同样地，它 由每个顶点的颜色值( 吒，反，反) 组合而成，1 吩，忍，是该人脸的顶点数目。 很明显，通过三维扫描仪获取的三维人脸数据之间无法直接进行线性运 算，原因是： 由于人脸的个体差异，扫描得到的三维人脸数据之间存在较大差 别，构成三维人脸的点数和面数不同，即当f 时，刀，玎，； 这些点和三角片的存储是一种松散的形式，即点、片的排列与人 脸特征无关，因此人脸之间没有一一对应的关系。 以上两方面因素影响了人脸数据库的可操作性，人脸数据之间无法直 接进行线性运算。从数学上讲，建立标准化的人脸库就是要将数据库中的 人脸表示为统一的向量形式，使得所有三维人脸数据具有相同的顶点数并 建立人脸之间的稠密对应。所谓人脸数据的稠密对应，就是根据人脸面部 特征建立不同三维人脸数据间点到点的一一对应关系，相同的特征点在不 同的人脸向量中处于相同的位置。图2 6 演示了两个不同的三维人脸模型 用一个统一的向量表示方法，可以看到一个人脸上的鼻尖顶点与另外一个 人脸上的鼻尖顶点在向量中都处于相同的位置。 瑁一二 九 - 1 溉 l - 嘴 ，i 旨 箍 蚤 f 图2 6 三维人脸模型稠密对膨厅彳的向鼙表示5 7 】 1 4 重庆邮电大学硕士论文第二章二维人脸建模与姿态估计概念与方法 实际上，要在三维数据上建立基于特征的点对点的稠密对应非常困 难。由于不同人脸的个性差异，人脸的三维几何差异很大，而且三维人脸 数据是稠密点集，数据量很大，很难使用一般方法建立这种对应关系。 为了改善三维人脸的对齐效果，谷春亮【55 1 等人提出了基于网格重采样 的方法，首先根据人脸特征将所有人脸使用统一的分割方法