（信号与信息处理专业论文）基于aam与张量分解的多视角人脸合成算法.pdf

塑萋 嗍黜 捅要 随着计算机科学的高速发展 人脸合成技术在人工智能 模式识别领域发挥 着越来越重要的作用 因此根据已有样本合成出逼真的人脸图像是一个热门的研 究问题 但由于人脸结构的非刚体特性 使人脸图像容易受到多种因素的影响 其中 视角变化对图像合成效果产生较大的影响 不同视角下人脸图像的合成是 一项富有挑战性的重要课题 基于统计学习理论的人脸合成技术成为人们日益关 注的新的发展方向 本文对多视角人脸合成算法进行了深入研究 首先 针对高维数据在合成过 程中因欠采样问题而产生的误差 本文提出了主动表观模型与张量理论相结合的 多因素分离方法 该方法借助主动表观模型分离出多视角图像的形状特征点数据 根据张量理论提取出影响图像的多种外在变化因素 有效地解决了欠采样问题对 多因素精确描述所产生的影响 其次 为合成多个连续变换视角下人脸形状特征点 本文提出了稀疏表示与 流形建模相结合的系数合成方法 该方法通过对测试图像身份信息的重构以及对 新视角信息的拟合 能够准确地合成出测试图像在不同视角下特征点的分布 实 验结果表明 本文所提出的方法能利用不同视角下的输入数据 合成出未在训练 集中出现过的视角的形状特征点数据 最后 为了在纹理信息发生遮挡的条件下合成正面图像 本文提出了基于全 局 局部变换的正面人脸纹理生成方法 该方法通过两次基于不同信息的图像变换 策略 合成出输入侧面图像所对应的正面人脸图像 实验结果表明 本文所提出 的方法能够针对变化角度大 纹理信息遮挡较明显的输入图像 合成出逼真的正 关键词 人脸合成主动表观模型张量分解流形建模图像变换 a b s t r a c t a b s t r a c t w i t l lt l l er a p i dd e v e l o p m e n to f c o m p u t e rs c i e n c e l et e c h l l i q u eo f f a c es y n 也e s i s i sp l a y i n gam o r ea i l dm o r ei m p o r t a n tr o l ei nt h ef i e l d so fa n i f i c i a l li n t e l l i g e n c ea n d p a t t e mr e c o g l l i t i o n s ot h es y n t h e s i so fal i f e l i k ef a c ei m a g ei sah o tr e s e a r c ht o p i c h o w e v e rt h en o n r i g i d p m p e r t yo ft h ef a c es t m c t u r ec a u s e st l l e i i m u e n c eo nf a c e i m a g e sb ym u l t i f l a c t o r s a m o n gm e m t l l ev a r i a t i o no f v i e w sc a u s e sas e r i o u sp r o b l e m w i t ht h e 觚h e rd e v e l o p m e n to ft 1 1 ef a c es y n t h e s i s t e c l l l l i q u e s s y n t h e s i so fm e m u l t i v i e wf a c ei m a g e sh a sb e c o m ea ni m p o n a ma n dc h a l l e n g i n gi s s u e f o m m a t e l y s t a t i s t i c a ll e 锄i n gb a s e df a c es y n t h e s i sh a sb e c o m i n gap o p u l a rd i r e c t i o n i nt i l i sp a p e r m ea l g o r i t h mo fs y i l t h e s i z i n gm u l t i v i e wf i a c ei m a g e sh a sb e e n d i s c u s s e dd e e p l y f i r s t l y t oh a n d l et l l ee n d rc a u s e db yt l l eu n d e r s 锄p l i n gp r o b l e mo f t h el l i 曲d i m e n s i o nd a 乜t 1 1 ea p p r o a c hc o m b i n i n ga c t i v ea p p e a r a l l c em o d e l aa m 锄d t e l l s o r 锄l y s i s 恤o r yi sp r o p o s e df o rs e p a r a t i n gf a c i a li n n u e n c ef a c t o r s w i t l lt l l e f e a t u r ep o i n t sa b s 把k t e db ya a ma n df a c t o r ss e p a r a t i o np r o d u c e db yt b n s o ra j g o r i t h m w es o l v e dm e 吼d e r s 锄p l i n gp r o b l e mo nt 1 1 e p r e c i s ed e s c r i p t i o no fm em u l t i p l e i n f l u e n t i a lf a c t o r so nf a c ei m a g e s s e c o n d l y t h ea p p r o a c ht 0s y n m e s i z et h ef i a c i a l 佗a t u f ep o 缸su n d e rc o n t i 肌o u s v i e w si sp r o p o s e d 晰t ht h ec o m b i n a t i o no fs p a r s er e p r e s e n t a t i o na i l dm a i l i f o l d m o d e l i n g 1 1 d u g hm er e c o n s t m c t i o no ft h ei d e n t i 够i n f o m a t i o no f t l l et r a i n i n gi m a g e s a 1 1 dt h ef i t t i n go fm en e wv i e wi r i f o n t l a t i o n t h i s 印p r o a c hc o u l ds y n t h e s i z em e1 0 c a t i o n o ff e a n l r ep o i n t so ft h et e s ti m a g eu i l d e rd i 虢r e n tv i e w s e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e da p p r o a c hc o u l ds i l t h e s i z et h e 诧a t u r ep o i m su i l d e rm ev i e sa b s e n ti n t r a i l l i n gs e tw i t h l et e s td 2 妇i nd i 丘 e r e n tv i e w s f i i l a l l y 恤s 蛐e s i sm 劬o do f 舶删f a c ei m a g eb 2 l s e do n 恤g l o b a l l o c a l 仃a 1 1 s f b 肌a t i o n i r i t l ls o m eo c c l u d e df a c i a l i 血眦a t i o ni sp r o p o s e d t h ed o u b l ei m a g e 住a n s f o 眦s 们t e g yb a s e do nd i 日 e r e n ti n f o n n a t i o no ft h ef l a c i a lr e g i o n si sa p p l i e dt o s y n t h e s i z et h e 丘 0 n t a lf a c ei m a g ec o r r e s p o n d i n gt ot h ei i l p u ti m a g e t h ee x p e r i m e i l t a l r e s u l t ss h o wt h a tt h ep r o p o s e d 印p r o a c hc o u l ds y n t i l e s i z em ev i v i df b d t a lf a c ei i l l a g e s e v e nw h e nt l l ei n p u t 妇a g eh a sl a 唱er o t a t i o na i l g l ea n do b v i o u s l yo c c l u d e dt e x t u 哈 k 舒啊o r d s f a c es y n t h e s i s a c t i v ea p p e a r a n c em o d e l1 广e n s o rd e c o m p o s i t i o n m a n i f o i dm o d e k n g i m a g et 豫n s f b m a t i 佃 第一章绪论 第一章绪论 在计算机科技飞速发展的当今社会 计算机视觉与模式识别技术发挥着越来 越重要的作用 例如流水线工件检测系统 门禁系统 指纹比对系统等技术被用 于日常生活的各领域 在以人为本的时代潮流引导下 面向于人的信息技术正日 渐成为各领域研究的热点 在电子计算机以其超高的运算速度 低廉的价格 极 大地为我们日常生活提供便利的同时 人们希望摆脱各种外围设备的限制 使计 算机能够更加 主动 地为用户提供服务 心理学家的研究表明 人们在面对面 交流时 面部可传达5 5 的信息量 l 因此准确有效地获取用户的面部信息 将会 成为人机交互技术进一步发展的必经之路 因为人脸的面部特征的身份唯一性以 及表情多样性 为计算机智能感知与身份识别提供了重要的信息 因此若能在多 种图像采集条件下 获得易于识别的人脸信息 必将为计算机的进一步智能化奠 定有利的基础 在这种需求下 合成易识别条件下人脸图像的技术应运而生 该 技术还可以应用于人物动画制作 面部整形设计等领域 1 1 研究背景与意义 多数人脸识别系统 2 3 f 4 只有在输入图像为正常光照条件下 中性表情的正面 视角人脸图像时 才能获得最优的识别效果 但获得这种标准图像需要用户的配 合 这对于具有隐蔽性的刑侦工作以及具有实时性的识别 控制系统而言 是一 项困难的任务 由于这种限制 我们想到 在进行识别工作之前 先利用图像合 成技术 获得与多种复杂环境下采集到样本相对应的标准图像 从而将识别率不 高的侧面人脸识别问题 转化为技术发展已相对成熟的正面人脸识别问题 由此 可见 人脸图像的合成技术 对于人脸识别领域的发展是不无裨益的 人脸合成技术在影视 5 1 动画 虚拟现型6 7 以及医学整形 8 等领域也有着非 常广阔的应用前景 在临床医学领域的面部手术中 使用人脸合成技术重构出空 间中人脸的几何结构 进而恢复出不同观察角度下的人脸图像 将在很大程度上 提高手术的精确性 此外在科幻 动画等题材的电影中 许多栩栩如生的虚拟形 象都是人脸合成技术的卓越成果 但人脸是一个非刚体 其图像容易受到外界多种条件的影响 而且由光照 视角 表情等因素 9 的变化所产生的图像形变 很难用简单的几何模型来描述 在 制约人脸合成技术发展的几个要素中 视角是其中最难解决的问题之一 因为随 着人脸角度的变化 面部特征会受到不同程度的遮挡 而且角度变化越大 信息 丢失越严重 因此 多视角下人脸图像的合成是一个信息恢复的过程 是一个数 2 基于a a m 与张量分解的多视角人脸合成算法 据从无到有的构建过程 与已有数据的修改相比 是一个病态且复杂的过程 在人脸合成的过程中 去除图像背景信息的干扰 提取图像的有效特征 是 图像预处理过程中至关重要的一步 特征提取的方法千差万别 其中 边缘检测 1 0 1 1 1 2 1 弹性图匹配 e l a s t i cg r a p hm a t c l l i n g 1 3 尺度不变特征变换 s c a l e i n v a r i 锄t f i e a n 鹏仃a i l s f o m s i f t 1 4 等方法都是应用广泛的特征提取手段 但由于人脸非刚体 结构的特殊性 要求我们利用一种在不同视角间 特征点所代表物理意义相关性 较强的方法 来提取图像特征 基于主动表观模型 a c t i v ea p p e a r a n c em o d e l 删 的人脸特征提取方法 1 5 1 建立在模型训练的前提下 经过参数优化过程 将一幅 新输入图像的特征点 以自动的方式 正确匹配在人脸特征的合适位置上 l 引 该 方法由于需要人工的参与 因此提取出的图像特征 更能反映人眼的视觉特性 此外a a m 在建立人脸混合模型的过程中 不但考虑局部特征信息 而且结合了全 局形状和纹理信息 因此提取出的人脸图像能在最大程度上保持原始图像的细节 信息 所以 我们选择基于a a m 的方法 来完成人脸图像的预处理 人脸图像由于其复杂的结构以及丰富的信息 l7 容易受到多种内外因素的影 响 在人脸图像处理的过程中 分离出对图像产生影响的不同因素是非常关键的 步骤 1 8 j 但在多因素影响下 传统线性分析的方法 诸如独立分量分析 i n d e p e n d e n t c o m p o n e n ta m a l y s i s i c a 1 9 与特征向量分析等方法 2 0 2 l 不能很好地表征图像与 其各个分量之间的关系 近几年 在受多种因素影响的复杂图形图像处理问题中 张量理论得到了广泛应用 2 2 1 该理论涵盖了线性分析 双线性分析 2 3 1 奇异值分 解 s i n g u l a rv 甜u ed e c o m p o s i t i o i l s v d 幽j 主成分分析 p r i n c i p l ec o i n p o n e n t a m l y s i s p c a 2 1 等经典算法 能够有效地分离出影响图像的多种因素 光照 表 情 视角 使我们能够对各因素进行单独处理 最终得到所需条件下的重构结果 1 2 研究进展及现状 1 2 1 人脸合成技术的研究进展 自1 9 9 0 年以来 人脸合成技术先后经历了不同的发展阶段 大体可以分成基 于几何结构的合成方法与基于统计模型的合成方法 基于几何结构的方法 2 5 2 6 2 7 2 8 1 是人脸合成领域中一种经典 直观的方法 当 我们看见人脸图像时 第一反应就是从外观类型来进行剖析 也就是日常生活中 关于胖瘦 长短 方圆 美丑等方面的评价1 2 9 由于这种天生的感性理念 使基 于几何结构的方法着眼于人脸内在结构的构建 以及条件变换后 结构的改变方 式 因此该方向的研究大量涉及到生理学 几何学 计算机图形学等学科的相关 内容 其研究方法大体可以分为以下几类 第一章绪论 3 1 三维人脸模型法 1 9 9 1 年由a n d r e w 等人提出 通过构建人脸模型来合成人脸 3 0 j 该方法用一 组多边形以及复杂的多层三维网格来表示人脸结构 当输入 幅人脸图像时 将 图像投影到三维网格上 通过改变预设的光照方向 强度以及网格转动角度 来 合成不同视角 光照条件下的人脸图像 这种方法虽然在保持图像的细节纹理方 面具有一定的优势 但计算复杂 而且受光照变化的影响较大 2 光流法 1 9 9 5 年由p o g g i o 等人提出 通过确定不同视角间 像素点的光流方程来合成 多视角人脸图像 3 1 1 该方法先由两幅相同身份不同视角的训练图像 求出视角间 像素点变换的光流方程 3 2 1 再将方程用于测试图像 即可求出测试图像在其他视 角下的人脸图像 这种方法虽然计算简单 但当人脸图像的角度变化较大时 很 难恢复出输入图像中被遮挡的信息 因此合成图像的视角变化范围非常有限 3 三维可变模型法 1 9 9 9 年由b 1 a n z 等人提出 通过修正标准模型来合成人脸图像 3 3 1 该方法利 用一个三维标准人脸模型 对于一幅输入的二维图像 通过迭代匹配的方法修正 参数 使标准模型与输入图像达到最大程度上的近似 从而求出输入图像的三维 模型 使用这种方法合成出的结果 不仅与真实图像非常相似 而且可以在立体 空间内自由转动 但该算法的参数复杂 收敛过程要经过多次繁琐的迭代匹配 3 4 j 实时性不强 此外 三维人脸数据不易获取 因此限制了算法的工程实用性 4 非刚体模型法 该方法利用多幅不同视角下的二维图像序列 合成该图像在空间内的立体结 构 3 5 3 6 1 在文献 3 7 中 作者借助于三维图像与二维图像之间的弱投影模型 根据 多幅对齐 矫正后的二维图像样本 确定投影模型参数 进而恢复平面图像所缺 失的高维数据 最终求出多幅平面图像所对应的三维图像 由于这种方法所采用 的投影方程较为简单 而且仅仅以二维的图像序列作为输入 因此具有计算复杂 度低 实用性强的特点 但由于缺失了三维数据的先验信息 而且投影模型过分 简化了影响图像外观的反射率 光照度等物理信息 因此合成结果较为粗糙 与 真实图像的差异较大 图像合成领域中 另一类基于统计学习的方法 3 8 3 9 4 0 4 l 省略了几何模型的 构建 通过寻找不同因素与图像间的相互关系 来完成新条件下人脸图像的合成 其方法大体可分为以下几类 1 训练样本加权法 该方法假设同一视角下的不同图像之间满足线性关系 因此可以将输入图像 表示为 同视角下训练图像间加权求和的方式 4 2 之后利用这组权值 通过对训 4 基于a a m 与张量分解的多视角人脸合成算法 练图像在其他视角下样本进行加权求和 得到输入图像在多个视角下的合成结果 2 f i s h e r 光场法 该方法利用f i s h e r 光场 寻找不同视角间图像的对应关系 从而可以由一幅 输入图像 求出其他视角下与之相对应的合成图像 4 3 这种直接求解对应关系式 的方法 后来逐渐演变成利用支撑向量回归m 马尔可夫随机场 4 5 的人脸合成方 法 j 二 3 非线性模型法 这种方法打破了人脸图像在传统意义上的直观表示 用一组高维空间中坐标 不同的点来表示身份不同的人脸图像m 该方法利用高斯核投影的方式 将输入 图像投影为高维特征空间中的点 根据不同视角不同身份的点的聚类方式 将输 入图像的高维数据进行变换 进而重构出多种条件下的合成图像 4 特征空间法 此方法是非线性模型法的延伸 利用l d a 4 7 l f i s h e r f k e 等新的投影方法替代 高斯核投影 并且将同一身份 不同类型图像所生成的高维数据 组合成一个连 续 光滑的流形结构 2 之后 通过对这种结构进行插值或预测操作 就可以重构 出新条件下的合成图像 上述基于统计学习的人脸合成方法 由于利用了数据间的内在关系 因此对 影响图像的外在因素不是非常敏感 而且算法中大量使用了机器学习理论 降低 了算法的复杂度 使合成过程的耗时较短 但在训练样本有限的前提下 合成结 果仅能够反映人脸图像间的共性 而不能很好的保持图像的细节信息 1 2 2 人脸合成技术的研究现状 以上述经典的人脸合成方法为基础 现今的合成方法主要可以分为以下几类 第一类是基于流形估计的多视角人脸合成技术 局部嵌入模型 l o c a l l yl i n e a r e m b e d d i n g l l e 是数据间临近关系的一种设想 由美国舭t 实验室的s a u l 等在 文献 4 8 中首次提出 该理论认为 如果高维空间中的一点可以由其临近的几个点 的线性叠加来表示 那么在低维空间中这种邻近的叠加关系仍然被保持 基于上 述思想 美国k e n t u c b 大学的h 啪g 等人 4 9 通过特征空间的构建 先将每幅人 脸图像转化为该身份下低维图像空间中的一点 进而为每个人的在不同视角下的 图像建立流形结构 在这种流形空间中 如果某个人特定视角下的数据点可由其 他人在该视角下的数据点通过线性加权的方式重构出来 则该权值也同样适用于 其他新视角下的数据点合成 将合成的新视角下的数据点映射到高维空间中 即 可实现新视角下的人脸图像合成 第二类是基于张量系数重构的多视角人脸合成技术 美国n e wy o r k 大学的 第一章绪论 5 a l e x 等基于p c a 思想 提出了多因素条件下人脸图像的张量分解方法l z 2 j 用于将 图像中的变化因素分离开来 进而分别从影响人脸成像因素的不同子空间中对图 像进行处理 韩国o l a w o d 娼公司研究员h y u i l g s 0 0l e e 等人 5 0 将张量理论用于 人脸图像的合成及识别 首先对训练图像采用主动表观模型分离人脸的形状与纹 理信息 之后采用张量分解 得到训练集图像诸如身份 视角 光照和表情的多 种系数矩阵 将训练样本中缺失信息利用已求得的系数矩阵进行重构 最终利用 核张量将这些新系数映射到图像空间 合成出各因素连续变化的人脸图像 实验 结果表明 文中所述方法在光照变化和带眼镜等饰物的条件下有较好的合成效 果 但只能合成出接近正面的有限人脸视角 而且训练阶段所需的样本数量也比 较大 第三类是基于三维模型的人脸合成技术 美国w 如l l i n g t o n 大学的博士后研究 员i r ak e m e l m a c h e r s h l i z e m a l l 等人 5 1 利用一幅二维图像及三维人脸标准模型 合成出图像对应的三维模型 首先将输入图像根据每个像素点位置的光照特性 表示成由反照率与反射函数组成的照度方程 之后利用真实图像与标准模型图像 间的能量最小化准则 在其余参数固定为模型参考值的条件下 迭代匹配得到每 个参数的准确值 最后通过反射函数即可求出二维图像的深度信息 第四类是基于多因素分析的人脸合成技术 英国l o n d o n 大学的s i m o nj d p r i n c e 等人 5 2 1 通过对身份空间上投影模型的求解 得到输入图像在不同视角下的 合成结果 首先构建一个融合了身份与视角变化的生成模型 该模型是在视角信 息不定的条件下 关于身份信息的线性表达式 之后利用e m 算法求出模型的身 份与视角参数 最后 在确定新输入图像身份信息的条件下 通过变换视角参数 最终完成多视角图像的合成 上述四种方法都未对人脸视角因素的非线性变化进行精确描述 所以第一种 方法只能合成出有限视角下的人脸图像 且由于受多个训练图像身份的影响 合 成的图像与真实图像的差异较大 第二类种方法虽然在光照 表情变化情况下能 得到较好的合成效果 但由于人脸多视角的非线性变化较强 合成结果还只是接 近于正面人脸的有限视角下的图像 第三种方法虽然合成效果逼真 但光照模型 参数较多 优化过程较为繁琐 计算复杂度高 工程应用性较弱 第四种方法比 较依赖模型参数的准确性 在训练样本较少的条件下 合成结果并不是非常逼真 1 3 本文研究成果与章节安排 本文的研究成果主要分为三部分 第一 对删模型中人脸图像的形状特征 点采用张量理论进行分解和重构 避免了人脸纹理信息对视角描述的影响 使提 取出的多种因素更为精确 第二 利用稀疏表示与流形重构的方法 根据训练图 6 基于a a m 与张量分解的多视角人脸合成算法 像的信息 采用稀疏表示的方法合成出新图像的身份系数矩阵 去除了差异较大 图像的干扰 使新图像的身份信息表述的更为合理 此外 通过构建视角系数的 变化流形 扩充了合成图像的视角范围 第三 提出了基于全局 局部变换的正面 人脸纹理生成方法 借助于描述图像间对应关系的全局仿射变换 以及描述图像 内对应关系的局部仿射变换 从遮挡较为严重的侧面人脸图像 恢复出信息完整 丰富的正面人脸图像 全文共分为五章 各章节安排如下 第一章详细介绍了选题的背景及意义 结合人脸合成技术的发展状况提出本 文的成果 并给出本文内容安排 第二章阐述了人脸图像特征提取的方法 从删的基本理论入手 通过对 人脸特征的分析 最后实现新输入图像特征位置的自动提取 第三章利用张量理论实现测试图像在多视角下人脸形状的合成 首先 介绍 了张量理论的基本思想及变换公式 其次 通过非线性手段拟合出多个视角系数 矩阵 最后 利用稀疏表示方法重构出测试图像的身份信息 并合成测试图像在 新视角下的特征点 第四章利用仿射变换方法实现不同视角下人脸图像的合成 首先 介绍了不 同类型的图像变换方法 并分析了他们的优势与不足 其次 利用仿射变化与局 部形状信息修正相结合的方法 在以正面图像为输入的条件下 合成出多视角下 的人脸图像 最后 根据人脸的物理特性 利用基于全局 局部变换的纹理生成方 法 在以侧面图像为输入的条件下 合成该图像在正面视角下的人脸图像 第五章总结全文内容 并提出后续工作的研究方向 第二章人脸图像特征提取 7 第二章人脸图像特征提取 2 1 引言 人脸图像中的背景千差万别 这种信息必将对合成效果产生干扰 此外 由 于在图像采集过程中 不可能达到每幅图像的位置严格一致的要求 这种偏差必 将导致图像对应点物理意义的不一致 进而会对合成图像产生较大的影响 为解 决上述问题 本章主要阐述了利用主动表观模型5 3 对原始图像进行预处理的方法 首先去除图像的背景信息 其次将图像进行标准化 即所有图像的面部区域处于 一个统一的坐标区间之内 这样的区域被称为容许形状区域 舢l o w a b l es h 印e d o m a i n a s d 5 4 1 a a m 模型最早由m a i l c h e s t e r 大学的t f c o o t e s 等人提出 该方法可分别对人 脸的形状和纹理建立统计模型 而且可以由一组处于初始位置的形状特征点 通 过迭代匹配的方法 精确地获得图像中人脸的特征位置 从而准确地提取出特征 区域内人脸的纹理信息 1 5 该方法被广泛地应用于特征提取 5 5 跟踪识别阁等研 究领域 a a m 模型的建立可分为建模与匹配两个部分 首先 根据主成分分析1 3 j 的思 想 对训练图像的形状进行分解 得到一组集中反映形状特征点能量变化的特征 向量 以及不同形状在该集合所构成的子空间上的投影值 二者构成形状模型 同理 图像的纹理信息经过上述分解 也可以得到一组由基向量集合以及投影值 所构成的纹理模型 其次 将形状投影与纹理投影值进行混合 得到一组形状与 纹理一致的混合投影系数 以及与该系数相对的两组新的特征向量 至此 建模 过程结束 当输入一幅测试图像时 先利用训练样本形状信息的均值对新图像进 行采样 再利用纹理模型对新图像进行重构 求出重构图像与采样图像的纹理差 异 并将其转化为混合投影系数的变化 进而更新混合投影系数 并重复上述过 程 直到纹理差异小于阈值时 匹配过程结束 得到测试图像形状特征点的位 置 2 2 主动表观模型 本节将结合实验所用的人脸图像 对删建模的过程进行讨论 删模型 的建立 是删理论的第一步 也是一个对已有图像进行训练 进而学习出模型 参数的过程 这些图像称为训练样本 通过建立模型 将得到用于进一步迭代 匹配的一系列参数 基于a a m 与张量分解的多视角人脸合成算法 2 2 1 图像预处理 对于未对齐的人脸图像 五官的物理特征相对于图像的灰度特征来讲 更稳 定 更能反映出不同人之间的差别 所以我们首先利用点标注的方法 在图像当 中标注出特征点的位置 即人脸形状信息 对于每幅人脸图像 我们标注了眉毛 眼睛 鼻子 嘴以及脸颊外边缘轮廓五个区域的特征 共计8 6 个特征点 由于特 征点的序号与其所表示的物理位置严格对应 因此可以通过查询特征点序数的方 式 获得该特征位置的坐标 第f 幅图像中第 个特征点的坐标可以写做 h 第f 幅图像中所有特征点的坐标可以由式 2 1 表示 只 一1 只l 誓2 只2 2 1 我们利用特征点的均值来表示图像中心位置的坐标 求出所有图像中心位置 坐标的均值作为基准位置 每幅图像中的所有特征点根据其中心位置与基准位置 的偏差 统一进行移动 再将原始图像的灰度信息投影在移动后特征点所确定的 区域中 即可将训练集图像所有中心点位置变得一致 对于面部倾斜的图像 如图2 1 所示 可以先根据图像双眼外侧眼角特征点的 坐标 m 屯 儿 根据式 2 2 求出转动角度9 式中参数的物理意义如图2 1 所示 五 少 9 i 姆链i 黑攀菱鬟 图2 1 倾斜图像中参数的位置 由式 2 3 求出所有特征点转动后的新位置 点原始位置的坐标用 x y 表示 转动 后位置的坐标用 x j i 表示 阡 甜习 陋3 转动前后图像的变换如图2 2 所示 嘲恻 吨 一 一 第二章人脸图像特征提取 9 a 1 a 2 图2 2 图像预处理结果图 a 1 处理前图像 a 2 处理后图像 2 2 2 多视角人脸形状建模 首先需要提取出训练样本在多视角下的人脸形状信息 在训练阶段采用手动 标注特征点的方式 分别对3 0 个不同身份 8 个不同视角下的人脸图像 分别提 取形状信息 5 7 1 如图2 3 所示 图2 3 多视角下人脸图像的特征点分布 由于所处理的图像具有视角 身份两方面的变化 而正面人脸aa m 建模的训 练样本往往只在身份信息上发生变化 针对多视角人脸图像 我们需要对提取出 的形状信息的集合 根据不同视角分别建立样本集合 以便在后续的建模过程中 分别对不同视角下的样本建立独立的统计模型 选取一个特定视角 采用主成分 分析的方法 构建该视角下人脸的形状模型 一 s s 只 f 饥 f 2 4 j l 式 2 4 中 s 是该视角下的一幅人脸图像的形状信息 s 是同一视角下不周身份人 形状的均值 只是利用p c a 方法求出的一组形状特征向量 6 为s 在这组特征向 量下的投影 即形状参数 删形状建模的目的 实际上就是用一组新的坐标轴 1 0 基于从m 与张量分解的多视角人脸合成算法 来表示数据 将特征点在横纵坐标轴上的投影 替代为映射在特征向量上的形状 参数 这样做不仅可以降低数据的维数 使后续操作更加简便 而且使特征向量 所蕴含的信息量更加集中 即只使用几个主要特征向量就可以大体恢复出原始数 据 在这种情况下 可以舍弃部分含信息量少的特征向量以达到降低数据维数的 目的 式中 代表所选取的特征向量的个数 2 2 3 多视角人脸纹理建模 建立模型之前需要对原始图像进行预处理 并对不同视角的图像分别构建样 本集合 针对不同视角的灰度图像 采用p c a 的方法 建立人脸纹理模型 5 8 1 旦 丁 丁 c f 包 f 2 5 扛l 式 2 5 中 丁表示训练集中指定视角下的一幅图像 于表示该视角下所有训练图 像灰度的均值 p 表示利用p c a 生成的能够集中反应图像灰度变化的一组纹理特 征向量 6 f 代表图像在特征向量上的投影 即纹理参数 m 表示所选取的特征向 量的个数 对该视角下训练图像的协方差矩阵进行奇异值分解 所得的左矩阵就 是特征向量只 该向量反映了不同图像偏离训练图像的平均灰度值的程度 因此 均值图像与这种在投影值作用下因人而异的 偏离程度 相加 可以重新构建出 原图像 2 2 4 多视角人脸混合建模 形状和纹理模型建立之后 图像可以分别表示成在各自特征向量上的一组形 状参数与纹理参数 为了使后续的优化过程更加简便 我们需要将上述两种参数 合二而一 寻找到一种能同时反映形状和纹理变化的复合参数f 5 2 以及当参数变 化时特征向量的新形式 将上述两组参数进行连接 得到一组复合参数6 6 搿 p 6 式 2 6 中 叱是一个加权对角矩阵 用来调整形状与纹理数据之间单位的差异 对复合参数6 进行p c a 分解 构建如式 2 7 所示的混合模型 q 为一组混合了形 状与纹理信息的特征向量 c 为复合参数在这组向量上的投夥5 9 1 即混合模型参数 6 q 一阱c 2 7 将形状特征向量与纹理特征向量相混合 得到式 2 8 所示的特征向量的新形 式 第二章人脸图像特征提取 s s 心q c 2 8 r r 只q c 从该模型当中可以看出 形状与纹理数据可以由同一个参数c 来表示 在训 练模型阶段如果能准确地求出特征相量与均值 在匹配阶段 只需要对混合参数c 进行迭代直至收敛 就可以实现新图像形状的构建 2 3 基于a a m 的特征点提取 主动表观模型具有将图像的形状与纹理相分离的特点 因此准确有效地提取 图像的形状特征点是整个算法中十分重要的准备工作 a a m 形状建模过程中 要 求同一视角下不同人脸特征点的个数相同 而且相同序数的特征点应该表示灰度 图像上物理意义相应的点 现有的特征点提取算法 大多数都是根据图像的灰度 特征来进行提取 具有较大的随机性 不能完全满足上述要求 因此 我们采取 手动的方式标记图像的特征点 一来可以精确地标定图像特征所在的位置 二来 可以满足不同人脸特征点数目以及物理意义一致性的要求 建立删模型阶段 我们对3 0 个不同身份 每个人8 种不同视角共计2 4 0 幅人脸图像进行特征点的标记 每幅图像标记8 6 个特征点 分布在人脸的五个特 征区域 眉毛 眼睛外轮廓及瞳孔 鼻梁及鼻翼 嘴唇外轮廓 脸颊外轮廓及额 头 在a a m 模型匹配阶段 1 6 我们需要对一幅新输入的人脸图像 即测试图像 通过迭代匹配的方法 自动生成该人脸特征点的坐标 从而替代手动标点的复杂 工作 使算法更加方便 实用性更强 特征点自动生成的方法 即是对于一幅测试图像通过优化求出其对应的混合 模型参数的过程 从理论上讲 就是要求出使式 2 9 的目标函数达到最优值的参 数 呼l c 一正1 2 2 9 其中互是根据形状模型对测试图像进行采样的结果 z 是利用纹理模型对测 试图像进行重构的结果 其中形状与纹理模型中虽然参数众多 但平均值与特征 向量都是在删模型的建立阶段确定的 在迭代匹配阶段 其值并不发生变化 但混合模型参数c 控制着形状与纹理数据的变化 因此确定参数变化与纹理差异之 间的变换关系尤为重要 在a a m 理论当中 这种变换关系用一种线性表达式来近 似 从匹配结果来看 这种近似达到了非常好的效果 6 c a 6 t 占丁 i z 2 1 0 式 2 1 0 中 彳是通过对艿c 与6 r 进行多变量线性回归得到的参数 4 是由训练图 像确定的 因为训练图像拥有精确的特征点位置 因此由模型确定的混合模型参 1 2 基于a a m 与张量分解的多视角人脸合成算法 数c 也十分准确 通过对训练图像的c 进行不同程度的扰动 就可以准确地确定出 在不同扰动下6 丁的变化 针对多组参数就可以很好地拟合出么的值 测试图像特征点的提取流程 1 标注训练集图像的特征点 构建形状模型与纹理模型 2 根据训练图像特征点的均值 求出混合模型参数的初始值c 0 3 计算纹理误差的能量 e l 艿丁j 2 l i z 1 2 4 计算模型参数的偏移量 艿c 爿 6 丁 5 令七 1 更新模型参数 c 1 一七 6 c 6 根据更新后的模型计算纹理误差 e 防丁 r 7 当e e 时 得到准确的模型参数 否则 令七 1 5 后 0 5 七 o 2 5 返回 步骤 5 8 根据形状模型重建测试图像的特征点 s 可 只叱q c 迭代匹配的流程如图2 4 所示 测试图像 群曩 襄禅1 l t 十 霞 幅 训练图像 i 黪i q 一 二滋 越剃o 旷 野f 而型凸n两u 参数偏移量 6 c 彳 6 r 口 计算纹理误差 6 丁 正一z 图2 4 测试图像特征点自动匹配流程图 我们针对不同视角的人脸图像 进行特征点的自动匹配 图2 5 a 1 a 3 中第 一幅图为在该视角下人脸图像的初始形状 后续图像为经过若干次自动匹配后的 形状 最终算法收敛到人脸图像特征的准确位置上 图中的实验结果说明 在仅 输入一幅测试图像的条件下 我们能够准确而自动地匹配到图像的形状特征位置 第二章人脸图像特征提取 1 3 第1 次匹配第2 次匹配第3 次匹配第4 次匹配第5 次匹配 a 1 第5 5 次匹配第5 7 次匹配第6 1 次匹配第6 6 次匹配 a 3 图2 5 不同视角下形状特征点匹配结果图 a 1 正面图像经5 次匹配后的结果 a 2 与正面夹 角3 0 0 图像经2 7 次匹配的结果 a 3 与正面夹角8 0 0 图像经6 6 次匹配后的结果 在完成形状特征匹配之后 根据特征点所在的区域对原始图像的灰度进行采 样 从而得到去除背景信息后的人脸图像 即不同视角下人脸的纹理信息 如图 2 6 所示 翼警繁铲器譬黑扩嚣罐髯一 哥滔鬈潍 罂 港 7 写羹磊 纛 两意 瀑围穗巍一再圆薄q 一圈豳 1 4 基于a a m 与张量分解的多视角人脸合成算法 图2 6 不同视角下测试图像的纹理信息 2 4 本章小结 本章的目的在于对输入的人脸图像进行预处理 利用主动表观模型将图像的 人脸与背景分离 并获得新输入人脸图像的形状信息和纹理信息 本章首先介绍 了对原始图像进行旋转对齐的方法 其次 分别从形状建模 纹理建模 混合建 模三方面阐述了删模型的建立过程 最后 通过分析删匹配流程 以实例 说明了对一幅新输入的测试图像进行特征点自动匹配的方法 从实验结果来看 利用aa m 模型可以很好地对多视角人脸图像进行预处理 实现分离人脸形状和纹 理信息的目的 第三章连续视角下的人脸形状合成 第三章连续视角下的人脸形状合成 3 1 引言 人脸图像由于其所蕴含的丰富信息 容易受到光照 表情 视角 身份等多 种因素的影响 因此如果不加区分地对各种人脸图像进行统一处理 必将会是一 项庞大又繁琐的工程 本文主要致力于视角因素变化下人脸图像的合成 因此 本章内容将着力阐述 如何将影响人脸视角变化的信息从输入图像集合中提取出 来 并对其进行单独处理 最终得到人脸在新视角下的形状特征点 在此 我们 采用张量分解理论 来将图像包含的各个因素逐一分离唧 张量分解是一种对图像集合进行多线性描述的方法 6 l 涵盖了线性分析 双 线性分析 s v d 分解 主成分分析等理论 为解决计算机视觉领域的多种问题提 供了有力的工具 张量分解理论可以在其余因素保持不变的情况下 对分离出的 单因素采用传统线性分析的方法进行处理 依此类推 可以对造成图像变化的各 种因素逐个进行分析 换言之 张量分解理论是主成分分析理论的一种延伸 在 前一章我们提到的p c a 理论是通过对同一视角下图像的像素信息进行奇异值分解 来求得基向量 而在张量分解理论中 需要先将图像按不同方式排列 再按照高 阶奇异值分解的方式 对按视角顺序排列的图像 分解得到视角信息矩阵 按身 份顺序排列的图像 分解后得到身份信息矩阵 可见 张量理论在p c a 理论的基 础上更进一步1 2 l j 将影响图像的不同因素分离开来 对人脸图像的处理工作 具 有十分重要的作用 3 2 张量分解 本节先对张量的基本理论及表达式做一简要介绍 之后将阐述张量分解以及 张量重构的变换式 并结合人脸图像实例说明影响人脸的各种因素的提取与融合 过程 3 2 1 张量的基本理论 张量是数据的一种统一表达方式 可以理解为一种维数不定的矩阵 例如向 量是一阶张量 矩阵是二阶张量 文章中为了表达清晰 我们仅将3 维及更高维 数的矩阵称为张型6 2 1 r 维的向量可以表示成a r j l x 2 k 其中a 表示张量 表示第 维数空 间的维数 将张量沿第刀维展开 可以写成a r 她 如x 4 一 私 川 即是将高阶 1 6 基于a a m 与张量分解的多视角人脸合成算法 张量按第刀维排列成矩阵 张量的 展开 是将待提取的维数排列为行向量 其 他维数依次在列方向上按顺序排列的过程 以三维张量为例 其在不同维度上展 开的结果如图3 1 所示 i i i l i l i l 1 3 a 1 1 2 a 2 i l 1 3 1 3 1 3 1 2 a 3 图3 1 张量展开示意图 a 1 三维张量数据沿第 维展开的方式 a 2 三维张量数据沿第厶维 展开的方式 a 3 三维张量数据沿第厶维展开的方式 张量与矩阵的乘积仍是张量记作a m 与普通的乘法不同 符号 是 种 与内积相似的张量乘法 6 3 计算公式如式 3 1 所示 第三章连续视角下的人脸形状合成 1 7 a m 抽厶钿 抽 气 钿 如历厶 3 1 其中 a 表示n 维张量 m 是大小为 的矩阵 称为张量的模一万乘法 万 为张量展开时所采用的维度 上述计算式可以用以下过程来表述 将张量沿第疗维 展开 用转置后的矩阵m 左乘以展开后的张量 所得的结果就是张量与矩阵的乘 积 由此可见 张量乘法是内积的一种拓展表达方法 将两个向量之间的乘积关 系延伸到了高维空间 而且由于张量中包含信息的多样性 张量乘法可以将矩阵 的信息融入张量当中 从而实现对张量部分维度上的数据进行单独处理的目的 张量乘法满足以下两条性质 2 2 1 l交换律 a u 矿 a u y a 矿 u 3 2 a y u 式 3 2 中彳 尺 l k 厶 爿1 mx 蛳 u 火厶 l y r 厶 k 2 结合律 a u 矿 a y v 3 3 式 3 3 中彳 尺 k 爿厶x 爿 u r 厶 k y r 吒 厶 借助这两条性质 我们可以更灵活地进行张量乘法 既可以将影响张量的多种因 素先进行统一处理 化零为整简化计算 也可以通过对张量数据的各因素进行分 别处理 得到随不同因素变化的合成图像 3 2 2 张量分解的步骤 张量分解就是要求解高维张量数据的核张量与系数矩阵 张量的分解可以由 式 3 4 表示 d z x lu 2e 2 已 厂 3 4 其中d 是原始高维数据所构成的张量 u 是反映不同特性的系数矩阵 z 是核张 量 可看作s v d 分解中的对角矩阵畔 它包含了不同系数矩阵之间的邻接关系 将张量d 沿第一维展开 进行s v d 分解之后的左矩阵 就是系数矩阵u 可见 系数矩阵表示了按不同维数展开后的张量所在的特征空间 从而可以将高维数据 d 看成空间上的投影与构成空间的向量的乘积 因此可以对原