【毕业学位论文】（Word原稿）基于表观的人脸姿态估计问题研究-计算机应用博士论文

分类号 密级 编号 中国科学院研究生院 博士学位论文 基于表观 的 人脸 姿态估计问题研究 马丙鹏 指导教师 高 文 研究员 中国科学院计算技术研究所 申请学位级别 工学博士 学科专业名称 计算机 应 用 论文提交日期 2009年 4月 论文答辩日期 2009年 6月 培养单位 中国科学院计算技术研究所 学位授予单位 中国科学院研究生院 答辩委员会主席 声 明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名： 日期： 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编本论文。 （保密论文在解密后适用本授权书。） 作者签名 ： 导师签名： 日期： I 摘要 人脸识别是计算机视觉和模式识别研究中的热点问题 , 近年来受到越来越多研究者的重视 . 同时 , 作为生物特征识别的关键技术之一 , 其在公共安全、信息安全、金融等领域具有潜在的应用前景 . 而姿态估计问题作为人脸识别中的关键问题 , 对于提高人脸识别的准确率具有重大的意义 . 本文主要研究内容就是围绕人脸识别问题 , 研究姿态变化下的人脸图像的姿态估计技术 . 本文主要针对当前姿态估计问题中的困难问题 , 利用图像的表观特征 , 在统计学习的理论的框架下 , 提出了一些能够有效提高姿态估计准确率的算法 . 本文的主要研究成果包括： 1. 提出 基于 波器的对称性特征的提取 方法 . 本论文的主要贡献在于提出了一种利用图像的表观进行头部姿态估计的新方法 . 在传统的基于图像表观的姿态估计中 , 图像的特征通常通过子空间算法进行提取 , 例如主成分分析 , 费舍尔判别分析等 , 这些算法的由于并不是专门针对姿态问题设计的 , 因此其提取的特征并不直接同姿态相关 . 另外 , 这些算法直接将 二维 的人脸图像转换成 一维 的向量进行处理 , 丢失了人脸的结构信息 . 本文认为姿态估计中应用 的特征应该更加紧密的同姿态变化相关 , 同时对于人的身份 , 光照 , 表情和数据库的差异等因素鲁棒 . 在这种思想下 , 结合头部的对称性是一个广为接受的假设 , 本文提出面部图像的每一行灰度特征的对称性同头部的姿态紧密相关 , 并且同人的身份无关 , 能够利用该对称性特征进行头部的姿态估计 . 具体来说 , 本文使用了快速傅里叶变换的方法提取对称性特征 . 为了消除光照和噪声的影响 , 进一步使用了一维 在不同数据库上的实验结果表明 , 基于 特别是在 训练数据和测试数据来源的数据库不同时 , 基于 波器的 对称性特征仍然能够取得不错的实验结果 , 表明 方法 具有很好的推广能力 . 2. 提出基于 判别分析的对称性特征的提取方法和基于局部判别分析的对称性特征的提取方法 . 在基于 波器的对称性特征的基础上 , 本文进一步提出了 基于 判别分析的对称性特征的提取方法和基于局部判别分析的对称性特征的提取方法用于姿态估计问题 . 虽然基于 波器的对称性特征能够紧密的姿态本身相关 , 在姿态估计问题中取得不错的实验结果 , 但是对称性特征的提取过程中没有使用 到类别的信息 . 而在模式识别中一般认为 , 通过使用类别的信息 , 能够增强特征的判别能力 . 例如 , 在人脸识别中 , 使用类别信息的线性判别分析方法的性能要优于没有使用类别信息的主成分分析方法的性能 . 因此在本文中 , 为了提高对称性特征的判别能力 , 将基于 实验表明 , 对称性特征和费舍尔判别分析方法相结合的特征能够进一步的提高姿态估计的准确率和鲁棒性 . 除了使用判别基于表观的人脸姿态估计问题研究 ：摘要 征外 , 针对姿态估计中的多模态问题和非线性问题 , 在对称性特征中引入了局部费舍尔 判别分析的方法 , 从而提出了基于局部判别分析的对称性特征的提取方法 . 实验表明了该方法在姿态估计问题中的有效性 . 3. 提出基于姿态类别间距的判别分析方法用于提高姿态估计的准确率 . 在传统的判别分析方法中 , 计算类间散度时往往将每个类同等的对待 . 但是在姿态估计问题中 , 姿态为 0 度和 1 度的图像之间的差异要远小于 0 度和 90 度的图像之间的差异 , 因此姿态类别之间并不是平等的 . 换句话说 , 在姿态分类 (估计 )问题中 , 姿态类别之间可以定义距离度量 . 针对姿态估计问题 , 本文提出了基于姿态类别间距的判别分析方法 . 在该方法中 , 姿态类别之间的距离被带入到类间散度矩阵的计算中 : 对于不同类的样本 , 其姿态类别间距越大 , 则其类间散度越小 ; 反之则相反 . 在这种计算方式下 , 邻近姿态类别的姿态样本之间的权重得到了提高 , 而姿态类别距离远的样本之间的权重被显著的降低 . 这种对类间散度矩阵调整的思想是基于这样事实 , 在样本被错分时 , 往往被错分到邻近的类别中 , 而不是姿态类别距离较远的类别 , 因此在计算类间散度矩阵时 , 应该增加邻近类的权重 , 使邻近类的样本更加可分 , 从而使特征的判别能力得到了显著的增强 . 基于姿态类别间 距的判别分析方法的另外一个创新在于为了保持类内的局部结构 , 在计算类内散度矩阵时 , 同时引入了相邻类的样本的相似性 . 总之 , 通过上述工作 , 本文对姿态估计问题进行了深入研究 , 研究结果表明 : 基于波器的对称性特征 更加与姿态估计问题紧密相关 , 能够充分的反映姿态信息 ; 通过 进一步和线性判别分析相结合 , 提高对称性特征的判别能力后 可以有效地提高姿态估计算法的准确率 , 并提高姿态估计系统的鲁棒性。 关键字 人脸识别 , 头部姿态估计 , 波器 , 傅里叶变换 , 线性判别分析 of on an To to to to In of be as a in at of of On of as (1)an In by to is D in of is to to to to as of in of as an is on a is is to at of is to to of of as a 1D of is as to of in 1D to on of 于表观的人脸姿态估计问题研究 ： V is by (2)on of is of To of in is to by to in A of is (3) a in of as to be in a be at of is to in to on to is to of is by of in In a on is to of be DA of V 目 录 摘要 . I . 录 . V 图目录 . 目录 . 一章 绪论 . 1 课题研究背景 . 1 研究意义 . 1 主要挑战 . 3 头部姿态估计问题综述 . 3 姿态估计问题简介 . 3 基于外观的姿态估计方法 . 5 基于模型的姿态估计方法 . 12 主要头部图像数据库 . 14 本文的主要贡献及组织结构 . 15 主要贡献 . 15 组织结构 . 16 第二章 基于图像表观对称性的姿态估计方法 . 19 引言 . 19 头部图像的对称性特征的提取 . 20 图像的表观对称性和人脸姿态变化的关系分析 . 20 里叶变换的对称性属性 . 20 称性特征的度量及其验证 . 22 基于一维 波器的对称性特征的提取方法 . 24 一维 波器介绍 . 24 征的提取过程 . 26 一维 波器的优势分析 . 27 征的维数分析 . 28 基于表观的人脸姿态估计问题研究 ： 目录 . 征的对称性分析 . 29 征的提取方法的简化计算 . 29 征在姿态估计问题中的应 用 . 30 实验结果及分析 . 31 实验数据库 . 31 对比实验设置 . 38 实验 1: 测试数据和训练数据同质 . 38 实验 2: 训练数据与测试数据异质 . 41 小结 . 44 第三章 对称性特征的判别能力增强 . 45 引言 . 45 判别能力增强的对称性特征的提取方法 . 45 费舍尔判别分析方法介绍 . 46 判别能力增强的对称性特征的提取方法的计算过程 . 47 征的维数分析 . 47 征的计算效率分析 . 47 实验结果及分析 . 48 局部判别能力增强的对称性特征的提取方法 . 60 费舍尔判别分析的点对形式 . 61 局部保持投影方法介绍 . 61 局部费舍尔判别分析方法介绍 . 62 局部判别能力增强的对称性特征的提取方法的计算过程 . 64 实验结果与分析 . 67 小结 . 70 第四章 基于类别间距的姿态判别分析方法 . 71 引言 . 71 基于类别间距的姿态判别分析方法 . 73 基于类别间距的姿态判别分析方法的描述 . 73 非相似性权重 设置 . 74 相似性权重 设置 . 75 基于类别间距的姿态判别分析方法的计算效率分析 . 77 实验结果及分析 . 77 基于表观的人脸姿态估计问题研究 ： 目录 . 合成数据上的实验结果及分析 . 78 姿态估计问题中的实验结果及分析 . 79 小结 . 81 第五章 系统原型实现 . 83 引言 . 83 原型系统组成 . 83 系统模块简介 . 84 人脸检测 . 84 人眼定位 . 85 人脸姿态估计 . 86 系统实例 . 87 小结 . 88 第六章 结论 . 89 参考文献 . 91 致谢 . i 作者简介 . 目录 图 使用 3D 术对姿态变化的测试结果 . . 2 图 头部姿态估计示意图 . . 4 图 头部的对称平面和姿态变化关系的示意图 . . 20 图 函数 )t 和 )t 的对称性测量和反对称性测量 . . 22 图 在 据库中不同姿态角度时的对称性测量 . . 24 图 4 个不同频率的 函数 . . 26 图 一些图像的 述 . . 26 图 法的流程示意图 . . 27 图 征的非对称性测量 . . 30 图 据库的图像示意 . . 32 图 像头 . 33 图 置跟踪器 . 33 图 系统结构图 . 34 图 使用地球仪标定坐标系 . . 35 图 被采集者和摄像机 . . 36 图 采集测量程序界面 . 36 图 据库的示例图像 . 37 图 据库中人脸检测结果示意图 . . 38 图 据库上不同方法的姿态分类准确率 . . 40 图 据库上不同维数时的姿态分类准确率 . . 40 图 据库上的误差均值 . 41 图 数据异质时各种方法姿态估计的误差均值 . . 42 图 数据异质时不同维数时的误差均值 . . 43 基于表观的人脸姿态估计问题研究 ： 图目录 X 图 据库上的姿态估计准确率 . . 49 图 据库上的误差均值 . . 49 图 据库上不同维数时的误差均值 . . 50 图 数据异质时不同