约束局部模型.ppt

1、基于信息度量学习约束局部模型的人脸定位研究,指导老师：张宏鑫 副教授 作 者：程允胜 答辩日期：2012年x月x日,报告大纲,绪论研究目标,准确自动定位出静态图像以及视频中可变形结构 的外形结构（特征点定位）； 本文主要讨论人脸特征点定位,绪论-研究意义,人脸识别（特别是单图人脸识别） 图像修复 图像可变形目标替换（PS） 三维构建,约束局部模型（constrained local models）,约束局部模型通过利用局部模型在特征点附近搜索确定每个特征点位置，并结合形状拟合自动准确对图像进行校正。 CLM类似于snakes模型，不同的是目标形状是受约束的形状。 CLM主要组成：形状模型（模型

2、受约束的形状）、局部外观模型、拟合优化策略,约束局部模型形状模型,物体的形状由特征点以及特征点之间的连通性表示。,特征点选择：1、准确描述物体结构 2、特征点位置明确可靠,约束局部模型形状模型PCA分析,物体的形状 可以用2n维向量x表示。 PCA分析以后，形状表示为 其中 平均形状，P特征向量矩阵，b模型参数。 PCA分析作用： 1、降维 2、去噪声信息 3、约束形状,约束局部模型形状模型PCA分析,一般的，当 在范围 之内，可以约束模拟出来的形状是有效的形状 ， 特征值,形状模型的主要模型,约束局部模型局部外观模型,局部模型主要有两部分组成：局部外观信息提取 、局部分类器 。 外观提取就是

3、准确全面而且概括性的定义每个特征点周围的特征 。 局部分类器就是代价函数，评价当前特征点信息与模板信息的匹配度。,约束局部模型局部外观信息提取,CLM局部模型局部特征信息提取算法比较常用的有一维patch二维patch 。,约束局部模型局部分类器,一个简单分类器 ，曼哈顿距离 响应值越大匹配度越小。,约束局部模型拟合优化,通过局部模型，我们获得当前形状每个特征点周围的匹配概率 有了每个特征点的响应曲面以后，便可以进行拟合获得形状参数,约束局部模型CLM搜索拟合算法,CLM搜索拟合算法 输入初始的特征点位置信息。 重复： 1、对每一特征点，利用局部检测器对特征点周围进行搜索，算出相应的响应值，获

4、得每个特征点周围的响应曲面。 2、根据形状模型拟合当前的形状，更新相应的模型参数以及下一步迭代的特征点位置。 直到收敛 收敛的定义是每两次迭代之间，模型的形状参数或者特征点位置变化小于一定的阈值。,信息度量学习CLM模型CLM的发展,局部模型：特征提取，主要包括local pattern patch，gabor滤波器等。 局部分类器,有SVM, adaboost，PCA，KPCA等。 拟合优化：ASM，COF。,CLM发展PCA局部模型,给定某个特征点局部外观特征 ，相应的PCA分析表示为： 代价函数为,CLM的发展，,可以表示为最小二乘问题 等价于 凸二次函数拟合响应曲面,的发展的缺陷,模型

5、有两大缺陷：多极小值模型以及极小值不在期望位置。 原因：局部特征信息结构有限；局部分类器只考虑正确点上的信息没有考虑附近的信息。,信息度量学习CLM代价函数一般式,一般的，局部模型的响应函数（代价函数）都可以表示为： 其中 表示位于图像I坐标 的响应值， 表示位于图像坐标处的外观特征信息（如二维patch）。A是目标矩阵，在这里称为映射矩阵。,信息度量学习CLM代价函数一般式,在基于协方差局部模型中， 在基于PCA模型的局部模型中,信息度量学习CLM代价函数优化目标函数,优化目标函数标准： 1、响应曲面应该具备全局极小值点是唯一的极小值点，而且该极小值点位于特征点期望的位置上。 2、每个特征点

6、的优化目标函数准确地模型、约束特征点外观信息分布。 3、优化目标函数应该兼顾不同样本之间的差异性,信息度量学习CLM代价函数优化目标函数,基于PCA局部模型统计响应曲面优化目标函数 表示PCA局部模型的平均响应曲面 CLM代价函数优化目标是希望每一样本的响应曲面与平均响应曲面一样。 其中 表示位置处 的代价函数响应值与平均响应曲面的值之间允许的误差。在本文， 表示处PCA局部模型该处响应曲面的标准差,信息度量学习CLM代价函数优化目标函数,人脸部分特征点的平均响应曲面,信息度量学习CLM信息度量学习,给定相似元素集合S以及不相似的元素集合D，信息度量学习问题可以表示为： 是Bregman矩阵散

7、度，主要衡量两个矩阵的相似性， 表示A属于正定矩阵。 信息度量学习优点：在已有的映射矩阵做监督学习，保持了已有的映射矩阵的优点加上任意空间上的距离约束。,信息度量学习CLM代价函数的信息度量学习优化,CLM模型的距离定义,信息度量学习CLM代价函数的信息度量学习优化,CLM模型归约为信息度量学习问题 信息度量学习优化在PCA代价函数基础上进行监督学习，保持了PCA代价函数的优点，克服了PCA局部模型在处理局极小值点上的不足,信息度量学习CLM,信息度量学习CLM方法比较,实验结果实验方法,图库：数据库colorferet 正脸图像，300张做训练样本，400张做测试样本。 评价标准：平均误差

8、以及归一化平均误差 归一化平均误差首先将所有图归一化到同一分辨率。,实验结果结果比较,0-26号特征点这些特征点主要是轮廓以及眉毛处的特征点，这些特征点由于受到背景头发等因素的干扰，特征点附近的外观特征样本之间差异极大十分难处理。我们的方法在处理局部外观变化大的情况下远远优于PCA局部模型方法。,实验结果结果比较,不管是平均误差还是归一化平均误差，ITML局部模型的结果都比基于PCA局部模型好很多。数据表明，我们的实现方法比基于PCA局部模型实现方法在特征点定位上精确很多。,实验结果,总结,提出代价函数一般式 利用PCA局部模型响应曲面提出优化目标函数 提出用信息度量学习算法进行优化 优化过程考虑周围