人脸特征点定位及其应用

1、整体介绍l主要内容：当前常用的特征点定位方法，主要介绍AAM。提出在人脸特征定位中基于肤色信息的AAM模型的改进方法。介绍一个肖像画生成系统的设计及实现。l人脸特征点定位的概念u人脸特征点定位及其应用 沈育平 PB99011073常用的几种特征点 定位算法l基于灰度及其变化信息l基于可变形模板l基于神经网络l基于Active Contour Model（Snake，主动轮廓模型）l基于Active Shape Model（ASM，主动形状模型）l基于Active Appearance Model（AAM，主动表观模型）由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法l基于AAM

2、(Active Appearance Model)模型AAM模型常用的几种特征点定位方法cQggcQxxgssQgQ由控制参数矢量c控制形状形状和纹理纹理的变化，调节c可以得到不同的形状和脸部纹理，从而合成不同的人脸调节c可以合成不同的人脸形状脸部纹理轮廓变化模式矩阵 脸部纹理变化模式矩阵 精细定位精细定位粗略定位粗略定位常用的几种特征点定位方法lAAM搜索过程原图像原图像得到粗略定位不断调整C，使合成人脸的灰度与图像灰度差达到最小值得到精细定位由计算公式可得各特征点的位置对每一个比例、位置、旋转角度进行迭代搜索常用的几种特征点定位方法lAAM搜索时间分析85.1%14.9%有很大的改进空间基

3、于肤色信息的AAM改进方法l肤色模型u人脸特征点定位及其应用 沈育平 PB99011073采用YCrCb彩色空间进行分析Y反映的是图像的明度，故只Cr,Cb分量分析可以不受图像的亮度影响。肤色像素在Cr-Cb空间中的分布相对很集中，可以用Gauss分布来描述 l高斯分布基于肤色信息的AAM改进方法u人脸特征点定位及其应用 沈育平 PB99011073l肤色模型所考察的像素和肤色的相似度：象素的矢量象素的矢量 与高斯分布中心的距离与高斯分布中心的距离基于肤色信息的AAM改进方法 )(,21exp),(1TTTMxMxECxEMCbCrxmxCmxCbCrP，u人脸特征点定位及其应用 沈育平 PB

4、99011073TCbCrx,计算相似度自适应阈值分割（二值化）lAAM改进方法AAM的缺陷对彩色图像进行特征点定位时无疑忽略了色彩信息的作忽略了色彩信息的作用用，可以充分利用肤色信息，使搜索过程加速。一种基于肤色模型的人眼定位方法l眼睛在二值图像中的双孔结构基于肤色信息的AAM改进方法眼睛的双孔结构u人脸特征点定位及其应用 沈育平 PB99011073lAAM改进方法基于肤色模型的人眼定位方法基于肤色信息的AAM改进方法计算相似度使用自动阈值分割算法进行二值化对二值图进行去噪音处理，就是在以每一个肤色象素为中心的5*5邻域内统计肤色象素的个数，超过半数时中心点保肤色lAAM改进方法基于肤色模

5、型的人眼定位方法基于肤色信息的AAM改进方法u人脸特征点定位及其应用 沈育平 PB99011073对二值图进行腐蚀运算，去掉各区域之间的细连线用边缘跟踪算法跟踪各区域的轮廓对所有区域的轮廓进行种子填充，得到“掩盖图”将二值图与“掩盖图”求异或，即可得到二值图中的所有孔基于肤色信息的AAM改进方法lAAM改进方法基于肤色模型的人眼定位方法u人脸特征点定位及其应用 沈育平 PB99011073获取候选眼，对每个孔进行检测若满足以下条件则为候选眼：阈值D获取候选眼对，将候选眼两两配对若符合下列条件，则为候选眼对：1.两包围盒不相交2.两包围盒中心连线斜率不超过阈值3.两包围盒大小不超过一定范围001

6、,kk对每个候选眼对进行模板匹配，计算平均眼对灰度与候选眼对所在区域灰度的相似度lAAM改进方法改进： 确定眼睛位置后，根据五官位置分布的规律性，可以由此确定人脸的位置及方向，从而为为AAM模模型的搜索提供一个较好的初始位置和大小型的搜索提供一个较好的初始位置和大小，并且可以缩小搜索窗口缩小搜索窗口，从而减少AAM的搜索时间 基于肤色信息的AAM改进方法u人脸特征点定位及其应用 沈育平 PB99011073lAAM改进方法基于肤色信息的AAM改进方法用基于脸色信息的人眼定位方法确定人眼根据眼睛和脸部区域的关系获得脸部区域范围，缩小搜索窗口根据人眼位置确定AAM模型的初始搜索姿态使用AAM搜索算

7、法，得到特征点精确定位u人脸特征点定位及其应用 沈育平 PB99011073基于肤色信息的AAM改进方法l性能比较图片原模型定位间改进后模型定位时间改进量占原来的百分比122.6625.22177.0%220.1786.93965.6%321.6219.35156.8%418.4886.37665.5%522.9459.00460.6%621.9248.78259.9%721.8504.22480.7%823.1398.68462.5%921.7476.21371.4%1022.4225.95173.5%平均改进百分比67.4u人脸特征点定位及其应用 沈育平 PB99011073l系统结构人物

8、肖像画自动生成系统u人脸特征点定位及其应用 沈育平 PB99011073肖像画自动生成系统肖像画自动生成系统头发处理脸部器官处理合成l开发工具： ，AAM-APIl脸部器官处理过程人物肖像画自动生成系统u人脸特征点定位及其应用 沈育平 PB99011073自然三次样条自动阈值分割特征点定位使用84个特征点获得各器官包围盒l头发的提取过程人物肖像画自动生成系统只将Y值（亮度）T(50)的像素保留使用数学形态学的闭运算将头发中的噪音(白色小孔)滤去进行两次腐蚀，然后跟踪轮廓每一轮廓对应一个包围盒根据头发区域与脸部区域的位置关系，确定头发区域用种子填充的方法填充头发区域l肖像画的合成及显示 人物肖像画自动生成系统u人脸特征点定位及其应用 沈育平 PB99011073l系统运行界面l系统结果人物肖像画自动生成系统系统存在的一些问题和待改进的地方： l系统分析总结从系统的结果来看，对于大多数人脸图像，都可以得到相应的肖像图人物肖像画自动生成系统l系统对头发的处理并没有考虑头发被分割成若干区域的情况。l系统没有对耳朵进行处理 丢失l头发边界的处