融合全局和局部特征人脸识别

融合全局和局部特征人脸识别第一页，共22页。目录课题研究背景和意义全局和局部特征的不同作用和意义全局和局部特征的提取全局和局部分类器层级集成实验与分析结束语第二页，共22页。研究背景和意义人脸识别是计算机视觉和模式识别研究中的热点问题。目前，最好的人脸识别系统在理想情况下已经能够取得令人满意的识别性能。但大量测试和实践的经验表明：非理想条件下的人脸识别技术还远未成熟。本文主要针对人脸识别中的特征提取问题，提出将全局的Fourier特征与局部的Gabor特征进行层级集成：第一级分类器采用全局特征，进行粗略的分类；而第二级分类器同时采用全局和局部特征，进行更为精确的分类。实验结果表明，全局和局部特征的层级集成不仅可以提高人脸识别系统的正确率，也能够使系统速度得到较大提升。第三页，共22页。全局和局部特征的不同意义在人类人脸识别的过程中，人脸的全局特征和局部特征都起到了作用。人脸的全局特征主要包括肤色、脸型、五官的分布等，用来进行粗略的匹配；人脸的局部特征主要指面部五官的特点以及面部的奇异特征，用来进行精细的确认。局部特征已经广泛的用于人脸识别，并取得了很好的效果。相对而言，基于全局特征的识别方法效果却不甚理想第四页，共22页。全局和局部特征的不同作用图1全局和局部特征在人脸识别中的不同作用

第五页，共22页。全局傅里叶特征的提取全局特征是指其特征向量的每一维都包含了人脸图像上所有部分（甚至所有像素）的信息，因此反映的是人脸的整体属性。傅里叶变换是一种常用的频谱分析方法。本文采用二维离散傅里叶变换系数的低频部分作为全局特征。对一幅人脸图像进行二维离散傅里叶变换可以用下面的公式表示：图像f(x,y)是一个实值函数，因此傅里叶变换的输出是复数形式即：第六页，共22页。全局傅里叶特征的提取经过傅里叶变换后图像可以表示为所有频段的实部和虚部变换系数。一般来说，低频系数反映的是图像整体的变化，而高频系数反映的是图像局部细节的变化。在本文中，只有低频段的Fourier变换系数被用作全局特征。利用低频Fourier变换系数重构的图像中，局部的变化基本消失了而全局的变化依然存在。第七页，共22页。局部Gabor特征提取Gabor特征由于其良好的空间局部性和方向选择性，能够很好的描述图像的局部细节变化。此外，作为一种局部特征，Gabor特征对人脸的表情变化和局部遮挡具有较强的鲁棒性。因此，Gabor特征近年来已经成为最为有效的人脸表示方法之一。二维Gabor滤波器的核函数定义为一个用高斯包络函数约束的平面波。对图像进行Gabor特征提取是通过多个Gabor核函数分别与图像进行卷积操作来完成的。从公式的定义中可以看出，当Gabor核函数与图像进行卷积时，主要提取的是靠近高斯函数中心的图像信息，而忽略距离中心较远的图像信息。因此，与傅里叶变换提取整幅图像的信息相比，Gabor变换更加关注人脸图像局部区域内多尺度、多方向的信息。第八页，共22页。局部Gabor特征提取将人脸图像进行均匀分块，落在每个图像子块内的Gabor特征组成一个特征向量：提取多个局部Gabor特征向量（LocalGabor

FeatureVector，LGFV）第九页，共22页。全局和局部分类器层级集成

并行集成过全局和局部特征提取之后，图像可以表示为1个全局Fourier特征向量和N个局部Gabor特征向量全局和局部分类器分别包含不同的判别信息，采用加权求和的方式将全局分类器和局部分量分类器进行并行集成会提升人脸识别系统的正确率。将N个局部分量分类器进行加权求和，得到局部集成分类器全局分类器和局部分类器也可以通过加权求和的方式进行集成，得到总体分类器。第十页，共22页。全局和局部分类器层级集成

全局特征主要反映人脸的整体属性，因此较低分辨率的人脸图像就可以满足要求。但是，人脸图像包含的区域要足够大，特别是要包含人脸的轮廓。相反，局部特征反映人脸的细节变化，因此需要较高分辨率的人脸图像。第十一页，共22页。全局和局部分类器层级集成

串行集成第一层中采用全局分类器进行粗略的匹配，第二层中把全局和局部分类器集成起来(也就是总体集成分类器)进行精细的确认。从各个分类器的构建过程中可以看出，全局分类器利用的特征较少，因此速度较快，但正确率较低；而总体集成分类器由N+1个分量分类器组成，利用的特征较多，因此速度较慢，但正确率较高。因此，第一层采用全局分类器可以提高识别的速度，而第二层加入局部分类器可以提高识别的正确率。FD0表示原始的人脸数据库，而FD1表示经过全局分类器排除候选之后的人脸数据库。

第十二页，共22页。全局和局部分类器层级集成对于人脸确认任务，系统首先在第一层中利用全局分类器得到输入人脸图像和与用户宣称身份相符的数据库中人脸图像的相似度。这个相似度比较粗略，但是也包含一定的判别信息：如果这个相似度低于某个很小的阈值（T1），那么说明这两张人脸图像极有可能不属于同一个人，因此系统可以直接判定两张图像的身份不一致；相反，如果这个相似度大于某个很大的阈值（T2），那么说明这两张人脸图像极有可能属于同一个人，因此系统可以直接判定两张图像身份一致。调节阈值T1和T2，以达到系统速度和正确率之间的平衡第十三页，共22页。实验与分析本节采用FERET和FRGCv2.0人脸数据库来进行实验。由于局部分类器由多个局部分量分类器构成，我们分别测试了各个局部分量分类器的性能，并与局部分类器进行了对比。第十四页，共22页。实验与分析全局和局部特征不同作用的验证在实验中全局分类器在FAR=0.1%时的确认率为50.7%，局部分类器的确认率为79.9%，而整体分类器的确认率为85.5%。这个实验结构证明了：全局和局部特征在人脸表示中的作用不同，包含互补的判别信息。因此，二者应该进行集成。第十五页，共22页。实验与分析分类器串行集成后的性能分析虽然全局和局部分类器的集成可以带来正确率上的提升，但是这种多分类器系统速度相对较慢。因为在每一次人脸图像对比中，都必须计算由1个全局分类器和30个局部分量分类器所得到的31个相似度，对于一次人脸图像对比，全局分类器只需要1次相似度计算，局部分类器需要30次相似度计算，而总体分类器需要31次相似度计算。对于大规模的人脸识别（或确认）任务来说，系统速度的瓶颈在于相似度计算而不是特征提取。第十六页，共22页。实验与分析人脸识别中通过改变第一层分类后保留的候选图像数M调节系统的正确率和速度。M的取值越小，第一层排除的候选图像越多，系统的速度也就越快，但正确率会相应降低当第一层中保留的候选图像数量M小于100时，系统的首选识别率开始显著下降。因此，为了保证系统的正确率，M的取值被设置为100。第十七页，共22页。实验与分析为了更清楚的说明串行集成策略带来的系统速度提升，表3-3中给出了候选图像数量M取不同的值时系统速度（假设总体分类器速度为单位1）和正确率（首选识别率）的对比。本文提出的串行集成策略可以在基本不降低系统正确率的情况下将系统速度提高7倍左右。第十八页，共22页。实验与分析人脸确认中通过设置两个阈值T1和T2来控制第一层中全局分类器的处理范围第一层的主要目的就是排除这些属于不同人的图像对一个人的图像对直接送到第二层进行处理阈值参数T1需要调节：T1的值越大，第一层所处理的图像对就越多，系统的速度也就越快。但当T1的值增大时，第一层产生错误的决策也随之增加，系统的正确率也就会相应降低第十九页，共22页。实验与分析阈值T1取不同的值时系统速度（假设整体分类器速度为单位1）和正确率（确认率）的对比。从表3-4中可以得出结论：本文提出的串行集成策略可以在基本不降低系统正确率的情况下将系统速度提高大约5倍。

第二十页，共22页。结束语

1)全局和局部特征的融合。实验表明，尽管全局特征中包含的判别信息远不如局部特征中包含的多，但是按照一定规则将两种特征进行融合还是可以带来性能上的显著提升。2)多个分类器的集成。在机器学习领域，多分类器集成方法已经被认为是避免过学习、提高分类器推广能力的一种成功的方法。在本章的方法中，分类器在两个层次上进行集成：一个是各个局部分量分类器的集成，另一个是全局分类器和局部分量分类器的集成。实验表明，与单分类器相比，多个分类器集成之后会带来非常显著的性能提升。3)Gabor特征与FLDA的结合。近年来，Gabo