基于sif特征和fisher鉴别的人脸识别

基于sif特征和fisher鉴别的人脸识别

1核fisher线性鉴别方法的提出人脸识别涉及成像、模式识别、计算机视觉等研究领域。这是生物特征识别技术的一个主要方向，具有广阔的应用前景。比较常见的人脸特征提取方法有EigenFace、FisherFace、核FisherFace和非线性流形及其改进。EigenFace基于重建误差最小，无法揭示数据的局部结构，对光照、表情等比较敏感。FisherFace属于有监督识别方法，一般先采用PCA降维，然后利用线性判别分析(LDA)寻找使类间距和类内距比值最大化的投影方向，识别效果好于EgienFace，但FisherFace对于线性不可分问题的识别率较低。核Fisher方法利用核原理，把数据映射到高维空间，从而使低维中无法区分的非线性问题转化为高维空间的线性问题，但是核FisherFace的分类效率和分类精度成反比，在大样本情况下，其分类效率很低，甚至无法实际应用。非线性流形法是最近提出的研究成果，主要有：等距映射(Isomap)，局部线性嵌入(LLE)和拉普拉斯特征映射(LaplacianEigenMaps)等。这些方法都没有明晰的投影矩阵，很难直接提取新样本的特征，而且会出现小样本问题，所以一般不能直接用于人脸识别领域。基于此，本文提出了一种新的Fisher线性鉴别方法，利用原始数据的SIFT特征代替原始数据，在原始数据的SIFT特征集的基础上再次提取Fisher特征，并用来分类。这样，整个人脸识别过程进行了2次特征提取，第一次特征提取得到了人脸的重要的旋转、缩放、平移和光照不变特征点，即SIFT(ScaleInvariantFeatureTransform)特征点，第二次提取是将第一次得到的无序的SIFT特征点映射到Fisher线性空间，得到的是Fisher鉴别矢量。实验表明，基于SIFT特征的Fisher人脸识别方法，其识别率远远高于经典Fisher方法和核Fisher方法。2sift特征提取SIFT特征提取方法是Lowe教授在2004年提出的一种尺度不变性特征变化方法。他用一个128维的向量来表示特征点，其基本思想是通过高斯核进行一系列的滤波来提取图像的尺度空间中的稳定点。首先，原始图像通过一系列的具有不同尺度因子的高斯核函数进行平滑滤波，并将每2个相邻尺度的平滑滤波后的图像相减来计算高斯差分图像；其次，在尺度空间中，所有的局部极值通过比较其周围邻域的8个像素和相邻尺度对应位置的周围领域，总共产生26(9+9+8)个像素，见图1；最后，这些极值点被作为候选关键点，通过它们的位置和尺度度量其稳定性，过滤掉低对比度和处于边缘上的点，得到稳定的关键点。通过这种方式所获取的特征点具有旋转、缩放、平移和部分仿射不变性，进一步将特征向量的长度归一化，则可以去除光照变换的影响。SIFT特征提取方法用于人脸识别是可行性的，对于不同的人脸照片，其包含相近的SIFT特征的数量是比较少的，如图2所示。图2中共有4对人脸，上下2张人脸进行对比，第1列到第3列的上下2张脸均不是一个人的，他们均没有相近的SIFT特征可以匹配，第4列为同一个人脸的照片，包含了很多个匹配的SIFT特征。可见，相似的人脸的SIFT特征总体比较接近，不相似的人脸，其SIFT特征差别较大。因此SIFT特征可以用于人脸识别。提取每一个样本图片的SIFT特征，由于一个图片中SIFT特征的数量是多个，因此，这多个SIFT特征就构成SIFT特征集，代替原始图片成为Fisher线性鉴别的训练样本。3基于sift特征集的fpss对于多类分类问题，Fisher线性鉴别原理可简述如下：假定x是输入训练向量集X中的一个向量，X中共有n个样本，这些样本共有C类，Fisher线性鉴别的目标是找到线性投影方向(投影轴)，使得训练样本在这些投影轴上的投影结果为：类内离散度最小，类间离散度最大。类间离散度矩阵的定义为其中，m为所有样本的均值；km为第k类样本的均值。类内离散度矩阵的定义为则最优的投影方向为其中，[w1w2wC-1]=W128×(C-1)，为矩阵SW-1SB的前C-1个最大特征值对应的特征向量，也就是所谓的Fisher线性空间。将训练样本投影到该空间，得到投影系数向量，即为Fisher特征向量。经典的Fisher线性鉴别通过比较测试样本和训练样本的Fisher特征向量的欧氏距离来决定测试样本的类别。将SIFT特征集代替原始训练图片之后，Fisher线性鉴别的训练样本集X中的任一向量x均为128维的SIFT特征向量，新的训练集中类别数C保持不变，但总的训练样本个数大大增多。训练样本中的原始图片如图3所示。基于SIFT特征集的Fisher人脸识别的整个训练及识别过程如下：(1)提取SIFT特征。按类别分别提取出该类别所有样本图片的SIFT特征,形成k个128行(列数为该类别中所有图片的所有SIFT数量)的矩阵Ak,Ak中的每一列为一个SIFT特征。(2)计算训练样本的Fisher特征矢量。(3)计算测试样本的Fisher特征矢量。针对一个待识别的图片P，提取其SIFT特征，构成一个128行(列数为该图片所有的SIFT特征数)的矩阵T，计算T在Fisher特征空间上的投影：(4)找出最优匹配。分别计算VFisherk的均值，即按行计算矩阵VFisherk和VT的均值，得到均值向量：计算m＿VT和m＿VFisher1,m＿VFisher2,,m＿VFisherC之间的欧氏距离，最小欧氏距离对应的类别即为图片P的类别。即类别如下：为加快识别速度，在实际运行时，可首先按式(5)计算出向量m＿VFisher1,m＿VFisher2,,m＿VFisherC，识别时先提取图片P的SIFT特征，再按式(4)计算其特征在Fisher特征空间上的投影TV，最后按式(5)计算向量m＿VT，并得到相应的类别。4基于人脸身份识别系统的实现为验证文中提出的双重特征提取算法的有效性，在UMIST和Yale人脸库上进行了测试。UMIST库共有20个类别，564幅图片，每个类别包含不同角度拍摄的照片。随机选取10个类别，每个类别中随机选取一半的图片作为训练样本，其他作为测试样本。测试结果是所有测试样本共282个，只有1个分类错误，分类正确率99.65%，所有564幅图片中也只有1个分类错误。与“特征脸”、“Fisher脸”、“非线性流形脸”(以LLE为代表)、核Fisher脸等识别算法在UMIST库上的识别率对比如表1所示。Yale的B库共有5760幅图片，包含10个类别，每个类别576幅图片(分别来自9个不同的角度，每个角度包含64种光照变化)。对每个类别，随机选取576幅图片中的288幅作为样本，其他288幅作为测试。测试结果是2880个图片中有30个分类错误，5760个图片中有39个分类错误。与其他方法的对比如表2所示。从表1和表2可以看出，本文方法具有较高的识别率，同时进一步对分类错误的样本进行格式转换(从PGM转换为BMP)和观察，发现出现分类错误的样本集中在光照特别暗、SIFT数量特别少的样本中。从熵的角度来说，光照特别不足的测试样例包含的信息量也特别少，因此用任何方法均不能提取有效特征。这也从另外一个侧面证明本文方法的有效性。将上述算法应用到基于摄像头的身份识别系统中，身份识别系统采用VisualC++2005设计，一个基本的人脸身份识别系统应具有如下基本要求：(1)唯一性。对于人脸库中存在的人脸，应该在接受其身份的同时，不会将其误识别为人脸库中的其他人；对于人脸库中不存在的人脸，应该果断地予以拒绝。(2)快速性。应该在相对较短的时间内识别出来人身份，方便被识别者使用。基于以上2点，一个人脸身份识别系统要求具有尽可能低的错误拒绝率(FRR)和零错误接受率(FAR)。在传统的人脸识别方案中，无论是特征脸、Fisher方法、非线性流形脸还是文中所提的方法，都不能直接保证FAR为0，但将本文方法稍加调整，即可实现FAR为0的基于摄像头的身份识别。身份识别系统的工作步骤如下：(1)系统启动，并以多线程方式启动识别线程。(2)加载训练样本的SIFT特征集、Fisher特征集及Fisher线性空间矩阵，所有SIFT特征集用KD-Tree方法建立索引。(3)开启视频捕捉。(4)使用Adaboost特征检测器进行人脸检测。(5)对检测到的人脸提取其SIFT特征，并和第(2)步加载的SIFT特征进行匹配。匹配方法为最近邻NN匹配。空间特征点最近邻匹配操作的一种比较实用的索引方法是KD-Tree方法，他不仅适用于k-NN的Search问题，而且其空间复杂度与数据集的维数成线性关系。(6)如果(5)中匹配的SIFT特征数量大于指定阈值，则可认为人脸库中存在该人脸；否则，程序转到(4)继续执行。(7)提取上述SIFT特征集中的Fisher特征，并映射到Fisher空间，将得到的Fisher特征和样本中的Fisher特征进行比较，得到鉴别结果。为了保证零FAR这一特殊要求，这里将得到的鉴别结果的欧氏距离和指定阈值进行对比，如果大于指定阈值，则不承认此次匹配，程序转到(4)继续执行。采用VisualC++2005编写的这个系统，其中用到了OPENCV库、GSL库以及TNT库。在人脸检测方面，程序直接使用了由OPENCV提供的Adaboost特征检测器。当程序检测到合法用户时，其画面及提示信息如图4所示。在图4中，左图为视频捕捉窗口；右上图为在视频捕捉窗口中捕捉到的人脸，按子像素精度从左图中提取，大小固定为180×200(也是样本库中样本的大小)；右下图为在人脸库中预先存储的标准人脸中的任何一个。5研究样本sift特征本文根据SIFT特征的特点，首次利用SIFT特征进行人脸识别，同经典的特征脸和Fisher及核Fisher脸相比较，本文方法