一种多姿态的人脸识别方法

一种多姿态的人脸识别方法

中国第二代身份的使用为识别人脸识别的应用奠定了重要基础。文中选取二代身份证照片作为人脸识别的训练样本,进行人脸识别研究。使用二代身份证照片进行人脸识别时,只有一张训练样本,如果此时使用常规的算法进行人脸识别,那么识别率会变得极其低,或者算法失效,这就是人脸识别的单样本问题单样本问题正逐渐引起相关研究者的关注,成为人脸识别领域一个新的研究热点,针对这一问题,研究者们提出了一些解决方法。文献[4-5]使用积分投影与原图像合成新图像,再进行识别,来提高人脸识别率;文献[4,6]先对原始图像进行一定的处理,生成一定数量的虚拟样本,再进行特征提取和人脸识别,取得了不错的效果。由于现今多样本人脸识别技术较为成熟,可以取得较好的识别性能,所以通过虚拟样本生成技术扩充训练样本数目,使单样本人脸识别问题转化为一般的多样本人脸识别问题是一种很好的方案。虚拟样本生成就是模拟现实中人脸取样的各种情况,但是现有的虚拟样本生成方法往往只模拟了人脸在图像平面内变化的图像,生成的虚拟样本比较单一。而大量的实验表明文中分析了现有虚拟图像生成方法的优缺点,提出了一种多姿态的虚拟样本生成方法,该方法不仅能生成人脸在图像平面内变化的模拟图像,还能生成人脸在立体空间内变化的模拟图像。使用该方法产生的训练样本,在自建的身份证人脸库上的实验结果表明,相对于单样本识别率提高了近60%,相对于已有的虚拟样本生成方法对多姿态的人脸识别率提高了近10%。1图像平面内虚拟图像的模拟操作1)镜像变换这种操作可减小头部旋转对识别率的影响,对提高有姿态变化的人脸识别准确率有一定的效果。由于身份证照片中人脸是标准的水平居中,而且人脸基本对称,所以可对身份证照片P进行垂直中心轴的镜像变换,得到P2)尺度变换增加尺度变化的虚拟样本,就是模拟现实成像时人脸离摄像设备远近不同或焦距不同时的情形,因为虽然人脸检测时会对人脸进行标准化处理,但由于存在误差,标准化后同一个人的照片仍然会存在尺度上的差异,所以虚拟产生尺度变化的图像,可以当作有效的训练样本。与常规方法中不同的是,本文实验中,在将身份证原始图像P进行缩小操作时,由于身份证图像的背景为纯白色,所以必须要对空出的部分进行补白操作。对P进行放大操作时,要对放大图像的四周进行剪切使其与原图P大小相同。两种操作均保持人脸位置相对不变。3)倾斜变换增加倾斜操作的图像,就是模拟现实成像时人头部侧向倾斜不同角度时的情形。将原始图像P在图像平面内绕中心旋转一定的角度,就得到新的图像作为训练样本。不过要得到与原始图像P大小相同的图像,还需要进行插值和剪切操作,图像旋转后会有一部分超出原图像范围,需要剪切操作;同时会有部分背景空出,需要进行补白操作。4)平移变换增加像素平移的图像,就是模拟现实成像时人脸在设备成像窗口中位置或焦距不同时的情形。可以将图像作为一个整体向右、向下、向左、向上平移几个像素得到平移后的图像作为新的训练样本图像。在本文的实际应用中,为减少计算的复杂度,采用了组合平移的方式。平移后会使原始图像P的一部分移出边框,要去除;同时也会有部分空出的,要进行补白操作。2图像旋转模拟人脸新工艺图1为定义的三维人脸及其坐标轴,其中XOY与图像平面平行。二代身份证照片为标准的正面照,图像平面内模拟生成的训练样本都还是人脸正面图像,其旋转也仅限于左右旋转(XOY内绕Z轴旋转),缺少模拟现实成像时更加复杂的姿态,也就是缺少对XOZ和YOZ平面内人脸变化的模拟。本文对XOZ和YOZ平面内的人脸旋转进行研究,提出了模拟人脸侧向旋转(绕X轴)和模拟俯仰旋转(绕Y轴),以及组合旋转姿态的虚拟人脸生成方法。1)对照片P中人脸进行模拟人脸侧向旋转。人脸侧向旋转的过程,可以看做是人脸上所有点绕颈脖到头顶轴(绕X轴)旋转的一个过程。图2为模拟人脸侧向旋转变化的示意图。首先把头部ZOY平面内的人脸轮廓近似为一个圆,O点为人头部旋转的中心,O′点为人脸图像上Y轴方向的起点,A为人脸上任一点,A点在人脸旋转θ角度后到达A′点,y、y′分别是旋转前后A点在图像上的位置。令O′A与X轴夹角为α;A转动θ角度后到达A′,即角度∠AO′A′=θ;圆半径为n/2,n为人脸照片的Y方向的尺寸。可以列出方程组:可以解出y′=n/2+(y-n/2)cosθ+sinθ姨y(n-y),为旋转后A点在图像上的新位置,新图像中的A点的坐标:定义新图像P2)模拟俯仰变化,即模拟人脸绕Y轴旋转的情形。假设人脸在XOZ平面内的轮廓为一个圆,抬头或低头旋转的角度为θ,就可以用1)中的原理求出新图像中对应的坐标为:m为图像在X轴方向的尺寸,θ为头部转动的角度,根据θ取正值或负值,就能得到模拟抬头和低头的图像,此原理可在一定程度上模拟现实成像时人抬头低头的情形。3)组合模拟,即模拟人脸既有倾斜,又有旋转的姿态。这种立体变换可以更加全面的模拟现实取样时复杂的人脸姿态。方法为:先对人脸进行一定角度的模拟旋转变化,再进行一定角度的倾斜变化,就可以得到对立体姿态进行模拟的虚拟图像。3hmm模型拟然概率隐马尔可夫模型具体的过程为,首先对每人的身份证图像和虚拟生成的图像进行采样生成观察值序列,然后对这些观察值序列使用Viterbi和Baum-Welch算法1)首先对待识别的人脸图像进行采样,得到观察向量序列;2)计算此人脸观察向量序列与人脸数据库中各个人脸的HMM模型的最大似然概率,最大似然概率的计算可以通过前向-后向算法或者Viterbi算法得出;3)最大似然概率反映了待识别人脸观察向量序列与数据库中的人脸HMM模型的相似程度。计算出每一个模型产生该序列的最大似然概率,最大值的模型即为待识别人脸所属的类。HMM能提取人脸的主要特征,它把面部器官特征和一个状态转移模型联系起来,这种模型既考虑了人脸各器官的不同特征,又考虑了它们的相互关联,比孤立利用各器官的数值特征有概念上的进步,该模型的参数能较好地表征具体人脸模型。该方法鲁棒性较好,对表情、姿态变化不太敏感,对于不同角度的人脸图像和不同光照条件,都能达到满意的识别精度。所以本文选用HMM进行人脸识别。4模拟人脸姿态变化对人脸识别的有效性测试实验所用人脸库为一个身份证照片库和一个摄像照片库。身份证人脸库:因为没有公开的身份证人脸库,所以本文建立了一个含有20人身份证照片的身份证人脸库。测试人脸库:测试人脸库含有对应20人每人10张各种设定姿态(3张不同焦距的正面照,两张20度左右人脸侧向旋转照,抬头/低头照,笑脸照,两张左右倾斜30度人脸照)的摄像照,总计为200张测试照片。为更加全面的测试不同姿态的人脸对算法识别准确率的影响,测试照片具体分为10个测试集(表1),每测试集含有各人相同的姿态照片,各测试集对应人脸姿态如下:1)为验证增加的虚拟样本的有效性,首先必须测试出使用单样本时的人脸识别率。测试时只采用每人的二代身份证照片进行训练,其余10张摄像采集图像为测试图像,分次进行测试,统计平均识别率,结果列在表2的实验1中。2)为验证虚拟样本的有效性,训练样本中加入对原始身份证图像P进行下列操作得到的虚拟样本:镜像变化得到的P1;尺度缩小0.9倍得到的P2;尺度放大1.1倍得到的P3;向左倾斜5度得到的P4;向右倾斜5度得到的P5;向上右方向各移动5个的像素得到的P6;向下左方向各移动5个像素得到的P7。P1-P7与二代身份证照片P共计8张一起进行训练,如图3所示,进行测试验证增加虚拟图像对人脸识别率的影响。结果列在表2的实验2中。3)为验证模拟姿态变化的虚拟图像对识别率的有效性,现在训练样本中加入以下的模拟人脸姿态变化的虚拟样本:向右侧向旋转10度得到的P8;向左侧向旋转10度得到的P9;仰头10度得到的P10;俯头10度得到的P11;向右侧向旋转10度再向左倾斜5度得到的P12;向左侧向旋转10度再向右倾斜5度得到的P13。如图4所示6张图像,与P、P1-P7一起,共计14张图像进行训练,再进行识别,验证模拟姿态变化的虚拟样本对人脸识别正确率的影响。结果列在表2的实验3中。表2的实验结果表明加入虚拟样本,增加训练样本数量,对单样本人脸识别的准确率的提高非常有效。实验2的结果表明,增加图像平面变化的虚拟样本对识别率的提高非常有效,特别是对正面人脸的识别,平均识别率达到了90%,同时实验结果也表明了,在增加的虚拟样本都为正面人脸时,对具有姿态变化的人脸进行识别,识别率相对较低。其中实验3的结果表明,增加模拟侧向旋转和俯仰旋转姿态变化的虚拟样本,在对姿态变化较大的人脸进行识别时,识别率提升明显,同时平均识别率也得到一定程度的提高。证明模拟姿态变化的虚拟样本对提高非正面人脸识别是有效的。5虚拟样本生成方法文中在研