(高等教育)人脸图像质量评价基础

人脸图像质量评价方法1 引 言人脸识别由于其非接触式、基本无须配合和操作隐蔽性强等优势，被认为是一种可广泛使用的生物特征识别技术，长期以来一直受到学术界和产业界的广泛关注1-4。然而，也正因为追求“无须配合”的实施效果，导致了人脸图像采集的随意性，图像之间差异较大、图像质量参差不齐的情况。采用低质量的人脸图像进行人脸识别，必然会导致识别准确率的下降2, 4。而长期以来，人脸识别的研究大都是基于预先准备好的图像质量一般较高的人脸库的，这与现实应用情况有很大的不同。因此尽管实验测试中的人脸识别准确率已经相当之高，然而在实际应用中的表现却并不尽如人意。为此，近年来有不少研究者开始着手于研究对各种不同质量人脸图像足够鲁棒的人脸识别技术，目前虽已取得了很大的进展，但离实用仍有一些差距。一方面，由于处理低质量图像而被引入的额外手段往往十分复杂，会大大增加人脸识别系统的复杂度，使得人脸识别耗费时间更长这对于多数实际应用是不可接受的；另一方面，不受图像样本因素影响的人脸识别算法是难以获得的。因此，我们必须研究新的解决方法。一般意义上的图像质量评价主要关注：相对于原始图像，如何对一幅复原图像进行质量评价。与此不同，人脸图像质量评价是研究如何从一组几乎是同时拍摄的图像群中，通过图像质量评价，筛选较为合适的样本用于识别，这无疑会提高自动人脸识别系统的准确率。即使样本数目有限，也可以依据质量评价结果来选用相应的图像预处理方法来提高识别率。另外，根据人脸图像的质量情况来调整分类器的阈值或其它参数能有效地降低错误拒绝率(FRR)或错误接受率(FAR)，亦可提高人脸识别的实用性能。可见，在自动人脸识别系统中引入人脸图像质量评价环节是一条推动人脸识别实用化的重要途径。2影响人脸图像的成像质量的因素在人脸获取的过程中，影响人脸图像质量的因素分为主观和客观两个方面，主观因素主要包括配合程度，客观因素取决于环境2.1 光照变化问题图1 光照变化问题给人脸图像带来的影响 光照问题是机器视觉中的老问题，在人脸识别中的表现尤为明显。根据 FERET 测试和 FRVT 测试的结果可以看出，目前即使最好的人脸识别系统在室外光照环境下，其识别率也会急剧下降。尽管研究人员针对光照问题提出了一些解决方案，但是目前的光照处理方法远未达到实用的程度，还需要进一步地研究解决。2.2 姿态问题图2表情与姿态问题给人脸图像带来的影响 与光照问题类似，姿态问题也是目前人脸识别研究中需要解决的一个技术难点。针对姿态的研究相对比较少，目前多数的人脸识别算法主要针对正面、准正面人脸图像，当发生俯仰或者左右侧面比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。因此，如何提高系统对姿态的鲁棒性也是人脸识别研究中一个极具挑战性的问题。2.3 遮挡问题图3遮挡问题给人脸图像带来的问题 对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。特别是在监控环境下，往往被监控对象都会带着眼镜，帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。如何有效地去除遮挡物的影响是一个非常有意思的研究课题。2.4 人脸信息采集设备带来的问题 摄像头是目前主流的人脸信息采集设备，它们的种类、型号、传感方式（比如 CCD 或者 CMOS ）、采样和量化精度等各不相同，采集时刻的焦距、光圈、增益、白平衡等参数设置区别也很大。这些变化因素使得获取的人脸图像数据的变化更大。如何解决这些问题也是值得关注的。2.5 用户一摄像机相对位置如果用户与摄像机相对位置出现以下情况 ：偏离正前方，太远或太近，有效焦距之外。这些都会使得图像质量不高。 另外，需要注意的是：上述问题并不是单独作用的，很多都是组合性的，例如姿态和光照问题同时出现，会更进一步的增加问题的难度。而目前出现的主要研究论文，往往都是试图孤立地解决其中一个问题，而没有考虑它们同时出现情况下的解决方案，这也是值得关注的一个问题。3人脸识别中的人脸质量评价传统的图像质量评价往往是考察经过计算压缩、传输、增强或其他处理变换后的图像与原始图像质量上的差别，在评价时通常有“标准图像”可供参照。因此，无论是具有计算简单优点而被广泛使用的均方差(MSE)和峰值信噪比(PSNR)方法，还是更符合人眼视觉系统(HVS)特性的结构相似度(SSIM)方法，由于必须得通过将变换后的图像与标准图像进行比较来做出质量评价，故皆不适合作为自动人脸识别中的人脸图像清晰度评价方法。质量应该包括三个方面的内涵：源特性(character)，保真度(fidelity)，实用性(utility)。源特性表示的获取生物图像的源的内在特性，比如一个有创伤的手指就会产生一副质量很差的指纹图像。保真度代表一个图像是否很清晰的表现源；实用性表示一副图像是不是很适合作为生物识别系统的输入，比如带表情或者姿态的人脸对有些系统就会无法识别。图4 加入质量评价系统后的人脸识别框图对人脸图像质量评估算法而言，输入是一幅人脸图像，输出是相应的质量分数Q(I)，质量分数可以是一个标量或者向量，例如，标量可以是最终的人脸质量分数Q(I)，向量可以是由各个方面的质量分数组成。4不同的人脸质量评价算法（1）多指标评价方法【1】：通过对图像的对比度、明亮度、清晰度和图像中人脸位置信息的多种评价指标来综合评价人脸图像质量的新方法(图1)，通过实验验证了这种方法的有效性。图1 人脸图像质量的评价算法在人脸识别系统中，对图像质量有如下要求：(a)图像中必须有人脸，希望人脸部分完整、大并靠近图像的中央(在这里，图像中有人脸是绝对条件)；b)人脸图像有好的清晰度、对比度和明亮度。在这里，假定人脸识别系统在提供图像的同时也提供了图像中人脸的双眼位置坐标。通过双眼位置坐标可以统计比例求得人脸矩形位置。图2为人脸矩形示意图。其中htb为人脸矩形与人眼距离的比例关系，h=054，t=0436=185D为双眼的距离。图2 人脸矩形示意图本人脸图像质量评价算法包含以下6部分分别对图像中人脸大小、角度、位置和人脸图像的对比度、明亮度、清晰度进行评价。得出各自的评价系数(0100)。然后再通过各系数所占的权重(Ol.0)进行加权计算最后得出每幅图的评价得分，从而选出质量最佳的图像。（2）基于人脸对称性的质量评估：光照和姿态变化是导致目前大多数人脸识别系统性能下降的主要原因，本方法是利用人脸对称性来评估由非对称光照和不正确的姿态带来的图片质量问题。人眼对称性可以基于一些图像局部特性来分析，可以对原始像素或经过局部滤波以后的图像进行分析。由光照和姿态变化的左右半边人脸的图像特征差异可以作为人脸图像不对称的一个局部度量。如果人脸图像是严格对称的，左右半边图像的特征差异为0.该方法提出用左右脸局部直方图(HL和HR)的距离来度量人脸非对称性，直方图距离比单纯的像素对比更能很好的表示左右脸的非对称性。直方图距离可以由下式表示：D1=|HL-HR|其中1代表第一个子窗口，|.|是距离计算公式，它可以是城市街区距离。D1越大，人脸的左右半部分越不对称，图像的质量就越低。5