自动人脸识别中的图像质量评价

1、一种基于倒谱的人脸图像清晰度评价方法杨 飞 苏剑波1引 言人脸识别由于其非接触式、基本无须配合和操作隐蔽性强等优势，被认为是一种可广泛使用的生物特征识别技术，长期以来一直受到学术界和产业界的广泛关注1-4。然而，也正因为追求“无须配合”的实施效果，导致了人脸图像采集的随意性，图像之间差异较大、图像质量参差不齐的情况。采用低质量的人脸图像进行人脸识别，必然会导致识别准确率的下降2, 4。而长期以来，人脸识别的研究大都是基于预先准备好的图像质量一般较高的人脸库的，这与现实应用情况有很大的不同。因此尽管实验测试中的人脸识别准确率已经相当之高，然而在实际应用中的表现却并不尽如人意。为此，近年来有不少研

2、究者开始着手于研究对各种不同质量人脸图像足够鲁棒的人脸识别技术，目前虽已取得了很大的进展，但离实用仍有一些差距。一方面，由于处理低质量图像而被引入的额外手段往往十分复杂，会大大增加人脸识别系统的复杂度，使得人脸识别耗费时间更长这对于多数实际应用是不可接受的；另一方面，不受图像样本因素影响的人脸识别算法是难以获得的。因此，我们必须研究新的解决方法。在基于视频流的自动人脸识别应用中，获得的人脸图像数量通常较多，如果对人脸图像样本进行质量评价，筛选较为合适的样本用于识别，这无疑会提高自动人脸识别系统的准确率；即使样本数目有限，也可以依据质量评价结果来选用相应的图像预处理方法来提高识别率。另外，根据人

3、脸图像的质量情况来调整分类器的阈值或其它参数能有效地降低错误拒绝率(frr)或错误接受率(far)，亦可提高人脸识别的实用性能。可见，在自动人脸识别系统中引入人脸图像质量评价环节是一条推动人脸识别实用化的重要途径。因此，近几年来人脸图像的质量评价逐渐引起了人们的关注，关于图像质量评价的评价框架和相关指标的研究工作也已有一些公开报道2-4，但关于人脸图像质量评价方法的研究目前还并不充分，人们往往是直接借用传统的图像质量评价方法。本文的研究表明，现有方法并不一定适用于自动人脸识别这个特别领域中的人脸图像质量评价，其评价结果与实际情况可能存在一定差距。本文接下来将以清晰度这一重要的人脸图像质量评价指

4、标为例进行详细说明，并提出一种比传统评价方法更适合于自动人脸识别的清晰度评价方法。最后，通过对同一组人脸图像进行清晰度评价实验，将其与传统清晰度评价方法进行对比，以验证本文方法的准确性要高于传统方法。另外，还在真实环境下通过人脸识别实验来验证本文提出的清晰度评价方法在自动人脸识别中的作用及其适用性。2自动人脸识别中的清晰度评价在基于视频流的自动人脸识别应用中，自动检测采集到的人脸图像不清晰的情况时有发生。不清晰的人脸图像不但会影响人脸识别的准确率，而且还会影响对譬如人脸姿态等其它图像质量指标的评价2,4，故本文将清晰度选作研究对象。影响人脸图像清晰度的原因主要有图像模糊和采集噪声干扰。忽略采集

5、噪声，摄像机对焦失准或拍摄瞬间人脸沿摄像机光轴方向快速运动会造成离焦模糊，拍摄瞬间人脸垂直于摄像机光轴方向快速运动会造成运动模糊，实际上这两种模糊经常是并存的。传统的图像质量评价往往是考察经过计算压缩、传输、增强或其他处理变换后的图像与原始图像质量上的差别，在评价时通常有“标准图像”可供参照5。因此，无论是具有计算简单优点而被广泛使用的均方差(mse)和峰值信噪比(psnr)方法，还是更符合人眼视觉系统(hvs)特性的结构相似度(ssim)方法6或基于自然场景统计(nss)的视觉信息逼真度(vif)方法7，由于必须得通过将变换后的图像与标准图像进行比较来做出质量评价，故皆不适合作为自动人脸识别

6、中的人脸图像清晰度评价方法。另一方面，无需参考图像的图像质量评价方法相对较少，且主要用于图像盲恢复参数的辨识（如对点扩散函数psf的估计等），其中的特征提取过程较为复杂，计算耗时长，故难以满足自动人脸识别系统的时间要求。于是，研究者们提出了通过衡量图像梯度统计信息2或高频部分能量3来评价人脸图像清晰度的方法。这两种方法虽然无需参考图像，而且简单快速，但是其实并不可靠。这是因为不同人的面部差异通常较大，再加上眼镜的佩戴，使得人脸图像的边缘信息差异更大；而且，运动模糊图像的边缘不是在所有方向都是模糊的，与运动方向垂直的方向上的边缘并没有发生退化，而且运动模糊还会产生新的锐利边缘（例如一个亮点可能在

7、运动模糊后形成一条线），所以不能完全依据边缘信息来判断图像模糊程度。鉴于上述原因，本文提出了一种新的基于倒谱(cepstrum)域分析的清晰度评价方法。3人脸图像清晰度评价方法倒谱理论自从1963年被提出后8，在雷达、地震波、超声波和语音信号分析等领域得到了应用，后来又作为一种盲去卷积方法被应用于图像恢复的参数辨识中9。如果能准确地辨识出模糊图像的点扩散函数的参数，即能评价出图像的模糊程度。但实际上，在倒谱图中很难清楚地辨识出点扩散函数的特征；而且通常情况下不能预知模糊的类型，辨识点扩散函数的参数往往需要对倒谱图进行预处理，其过程也是比较复杂并且费时的10。为了避免这些问题，本文提出了一种新的

8、清晰度评价方法，不通过辨识点扩散函数的参数而是采取直接统计倒谱图中的高能量亮点的方法来估计图像清晰度。因为本文只研究人脸图像的清晰度评价，暂不考虑对模糊人脸图像进行复原，所以无须区分模糊类型或辨识出点扩散函数的参数。采用这种方法不仅避免了模糊参数难以辨识的问题，而且使算法得以大大简化，提高了清晰度评价速度，下面给出详细说明。首先，图像的降质过程可用下面的数学模型来近似描述10：g(x, y) = f(x, y) * h(x, y) + n(x, y) , (1)其中f(x, y)为输入清晰图像，h(x,y)为点扩散函数, n(x,y)为加性噪声。在这个模型里，输出降质图像g(x,y)被表示为f

9、(x,y)与h(x,y)的卷积再加上n(x,y)。忽略噪声的影响，式(1)可写为：g(x, y) = f(x, y) * h(x, y) . (2)不失一般性，考察匀速直线运动产生的运动模糊，拍摄瞬间物体相对镜头的位移大小为d，运动方向与水平轴的夹角为，则由其导致的点扩散函数为： . (3)另外，由几何光学分析可知，一个散焦半径为r的点扩散函数可描述为： . (4)于是，通过式(2)(4)，用一张清晰图像可分别人工模拟出其不同程度的运动模糊和离焦模糊效果。对于一幅大小为m × n的灰度图像g(x, y)，它的傅立叶变换为：g(u, v) = fg(x, y)， (5)则其倒谱域变换定

10、义为9：cepi(x, y) = f -1log|g(u, v)|, (6)式中f ·和f -1·分别表示傅立叶变换和反傅立叶变换，|表示求复数模。由式(2)、(6)可得cepg(x, y) = cepf(x, y) + ceph(x, y). (7)由此可见，倒谱域变换的一个重要性质是：在倒谱域内，模糊图像的倒谱可分解为清晰图像的倒谱和点扩散函数的倒谱的性线叠加。另外，由于倒谱域变换要进行对数计算，所以在倒谱域内，信号衰减特别快。清晰的人脸图像经过倒谱域变换后，图像衰减很快，几乎只集中在中心点附近很小的区域内，经二值化处理后如图1(a)所示。而运动模糊图像和离焦模糊图像由

11、于叠加了点扩散函数，它们的二值化倒谱图中的高能量亮点散布在整幅图中，分别如图1(b)、(c)所示。 (a) (b) (c)图1三幅不同质量的人脸图像及其对应的二值化倒谱图，(a)清晰图像；(b)运动模糊图像；(c)离焦模糊图像fig. 1 three face images of different quality and their corresponding binary cepstrum maps (a)the clear image; (b)the motion blurred image; (c)the defocused image二值化倒谱域中亮点的平均能量e可定义为：， (8)

12、式中权值w(i, j)定义为点(i, j)到中心点(ic, jc)的距离，c(i, j)定义为点(i, j)的二值化实倒谱值：, (9) ， (10)其中，cep(i, j)为点(i, j)的倒谱值，t为选取的二值化阈值。对同一幅待评价图像来说，当t值增大时，e值减小。当t值保持不变时，图像越模糊，e值越大。通过预先设定好e0值（e0根据经验一般可取0.01左右），再采用二分法在(0,1)区间内搜索t，使通过式(8)算得的e满足ee0，并且规定图像清晰度评价函数为：. (11)由此可见，本文提出的倒谱域清晰度评价方法具有算法简单，限制条件少的优点。倒谱变换中的大部分计算量由傅立叶变换和反傅立叶

13、变换产生，采用快速傅立叶变换(fft)方法可大大减少计算时间。如果人脸图像比较大，为了减少评价时间，可缩小评价区域，截取部分区域进行上述计算。此外，降低评价精度将减少搜索次数，也能减少清晰度评价时间。4实验为了考察上述清晰度评价方法，首先我们随机选取feret人脸库11中的1196张正面人脸图像，截取面部区域作为实验样本，并假设这些原始图像都是清晰的图像。然后，按照降质模型(2)(4)分别用d = 5, 10, 20的水平运动模糊点扩散函数和r = 3, 6, 12的离焦模糊点扩散函数对每一张原始图像进行人工模糊，以模拟真实环境中产生的不同程度的模糊图像。原始图像及其对应的两种人工模糊后的图像

14、示例样本如图2所示。第一列为原始图像样本，第一行从第二列到第四列分别为点扩散函数参数d = 5, 10, 20时对应的水平运动模糊图像，第二行从第二列到第四列分别为点扩散函数参数r = 3, 6, 12时对应的离焦模糊图像，可以看出图像从左至右逐渐变模糊。图2 feret人脸库中的人脸样本及其经模糊处理后的图像fig. 2 one face sample from the feret face database and its blurred images分别采用文献2和3中的两种清晰度评价方法以及本文提出的方法来评价这些图像，实验结果统计分别如图3、图4和图5所示。在图3和图4中，为了曲线区

15、别显示清晰，只选取了清晰图像和d = 10，r = 6的模糊图像这三组数据作为代表分别给出统计曲线；横坐标为计算每幅图像所得的锐度值(sharpness)，纵坐标为锐度值落在横轴某一区间内的图像的数目。显而易见，与图5相比，图3和图4中的清晰图像和模糊图像的锐度值都较为集中，通过锐度值来评价图像清晰度不比图5中的t值准确。图5中绝大多数清晰图像的t值小于0.2，且当图像越模糊时，t值越大，因此可通过求t值来评估图像清晰度。通过此实验证明了文献2和3中的方法不如本文提出的方法准确，因此都不适合用于人脸图像的清晰度评价。除此之外，还需要验证本文提出的清晰度评价方法能满足自动人脸识别中的其它要求，下

16、面给出了主要实验过程和实验结果。00.010.020.030.040.05020406080100the values of sharpnessfrequency clear motion blurred defocused图3采用文献2中方法计算所得锐度值分布图fig. 3 the distribution of the values of sharpness computed by the method in ref. 200.0050.010.015050100150200250300 clear motion blurred defocused图4采用文献3中方法计算所得锐度值分布图f

17、ig. 4 the distribution of the values of sharpness computed by the method in ref. 3 00.810246810121416the values of t r=3d=5r=12r=6d=20d=10clear images图5采用本文提出的方法计算所得t值分布图fig. 5 the distribution of the values of t computed by our method将本文提出的清晰度评价方法作为人脸图像预处理模块整合到自动人脸识别系统中，在现实环境下进行人脸识别实验。我们的实

18、验平台为运行windows xp操作系统的pc机，主要配置为：pentium iv 1.8g处理器，256mb ddr内存。我们使用logitechtm quickcam pro9000网络摄像头在自行开发的人脸识别软件下采集人脸图像，所有实验程序都是在visual c+ 6.0编程环境下编程实现的。为了生成自动人脸识别系统在真实应用环境下可能采集到的各种质量的人脸图像，分别通过人头的静止和晃动来获得清晰和运动模糊人脸图像，通过调节摄像头焦距来获得离焦人脸图像，图1中第一行的三张图像即为真实环境下采集到的清晰图像、运动模糊图像和离焦模糊图像。采集到的人脸图像都为正面人脸图像，由人脸识别系统中基

19、于adaboost算法的人脸采集模块自动检测并截取生成。经过筛选使得到的人脸图像大小都在128×128以上，大部分人脸图像的大小分布在144×144附近。采用本文提出的清晰度评价方法对满足尺寸要求的每一幅人脸图像计算其清晰度score值，按100% > score 80%，80% > score 60%，60% > score 20%和20% > score > 0这四个级别对采集到的人脸图像进行分组存放。经统计得到，本实验中对一幅人脸图像的清晰度进行评价分级的平均时间约为28ms，可见评价速度很快，对自动人脸识别系统的整体识别时间影响很小。采

20、用上面的方法对13个人进行人脸图像采集，一共采集到1957幅人脸图像，并保证每个人在每一个清晰度级别的图像数目至少在15幅以上。对每个人选取其中score值最高的前5幅作为训练样本，如此也得到65个训练样本，该过程由程序自动完成。接着，从每一个级别的人脸图像中对每个人随机挑选出5幅人脸图像作为测试样本，一共得到4组测试样本，每组样本含有65幅人脸图像。接着对挑选出来的测试样本进行人脸识别实验，人脸识别算法采用eigenface12和gfc13这两种算法，识别结果如表1所示。由表1可见，用本文提出的清晰度评价方法对测试样本进行评价，评价中得分较高的测试样本的总体识别率要高于得分较低的测试样本，因

21、此该清晰度评价分数对人脸样本的识别率具有一定的预测性。在自动人脸识别系统中，注册的人脸图像一般都能保证较高的图像质量，因此本实验中选取质量较高的人脸图像作为训练样本。通过此实验可间接说明，采用本文提出的清晰度评价方法对登录的人脸图像进行评价，自动选取清晰度较高的人脸图像进行登录，或者对登录过程给出反馈信息以提示登录者稍加配合，都能有效地提高自动人脸识别系统的识别率。表1不同质量的人脸图像的识别率tab. 1 recognition rates on face images of different quality图像质量级别eigenface识别率gfc识别率100% > score 8

22、0%80% > score 60%60% > score 20%20% > score > 087.7 %81.5 %49.2 %16.9 %96.9 %92.3 %63.1 %23.1 %5结论本文根据自动人脸识别的特点和要求，对人脸图像质量评价的意义进行了说明，并对其中的图像清晰度评价指标给出了新的定量评价方法。实验结果表明，所提出的评价方法相比传统方法更为准确，而且能有效地提高自动人脸识别系统的识别率，适合作为人脸图像质量评价手段应用于自动人脸识别中。参考文献：1 wang guo-qiang, ou zong-ying, wang hai-yan, et al.

23、 discriminant neighborhood embedding for face recognitionj. journal of optoelectronics · laser(光电子 · 激光), 2008, 19(5): 700-703 (in chinese).2 gao x f, li s z, liu r, et al. standardization of face image sample qualityj. lecture notes in computer science, 2007, 4642: 242-251.3 weber f. some

24、 quality measures for face images and their relationship to recognition performanceeb/ol. /iad/894.03/quality/workshop/proc/weber_bqw.pdf: cognitec systems gmbh technique report, 2006.4 hsu r v, shah j, martin b. quality assessment of facial imagesc. biometric consortium conference 2

25、006 biometrics symposium: special session on research at the, baltimore, maryland, united states: 2006: 1-6.5 wang z, bovik a c, lu l. why is image quality assessment so difficultc. ieee international conference on acoustics, speech & signal processing. orlando, florida, united states: 2002, 4(4

26、): 3313-3316.6 wang z, bovik a c, sheikh h r, et al. image quality assessment: from error visibility to structural similarityj. ieee trans. on image processing, 2004, 13(4): 600-612.7 sheikh h r, bovik a c, cormack l. no-reference quality assessment using natural scene statistics: jpeg2000j. ie

27、ee trans. on image processing, 2005, 14(11): 1918-1927.8 bogert b p, healy m j r, tukey j w. the quefrency alanysis of time series for echoes: cepstrum, pseudo-autocovariance, cross-cepstrum, and saphe crackingj. time series analysis, 1963, (15): 209-243.9 cannon m. blind deconvolution of spatially invariant image blurs with phasej. ieee trans. on acoustics, speech, and signal processing, 1976, 24(1): 58-63.10 tanaka m, yoneji k, okutomi m. motion