基于局部方差和结构相似度的图像质量评价方法

基于局部方差和结构相似度的图像质量评价方法

1图像质量客观评价方法编码、压缩、传输和其他处理流程后，数字图像通常存在不同的格式和级别的错误。这些错误影响图像的质量。因此，还有一些方法可以提高图像的质量，如图像放大和图像恢复。经过这些图像处理过程所得到的图像的质量是衡量相应算法或者设备性能的重要指标之一,因此,如何准确评价图像质量已经成为图像处理领域的研究热点。目前已有的图像质量评价方法可以分为两类:主观评价方法和客观评价方法。在实际应用中,主观评价方法不仅耗时长,而且其结果易受到实验条件、观察者和环境等因素的影响,稳定性较差。客观评价方法依据模型给出的量化指标或参数衡量图像质量,是目前图像质量评价领域的研究重点。对于各种图像质量客观评价方法,研究的目的是使评价结果与人的主观感觉相符。传统的图像质量客观评价方法,例如均方误差(MSE,meansquareerror)和峰值信噪比(PSNR,peaksignalnoiseratio),都是基于对应像素点间的误差,即基于误差敏感的图像质量评价,由于并未考虑到人眼的视觉特性,因而经常出现评价结果与人的主观感觉不一致的情况。事实上,人眼对图像信号的处理并不是逐点进行的,视觉特性与统计意义上的信息分布也并不一致。文献认为:人眼视觉的主要功能是提取背景中的结构信息,而且人眼视觉系统能高度自适应地实现这一目标,因此对图像的结构失真的度量才是对图像感知质量的最好近似。在此基础上,文献提出了一种基于图像结构与人眼视觉特性的全参考图像质量评价方法:结构相似度(SSIM,structuralsimilarity)。该方法对静态图像的质量评价取得了较好的效果,但是也存在着由于对某些失真类型的敏感程度不同而导致的在有些情况下评价结果不符合人眼视觉特性的问题。文献采取和SSIM类似的形式通过比较两图像局部方差的分布度量二者的结构相似性,该方法对于SSIM敏感程度较低的失真类型比较敏感,但是所反应的图像结构信息依然不全面。本文将局部方差作为表征图像结构信息的一个重要因素,通过对局部方差的统计并且结合已有的SSIM方法提出了一种新的图像质量评价方法,最后通过一系列实验证明该方法的评价结果优于SSIM。2结构相似度评价对人类而言,视觉感知和对图像的快速理解很大程度上取决于并行的生物结构。以行为科学的观点,这些低层次的行为被认为是下意识的过程,过程本身没有受到任何集总控制也没有任何协调者。人眼在观察图像时,提取的是图像的结构信息,而不是图像像素点间的误差,因此,结构失真才是图像质量评价中至关重要的因素,这也是MSE以及PSNR方法对图像质量的评价结果经常出现与人的主观感觉不一致的主要原因。对于待比较的两图像X,Y,文献通过以下三方面的比较实现了对两图像结构相似程度的度量。亮度比较:l(X‚Y)=2μXμY+C1μ2X+μ2Y+C1l(X‚Y)=2μXμY+C1μ2X+μ2Y+C1式中,μX、μY表示X,Y图像的均值,C1=(K1L)2,对比度比较:c(X‚Y)=2σXσY+C2σ2X+σ2Y+C2式中,σX、σY表示X,Y图像的方差,C2=(K2L)2结构比较:s(X‚Y)=σXY+C3σXσY+C3式中,σXY表示X,Y图像的协方差,C3=C2/2两图像的结构相似度可以表示为:SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)=(2μXμY+C1)(2σXY+C2)(μ2X+μ2Y+C1)(σ2X+σ2Y+C2)(1)C1、C2、C3为常数,避免式(1)的分母为0而出现不稳定的情况,一般K1=0.01,K2=0.03,L=255时效果较好。在实际应用上述方法时,并不是直接对两图像的结构进行比较,而是利用滑动窗口操作将两图像以相同大小的窗口进行互不重叠的分块,令分块总数为N,考虑到窗口形状对分块的影响,采用高斯加权计算每一窗口的均值,方差以及协方差,然后利用式(1)分别计算对应块的结构相似度SSIM(x,y),最后按照式(2)将平均值作为两图像结构相似性的度量,即平均结构相似度MSSIM。ΜSSΙΜ(X‚Y)=1ΝΝ∑j=1SSΙΜ(xj‚yj)(2)考虑到图像中不同区域的像素灰度变化程度对视觉效果的影响,文献还提出了一种加权的结构相似度,表示为:WSSΙΜ(X‚Y)=Ν∑j=1Wj(xj‚yj)⋅SSΙΜ(xj‚yj)Ν∑j=1Wj(xj‚yj)(3)式中,W(x‚y)=σ2X+σ2Y+C2。SSIM方法(在本文中,除非特殊指定,否则将MSSIM和WSSIM统称为SSIM)虽然比较全面地利用了图像的各种结构信息,并且取得了优于PSNR的质量评价结果,但SSIM并不能完全解决PSNR的问题,同样有可能出现评价结果与人的主观感觉严重不一致的情况。采用SSIM方法对图1中各降质图像的质量进行了评价。其中,图1(a)为原图像;图1(b)和图1(c)为模糊图像,是以3×3和19×19的模板对原图像均值滤波的结果;图1(d)和图1(e)为原图像中加入密度为0.005和0.02的高斯白噪声的结果;图1(f)为对原图像奇异值分解,仅保留最大奇异值合成得到的图像。评价结果如表1所示。由图1可以看到,虽然图1(d)和图1(e)中分布了不同密度的噪声,但是图中黑色方块的结构仍然清晰可见,其图像质量明显好于对原图像均值滤波后得到的模糊图像图1(c),而SSIM方法对二者的评价结果却低于图1(c);奇异值分解后得到的图1(f)产生了严重的失真,从中无法观察到和原图像相关的任何信息,而SSIM方法对其图像质量的评价结果明显较高,甚至好于图1(d)和图1(e)。显然,在上述情况下,SSIM方法对于某些图像的质量评价结果与人的主观感受有较大差异。该方法对于噪声所导致的图像失真比较敏感,而对于图像的模糊等失真类型的敏感程度较低,从而使其对以上某些降质图像的评价结果与人的主观感觉不一致。因此,应该考虑更多的能够反映图像结构信息的因素,从而平衡SSIM对于各种失真的敏感程度。3图像质量的评价人眼对图像的高频部分比较敏感,而图像的细节往往和高频部分有关,图像的局部方差较好地体现了图像的细节信息,所以可以通过分析图像局部方差的变化来分析图像的细节信息,或者也可以认为图像局部方差的分布包含了图像的大量结构信息,而SSIM方法并未对图像局部方差的整体分布情况进行统计和分析。把图像局部方差的分布作为反应图像结构特征的一个重要因素,对于图像中包含L个像素的图像分块Ii,j,其内部像素为ηp,局部方差定义为:Var(Ιi‚j)=1LL∑p=1(ηp-ˉΙi‚j)2式中:ˉΙi‚j=1LL∑p=1ηp对于包含在Ii,j分块内的像素ηp,采用文献中提到的高斯加权的方法计算每一分块的均值和方差,表示为:ˉΙi‚j=L∑p=1ωpηpL∑p=1ωpVar(Ιi‚j)=L∑p=1ωp(ηp-ˉΙi‚j)2L∑p=1ωp采用滑动窗口对图像进行互不重叠的分块,得到每一分块的方差,即图像的局部方差,同时也可以得到由局部方差组成的图像,大小为M×N。对于I、J两图像局部方差的分布规律,可以通过以下的几个统计量表示:局部方差的平均值:μVΙ=1ΜΝΜ∑i=1Ν∑j=1Var(Ιi‚j)局部方差的标准差:σVΙ=(1ΜΝ-1Μ∑i=1Μ∑j=1(Var(Ιi‚j)-μVΙ)2)1/2两图像局部方差的协方差:σVΙVJ=1ΜΝ-1Μ∑i=1Μ∑j=1(Var(Ιi‚j)-μVΙ)(Var(Ji‚j)-μVJ)图像局部方差的分布表征了图像的某些结构特征,那么两图像局部方差分布的相似程度就可以作为表征图像的相应结构特征相似程度的度量。定义图像I和图像J的局部方差分布的相似度LVS为:LVS=2μVΙμVJμ2VΙ+μ2VJ⋅2σVΙσVJσ2VΙ+σ2VJ⋅σVΙVJσVΙσVJ=2μVΙμVJμ2VΙ+μ2VJ⋅2σVΙσVJσ2VΙ+σ2VJ(4)采用LVS方法对图1中各图像的质量进行了评价,结果如表2所示。显然,对于失真比较严重的图1(c)和图1(f),LVS给出了比较低的评价结果,这与人的主观感受比较接近。但是也注意到,对于受到噪声污染的图1(d)和图1(e),LVS给出了较高的评价结果。接下来我们针对图1(a)的原图像,对其进行不同程度的模糊和噪声污染,将LVS与SSIM的评价结果进行了对比。表3为模糊和噪声污染的参数,模糊图像为采用不同大小的模板对原图像均值滤波的结果,噪声污染图像通过在原图像中添加各种密度的高斯白噪声产生。对于模糊和噪声两种失真类型的图像质量评价结果分别在图2(a)和图2(b)中给出。由图2(a)可以看到,LVS对于图像的模糊失真比较敏感,对于模糊程度最严重的几幅图像,LVS给出了非常低的评价结果,这与人的主观感觉比较接近。图像的模糊失真往往导致图像细节信息的丢失,而严重的模糊则会导致图像内容无法辨认清楚,对图像质量造成严重影响。因此,LVS对模糊图像的质量评价结果要比SSIM更加合理。但是由图2(b)也看到,和模糊图像相比,LVS对于图1(a)各种程度的噪声污染图像给出了比较高的评价结果,例如对于密度为0.02的噪声污染图像,该方法的评价结果要好于用3×3的模板对原图像均值滤波得到的模糊图像,并且LVS对于图1(a)各种程度的噪声污染失真的敏感程度也要小于SSIM。为了进一步研究LVS的特点,针对表3中编号为3的模糊图像,添加如表3所示的各种密度的高斯白噪声,得到10幅降质图像,同样以图1(a)为标准参考图像,采用LVS与SSIM方法的评价结果如图3所示。由图3可以看到,LVS对于编号为3的模糊图像在各种程度噪声污染情况下的评价结果居然随着图像中噪声密度的增加而提高,这显然与人眼的视觉特性截然相反。图4给出了噪声密度为0.003和0.03的两图像。图4(a)和图4(b)的差异主要在于图像中分布的噪声密度不同,因此,噪声密度较小的图4(a)的图像质量要好于图4(b),但是LVS却给出了完全相反的评价结果,按照LVS的评价结果,按照LVS的评价结果,编号为3的模糊图像中分布的噪声密度越大,图像质量反而越好,这显然与人的主观感觉不一致。而SSIM对该图像的不同程度的噪声污染图像的评价结果相对LVS而言是比较准确的。相应的,也给出了表3中编号为4的噪声污染图像在各种程度模糊情况下的评价结果,如图5所示,均值滤波的模板大小与表3相同。图6给出了其中几个滤波后的图像。本文采用均值滤波的方法实现了图像的模糊,适当大小的模板起到了去除图像中噪声的作用,但是随着模糊程度的增加,图像也出现了严重的失真。由图5可以看到,SSIM对于图6(b)的评价结果均要高于图6(a),而根据人的主观感觉,由于模糊程度较大,图6(b)的图像质量已经明显不如图8(a),也可以认为在这种情况下模糊对于图像质量的影响已经大于噪声的影响,而SSIM却给出了与人的主观感觉不一致的结果。对于模糊程度最严重的图6(c),SSIM也给出了较高的评价结果,这显然与人的主观感觉也是不一致的。由于LVS所具有的对模糊失真更加敏感的特性,因而对于严重模糊失真图像的评价结果更加符合人的主观感觉。但是LVS显然对于噪声失真的敏感程度过低,对于以3×3的模板滤波后的图像的评价结果要低于图2(b)中编号为4的评价结果,这显然也不符合人的主观感觉。由以上对LVS和SSIM的特点的分析可知,二者所表征的图像结构信息各有侧重。在某些情况下,均出现了由于对不同类型的失真敏感程度不同而导致的评价结果与人的主观感觉不一致的情况。对于模糊等失真类型,SSIM的评价结果显然不符合人眼的视觉特性。LVS方法虽然能弥补SSIM的某些不足,但是由于LVS是以局部方差为基本单位通过比较其分布的差异实现的图像质量评价,因此该方法所表征的图像结构信息也并不是很全面。实际中造成图像质量下降的原因往往是多方面的,因此LVS方法更应该作为一种反映图像结构差异的主要因素来考虑,而不是将其作为一种单一的图像质量评价方法。虽然从形式上看,式(4)与SSIM的表示方法比较相似,但是LVS所计算的是2图像整体局部方差分布的相似程度,而不是各个分块相似程度的平均值或者加权平均值,该特征对于SSIM所不敏感的某些结构信息的敏感程度较高。因此可以将LVS与MSSIM或者WSSIM的乘积作为表征图像结构相似程度的度量,称之为LVS_MSSIM和LVS_WSSIM(以下除非特殊指定,否则将LVS_MSSIM和LVS_WSSIM统称为LVS_SSIM),分别表示如下:LVS-MSSIM=LVS·MSSIMLVS-WSSIM=LVS·WSSIM采用上述方法对图1中各图像的质量评价结果如表4所示。因为综合考虑了各种图像失真,所以表4给出的评价结果和表1与表2相比,比较理想的平衡了各种失真类型对于图像质量的影响程度,评价结果与人的主观感觉的一致性较好。对于表3中的模糊和噪声污染图像,同样采用LVS-SSIM方法进行了评价,结果在图7中给出。由图7可以看到,采用LVS-SSIM方法的评价结果与人的主观感觉的一致性和单一的LVS或者SSIM方法相比都有较大的提高。对于同一模糊图像各种密度的噪声污染图像以及同一噪声污染图像各种程度的模糊图像,本文也采用LVS-SSIM方法进行了评价,结果在图8中给出。由图8可以看到,对于同一模糊图像各种密度的噪声污染图像以及同一噪声污染图像各种程度的模糊图像,LVS-SSIM的评价结果整体上随失真程度的增加而呈下降趋势,与人的主观感觉的一致性较好。由图8(b)可以看到,对于以3×3的模板滤波后的图像,该方法给出了高于未经滤波的噪声污染图像的评价结果(对于表3中编号为4的噪声污染图像的评价结果如图7(b)所示),这与人的主观感觉是相符的,真实地反映了模糊以及噪声污染对于图像质量的影响程度。4失真图像的评价结果实验中以Lena图像为原图像,如图9(a)所示,对其进行了不同级别,不同类型的失真处理,得到的各种降质图像如图9(b)-(f)所示。其中,图9(b)为采用17×17的模板对原图像进行均值滤波得到的模糊图像;图9(c)为高通滤波得到的图像,具体方法为:设图9(c)为J2则,J2=1.15I-J,其中J为采用5×5的模板对原图像均值滤波得到的图像,I为原图像;图9(d)为在原图像中添加方差为0.007的高斯白噪声得到的噪声污染图像;图9(e)为原图像与常数30相加得到的图像;图9(f)为对原图像进行奇异值分解后,仅保留最大奇异值合成得到的图像。采用MSE,PSNR,MSSIM,WSSIM以及本文所提的LVS-SSIM方法对上述图像的质量评价结果如表5所示。显然,图9(f)的图像质量应该是最差的,完全无法辨清图像中的任何内容,而表5所给出的各种评价结果中,只有LVS-SSIM对图9(f)给出了最差的评价结果。根据MSE和PSNR的评价结果,图9(b)的图像质量应该好于图9(e)图像,但是根据人的主观感觉,图9(b)的清晰程度显然不如图9(e)。图9(d)虽然受到了噪声污染,但是图像的主要细节大多清晰可见,由于SSIM对图像噪声失真的敏感程度高于模糊失真,因此对图9(d)的图像质量评价结果远远低于图9(b),这显然与人的主观感觉不一致。为了进一步比较SSIM与LVS-SSIM,本文采取了如下的方法:针对同一种评价方法,人为的调整各种失真类型的参数,使同一种评价方法对各种失真图像的评价结果相近,然后采用另一种评价方法评价这些失真图像的质量,从而比较二者的评价结果。图10为采用MSSIM方法评价结果相近的各种类型的失真图像。图10(a)为采用47×47的模板对原图像均值滤波得到的模糊图像;图10(b)为高通滤波后的图像,设图10(b)为J2,则J2=1.37915I-J,其中J为采用5×5的模板对原图像均值滤波得到的图像,I为原图像;图10(c)为在原图像中添加了方差为0.001852的高斯白噪声得到的噪声污染图像;图10(d)为原图像加上常数156得到的图像;图10(e)为对原图像奇异值分解后,保留最大奇异值合成得到的图像。表6给出了各种评价方法的评价结果。根据人的主观感觉,图10(e)已经严重失真,图10(a)和图10(d)中的部分图像内容也已经无法辩清,图10(c)虽然受到了噪声污染,但是显示效果明显好于上述3幅图像,图10(b)亮度较低,但是由于高通滤波的作用,图像的某些结构信息得到了加强,可以辨别到图像中主要内容的轮廓。MSSIM对于图10中的图像给出了相近的评价结果,这显然与人的主观感觉不符。而LVS-SSIM所给出的评价结果相对而言比较合理。同样也对WSSIM方法评价结果相近的图像进行了测试。结果表明,对于WSSIM评价结果相近的图像,主观感觉其图像质量的差别与图10中各图像的差别基本相同。对于这些图像,LVS-SSIM同样给出了和人的主观感觉比较一致的评价结果。具体数值如表7所示,其中(a)为采用45×45的模板对原图像均值滤波得到的模糊图像;(b)为高通滤波后的图像,设(b)图像为J2则,J2=1.3445I-J,其中J为采用7×7的模板对原图像均值滤波得到的图像,I为原图像;(c)为在原图像中添加了方差为0.00261的高斯白噪声得到的噪声污染图像;(d)为原图像加上常数160得到的图像;(e)为将原图像奇异值分解后,保留最大奇异值合成得到的图像。在图11中给出了LVS-MSSIM评价结果相近的图像。图11(a)为采用5×5的模板对原图像均值滤波得到的模糊图像;图11(b)为高通滤波后的图像,设图11(b)为J2,则,J2=1.439I-J,其中J为采用5×5的模板对原图像均值滤波的结果,I为原图像;图11(c)为在原图像中添加了方差为0.00259的高斯白噪声得到的噪声污染图像;图11(d)为原图像加上常数118得到的图像。图11(e)为将原图像奇异值分解后,保留前31个较大的奇异值合成得到的图像。表8给出了各种方法的评价结果。对于LVS-MSSIM评价结果相近的几幅图像,SSIM则给出了差别较大的评价结果。根据SSIM的评价结果,图11(a)和图11(e)的图像质量应该远远好于图11(c),但是由图中可以看到,图11(a)和图11(e)的图像质量与图11(c)相比并没有太大的差别。LVS-WSSIM的评价结果与LVS-MSSIM方法的评价结果基本相近,仅对图11(c)的噪声污染图像的评价结果较高,适当增加图像噪声污染的程度,使其评价结果接近于其余图像,从而得到了图12(噪声密度为0.00292),在表9中给出了各种方法对于图12的评价结果。很多情况下,造成图像失真的原因是多方面的