《数字图像处理系统导论》课件第4章

第四章云雾图像处理4.1图像增强

4.2图像复原

4.3云雾图像的处理

4.4小结习题

在图像的产生、传输和变换过程中，由于多种因素的影响，往往使图像与原始景物之间或原始图像之间产生某些差异，这种差异称为变劣或退化。图像的退化对从图像中获取各种信息造成困难和不便。实际应用中，造成图像变劣的因素非常多，常见的图像变劣特征有图像获得过程中对比度的降低(如照相时曝光过度和曝光不足)、信号的减弱(如电视信号的远距离传输)、图像模糊、图像上的噪声和图像几何畸变等。图像增强与复原是一种加强图像判读和识别效果的图像处理方法。利用此方法可以突出一幅图像中的某些信息或强化某些感兴趣的特征，改善图像质量和丰富信息量，提高图像的视觉效果和图像成分的清晰度。图像复原是在假定已知模糊或噪声的模型时，试图估计原图像的一种技术。图像增强的目标是改进图片的质量，例如增加对比度，去掉模糊和噪声，修正几何畸变等，以提高图像质量为目的的图像增强和复原对一些难以得到的图片或者在拍摄条件十分恶劣情况下得到的图片都有广泛的应用。例如从太空中拍摄到的地球或其他星球的照片，用电子显微镜或X光拍摄的生物医疗图片等。

1990年发射的“哈勃”号太空望远镜能够拍摄超远距离的物体，但是由于镜头出现误差，拍摄到的图像就失去了价值，而借助于图像复原技术却可以加以修复，如图4-1所示。图4-1“哈勃”号太空望远镜图像复原图 4.1图像增强

图像增强就是采用一系列技术手段对图像的某些特征，如边缘、轮廓、对比度等进行调整，来改善图像的视觉效果或者将图像转换成一种更适合人或机器进行分析的形式，以便于图像的显示、观察或进一步处理。

常用的图像增强方法有：①灰度等级直方图处理：使加工后的图像在某一灰度范围内有更好的对比度；②干扰抑制：通过低通滤波、多图像平均、施行某类空间域算子等处理，抑制叠加在图像上的随机性干扰；③边缘锐化：通过高通滤波、差分运算或某种变换，使图形的轮廓线增强；④伪彩色处理：将黑白图像转换为彩色图像，从而使人们易于分析和检测图像包含的信息。4.1.1图像的空域增强

1.空域图像增强原理

基于空域的算法分为点运算和邻域运算。点运算算法有灰度级校正、灰度变换和直方图修正等，点运算算法可使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但容易引起边缘的模糊。常用的平滑算法有均值滤波和中值滤波。锐化的目的在于突出物体的边缘轮廓，便于目标识别。常用的锐化算法有梯度法、算子法、高通滤波、掩模匹配法、统计差值法等。图4-2给出了图像增强示例。图4-2图像增强示例

2.空域图像增强算法

1)直方图均衡化

直方图是图像的灰度像素数统计图，用于表示图像中不同灰度级出现的相对频率。直方图均衡化就是把原始图的直方图变换为均匀分布的形式，以增加像素灰度值的动态范围，提高图像的对比度，如图4-3所示。

设原始图像在(x，y)处的灰度为f，而改变后的图像灰度为g，则对图像增强的方法可表述为将在(x，y)处的灰度f映射为g。灰度直方图均衡化处理中，对图像的映射函数可定义为g=EQ(f)，映射函数EQ(f)必须满足两个条件：图4-3直方图均衡化效果

(1)EQ(f)在0≤f≤L－1范围内是一个单值单增函数，其中L为图像的灰度级数。这是为了保证增强处理没有打乱原始图像的灰度排列次序，原图各灰度级在变换后仍保持从黑到白(或从白到黑)的排列。

(2)对于0≤f≤L－1有0≤g≤L－1，这个条件可保证变换前后灰度值动态范围一致。

累计分布函数可以满足上述两个条件，并且通过该函数可以完成将原图像灰度f的分布转换成g的均匀分布。此时的直方图均衡化映射函数为(4-1)上述求和区间为0～k，由原图像的各像素灰度值，根据该方程可以直接得到直方图均衡化后各像素的灰度值，直方图变化如图4-4所示。

在实际处理变换时，一般先对原始图像的灰度情况进行统计分析，并计算出原始直方图分布，然后根据计算出的累计直方图分布求出fk到gk的灰度映射关系。在重复上述步骤得到源图像所有灰度级到目标图像灰度级的映射关系后，按照这个映射关系对源图像各点像素进行灰度转换，即可完成对原图的直方图均衡化。

下面以一幅3×2像素的简单图片(见图4-5)为例，来说明灰度直方图均衡化的算法。图4-4直方图变化图4-5原图像灰度值分布求出每个色阶的百分比之后，再乘255，就可以求出与其对应的灰度值来。表4-1所示为对应灰度值转换。表4-1对应灰度值转换根据每个色阶的百分比的对应关系组成一个灰度映射表，然后根据映射表来修改原来图像每个像素的灰度值。对于图4-5，用128替换50，用212替换100，用255替换200。这样，灰度直方图的均衡化就完成了，如图4-6所示。

直方图均衡化常用来增加图像的局部对比度，对背景和前景都太亮或者太暗的图像非常有用，尤其是可以用于在X光图像中更好地显示骨骼结构以及修正曝光过度或者曝光不足的照片，使其显现更多的细节。直方图均衡化可能会增加背景的对比度并且降低有用信号的对比度，某些图像变换后灰度级会减少，细节变差；对直方图有高峰的图像，经处理后对比度会过分增强。图4-6对应灰度值映射

2)空域模板滤波法

(1)均值滤波。

为了抑制噪声和改善图像质量所进行的处理称为图像平滑或去噪。其中，邻域平均法直接在空间域上进行平滑处理，用邻域内各像素的灰度平均值代替该像素原来的灰度值。邻域平均法可看做一个掩模作用于图像f(x，y)的低通空间滤波，掩模就是一个滤波器，它的响应为H(r，s)，于是滤波输出的数字图像g(x，y)用离散卷积表示为(4-2)通过如下模板运算实现

经过上述平滑后，信号与噪声的方差比可提高。图4-7为均值滤波的效果图，从图可以看出，均值滤波的主要缺点是在降低噪声的同时使图像变得模糊。(4-3)图4-7均值滤波效果图

(2)中值滤波。

中值滤波是对一个滑动窗口内的诸像素灰度值排序，用中值代替窗口中心像素的原灰度值，因此它是一种非线性的图像平滑法。例如，采用1×3窗口进行中值滤波时，若原图像序列为

22621244424

处理后则为

22222244444

中值滤波对脉冲干扰及椒盐噪声的抑制效果好，同时能有效保护边缘，减少其模糊，图4-8为实际处理效果。图4-8滤波效果比较

(3)图像锐化。

在图像的识别中常需要突出边缘和轮廓信息。图像锐化的目的就是增强图像的边缘或轮廓。在数字图像处理中，图像平滑通过积分过程使得图像边缘模糊，图像锐化则通过微分而使图像边缘突出、清晰。

基于Laplacian算子的图像增强方法使用Laplacian算子检测图像的边缘纹理等细节信息，然后以适当比例线性叠加原始图像和细节信息，从而完成图像增强，如图4-9所示。图4-9锐化效果图

Laplacian算子是线性二阶微分算子。对离散的数字图像而言，二阶偏导数可用二阶差分近似，可推导出Laplacian算子表达式为

Laplacian增强算子为(4-5)(4-4)

Laplacian算子模板表示如下：

基于Laplacian算子的图像增强方法既能增强图像的高频分量，又能保持图像的低频分量，是图像增强的有效方法。(4-6)4.1.2图像的频率域增强

图像增强频域法把图像看做二维信号，对其进行二维傅里叶变换，如图4-10所示。高频信号携带了图像的细节部分信息(比如图像的边界)，低频信号包含了图像的背景信息。对这些不同频率的信号进行处理可以实现增强图像的目的。如采用低通滤波法，可去掉图中的噪声，把细节部分剔除，得到大致背景轮廓的图像；采用高通滤波法，使高频信号加强，则可增强边缘等高频信号，使模糊的图片变得清晰，达到锐化的效果。图4-10原始图像及其傅里叶频谱图

1.频率域增强原理

假定原图像为f(x，y)，经傅里叶变换为F(u，v)。频率域增强就是选择合适的滤波器H(u，v)对F(u，v)的频谱成分进行处理G(u，v)=H(u，v)F(u，v)，然后经逆傅里叶变换得到增强的图像g(x，y)=F－1({G(u，v)}。

假设f(x，y)和h(x，y)的大小分别为A×B和C×D。如果直接进行傅里叶变换和乘积，会产生折叠误差(卷绕)。为解决这一问题，需通过对f和h补零，构造两个大小均为P×Q的函数，使其满足

P≥A+C－1

Q≥B+D－1频率域增强的过程描述如下：

(1)对扩充的f和h函数分别进行傅里叶变换F(u，v)和H(u，v)；

(2)频率域相乘：G=H×F；

(3)对相乘的结果进行傅里叶逆变换，并取实部，即

g(x，y)=real(ifft2(G))；

(4)将左上部的矩形修剪为原始大小，即g(x，y)=(1：size(f，1)，1：size(f，2))。

2.频率域滤波器分类

图像中的均匀与不均匀反映了频率高低不同，抑制低频(增强高频)对应于锐化滤波器，而抑制高频(增强低频)对应于平滑滤波器。以下讨论考虑对F(u，v)的实部、虚部影响完全相同的滤波转移函数——零相移滤波器。

1)理想低通滤波器

理想低通滤波器的传递函数为(4-7)

式中：截断频率D0是指使H最大值降到某个百分比的频率。D(u，v)=(u2+v2)1/2为频率平面原点到点(u，v)的距离。

当D(u，v)=D0时，H(u，v)=0.5(即H降到50％)。另一个常用的截断频率值是使H降到最大值的0.667。

图4-11为理想低通滤波器及其剖面图。图4-11理想低通滤波器及其剖面图理想低通滤波器可以滤除高频成分，使图像变模糊，如图4-12所示，但是也会造成输出结果有抖动现象(振铃现象),物理上不可实现。图4-12理想低通滤波效果

2)巴特沃思低通滤波器

对巴特沃思低通滤波器，参数n较小时，滤波曲线比较平坦。参数n较大时，滤波曲线比较尖锐，接近理想滤波

器，如图4-13所示。(4-8)图4-13巴特沃斯低通滤波器及剖面图

3)高斯低通滤波器

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器，如图4-14所示。高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。

高斯低通滤波器的傅里叶反变换也是高斯的，因此没有振铃现象，如图4-15所示。(4-9)图4-14高斯低通滤波器图4-15高斯低通滤波效果

4)频率域锐化滤波器

图像中的均匀与不均匀反映了频率高低不同，抑制低频锐化滤波器表示如下：

式中：D0为截止频率；n为阶数，控制曲线形状。

图4-16为锐化滤波器及滤波效果图。(4-10)图4-16锐化滤波器及滤波效果图4.1.3增强示例：同态滤波图像增强

图像的同态滤波技术的依据是图像获取过程中的照明反射成像原理。它属于频域处理，作用是对图像灰度范围进行调整，通过消除图像上照明不均的问题，增强图像细节。同态滤波器就是一种非线性滤波器，其处理是一种基于特征的对比度增强方法，主要用于减轻由于光照不均匀引起的图像降质，并有效地增强感兴趣的景物。

人眼对图像亮度响应具有如下的非线性形式

f(x，y)=i(x，y)·r(x，y)

(4-11)

式中：f(x，y)是图像幅度分布；i(x，y)是图像入射光分布，取决于照射源特性(低频)，r(x，y)是反射系数分布(高频),取决于成像物体的特性。消除照度不均的影响，其实就是获得反射系数分布。如果图像照明不均，则图像上各部分的亮度会有起伏。压缩照度分量的灰度范围，或在频域上削弱照度分量的频谱分量。用对比度增强这一分量的对比度或在频域上加大反射频谱成分，使暗区细节增强，并保留亮区图像细节。

同态滤波流程如图4-17所示，函数的剖面图如图4-18所示，同态滤波压缩了照度分量，增强了反射分量，达到了图像增晰之目的。图4-17同态滤波流程图图4-18同态滤波函数的剖面图同态滤波算法的步骤如下：

(1)先对两边同时取对数，即lnf(x，y)=lni(x，y)+lnr(x，y)；

(2)将上式两边取傅里叶变换，得

F(u，v)=I(u，v)+R(u，v)

其中

F(u，v)=F(lnf(x，y))，I(u，v)=F(lni(x，y))，R(u，v) =F(lnr(x，y))

(3)设用频域函数H(u，v)来处理F(u，v)，可得到

H(u，v)F(u，v)=H(u，v)I(u，v)+H(u，v)R(u，v)

定义

Hf=H(u，v)F(u，v)，Hi=H(u，v)I(u，v)，Hr=H(u，v)R(u，v)得 Hf=Hi+Hr

(4)反变换到空域，得

hf(x，y)=hi(x，y)+hr(x，y)

可见，增强后的图像是由分别对应照度分量与反射分量的两部分叠加而成;

(5)再将上式两边取指数运算，得

g(x，y)=exp｜hf(x，y)｜=exp｜hi(x，y)｜·exp｜hr(x，y)｜

(4-12)

同态滤波效果图如图4-19所示。图4-19同态滤波效果图 4.2图像复原

图像恢复技术是以退化图像为依据，运用某些先验知识，建立系统退化的数学模型。然后再将退化了的图像以最大的保真度恢复图像。图像复原与图像增强的不同之处在于，图像增强技术要借助人的视觉系统的特性，以取得看起来好的视觉结果，而图像复原则需要根据相应的退化模型和知识重建或恢复原始的图像。

退化原因可能是光学系统的像差或离焦、摄像系统与被摄物之间的相对运动、电子或光学系统的噪声和介于摄像系统与被摄像物间的大气湍流等。图像退化的典型表现有图像模糊、失真、有噪声。图像复原需要弄清退化的原因，建立相应的数学模型，并沿着图像降质的逆过程恢复图像。因此，我们需要根据不同的退化模型、处理技巧和估计准则，导出各种不同的恢复方法。图像f(x，y)被线性操作h(x，y)所模糊，并叠加上噪声n(x，y)，构成了退化后的图像g(x，y)。退化后的图像与复原滤波器卷积得到复原的f(x，y)图像。图像复原过程如图4-20所示。图4-20图像恢复过程4.2.1图像模糊的退化模型

图像模糊可以笼统地归纳为成像系统没有理想的冲激响应。设原始图像f(x，y)经过系统H(x，y)作用后，和加性噪声相叠加，形成了退化图像g(x，y)=H［f(x，y)］+n(x，y),当H［·］是线性算子时，(4-13)式中：h(x，a；y，b)=H［d(x－a，y－b)］称为H(x，y)的冲激响应。在图像形成的光学过程中，冲激为一光点。因此又将h(x，a；y，b)称为退化过程的点扩展函数(PSF)。

h(x，a；y，b)=h(x－a，y－b)

因而

所以，图像复原过程可看做已知g(x，y)和有关h(x，y)、n(x，y)的一些先验知识，求出f(x，y)。

不同的点扩散函数(PSF)会产生不同的模糊图像。退化函数的知识越精确，复原结果就越好。下面介绍三种典型的点扩散函数。(4-14)

1)匀速运动点扩散函数

假设图像是通过一个具有机械快门的摄像机获得的。摄像机和拍摄物体在快门打开期间T的相对运动引起物体在图像中的平滑。假设u、v分别是沿x和y轴方向的常速度，T为快门打开时间，x0(t)、y0(t)分别是位移的x分量和y分量，则时间T内PSF的傅里叶变换H(u，v)由下式给出：(4-15)

2)离焦模糊的点扩散函数

由于焦距不当导致的图像模糊可以用如下函数表示：

式中：d是散焦点扩展函数的直径；J1(·)是第一类贝塞尔函数。

3)大气扰动的点扩散函数

大气扰动造成的图像模糊在遥感和天文中是需要复原的。它是由大气的不均匀性导致穿过的光线偏离而引起的，其数学模型表达式为

H(u，v)=exp［－c(u2+v2)5/6］ (4-17)

式中:c是一个依赖扰动类型的变量，通常通过实验来确定；幂指数5/6有时用1代替。(4-16)4.2.2退化图像的复原方法

1.逆滤波复原

在20世纪60年代中期，逆滤波(去卷积)开始被广泛地应用于数字图像复原。Nathan用二维去卷积方法来处理由漫游者、探索者等外星探索发射得到的图像。在同一时期，Harris采用PSF的解析模型对望远镜图像因大气扰动造成的模糊进行了逆滤波处理，Mcglamery则采用由实验确定的PSF对大气扰动图像进行逆滤波。从此以后，逆滤波就成了模糊图像复原的一种标准技术。

恢复退化图像最简单的方法是直接逆滤波。在该方法中，用退化函数除以退化图像的傅里叶变换F(u，v)来计算原始图像的傅里叶变换估计 ，可得逆滤波退化公式：

为了克服H(u，v)接近0的问题，在分母中加入小的常数k，将上式修改为

由此可见，如果已知退化图像的傅里叶变换和系统冲激响应函数(“滤波”传递函数)，则可以求得原图像的傅里叶变换，经傅里叶反变换就可以求得原始图像f(x，y)，其中G(u，v)除以H(u，v)起到了反向滤波的作用。这就是逆滤波复原的基本原理。

图4-21所示为用巴特沃思带阻滤波器复原受正弦噪声干扰的图像。(4-18)(4-19)图4-21用巴特沃思带阻滤波器复原受正弦噪声干扰的图像

2.维纳滤波复原

噪声源往往具有平坦的功率谱，即使不是如此，它随频率的上升而下降的趋势也要比典型图像的功率谱慢得多。因此，功率谱的低频部分以信号为主，然而高频部分则主要被噪声所占据。由于逆滤波器的幅值常随着频率的升高而升高，因此会增强高频部分的噪声。为了克服以上缺点，采用最小均方误差的方法(维纳滤波)进行模糊图像恢复。

图像和噪声的相关矩阵都是把图像当做随机过程来研究的。设Sg(u，v)为g(x，y)的相关函数Rg(x，y)的傅里叶变换，Sn(u，v)为n(x，y)的相关函数Rn(x，y)的傅里叶变换，H(u，v)为冲激响应函数h(x，y)的傅里叶变换，有时也把Sg(u，v)和Sn(u，v)分别称为g(x，y)和n(x，y)的功率谱密度，在这里最小二乘方的最佳已经演变成均方误差最小准则下的最佳。可求得频域维纳滤波公式如下：

当g=1时，频域维纳滤波器为标准维纳滤波器；当g≠1时，为含参数维纳滤波器。若没有噪声，即Sn(u，v)=0，维纳滤波器则退化成理想逆滤波器。

实际应用中必须调节g值。由于Sn(u，v)、Sg(u，v)实际很难求得，因此，可以用一个比值k代替两者之比，从而得到简化的维纳滤波公式，即(4-20)

维纳滤波器处理效果如图4-22所示。(4-21)图4-22维纳滤波器的应用

3.有约束最小二乘复原

大多数图像恢复问题都不具有唯一解，或者说恢复具有病态特征。为了克服这一问题，通常需要在恢复过程中对运算施加某种约束。设对图像施加某一线性运算Q，约束条件为

那么最优解可以表示为

式中:g=1/l。把上式代入式(4-22)中可以证明，｜n｜2是g的单调递增函数。因此可以用迭代法求出满足约束条件式(4-22)的待定系数g，过程如下：(4-22)(4-23)

(1)首先任取一个g，代入式(4-23)；

(2)把求得的再代入式(4-22)，若结果大于｜n｜2，则减少g，反之增大g；

(3)再重复上述过程，直到约束条件式(4-22)被满足为止(实际求解时，只要能使 之差小于某一给定值即可)；

(4)把求得的g代入，便求得最佳估计。

我们也可以直接从空间域的有约束最小二乘方恢复式(4-23)得到它的频域解(4-24)4.2.3复原示例：运动模糊图像的复原方法及原理

在所有的运动模糊中，由匀速直线运动造成的模糊图像的复原问题更具有一般性和普遍意义。运动模糊图像的恢复是图像复原的主要分支之一。从物理现象上看，运动模糊图像实际上就是同一景物图像经过一系列的距离延迟后再叠加，最终形成的图像。

1.匀速直线运动模糊图像的退化模型

将退化的点扩散函数记作h(x，y)，在不考虑噪声干扰的情况下，由目标与摄像机相对运动造成的图像模糊模型可以用图4-23来描述。图4-23匀速直线运动模糊图像的退化模型其中，原始图像f(x，y)在图像平面上作匀速直线运动，在x方向和y方向上的运动变化分量分别为x0(t)和y0(t)，在快门打开时间T内，底片上像素(x，y)的总曝光量是图像在运动过程中照到该点的像点亮度作用的总和，即匀速直线运动模糊图像的连续函数模型为

式中:g(x，y)为模糊后的图像。如果模糊图像是景物在x方向上作匀速直线运动造成的，则模糊后图像任意点的值为(4-26)(4-25)式中：x0(t)是景物在x方向上的运动分量。若图像总的位移量为a，总的时间为T，则运动的距离为x0(t)=at/T，故上式变为

以上讨论的是连续图像。对于离散图像来说，对上式进行离散化得

式中：L为照片上景物移动的像素个数的整数近似值；Δt是每个像素对模糊产生影响的时间因子。由此可知，运动模糊图像的像素值是原图像相应像素值与其时间的乘积的累加。(4-28)(4-27)

2.运动模糊图像的复原

如果我们要由一幅清晰图像模拟出水平匀速运动模糊图像，可按下式进行：

也可用卷积的方法模拟出水平方向匀速运动模糊。其过程可表示为

g(x，y)=f(x，y)*h(x，y)

(4-30)

其中(4-29)式中：h(x，y)称为模糊算子或点扩散函数；*表示卷积；f(x,y)表示原始(清晰)图像；g(x，y)表示观察到的退化图像。

如果考虑噪声的影响，则运动模糊图像的退化模型可以描述为一个退化函数和一个加性噪声项n(x，y)，处理一幅输入图像f(x，y)产生一幅退化图像g(x，y)。

g(x，y)=f(x，y)*h(x，y)+n(x，y)

(4-31)

由于空间域的卷积等同于频率域的乘积，所以式(4-31)的频率域描述为

G(u，v)=F(u，v)×H(u，v)+N(u，v)

(4-32)

式(4-32)中的大写字母项是式(4-31)中相应项的傅里叶变换。

改变积分次序，则有(4-33)(4-34)由傅里叶变换的位移性质，可得

令

这是已知退化模型的傅里叶变换式。若x(t)、y(t)的性质已知，则传递函数可直接求出，因此，f(x，y)可以恢复出来。图4-24、图4-25为运动模糊恢复示例。(4-35)图4-24沿水平方向匀速运动造成的模糊图像的恢复处理图4-25运动模糊恢复示例

4.3云雾图像的处理

在恶劣天气条件下(如雾天、雨天等)，户外景物图像的对比度和颜色都会退化，图像中蕴含的许多特征都被覆盖或模糊。由于大气的散射，雾天的大气退化图像具有对比度低、景物不清的特点，给交通系统及户外视觉系统的应用带来严重的影响，导致这些视觉系统无法正常工作，如户外监控系统、地形分类系统、自动导航系统等。这些户外视觉系统需要以户外景物图像为输入，通过图像处理技术准确检测输入图像的特征。图像去雾是图像处理领域研究的重要内容，它主要应用于视频监控、地形勘测和自动驾驶等方面，因此，自动性和实时性就成为关注的重点。图4-26为云雾图像增强示例。图4-26云雾图像增强示例4.3.1图像去雾方法的分类

去雾是一项有挑战性的课题。户外景物的图像通常会因为大气中的混浊的媒介(比如分子、水滴等)而降质，雾、霾、蒸气都会因大气吸收或散射造成此类现象。照相机接收到景物反射过来的光线受到衰减，此外，得到的光线还混合有大气光(经大气分子反射的周围环境的光线)。由于大气散射的程度和景点到照相机的距离有关，而大气中雾所依赖的深度信息是未知的，故在只有一幅图像可分析的情况下，解决这一问题又受到了制约。在雾天情况下，由于场景的能见度降低，图像中目标对比度和颜色等特征被衰减，致使室外视频系统无法正常工作，因此需要在视频图像中消除雾气对场景图像的影响。近年来，随着计算机软硬件技术的不断发展，对有雾天气图像的景物影像进行去雾处理已经成为可能。本节即在分析和借鉴若干计算机视觉领域研究成果的基础上，从图像处理和物理模型的研究角度，对图像去雾技术进行深入的介绍，并给出这一领域的最新研究进展。

采用数字图像处理技术对退化图像进行处理的方法有很多种，一般分为图像增强法和图像复原法。去雾方法分类如图4-27所示。图4-27主要去雾方法分类

4.3.2云雾图像增强法

1.直方图均衡化

1)YUV颜色空间的直方图均衡化

之所以采用YUV色彩空间，是因为是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。将采集视频的Y分量进行直方图均衡化后输出，结果如图4-28所示。图4-28

YUV颜色空间直方图均衡化

2)RGB颜色空间的直方图均衡化

RGB格式是显示器通常使用的格式。首先将摄像头采集的YUV视频格式转换为RGB格式，然后分别对R、G、B三个分量进行直方图均衡化，最后将合成的RGB格式视频转换回YUV格式在显示器上输出，如图4-29所示。图4-29颜色空间直方图均衡化

2.视频增强算法(Retinex算法)

Retinex理论认为：到达人眼的亮度由照射分量和物体的反射系数决定，视觉系统可以去除光照强度等因素影响，物体的色彩不受光照非均匀性的影响，具有一致性，即Retinex理论是以色感一致性(颜色恒常性)为基础的。与其他图像增强算法相比，基于Retinex理论的图像增强算法具有对比度高、色彩失真小、动态范围压缩大等特点。图4-30为基于Retinex理论的去除光照影响效果图。图4-30去除光照影响效果图

Retinex理论是一种建立在科学实验和科学分析基础上的基于人类视觉系统(HumanVisualSystem)的图像增强理论。根据Land提出的理论，一幅给定的图像S(x，y)可分解成两幅不同的图像，即反射物体图像R(x，y)和入射光图像L(x，y)，其原理示意图如图4-31所示。图4-31图像成像模型对于观察图像S中的每个点(x，y)，用公式可以表示为

S(x，y)=R(x，y)*L(x，y)

(4-36)

单尺度Retinex算法在对数域中则表示为

根据上式的原理，Retinex理论进行图像增强的关键是从原图像中有效的信息计算出反射图像R(x，y)。上式使用对数变换，将照射分量与反射分量从相乘的关系变为相加的关系，然后使用对照射分量进行估算，最后从亮度分量中去掉估算出的照射分量即为反射分量。但是从原图像计算亮度图像在数学上是一个奇异问题，因此只能通过数学上近似估计的方式估算亮度图像。(4-37)在单尺度Retinex增强算法中，杰泊森(Jobson)论证了高斯卷积函数可以对源图像提供更局部的准确处理，因而可以更好地增强图像的表现效果，它可以表示为

式中：l是常量矩阵；c是滤波半径，并且满足

。因此亮度图像最终可以表示为

L(x，y)=S(x，y)*G(x，y)

(4-39)(4-38)使用的高斯滤波器模板的尺度越大，处理结果中边缘处的光晕现象越严重。建议采用5×5的单尺度高斯滤波器。试验结果表明：这样的选取可以获得较好的处理结果，一方面可以改善光晕现象，另一方面也可以改善反射分量的拖尾现象，使算法处理后图像的亮度分布更合理。对云雾图像处理效果如图4-32所示。

Retinex可以在动态范围压缩、边缘增强和颜色恒常三方面达到平衡，因此可以对各种不同类型的图像进行自适应性地增强。图4-32云雾图像增强示例4.3.3云雾图像复原法

1.云雾图像模型

1)大气光模型

由于大气中粒子对环境光(包括直接阳光、地面漫反射等)的散射作用，观测者会察觉当目光从眼前的景色移向地平线时，景象逐渐变亮，导致大气出现光源的特性，这个现象称为大气光(AirLight)。它对成像也会产生影响，其强度随景点深度的增加而增加。

对任何给定的路径长度d，大气的光辐射强度为

A(d，l)=kL∞(l)(1－d－b(l)d)

(4-40)

式中：k为系数；d为景深；b(l)为大气散射系数；L∞(l)为雾的亮度。

2)雾衰减模型

因为大气层可看成各向同性的，透射率t(x)可表示为

t(x)=e－bd(x)

(4-41)

式中：b为大气的散射系数。该式表明景物光线是随着景物深度d按指数衰减的。

在计算机视觉和计算机图形中，Koschmieder给出的雾、霾天气条件下大气散射模型(如图4-33)被广泛地应用于图像去雾技术的研究。图4-33大气散射模型该模型描述如下：

I(x)=J(x)e－bd(x)+A(1－e－bd(x))=J(x)t(x)+A(1－t(x))

(4-42)

式中：I是指观测到的图像的强度；J是景物光线的强度；A是大气光成分；t用来描述光线通过媒介透射到照相机过程中没有被散射的部分；方程右边的第一项J(x)t(x)叫做直接衰减项；第二项A(1－t(x))则是大气光成分。直接衰减项描述的是景物光线在透射媒介中经衰减后的部分，而环境光则是由前方散射引起的，会导致景物颜色的偏移。总的来说，雾天图像所呈现的效果是雾衰减模型和大气光模型两者共同作用的结果，使得原清晰图像的颜色和对比度等发生了改变。大气散射的物理本质是高度复杂的，由媒质组成(包括大气粒子的类型、方向、粒子的大小和分布)以及入射光波的状态(包括光波的波长、偏振状态和传输方向)等多种因素决定。在短距离研究范围内，不考虑大气扰动等现象发生时，可以假设此时的天气条件(包括大气粒子的类型、密度等情况)是空间不变的。

2.云雾图像去雾原理

图像复原处理是指考查图像退化原因，通过建立物理模型，重建和恢复退化前的图像的过程。各种退化图像的复原都可归结为一种过程，就是把退化过程模型化，并且采用相反的过程进行处理，以便恢复出原图像。

去雾的目标就是从I中复原J、A、t。(4-43)4.3.4几种基于模型的去雾算法介绍

1.基于暗影通道先验的图像去雾算法(SingleImageHazeRemovalUsingDarkChannelPrior)

1)基本原理

暗原色先验是对户外无雾图像库的统计得出的规律。即在不包括天空的绝大部分局部区域，总会存在一些我们称之为“暗像素”的像素，至少有一个颜色通道具备很低的强度值。这些像素组成的图像我们称为“暗影通道(DarkChannel)”。在被雾干扰的图像里，这些暗像素的强度值会被大气中的白光成分所充斥而变得较高。这些像素可以帮助我们确定大气透射率，用暗像素来直接估计有雾图像的透射信息，然后利用图像修补的方法可以得到清晰的图像。然而，当场景在很大区域与大气光在本质上很相似，且表面光滑没有阴影时，暗原色先验就会失效。

2)算法步骤

(1)暗影通道。

假定在一个局部区域的透射率是恒定不变的。对彩色图像的最小颜色分量进行最小值滤波。

从上述的大气散射模型中可以看到，场景点的亮度和天空亮度可以由图像信息得到。暗原色先验是通过对户外无雾图像的观察得出的：在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数。用公式描述，对于一幅图像J，我们定义(4-44)如图4-34所示为15×15区域的滤波结果。图4-34

15×15区域的滤波效果

(2)大气光A的估计。

利用暗影通道提供的信息来估计大气光A，因为大气光A值不一定是图中亮度最大的点的亮度值(有可能是白色的大楼或白色的汽车)，所以这种情况下需要找出暗影通道中亮度最大的前0.1%的像素，将这一族像素映射回原图像I，找到I中对应部分的最亮的那一个像素的灰度值为大气光A，这些像素大部分都是雾遮盖最重而且不透明度最高的。它们的特点是景深接近无穷大。因为

I(x)=J(x)e－bd(x)+A(1－e－bd(x))

故当d(x)→∞时有

I(x)=A

(4-45)

由图4-35我们也可以看出,取得的大气光A值不一定是图中亮度最大的点(白色的大楼和汽车),可以正确地定位无穷远的点。图4-35大气光A提取过程示意图

(3)使用暗影通道估测透射率分布。

现实中，即使是很晴朗的天气，空气中总会不可避免地包含一些杂质分子。所以当我们看远处的物体时雾依然是存在的。而且，雾的存在是人们感知深度的一个基本线索。这一现象被称为空间透视。如果我们彻底地移除雾的存在，图像会看起来不真实，并且深度感会丢失。因此，我们可以通过在下式中引入一个常数w(0<w≤1)，有针对性地保留一部分覆盖遥远景物的雾：

图4-36为复原效果图。(4-46)图4-36复原效果图

(4)SoftMatting。

从图4-36可见，由透射图的粗估计得到的复原图像质量粗糙，边缘存在明显的光晕效应，所以需要对透射图进行优化。注意到云雾模型方程和Matting方程在形式上很相似，所以我们应用一种Matting算法来细化透射率分布函数。Matting方程如下所示：

式中：L是Levin提出的Matting拉普拉斯矩阵；l是一个修正后的参数；第一项是平滑项；第二项是数据项。矩阵L定义为(4-47)

式中：k为像素个数；｜wk｜为窗口大小；μk为均值矩阵；Ck为协方差矩阵；U3为单位阵；δij为Kroneckerdelta。优化后的透射分布函数t可以通过解下面的稀疏线性系统得到：

式中：U是一个和L大小相等的单位矩阵。我们给λ设置一个很小的值，因此t与相关。SoftMatting效果图如图4-37所示。(4-48)(4-49)图4-37

SoftMatting效果图

(5)复原物体亮度。

由以上步骤可以得出t和A，由云雾模型方程得出最终的复原图像为

由于A值通常很大，所以恢复的图像往往偏暗，可增大参数t0(=0.1)来提高图像的曝光率。复原效果如图4-38所示。(4-50)图4-38复原效果图

2.基于单一彩色或灰度图像的快速复原算法(FastVisibilityRestorationfromaSingleColororGrayLevelImage)

1)基本原理

基于大气物理模型，利用中值滤波的方法对大气幕(atmosphericveil)进行估计，计算出的恢复图像通常比较暗，最后经过色度调和获得亮度均匀的恢复图像。与其他算法相比，这种算法最重要的优点在于复杂度小(其复杂度仅是图像总像素数的线性函数)，处理速度快，可以应用在实时性要求较高的场合。另外一个优点在于，它可以处理彩色图像或者灰度图像，因为覆于物体上的雾和物体颜色的低饱和度这两种情况之间在视觉上不容易分辨，所以假设只有小的物体才会有颜色饱和度低以解决这个问题。

2)算法步骤

大气物理模型(Koschmieder定律)：

L(x，y)=L0(x，y)e－kd(x，y)+Ls(1－e－kd(x，y))

(4-51)

式中：L(x，y)是像素(x，y)实际呈现出的亮度；d(x，y)是物体的景深；L0(x，y)是物体的固有亮度；Ls是大气光亮度；k为大气散射系数。

在深度信息未知的情况下不可能将上式中的大气散射系数k与景深d分离，所以由此引入大气幕的概念。

令大气幕亮度V(x，y)为上式右边第二项，即

V(x，y)=Ls(1－e－kd(x，y))

(4-52)将式(4-52)代入式(4-51)中整理可得

式中：I(x，y)为观察到的图像在像素(x，y)处的亮度；R(x，y)为无雾情况下的图像亮度；Ls为大气光，经过白平衡后其值为255。

至此，大气幕V(x，y)代替景深d(x，y)成为求解的要点,这也就将其他算法中的以各种方法对景深d(x，y)的估计转化为对大气幕V(x，y)的估计。整个恢复过程可以简化为：首先确定Is，其次利用I(x，y)估计V(x，y)，再次通过求解式(4-53)得出R(x，y)，最后对R(x，y)进行色度调和得到无雾图像。(4-53)

(1)白平衡(whitebalance)。

白平衡是指不管在任何光源下，我们都能将白色物体还原为白色，它是描述彩色图像中红(R)、绿(G)、蓝(B)三基色混合生成后白色精确度的一项指标，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。对于大部分情况，白平衡只需要将图像的三通道颜色的平均值向纯白色偏置就可以了。对于复杂的情况，比如光的颜色沿图像变化，最好使用局部白平衡的方法。白平衡完成以后，雾是纯白色的，这样天空亮度Is就可以设置为(255，255，255)(这是因为雾的亮度主要是由大气光的反射形成的)，而且要求输入图像I(x，y)的灰度值都严格控制在0～255之间。

(2)大气幕亮度估计。

图像恢复的第一步就是大气幕V(x，y)的估计，由于它的物理属性，大气幕亮度V(x，y)在观察图像可知的情况下有两个约束条件：0≤V(x，y)并且接近于纯白；对于每一个

像素来说，它小于I(x，y)三通道中亮度的最小值。

所以定义W(x，y)=min(L(x，y))为I(x，y)每个像素各通道的最小值，W即为覆盖在观察图像上的白色部分，对于灰度图像，明显有W=I，第二个约束可以写为V(x，y)≤W(x，y)。图像恢复问题是一个缺少约束项的病态问题，并且一种求解方式为，在认为深度图是平滑的前提下(不包括边沿灰度跳变)，最大化恢复图像的对比度。此时问题被转换成最

大化V(x，y)，假设V(x，y)在大多数时候是平滑的。在0≤V(x，y)≤W(x，y)约束下，下式用来描述这种优化问题。

式中：参数λ控制结果的平滑程度；φ为一个允许大跳变的递增凹函数。

对式(4-54)的优化计算量非常大，所以我们使用另一种算法来实现实时性，目的是为了找到V(x，y)的最大值，大部分平滑并且小于W(x，y)。图4-39(a)中点虚线代表λ值较大时的大气幕V(x)，深色线表示W(x)。在V(x，y)≤W(x，y)的约束下，图中间W(x)跳变产生的深谷使得V(x)在附近保持一个较小的值，这个值可能会被当做中部有同样景深的其他场景的值，中部的跳变显示出这个场景中存在色彩浸透的物体。相反地，则可能是由于一个很暗并且很近的小物体，比(4-54)如一只鸟。这种情况下此跳变应该被视为V(x)的异常值，最终得到的V(x)应如虚线所示，避开由异常值确定的最小值。为了解决这个稳定性问题，我们估计V(x)为一个W(x，y)局部均值和W(x，y)标准差的差值的百分数。

图4-39(b)使用全面平滑(即通过对W(x，y)使用均值滤波来计算V(x，y)，滤波窗口为41)的方法得到V(x)，进而计算出恢复图像，发现有很严重的晕效应，这暗示了在局部均值计算的前提下同时应该保留边界信息，如图4-39(c)。图(a)中用黑色的点线表示W(x)的局部均值。为了能够保留边界信息，这里使用了一种特殊的双边滤波器，比普通双边滤波速度快。图4-39复原效果图为了恢复V(x)，我们令A(x，y)=mediansv(W)(x，y)，Sy表示滤波窗口大小。考虑到有较高对比度细节的区域通常不会有雾，定义W(x，y)－A(x，y)为W(x，y)的局部标准差。为了保证异常值的稳定性，必须用鲁棒性好的方法计算标准差，如｜W(x，y)－A(x，y)｜

最后给B(x，y)=A(x，y)－median(|W－A|)(x，y)乘以一个取值在0～1之间的参数p来控制图像恢复的强度。得到

V(x，y)=max(min(p*B(x，y)，W(x，y))，0)

(图4-39(a)中的虚线)

参数p控制图像恢复的强度，参数Sy决定的滤波窗口必须大于本色为白色的物体，任何大于Sy的接近白色的物体都会被认为是雾覆盖致使其呈现白色。相反，任何小于Sy的白色物体都会被认为本色是白色而不是雾的影响。

(3)计算恢复图像。

得到大气幕V后，无雾情况下的图像