第6章 图像复原

1、6.1 6.1 图像退化图像退化6.2 6.2 代数恢复方法代数恢复方法6.3 6.3 图像几何纠正图像几何纠正第六章第六章 图像复原图像复原Image RestorationImage Restoration6.1 6.1 图像退化图像退化一、图像的退化一、图像的退化二、图像复原（恢复）二、图像复原（恢复）三、图像退化的数学模型三、图像退化的数学模型l 空间域图像的退化模型空间域图像的退化模型l 离散的退化模型离散的退化模型l 频率域退化模型频率域退化模型一、图像的退化一、图像的退化图像的退化指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏。引起图像退化

2、的原因：光学系统的像差、衍射、非线性、几何畸变、成像系统与被摄物体的相对运动、大气的湍流效应等。图像退化的典型表现：图像模糊、失真、有噪声等。二、图像复原（恢复）二、图像复原（恢复）1.1.概念概念使退化图像尽可能恢复本来面目。 典型的图像复原过程及其关键：根据图像降质过程的某些先验知识，建立“退化（降质）模型”，运用和退化相反的过程，将退化图像恢复。找退化原因建立退化模型反向推演恢复图像图像复原过程： 基本思路：基本思路：高质量图像高质量图像退化了的图像退化了的图像复原的图像复原的图像图像退化图像退化图像复原图像复原因果关系因果关系研究退化模型研究退化模型对图像复原结果的评价，已确定了一些准

3、则，如最小均方误差准则，加权均方误差准则和最大熵准则。2.2.图像复原质量评价图像复原质量评价用某一客观标准来度量，则为某种准则下的最优估计。3. 3. 图像复原与图像增强图像复原与图像增强相同点：相同点：都是改善给定图像的质量。都是改善给定图像的质量。 不同点：不同点：（1）图像增强无需研究图像的降质过程，只试图采 用各种技术来增强图像的视觉效果。图像恢复需 知道图像退化的机制和过程等先验知识，是利用 退化过程的先验知识，建立图像的退化模型，再 采用与退化相反的过程来恢复图像。 （2）图像恢复是利用图像退化过程来恢复图像的本来 面目，是一个客观过程，最终结果有客观评价准 则。图像增强的目的是

4、改善图像的视觉效果，而 不考虑处理后图像是否与原图像相符。因此，图 像增强可以不顾增强后的图像是否失真，只要看 得舒服就行。（3）图像复原是针对图像整体，以改善图像的整体质 量。图像增强可以是针对图像的局部，以改善图 像的局部特性。三、线性系统描述三、线性系统描述1. 1. 点源的概念点源的概念 事实上，一幅图像可以看成由无穷多极小的像素所组成，每一个像素都可以看作为一个点源成像，因此，一幅图像也可以看成由无穷多点源形成的。在数学上，点源可以用狄拉克函数（单位脉冲函数）来表示。二维函数可定义为且满足其它00, 0),(yxyx1,dxdyyxdxdyyx说明：说明：1.函数并不是通常意义下的函

5、数，而是广义函数， 它没有给出函数与自变量之间的对应关系，在 通常情况下是没有意义的。2. 函数所给出的“函数值”只是在积分运算中才 有意义，如 dxdyyxyxff),(),()0,0(2. 2. 狄拉克函数的性质狄拉克函数的性质1）一个重要特性就是采样特性，即 当=0时),(),(),(fdxdyyxyxfdxdyyxyxff),(),()0,0(2）位移性用卷积符号 * 表示为 ddyxfyxf),(),(),(),(),(),(yxyxfyxf),(),(),(yxyxfyxf3. 3. 二维线性位移不变系统二维线性位移不变系统 如果对二维函数施加运算T ，满足 yxfTyxfTyxf

6、yxfT,2121yxfaTyxafT,则称该运算为二维线性运算。由它描述的系统，称为二维线性系统。当输入为单位脉冲(x,y)时，系统的输出便称为脉冲响应，用h(x,y)表示。在图像处理中，它便是对点源的响应，称为点扩散函数。用图表示为当输入的单位脉冲函数延迟了、单位，即当输入为(x-,y-)时，如果输出为h(x-,y)，则称此系统为位移不变系统。对于一个二维线性位移不变系统，如果输入为f(x,y),输出为g(x,y)，系统加于输入的线性运算为T ，则有简记为上式表明，线性位移不变系统的输出等于系统的输入和线性位移不变系统的输出等于系统的输入和系统脉冲响应（点扩散函数）的卷积。系统脉冲响应（点

7、扩散函数）的卷积。ddyxfTyxfTyxg),(),(),(),(ddyxTf,),(线性 ddyxhf,位移不变),(),(),(yxhyxfyxg四、图像退化的数学模型四、图像退化的数学模型假定成像系统是线性位移不变系统。 设一成像系统的物像映射关系为：g(x,y)=Tf(x,y)f(x,y)：输入的图像函数g(x,y)：输出的退化函数或退化图像T：成像系统作用的运算符3）尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。采用线性位移不变系统模型的原因

8、：1）许多种退化都可以用线性位移不变模型来近似，这样线性系统中的许多数学工具如线性代数，能用于求解图像复原问题，从而使运算方法简捷和快速。2）当退化不太严重时，一般用线性位移不变系统模型来复原图像，在很多应用中有较好的复原结果，且计算大为简化。 假定成像系统是线性位移不变系统 ,则获取的图像g(x,y)可表示为f(x,y)：输入的图像函数g(x,y)：输出的退化函数或退化图像h(x,y)：点扩散函数 yxhyxfyxg,1. 1. 空间域图像的退化模型空间域图像的退化模型若受加性噪声n(x,y)的干扰，则退化图像可表示为 这就是线性位移不变系统的退化模型。yxnyxhyxfyxg,若已知h和n

9、(x,y)，经过反演运算，可以得到一个近似于原图像的复原图像 ,即f(x,y)的最佳估计，求f(x,y)最佳估计的过程就是图像复原。),(),(),(1yxnyxgTyxf),(yxf退化模型如图所示2. 2. 离散的退化模型离散的退化模型 对图像及其点扩散函数进行均匀采样就可以得到离散退化模型，为方便计算，要将各函数进行延拓。 设图像f(x,y)和点扩散函数h(x,y)的大小分别为AB, CD,把它们延拓为MN周期图像，方法是添零。1, 110 , 100,NyBMxAByAxyxfyxfe1, 110, 100,NyDMxCDyCxyxhyxhe1, 1DBNCAM 离散的退化模型为两周期

10、函数的卷积 ; 1, 1 , 0; 1, 1 , 0,1010NyMxnymxhnmfyxgMmNnee 考虑到离散噪声项，可写为 ; 1, 1 , 0; 1, 1 , 0,1010NyMxyxnnymxhnmfyxgMmNneee 写成矩阵形式nHfg其中，f,g,n分别为MN1的列向量，分别由MN矩阵 各行堆积而成。yxnyxgyxfeee,H H为MNMN的矩阵，也称为分块循环矩阵0321301221011210HHHHHHHHHHHHHHHHHMMMMMM0 ,3,2,1,3 ,0 ,1 ,2 ,2 ,1,0 ,1 ,1 ,2,1,0 ,jhNjhNjhNjhjhjhjhjhjhNjh

11、jhjhjhNjhNjhjhHeeeeeeeeeeeeeeeej 空间域退化模型： After Fourier Transform: H(u,v)称为系统的传递函数，从频率域角度看，它使图像产生退化。3. 3. 频率域退化模型频率域退化模型),(),(*),(),(yxnyxhyxfyxg),(),().(),(vuNvuHvuFvuG6.2 6.2 代数恢复方法代数恢复方法无约束复原法无约束复原法有约束复原法有约束复原法一、无约束复原法一、无约束复原法 由退化模型可得： nmxhmfgmfHgn 希望找到一个 ，使得噪声项22fHgn最小H为方阵，则有：gHf1即最小化 2fHgfJf二、有

12、约束复原法二、有约束复原法 无约束复原法基础上附加一定的约束条件。寻找最优估计 Q为f的线性算子,则须使下述函数最小： 22nfHgfQfJ 得到：gHQQHHfTTT112fQ22nfHg使 为最小且服从。采用不同的Q，得到不同的复原图像。fl 当Q=I，则有gHIHHfTT11称为能量约束恢复。l 当 ，则有2121nfRRQgHRRHHfTnfT111称为维纳滤波。其中Rf、Rn分别为信号和噪声协方差矩阵。格式：格式： frfr= =deconvwnr(gdeconvwnr(g，PSFPSF，NACORRNACORR，FACORR)FACORR)其中， fr为复原图像 g为观测的退化图像

13、 PSF为点扩展函数 NACORR为噪声自相关函数 FACORR为原图像自相关函数三、三、MatlabMatlab中的图像恢复函数中的图像恢复函数1.1.维纳滤波维纳滤波 f=checkerboard(8) f=checkerboard(8) %生成一个棋盘图像 subplot(2,2,1),imshow(f),title (原始图像) PSF=fspecial(motion,7,45); % 生成点扩散函数 gb=imfilter(f,PSF,circular); noise=imnoise(zeros(size(f),gaussian,0,0.001); % 噪声 g=gb+noise;

14、% 加上噪声的图像 subplot(2,2,2);imshow(g);title(退化图像) Sn=abs(fft2(noise).2; % 计算噪声功率谱 Sf=abs(fft2(f).2; % 计算图像功率谱 NCORR=fftshift(real(ifft2(Sn); % 噪声的自相关函数 ICORR=fftshift(real(ifft2(Sf); % 原图像的自相关函数 fr=deconvwnr(g,PSF,NCORR,ICORR); subplot(2,2,3);imshow(fr);title(维纳滤波图像); 例格式： fr,LAGRA=deconvreg(g,PSF,NOIS

15、EPOWER,RANGE) 其中:NOISEPOWER:与 成正比，较好初始估计值为RANGE 寻找LAGRA解时值的范围，缺省范围是 10-9，109LAGRA为拉格朗日乘子返回值。2.2.约束最小二乘滤波约束最小二乘滤波22nnmMN2n f=checkerboard(8) f=checkerboard(8) %生成一个棋盘图像 subplot(2,2,1),imshow(f),title (原始图像) PSF=fspecial(motion,7,45); % 生成点扩散函数 gb=imfilter(f,PSF,circular); noise=imnoise(zeros(size(f),

16、gaussian,0,0.001); % 噪声 g=gb+noise; % 加上噪声的图像 subplot(2,2,2);imshow(g);title(退化图像) NOISEPOWER=0.064; % 噪声功率谱 RANGE=1e-7 1e7; fr=deconvreg(g,PSF,NOISEPOWER,RANGE); subplot(2,2,3);imshow(fr);title(复原图像); 例6 6. .3 3 图像的几何校正图像的几何校正 几何失真几何失真:图像在获取过程中，由于成像系统本身具有非线性、拍摄角度等因素的影响，会使获得的图像产生几何失真。当对图像作定量分析时，就要对失

17、真的图像先进行精确的几何校正，即将存在几何失真的图像校正成无几何失真的图像。原始原始图像图像枕形枕形失真失真桶形桶形失真失真几何校正方法几何校正方法 首先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。通常分两步： 图像空间坐标变换；确定变形图像与没有畸变 图像间的坐标关系，然后根据映射关系对图像 各个像素坐标进行校正； 确定各像素的灰度值（灰度内插）。一、空间坐标变换一、空间坐标变换实际工作中常以一幅图像的一组基准点为基准，去校正另一幅几何失真图像。通常设基准图像 是利用没畸变或畸变较小的摄像系统获得的，而有较大几何畸变的图像用 表示，下图是一种畸变情形

18、。 设两幅图像几何畸变的关系能用解析式描述yxf,yxg,),(yxfxx),(yxfyy通常 可用多项式来近似 当n=1时，畸变关系为线性变换， 式子中包含a00、a10、a01 、b00、b10、b016个未知数，至少需要3个已知点来建立方程式，解求未知数。 niinjjiijyxax00 niinjjiijyxby00yaxaax011000ybxbby011000yxhyxh,21和当n=2时，畸变关系式为包含12个未知数，至少需要6个已知点来建立关系式，解求未知数。20211220011000yaxyaxayaxaax20211220011000ybxybxbybxbby在实际中，通

19、常不知道解析表达，需要在恢复过程中的输入图象(失真图)和输出图(校正图)上找一些其位置确切知道的点(称为约束对应点)，然后利用这些点建立2幅图像间其它象素空间位置的对应关系。l 直接法l 间接法yxfyyxfxyx,yxyyxxYX,几何校正方法可分为直接法和间接法直接法和间接法两种利用若干已知点坐标，根据 解求未知参数；然后从畸变图像出发，根据上述关系依次计算每个像素的校正坐标，同时把像素灰度值赋予对应像素，这样生成一幅校正图像。 niinjjiijniinjjiijyxbyxhyyxayxhx002001),(),(1. 1. 直接法直接法畸变图像纠正图像xyxy从畸变图像出发纠正图像像素

20、分布是不规则的，会出现像素挤压、疏密不均等现象，不能满足要求。因此最后还需对不规则图像通过灰度内插生成规则的栅格图像。 灰度赋值2. 2. 间接法间接法 设恢复的图像像素在基准坐标系统为等距网格的交叉点，从网格交叉点的坐标(x,y)出发，若干已知点，解求未知数。根据推算出各格网点在已知畸变图像上的坐标(x, y)。niinjjiijniinjjiijyxbyxhyyxayxhx002001),(),( 由于(x,y)一般不为整数，不会位于畸变图像像素中心，因而不能直接确定该点的灰度值，而只能在畸变图像上，由该像点周围的像素灰度值通过内插，求出该像素的灰度值，作为对应格网点的灰度，据此获得校正图

21、像。 xy纠正图像原始图像xy灰度内插反算由于间接法内插灰度容易，所以一般采用间接法进行几何纠正。(x,y)(x,y)二、灰度插值二、灰度插值yxg,yxf,1 1最近邻元法最近邻元法 在待求点的四邻像素中，将距离这点最近的相邻像素灰度赋给该待求点。 该方法最简单，效果尚佳，但校正后的图像有明显锯齿状，即存在灰度不连续性。P5 .05 .0PNPNyINTyxINTx NIPI2 2双线性内插法双线性内插法 双线性内插法是利用待求点四个相邻像素的灰度在两个方向上作线性内插。 该方法要比最近邻元法复杂，计算量大。但没有灰度不连续性的缺点，结果令人满意。它具有低通滤波性质，使高频分量受损，图像轮廓有一定模糊。对于(i, j+v)有：f(i, j+v)=f(i, j+1)-f(i, j)v+f(i, j)对于(i+1, j+v)有：f(i+1, j+v)=f(i+1, j+1)- f(i+1, j)v+f(i+1, j)对于(i+u, j+v)有：f(i+u, j+v)=f(i+1, j+v)-f(i, j+v)u+f(i, j+v)=) 1, 1(), 1()1 () 1, ()1