光电图像处理：第五章 图像复原

第五章图像复原Ch5ImageRestoration图像采集采集过程成像器材的固有缺陷；成像系统的散焦；成像设备与物体的相对运动；噪声、外部干扰等。桶形畸变-负畸变枕形畸变-正畸变摄像机导致的几何畸变图像模糊FencingFitness运动模糊（产生效果图）运动模糊（产生效果图）Noisyimageexamples退化与进化图像复原(考古学)主要内容退化与复原概述图像退化模型噪声模型及去噪声复原退化函数估计经典图像复原方法非线性复原方法图像退化（Degradation）一、图像退化与复原概述图像复原为图像退化的逆过程，是将退化的过程加以估计，建立退化数学模型，补偿退化过程造成的失真。在图像退化确知的情况下，图像复原是有可能进行的，这属于反问题求解。(Inversionproblem)图像复原（Restoration）成像过程中的“退化”，是指由于成像系统各种因素的影响，使得图像质量降低。系统（模型）退化(正问题)复原(反问题)观测图理想图近似惟一性多解性复原结果理想结果一、图像退化与复原概述图像增强Imageenhancement图像恢复Imagerestoration目的改善图像质量。改善图像质量。过程及评价未考虑退化模型，主观过程；提供便于人眼观察或机器识别。需要考虑退化模型，客观过程；恢复原始图像的最优估值。实现手段空域（卷积,

Convolution）或频域滤波。空域(反卷积,Deconvolution)或频域滤波

。图像恢复与图像增强的异同一、图像退化与复原概述主要内容退化与复原概述图像退化模型噪声模型及去噪声复原退化函数估计经典图像复原方法非线性复原方法二、图像退化模型激励与响应(Input/Output)

线性系统(LinearSystem)0f(x,y)H+g(x,y)n(x,y)二、图像退化模型

移不变系统

离散脉冲→position-invariantsystem二、图像退化模型

脉冲响应(Impulsesresponse)Pointspreadfunction(PSF)

加性(Additivityproperty)

一致性(Homogeneityproperty)二、图像退化模型Thesuperpositionintegralofthefirstkind(Fredholm)H←Position-invariant,

卷积积分(Theconvolutionintegral)二、图像退化模型

空间域表示(Spatialdomain)

频率域表示(Frequencydomain)

含噪声线性退化模型(Lineardegradationmodelwithadditivenoise)二、图像退化模型f(x,y)表示输入图像，g(x,y)是f(x,y)产生的一幅退化图像，H表示退化函数。退化/复原的一体模型给定g(x,y)和H，怎样获得关于原始图像的近似估计？退化模型向量空间表示

离散卷积形式:二、图像退化模型退化模型向量空间表示

(1)矩阵形式其中，f，g

是M×N维向量，H是MN×MN维分块循环矩阵。每行最后一项等于下一行最前一项；最后一行最后一项等于第一行第一项。每个Hj是由PSF的he(x,y)第j行而来，即H中的每块是循环标注的，所以这里的H也是循环矩阵。退化模型向量空间表示

(2)考虑噪声，设n是M×N维噪声向量，则退化模型为：退化模型向量空间表示

点扩展函数(PSF/H)

噪声模型(方差,性质)主要内容退化与复原概述图像退化模型噪声模型及去噪声复原退化函数估计经典图像复原方法非线性复原方法

噪声及来源光学图像的噪声主要来源于图像的获取和传输两个过程。三、噪声模型及去噪声复原图像获取的数字化过程，如图像传感器(CCD/CMOS)的质量和环境条件;图像传输过程中传输信道的噪声干扰，如通过无线网络传输的图像会受到光或其它大气因素的干扰。1.噪声的概率密度函数三、噪声模型及去噪声复原高斯噪声瑞利噪声伽马（爱尔兰）噪声指数分布噪声均匀分布噪声脉冲噪声（椒盐噪声）

Gaussiannoise1.NoiseProbabilityDensityFunctionsRayleighnoisewhereErlang(Gamma)noise1.NoiseProbabilityDensityFunctionsExponentialnoisewherewhereUniformnoise1.NoiseProbabilityDensityFunctionswhereImpulse(Salt&Pepper)noise1.NoiseProbabilityDensityFunctionsExample–noisyimagesandtheirhistogramsDEMOExample–noisyimagesandtheirhistograms13452gaussianlocalvarpoissonsalt&pepperspeckleJ=imnoise(I,type,parameters)MATLABcodes2.PeriodicNoise3.EstimationofNoiseParameters

均值滤波(MeanFilters)

统计排序滤波器(Order-StatisticFilters)

自适应滤波(AdaptiveFilters)空域滤波器分类Agenda…三、噪声模型及去噪声复原

算数均值滤波(Arithmeticmeanfilter)

几何均值滤波(Geometricmeanfilter)

谐均值滤波(Harmonicmeanfilter)

逆谐均值滤波(Contraharmonicmeanfilter)1.均值滤波器1.MeanFilters

ArithmeticmeanfilterormovingaveragefilterGeometricmeanfilter：mn=sizeofmovingwindowDegradationmodel:Toremovethispart

Harmonicmeanfilter

ContraharmonicmeanfilterWorkswellforsaltnoisebutfailsforpeppernoisemn=sizeofmovingwindowPositiveQissuitableforeliminatingpeppernoise.NegativeQissuitableforeliminatingsaltnoise.Q=thefilterorderForQ=0,thefilterreducestoanarithmeticmeanfilter.ForQ=-1,thefilterreducestoaharmonicmeanfilter.1.MeanFilters

Example-MeanFilters

Example-MeanFilters

Example-ContraharmonicFilters

中值滤波器(Medianfilter)最大值滤波器(Maxfilter)最小值滤波器(Minfilter)中点滤波器(Midpointfilter)阿尔法截断均值滤波器(Alpha-trimmedMeanFilter)2.Order-StatisticFiltersMedianfilterMaxfilterMinfilterMidpointfilterReduce“dark”noise(peppernoise)Reduce“bright”noise(saltnoise)2.Order-StatisticFiltersAlpha-trimmedMeanFilterwheregr(s,t)representtheremainingmn-dpixelsafterremovingthed/2highestandd/2lowestvaluesofg(s,t).Thefilterisusefulinsituationsinvolvingmultipletypesofnoisesuchasacombinationofsalt-&-pepper

andGaussiannoise.Formula:Notice:d~[0,mn-1],

d=0→arithmeticmeanfilter;

d=mn-1→medianfilter.Example-MedianFilteringrepeatedlyDEMOExample–Max&MinFilters

B=ordfilt2(A,5,ones(3,3))implementsa3-by-3medianfilter;B=ordfilt2(A,1,ones(3,3))implementsa3-by-3minimumfilter;B=ordfilt2(A,9,ones(3,3))implementsa3-by-3maximumfilter.forexampleExample-Order-StatisticFilters

Comparisonof

DifferentFilteringresults:(c)Arithmeticmean(d)Geometricmean(e)Median(f)Alpha-trimmedAdaptive,LocalNoiseReductionFilterAdaptiveMedianFilter3.AdaptiveFilter3.AdaptiveFilterFilterbehaviordependsonstatisticalcharacteristicsoflocalareasinsidem×nmovingwindow.Morecomplexbutsuperiorperformancecomparedwith“fixed”Filters.

Statisticalcharacteristics:Localmean:Localvariance:Noisevariance:Adaptive,LocalNoiseReductionFilter①Ifsh2iszero,Nonoise thefiltershouldreturng(x,y)becauseg(x,y)=f(x,y).②IfsL2

ishighrelativetosh2,Edges(shouldbepreserved), thefiltershouldreturnthevalueclosetog(x,y).③IfsL2=sh2,Areasinsideobjects thefiltershouldreturnthearithmeticmeanvaluemL.Formula:Example-Adaptive,LocalNoiseReductionFilterAlgorithm:LevelA: A1=zmedian–zmin;

A2=zmedian–zmax;

IfA1>0andA2<0,gotolevelB. Elseincreasewindowsize. Ifwindowsize≤

SmaxrepeatlevelA. Elsereturnzxy.LevelB: B1=zxy–zmin B2=zxy–zmax

IfB1>0andB2<0,returnzxy.

Elsereturnzmedian.AdaptiveMedianFilter

zmin=minimumgraylevelvalueinSxy.zmax=maximumgraylevelvalueinSxy.zmedian=medianofgraylevelsinSxy.zxy=graylevelvalueatpixel(x,y).Smax

=maximumallowedsizeofSxy.wherePurpose:

wanttoremoveimpulsenoisewhilepreservingedgesLevelA:A1=zmedian–zmin;

A2=zmedian–zmax;

Else

windowisnotbigenough. increasewindowsize. Ifwindowsize≤

SmaxrepeatlevelA. Elsereturnzxy..

zmedianisnotanimpulse. B1=zxy–zmin; B2=zxy–zmax;

IfB1>0andB2<0,

zxyisnotanimpulse.

returnzxy

topreserveoriginaldetails.

Else returnzmedian

toremoveimpulse.AdaptiveMedianFilter:HowitworksIfA1>0andA2<0,gotolevelB.LevelB:DeterminewhetherzmedianisanimpulseornotDeterminewhetherzxyisanimpulseornotDEMOExample-AdaptiveMedianFilterfunctionf=adpmedian(g,Smax)Edge-preservingfiltering(EPS),suchasbilateralfiltering.Learnmore…

主要内容退化与复原概述图像退化模型噪声模型及去噪声复原退化函数估计经典图像复原方法非线性复原方法

图像观察(ImageObservation)

实验估计(byExperiment)

建模估计(EstimationbyModeling)估计方法Agenda…四、退化函数估计1.EstimationbyImageObservationf(x,y)*h(x,y)SubimageReconstructedSubimageDFTDFTRestorationprocessbyestimationOriginalimagef(x,y)(unknown)Degradedimageg(x,y)EstimatedtransferfunctionObservationThiscaseisusedwhenweknowonlyg(x,y)andcannotrepeattheexperiment!DFT2.EstimationbyExperimentDFTUsedwhenwehavethesameequipmentsetupandcanrepeattheexperiment.Atmosphericturbulence3.Estimationby

ModelingThephysicalcharacteristicsofatmosphericturbulence——amodelbyHufnagelandStanley(1964)where，kisaconstantthatdependsonthenatureoftheturbulence.3.Estimationby

ModelingwhereTisthedurationoftheexposure，x0(t)，y0(t)arethetime-varyingcomponentsofmotioninthex-andy-directions,respectively.MotionbetweentheimageandthesensorFFT：Theblurredimage:3.Estimationby

ModelingF(u,v)TransferfunctionForuniformlinearmotion,i.e.3.Estimationby

ModelingH(u,v)Example—MotionBlurringMATLABfunction:H=fspecial('motion',20,45);MotionBlur=imfilter(I,H,'replicate');DEMO主要内容退化与复原概述图像退化模型噪声模型及去噪声复原退化函数估计经典图像复原方法非线性复原方法基本原理由退化模型得：最小均方误差准则：非约束情况（无条件满足）：五、经典图像复原方法有约束情况：令Q为的线性算子，有约束最小二乘复原就是要使得最小。这类最小化问题，可用Lagrange算子来处理，设为拉格朗日乘子，寻找使下面的准则函数最小的（即约束条件）：基本原理五、经典图像复原方法基本原理，得到：由极值条件：式中：注：适当选择这一参数，使约束条件满足，即可求得最佳估计。不同Q对应不同的复原方法五、经典图像复原方法逆滤波(Inversefiltering)维纳滤波(Wienerfilter)

约束最小平方滤波(Constrainedleastsquaresfilter)

几何均值滤波(FilterGeometricMeanFilter)复原方法分类Agenda…五、经典图像复原方法EstimationofinitialimageinFTdomain1.InverseFilteringConsideringnoiseFrequencylimitedinversefilterRThetransferfunctionofTurbulenceExample-InverseFilteringwithfrequencylimitedItalsoiscommonlyreferredtoastheminimummeansquareerror

(MMSE)filterortheleastsquareerror

(LSE)filter.5.8WienerFilteringTheerrormeasurewhereE(.)istheexpectedvalueoftheargument.TheWienerfilter(1942)minimizesthemeansquareerror(MSE)betweentheestimatedrandomprocessandthedesiredprocess.NorbertWiener(1894-1964)2.WienerFilteringwhere

g=1,thestandardWienerfilter.Otherwise,theparametricWienerfilter.Hardtoestimateg

=1,thestandard

Wiener2.WienerFilteringPractically,kischosenmanuallytoobtainedthebestvisualresult!Approximatedformula

Wienerfilterformula

Signal-to-noise-ratio(SNR)2.WienerFilteringMeansquareerror(MSE)SNRinthespatialdomainSignalsNoisesExample-WienerFilteringComparisonoftheWienerfilteringandInverseFiltering.Example-WienerFilteringAWGNsh2=650AWGNsh2=65AWGNsh2=0.0065约束最小平方滤波(Constrainedleastsquaresfiltering)，也叫正则滤波(Regularizedfiltering),是一种有约束条件下的迭代复原技术。方法简介补充：正则化(Regularization/Normalization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。

3.ConstrainedLeastSquaresFilteringDegradationmodelObjective:tofindtheminimumofacriterionfunctionSubjecttotheconstraintwhere3.ConstrainedLeastSquaresFilteringwritteninamatrixformwhere3.ConstrainedLeastSquaresFilteringgisadaptivelyadjustedtoachievethebestresult.P(u,v)=theFouriertransformofp(x,y)——SmoothingConstrained

Restoration.WegetaconstrainedleastsquarefilterExample–ConstrainedLeastSquaresFilteringComparisonoftheWienerfilteringandConstrainedLeastSquaresFiltering.“Residual”vectorAdjust

g

sothatwhere,aisanaccuracyfactor.13.ConstrainedLeastSquaresFilteringMonotonicallyincreasingfunction(Hunt,1973)Stepsforadjustingg1.Specifyaninitialvalueofg.2.Compute.otherwisereturnstep2afterincreasinggif ordecreasinggifUsethenewvalueofgtorecompute3.Stopifissatisfied1StepsforadjustinggForcomputingStepsforadjustinggForcomputing

Discussion(1)g=0→

InverseFiltering

(2)g

=1→WienerFiltering

3.ConstrainedLeastSquaresFilteringExample–ConstrainedLeastSquaresFilteringIterativeestimationoftheoptimumConstrainedLeastSquaresFilteringwithdifferentnoiseparameters.

Wiener滤波与约束最小二乘滤波的比较(1)

都属于有约束复原，频域恢复公式类似。(2)后者在图像恢复时，不需要知道图像和噪声的自相关矩阵。(3)后者带有平滑约束，可得到更符合人眼视觉效果的平滑图像，并且在噪声较大的情况下比Wiener滤波的效果明显要好。3.约束最小二乘滤波Thefilterrepresentsafamilyoffilterscombinedintoasingleexpression.a=1

theinversefiltera=0theParametricWienerfiltera=0,b=1thestandardWienerfilterb=1,a<0.5Moreliketheinversefilterb=1,a>0.5MoreliketheWienerfilterAnothername:thespectrumequalizationfilter(谱均衡滤波器)4.GeometricMeanFilter主要内容退化与复原概述图像退化模型噪声模型及去噪声复原退化函数估计经典图像复原方法非线性复原方法最大后验复原(如：R-L算法)最大熵复原同态滤波复原六、非线性复原方法1.同态滤波（HomomorphicFilter）目的：正常图象是在均匀光强度情况下获得的图象，实际上光照射是不均匀，或光强范围动态太大。方法：为解决光照不均匀的影响，可用同态滤波来解决。模型原理：随空间位置不同的光强分量。特点：缓慢变化，频率集中在低频部分。景物反射到眼睛的图象。特点：包含景物各种信息，高频分量丰富。1.同态滤波（HomomorphicFilter）①对原图取对数得到如下两个加性分量：②频域表示为：1.同态滤波（HomomorphicFilter）③设计一个滤波器H(u,v)进行滤波处理.④傅立叶反变换，即IFFT。⑤求指数结果，得到复原结果。LNFFTH(u,v)IFFTEXP1.同态滤波（HomomorphicFilter）H(u,v)设计压缩照度分量i增强反射分量rD01.同态滤波（HomomorphicFilter）同态滤波：是把频率过滤和灰度变换结合起来的一种图像处理方法，它依靠图像的照度/反射率模型作为频域处理的基础，利用压缩亮度范围和增强对比度来改善图像的质量。

同态系统：是将非线性问题，转化为线性问题处理。即对非线性混杂信号，做某种