时序图像降噪处理

1、- -时间序列图像降噪(CollegeofInformationengineering)摘要本文从随机噪声的特性出发，分析了传统滤波和自适应滤波的性能，以及新型滤波技术的现状。然后对所处理图像序列进行直方图均衡化。在MSE准则下，实现了Not-localmeans算法，并通过MATLAB编程实现滤波器。接着用图像去噪来验证该滤波器的性能，结果表明图像的质量在MSE准则下得到了明显的改善。最后分析比较了维纳滤波和Not-localmeans滤波对边缘细节的处理性能。最后MATLAB实现了以上几种滤波方法的视频降噪，并与原视频进行了简单分析。关键字：图像序列，视频去噪，维纳滤波，直方图均衡，Not

2、-localmeans1引言1895年，德国著名物理学家伦琴发现X射线，并于1901年获得首届诺贝尔物理学奖，这个划时代的发现，不仅宣布了现代物理学的开端，更给医学诊断技术带来了革命性变化，开启了医学影像的新时代o1979年，Hounsfield和Cormack因发明CT(computedtomography)成像技术获得诺贝尔医学和生理学奖。2003年，Lauterbur和Mansfied由于发明MRI(magneticresonanceimaging)技术，获得诺贝尔医学和生理学奖。一个多世纪以来，医学成像技术的不断进步，给医生带来越来越丰富的图像信息，也加深了人类对自身的认识和理解。随着

3、数字图像处理和分析在理论和技术上的逐渐完善，以及计算能力和数字医学影像技术的快速发展，对数字化医学影像的处理和分析逐渐成为国内外研究热点。医学影像在现代医学中占有重要地位，对于传统的动态图像，例如，X射线透视诊断，胃肠检查，血管造影等。但是由于各种噪声的存在，例如热噪声，量子噪声以及传输、放大等环节引入的各种干扰等，这些噪声干扰了医生对病人的正确判断。在医学影像时间序列中，采用各种技术减少噪声的干扰是医学影像处理的重要工作。本设计将对于提供的带有噪声的视频影像设计并实现相关的处理方式，以改善其图像信噪比，并对设计的算法提出检测和比较的方法。2基础理论从学习图像技术的角度看，视频可以看作是对(静

4、止)图像的扩展。视频是在有规律的间隔拍摄得到的图像序列，所以视频相对于图像在时间上有了扩展。讨论视频时，一般均认为视频图像是彩色的，所以还要考虑由灰度到彩色的扩展。2.1视频表达函数如果对图像用函数f(x,y)来表示，则考虑到视频的时间扩展，视频可用函数f(x,y,t)来表示，它描述了在时间t投影到图像平面XY的3-D景物的某种性质(如辐射强度)。换句话说，视频表示在空间和时间上都有变化的某种物理性质，或者说是在时间t投影到图像平面的时空3-D空间中的某种物理性质。进一步，如果彩色图像用函数f(x,y)来表示，则考虑到视频灰度到彩色的扩展，视频可用函数fC,y,t)来表示，它描述了在特定时间和

5、空间的视频的颜色特性。实际的视频具有一个有限的时间和空间范围，性质也是有限的。空间范围取决于摄像机的观测区域，时间范围取决于场景被拍摄的持续时间，而颜色性质也取决于场景或景物的特性。2.2视频噪声分析1视频监控中背景亮度和摄像设备状态在短时间内保持不变。因此可假设相邻帧图像具有相同的背景，在无噪声情况下背景区域对应位置的像素值完全相同。定义p(x,y,k)表示第k帧背景图像中(x,y)位置处的亮度值y,0)=y,k)=constant1)假设不同位置处的噪声是独立同分布的加性噪声，则6,y)处的观测亮度值f(x,y,k)可以表示为背景图像的亮度值和噪声之和，即2)3)4)f(x,y,k)=p(

6、x,y,k)+n(x,y,k)式中：n(x,y,k)表示第k帧中Cx,y)处的的噪声。前后两帧做差，得到新的图像y(x,y,k)=f(x,y,k)+f(x,y,k-1)=n(x,y,k)一n(x,y,k-1)k=1,2,3,根据对噪声的假设可得E(y)=0Q2=2Q2(5)Yn式中：Q2和Q2分别代表Y和n的方差。可以通过下述方法估计Q2:YnY在相邻两帧中找到一块背景区域，可以是任意形状，但简单起见，选择MxN的矩形区域。这个区域要足够大，以获得较好的统计结果。用当前帧中的亮度值减去前一帧中相应位置的亮度值，得到yC,y,k)。用下面公式估计Y(x,y,k)的均值和方差H=!yCx,y,k)

7、(6)MNx=1y=1J2=丄空NY(X,Y,K)-訂(7)MNx=1y=13方法选择3.1方法比较视频降噪算法主要有像素域滤波处理和时域滤波处理两种。像素域滤波器一般在以当前像素为中心的特定大小的工作窗口内进行，如谐波均值滤波、加权算术平均滤波、a-截尾均值滤波和中值滤波等2-5。这类算法对不同类型的噪声性能表现差别很大。例如，均值滤波器是去除高斯噪声的最好滤波器之一，却会模糊物体的边缘和细节3。中值滤波器采用周围像素的中值来取代当前像素值，可有效去除脉冲噪声，同时避免边缘模糊，但对个高斯噪声的去除效果不是很好3。像素域滤波效果和强度有很大的关系，强度太大会造成边缘模糊和细节丢失，太小则对噪

8、声的去除不彻底。为解决此问题可进行边缘检测或自适应滤波。边缘检测根据当前工作窗口内是否有明显的物体边界决定滤波器的强度；而自适应滤波则根据当前窗口内图像的统计特点动态地选择最优滤波器进行处理。传统的均值操作明显地对图像的细节和边缘产生模糊，损失很多图像细节。为了减少细节的损失，又能很好地抑制噪声，很有必要对边缘信息和图像细节进行保护。但是由于图像受到噪声的污染，如何尽可能地保护边缘而又抑制噪声就成为一个关键问题。通常的边缘检测算法虽然也能很好地检测边缘。受噪声的影响比较大。检测出来的边缘中很容易感染噪声，产生伪边缘，不利于降噪处理。时域滤波主要通过运动补偿技术，在时域跟踪物体运动并滤除噪声7-

9、9。由于噪声的存在，通过最小化残差绝对值之和的运动搜索算法找到的最优匹配块往往不是实际物体对应的位置，如果以此为基础直接进行滤波将造成和明显的边缘模糊和细节丢失，尤其是当噪声的功率比较大的情况。滤波去噪是视频图像处理中一个非常重要的环节，常用的图像滤波方法有线性滤波技术和非线性滤波技术。线性滤波方法主要是基于均值操作，其对象主要是高斯白噪声。非线性滤波方法主要是中值滤波，主要针对椒盐噪声。由于在图像中主要存在的是高斯噪声，所以本文中提出的视频降噪器主要基于均值操作。当然纯粹的均值操作具有一定的局限性，比如模糊边缘，没有利用到象素之间的相关性信息。以下是一些基本滤波算法的效果比较(包括均值、中值

10、、维纳、2D-统计、小波等滤波器)：图1(a)几种通用滤波方法结果对比原皓團儘维纳遮波.之后p=nr-42.323B均BiZ：Jop=rf191Q39中1S谴适Zfqpin4D9453相頃诵相频谓相删时15相颌谱幅:乍谖tiPW聽梆I3?相曲2D縊计泯喪之后p“1=367217邮逋建液第垣PBm=ig.U中蓿進嵌之后parrfl.BiS?图1(b)几种通用滤波方法结果对比相皴iff3.2处理方法该视频降噪器代码的软件仿真分别用Matlab和Simulink中的VIPBLKSio(VideoandImageProcessingBlockset)实现，VIPBLKS为视频和图像研究工作者提供了极大

11、的便利。各种经典的视频和图像处理算法只需通过若干构建(Blockset)组合搭配即可实现。在MATLAB的CommandWindow键入命令viplib即可启动VIPBLKS,软件界面如图2所示。从图中可以看出，VIPBLKS的构件库主要包含四类模块集：源模块集(Sources)、目标模块集(Sinks)、处理模块集(变换、统计等)和标注模块集(Text&Graphics)。其中，源模块集主要负责模型的各种输入，相应地就有视频、图像等媒体文件的读取或捕获模块；目标模块集主要负责显示或记录模型处理的输出结果；处理模块集主要负责实现各种变换、概率统计、模式识别、视频图像处理和机器视觉等经典算法；视

12、频和图像处理模块集包含图像分析和增强(Analysis&Enhancement)、颜色和数据类型转换(Conversions)、滤波(Filtering)、几何转换(GeometricTransformations)、形态学操作(MorphologicalOperations)、统计(Statistics)、时频转换(Transforms)、文本和图形(Text&Graphics)、接收器(Sinks)、发生源(Sources)等10多类共75个模块，可实现100多个算法11。不同的模块库下又包含不同的模块，不同模块库的作用也各不相同。丰富的模块满足不同图像处理的需求。例如，分析和增强模块库主

13、要用于对图像及视频进行分析或增强处理，滤波模块库用于对图像和视频进行各种滤波操作，统计模块库用于对图片或视频进行各类统计操作。标注模块集用于对模型中的各种模块进行标注或指示，便于其它用户对模型的理解和使用。此外，VIPBLKS中包含的每个模块都有一个设置参数的对话框。例如边缘检测模块(EdgeDetection)使用的边缘检测算法可采用的算子是Prewitt，可选的还有：Sobel、Roberts和Canny。通过简单的参数设置，用户就可以对这四种边缘检测算法的性能和效果进行直观的比较，最终确定适合自己研究工作的算法。利用视频和图像处理模块集对图像进行处理的流程大致如下：1)在Matlab命令

14、窗口中输入viplib命令，打开视频和图像处理模块集窗口；在Library:viplibvl窗口中选择FileTNewTModel菜单，新建模型；在新建模型窗口中加入所需模块，各模块名称、数量、来源及位置根据不同的图像处理方式不同；连接各模块；双击模块，修改模块的参数设置和名称；根据需要设置仿真参数；刀运行并调试仿真系统，在窗口中选择FileTSaveas菜单保存模型文件。filtErinq右oraicljii:禅町ihodDgicalSiajstks0陣F占Ij殆厲VideoandImageProEtrEiingBloclf-set2.3CopvTight2DD4-2DD7FheMsthWo

15、rt:nc.图2VideoandImageProcessingBlockset3.3处理内容3.3.1视频频谱分析根据之前理论，我们首先抽取具有代表性的一些帧图像进行频谱，噪声分析；便于噪声分析，我们截取这些帧的纯色区域进行FFT2变换，其频谱结果如下所示：应甩令頡说卞濒语AJ相剛B64XaOD1图3频谱分析结果从截取区域频谱，我们可以大致看出，所处理视频主要还是受到了高斯噪声的污染。3.3.2视频直方图均衡化模型由于视频场景较暗，我们决定采用直方图均衡的措施均衡灰度分布。如图4所示，在直方图统计模型中，将RGBVideo模块用于输入原始时间序列图像。HistR,G,B模块直接对原始视频进行直

16、方图统计处理，其中Numberofbins参数表示输入图像中可能的灰度级总数，最大值为256。为了保证输出平滑的图像，一般采用远小于原图像灰度级大小的值，故采用默认设置值64。ToVideoDisplay模块显示原始视频，RGBHistogram模块显示经过直方图统计模块处理后的统计值。特别指出的是，该模型是将时序图像的RGB分量风别进行统计，用以直观地表示图像三分量直方图分布，在VectorScope模块中用坐标显示图像的灰度分布情况。图4直方图统计模型图5实时直方图统计结果显示然后抽取所有图像帧进行直方图均衡化处理，这里采用了matlab的自适应直方图均衡化处理函数adapthisteq进

17、行自适应处理，其处理后图像较一般处理措施的峰值信噪比PSNR高一定数值；而对于本实验所用的TrueColor图像，用对HSV分量的V分量进行均衡的办法在主观感受上普遍要比对RGB分量分别进行处理的好，故在此采用了前者。嫌囹直方均衙后维细淤滾工后图6第3帧直方图均衡试验结果3.3.3视频降噪模型主要针对视频监控等具有固定背景图像的特殊场景进行研究。针对视频监控等特殊应用为了消除高斯噪声和脉冲噪声，主要使用了维纳(wiener)和非局部均值(Not-LocalMeans)滤波方法对视频图像进行降噪预处理。基本思路是对像素周围的整个灰度分布情况进行比较根据灰度分布的相似性来贡献权值。并加入了运动估计

18、方法，然后对运动区域进行自适应滤波。自适应算法根据当前图像的特征动态选择一种，从而高效地消除噪声。图7左右分别为均衡后未去噪和Wiener去噪图像图9去噪后边缘细节对比4实验结果将NL-means滤波处理后的图像（如图8、图9所示）与原始图像（如图7所示）进行对比，背景区域的噪点明显减弱，其中窗口大小为2，高斯核为3的滤波参数所得到的图像效果较优，而窗口、高斯核大小为3x4时滤波的处理时间明显增加（达到了5.115994s,相对于2.055578s）,所得到的图像边缘过于模糊。峰值信噪比（PSNR）作为图像质量评估的主要客观标准，一般而言，峰值信噪比愈大图像质量愈高。其中，窗口-高斯核为2x3

19、时的NL-means滤波后图像峰值信噪比为89.91，而窗口-高斯核大小为3x4时的图像峰值信噪比仅为89.21，说明窗口-高斯核大小为2x3的NL-means滤波处理的图像效果最好，与目视结果吻合。对比图7和图8的实验结果，目视判读可以得出：经过直方图均衡化后，图像的亮度明显提高，物体的轮廓更加清晰，近图像的细节更加突出。从图5所示的直方图分布图中可以得出：原始图像的动态范围主要分布在00.2（相对于255RGB色阶）之间，说明原始图像总体偏暗且灰度级并未充分利用；而经过直方图均衡化处理后的图像直方图较均匀地分布在00.5之间，动态范围适当，图像处理效果理想，由于拍摄图像整体环境偏暗，不宜作

20、再度加强的直方图均衡，否则色差偏差太大，超出人们主观敏感范围。采用这段含有噪声的视频序列进行测试，验证降噪方法性能。首先选取图像上方356x64区域的区域进行噪声分析，采用3.2中给出的算法，估算出Y（x,y,k）的均值和方差分别为卩2=-0.0612u0，b2=0.125。然后根据估计噪声级别，采用NL-means算法对视频进行处理，YY得到图像，如图3a所示。图9（a）是未作预处理的原始视频第3帧图像，和图9（b）相比较可以发现，在背景区域，后者的图像质量明显要优于前者，特别是是在物体的边缘处更加清晰，如机箱、桌子的边缘。采用维纳滤波对视频序列第3帧进行降噪处理，分别得到图7（a）和图7（

21、b）。同原始视频第6帧对比可见，NL-means滤波在获得较好背景的同时也保留了运动区域的细节，而时域-空域滤波对运动区域的细节部分有所损失，如人的面部表情。播放视频还可以发现，降噪处理后的视频在背景处噪声很好的消除，没有“闪烁”、“晃动”的现象，具有更加清晰的背景。为进一步验证算法对编码性能的提升，分别将降噪处理后的视频以及原始视频用Cinepak10编码，并改变目标码率为3Mbit/s的值，对比分析解码视频的主观和客观质量。表1是输出码率3视频码流的PSNR值；实验结果分析：1）基于非局部的临域滤波和自适应像素域滤波算法都能够带来明显的客观质量提升，前者主要作用于运动区域，后者主要作用于背

22、景区域。2）基于非局部的临域滤波算法所带来的编码增益大于Wiener自适应像素域滤波。例如B帧在输出码率为3Mbit/s的时候，时域滤波平均获得4.8dB的编码增益，而时域-像素域滤波获得5.9dB的编码增益，仅比前者提5总结与展望非局部均值图像去噪算法（Not-localmeans）具有优秀的去噪效果，但是算法复杂度高，不能应用于高速视频流处理系统中。为提高算法执行速度,使其拥有更广泛的应用。当然，算法还有待进一步的优化和改进。而现在已经有文献18提出了基于GPU加速的Not-localmeans滤波器，这可能是今后该算法在实时视频降噪中应用的新的技术方法。参考文献：崔建伟，谷源涛，唐昆采用

23、背景提取和自适应滤波的视频降噪算法A电视技术,2009,33(s2):75-78.CHENT-H,CHENC-Y,CHENT_Yetal.Anintelliegentvideonoisereductionmethodusingadaptivespatialandmotioncompen-sationtemporalfilterC.IEEEConferenceonCyberneticsandIn-telligentSystems2006,S.l.:IEEEPress,2006:1-6.GONZALEZRC,WOODSRE.DigitalimageprocessingM.2nded.Beijing

24、:PublishingHouseofElectronicsIndustry,2003.GUPTAN,SWAMYMNS,PLOTKINEI.Waveletdomain-basedvideonoisereductionusingtemporaldiscretecosinetransformandhierarchicallyadaptedthresholdingJ.IETImageProcess,2007,1(1):2-12.ZLOKOLICAV,PHILIPSW,VANDEVILLED.Robustnon-lin-earfilteringforvideoprocessingC.Proc.14thI

25、nternationalCon-ferenceonDigitalSignalProcessing：Vol.2.S.l.：IEEEPress,2002:571-574.ZHANGXH,LINWS,XUEP.Just-noticeabledistortionestima-tionforimagepixels,multimediasignalprocessingC.2005IEEE7thWorkshop.S.l.:IEEEPress,2005:1-4.BOYCEJM.Noisereductionofimagesequencesusingadaptivemotioncompensatedframeav

26、eraging,Acoustics,Speech,andSignalProcessingC.Proc.ICASSP1992:Vol.3.S.l.:IEEEPress,1992:461-464.CHENT-H,LINZ-H,CHENC-H,etal.Afastvideonoisere-ductionmethodbyusingobject-basedtemporalfilteringC.Proc.IIHMSP2007:Vol.2.S.l.:IEEEPress,2007:515-518.李岩，乔彦峰,高丰端，等一种基于运动补偿的时域自适应视频降噪算法J.电子器件,2007,30(5):1666-16

27、69.胡波,陈阿林基于Simulink数字图像处理的仿真模块设计J.重庆文理学院学报,2012,31(4):54-57.11刘嘤瑛基于Simulink的大米动态图像检测系统仿真J.安徽农业科学,2009,37(16):7607-7609.12李了了，邓善熙.MATLAB在图像处理技术方面的应用J.微计算机信息,2003,19(2):65-66.13许录平数字图像处理学习指导M.北京:科学出版社,2009:1-3.贾秋玲，袁冬莉,栾云凤.基于MATLAB7.X/Simulink/Stateflow系统仿真、分析及设计M.西安:西北工业大学出版社,2006:1-2.周又玲，杜锋，汤全武，等.MATLAB在电气信息类专业中的应用M.北京:清华大学出版社,2011:22516陈武凡，秦安，江少峰,冯前进，郝立巍.医学图像分析的现状与展望J中国生物医学工程学报,2008,27(2):176-181.JefferyXu.图像和视频噪声基础知识M.王钢，杨民动态序列DR图像降噪算法及快速实现J.全国射线数字成像与CT新技术.北京航空航天大学,2009,6.19贾晓萌.基于非局部均值的图像去噪M.燕山大学,2005.徐晶晶.基于非局部均值滤波的SAR图像去斑J.西安电子科技大学,2010.MatlabCentral.Dirk-JanKroon.Fast