（通信与信息系统专业论文）视频图像预处理关键技术研究.pdf

杭州电子科技大学硕士学位论文 摘要 视频图像预处理技术是一项通过各种预处理算法获得较好的视频图像质量和较高的视频 图像压缩率的技术，随着多媒体显示技术的发展，使其在视频图像处理与应用中发挥着越来 越重要的作用。本文深入研究了视频图像预处理中的去隔行和降噪技术。为了节省传输带宽 和降低图像中的大面积抖动，隔行扫描是一种被广泛应用的扫描格式，随着各种场合下大屏 幕电视的广泛使用，逐行显示系统会使隔行扫描带来的闪烁、画面抖动、锯齿等问题越来越 突出，因此必须研究有效的去隔行算法。另外，由于图像传感器在将实际景物光信号转换为 图像电信号时，总会引入各种噪声，这些噪声不仅会增加原始序列的熵，而且由于噪声在时 域上的非相关性，编码器将花费较多的比特来进行编码，降低了编码器的工作效率，因此必 须对视频图像进行降噪处理。 本文深入研究了视频图像预处理中的去隔行和降噪技术，并提出了改进的去隔行和降噪 算法，具体内容如下： 首先，本文阐述了视频图像的质量评价标准，并分析了质量评价标准在视频图像中应用 的意义。然后利用结构相似度( s s m 0 、平均可分辨度和常用的峰值信噪比( p s n r ) 对去隔行算 法进行评价，并利用p s n r 对降噪算法进行评价。 其次，分析了视频图像预处理中的去隔行技术，包括经典的线性去隔行算法和非线性算 法，并分析了各种算法的优缺点。在此基础上，本文提出了一种基于中值滤波和边缘插值的 去隔行算法，并对该算法进行了实现。实验结果表明：该算法有效保护了图像的水平、垂直 以及斜线的边缘，有效解决了去隔行的运动虚像问题。利用结构相似度( s s i m ) 、平均可分辨 度和常用的峰值信噪比( p s n r ) 三个客观评价准则对去隔行算法进行评价，本文所提算法的客 观评价指标都优于行平均、e l a 、n e we l a 以及带运动检测的三点中值算法。 再次，简单介绍视频图像的空间域和变换域降噪方法，传统的降噪方法是通过在编码之 前进行预处理达到去除视频图像中噪声的目的，在本文中我们把空域内的局部统计滤波降噪 预处理技术与h 2 6 4 编码框架相融合，提出了一种基于h 2 6 4 编码环内的视频图像降噪算法， 并对该算法进行了仿真。仿真结果表明：基于h 2 6 4 编码环内的视频图像降噪算法的滤波效 果和编码压缩性能都比空域内的滤波有所提高，而且对图像的细节信息也有较好的保护。 关键词：预处理技术，视频图像质量评价，去隔行，降噪，h 2 6 4 杭州电子科技大学硕士学位论文 a b s t r a ct v i d e op r e - p r o c e s s i n gt e c h n o l o g yi sa ni m a g ep r o c e s s i n gt e c h n o l o g yw h i c he m p l o y e e sa v a r i e t yo fp r e - p r o c e s s i n ga l g o r i t h mt oo b t a i nab e t t e rv i d e oi m a g eq u a l i t ya n dh i g hc o m p r e s s i o n r a t i oo fv i d e o w i t ht h er a p i dd e v e l o p m e n to fm u l t i m e d i ad i s p l a yt e c h n o l o g y , i t p l a y s a n i n c r e a s i n g l yi m p o r t a n tr o l ei nv i d e oi m a g ep r o c e s s i n ga n da p p l i c a t i o n t h i sp a p e rh a sf u r t h e r s t u d i e dt h ed e i n t e r l a c i n ga n dn o i s er e d u c t i o ni nv i d e op r e p r o c e s s i n g t os a v eb a n d w i d t ha n d r e d u c et h el a r g ea r e ao ft h ei m a g es h a k e , i n t e r l a c e ds c a n n i n gi saw i d e l yu s e ds c a n n i n gf o r m a t p r o g r e s s i v e - i n t e r l a c e dd i s p l a ys y s t e mw i l lb r i n gt h ef l a s h ，s c r e e ns h a k i n g , t e e t ha n do t h e rp r o b l e m s w i t ht h ew i d e s p r e a du s eo fl a r g e s c r e e nt vi nav a r i e t yo fo c c a s i o n s ，t h ep r o b l e m sw h i c h i n t e r l a c e ds c a n n i n gt a k e sa r eb e c o m i n gi n c r e a s i n g l yp r o m i n e n t s o ，i ti sn e c e s s a r yt os t u d ye f f e c t i v e d e - i n t e r l a c i n ga l g o r i t h m s i na d d i t i o n ，s i n c et h ea c t u a ls c e n ei m a g es e n s o rc o n v e r t st h el i g h ts i g n a l t oi m a g es i g n a l ，t h e r ei sa l w a y sav a r i e t yo fn o i s e t h en o i s en o to n l yi n c r e a s e st h ee n t r o p yo ft h e o r i g i n a ls e q u e n c e ，b u ta l s or e d u c e st h ee f f i c i e n c yo ft h ee n c o d e r b e c a u s en o i s ei su n c o r r e l a t e di n t i m ed o m a i n ，t h ee n c o d e rn e e d sm o r eb i t st oe n c o d e ，w h i c hc a u s e st h ed e g r a d a t i o no fe f f i c i e n c y t h e r e f o r e , t h er e d u c t i o no fv i d e oi m a g e si sn e c e s s a r y i n t h i sp a p e r , w eh a v ei n d e p t hs t u d i e dt h ed e i n t e r l a c i n ga n dn o i s er e d u c t i o nt e c h n o l o g yi n v i d e oi m a g ep r e - p r o c e s s i n g , a n dp r o p o s e di m p r o v e dd e i n t e r l a c i n ga n dn o i s er e d u c t i o na l g o r i t h m s r e s p e c t i v e l y t h i sp a p e ri so r g a n i z e da sf o l l o w s ： f i r s t l y ，t h i sp a p e rd e s c r i b e st h ev i d e oi m a g eq u a l i t ye v a l u a t i o nc r i t e r i aa n da n a l y s i st h e i m p o r t a n c eo ft h ev i d e oi m a g eq u a l i t ye v a l u a t i o nc r i t e r i aa p p l i e di nv i d e oi m a g e t h e nw eu s et h e s t r u c t u r a ls i m i l a r i t yi n d e xm e t r i c ( s s i m ) , a v e r a g er e s o l u t i o nc r i t e r i aa n dt h ep e a ks i g n a lt on o i s e r a t i o ( p s n r ) t oe v a l u a t et h ea l g o r i t h mf o rd e - i n t e r l a c i n g ，a n dp s n rf o rd e n o i s i n ga l g o r i t h m s e c o n d ，w ea n a l y z et h ed e - i n t e r l a c i n gt e c h n i q u e so ft h ev i d e oi m a g ep r e - p r o c e s s i n g , i n c l u d i n g c l a s s i c a ll i n e a ra n dn o n l i n e a ra l g o r i t h m s ，a n dd i s c u s st h ea d v a n t a g e sa n dd i s a d v a n t a g e so fv a r i o u s a l g o r i t h m s o nt h i sb a s i s ，t h i sp a p e rp r e s e n t sav i d e od e i n t e r l a c i n ga l g o r i t h mb a s e do nt h em e d i a n f i l t e ra n de d g ei n t e r p o l a t i o na n dt h ea l g o r i t h mh a sb e e ns i m u l a t e d e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ea l g o r i t h me f f e c t i v e l yp r o t e c t sh o r i z o n t a l ，v e r t i c a la n dd i a g o n a l e d g e so ft h ei m a g e ，a n d e f f e c t i v e l ys o l v et h ea f t e r i m a g ep h e n o m e n o n ，m e a n w h i l es i m u l a t i o nd a t aa l ei m p r o v e d w eu t i l i z e s s i m ，a v e r a g er e s o l u t i o nc r i t e r i aa n dp s n r t oe v a l u a t ed e - i n t e r l a c i n ga l g o r i t h ma n dt h ep r o p o s e d a l g o r i t h mi ss u p e r i o rt o t h el i n ea v e r a g e ，e d g e - b a s e dl i n e a v e r a g e ( e l a ) ，n e we l aa n d t h r e e - p o i n tm e d i a na l g o r i t h mw i t hm o t i o nd e t e c t i o n t h i r d l y , w ei n t r o d u c et h es p a c ed o m a i na n dt r a n s f o 册d o m a i nd e n o i s i n gm e t h o do ft h ev i d e o i m a g eb r i e f l y t r a d i t i o n a lm e t h o do fd e n o i s i n gi sa c c o m p l i s h e db e f o r ee n c o d i n gt h ev i d e oi m a g et o l l 杭州电子科技大学硕士学位论文 r e m o v en o i s e ，i nt h i sp a p e r ，w ei n t e g e rt h el o c a ls t a t i s t i c sf i l t e ri nt h es p a c ed o m a i na n dh 2 6 4 c o d i n gf r a m e w o r kt op r e s e n tan e wv i d e od e - n o i s i n ga l g o r i t h mi nt i m ed o m a i na n dw eh a v e a c h i e v e dt h ea l g o r i t h m s i m u l a t i o nr e s u l t ss h o wt h a t ：t h et i m ed o m a i nf i l t e r i n gh a sab e t t e rr e s u l ti n b o 廿l6 l t e r i n ge f f e c t sa n dt h ec o m p r e s s i o np e r f o r m a n c et h a nt h es p a c ed o m a i n ，a tt h es a m et i m e ，t h e p r o p o s e da l g o r i t h mh a sa b e t t e rp r o t e c t i o nf o rt h ed e t a i l so ft h ei m a g e k e y w o r d s ：p r e - p r o c e s st e c h n o l o g y , v i d e oi m a g eq u a l i t ye v a l u a t i o n ，d e i n t e r l a c i n g , d e 。n o i s i n g ， h 2 6 4 l l l 杭州电子科技大学硕士学位论文 第1 章绪论 1 1 引言 随着科技与社会的不断发展，人类社会已经进入了信息化、数字化时代。人们对信息的 需求量越来越大，需求范围也越来越广，包括简单的文字信息，电话传输中的声音信息，电 视中的视频信息，网络上的实时视频，以及还未广泛普及的实时音视频通讯等【l j 。在这个过 程中，视频编码技术越来越重要。这是因为人们在日常生活中所需的信息主要是通过音视频 信息获得的，离开音视频信息，人们要进行工作、生活和娱乐等日常活动就会存在很大的困 难。但是由于视频节目的信息量很大，在数字化后得到的数据量也很大，这就使信息在存储 与传输过程中存在极大的困难，以致阻碍信息的传播。所以，研究与开发有效的数字视频压 缩方法对社会数字化、信息化的进一步发展起着相当重要的作用。 随着数字图像与视频压缩编码技术的不断发展，国际标准化组织已经提出了很多静止与 运动图像压缩编码标准。i s o i e c 组织相继推出了j p e g t 2 1 、j p e g 2 0 0 0 3 1 、m p e g 一1 4 1 、m p e g 2 、 m p e g 4 t 5 1 标准，i t u t 则相继制定了h 2 6 1 6 1 、h 2 6 3 t 7 1 以及最先进的、压缩效率最高的h 2 6 4 标准。这些标准在产业界都已经有了广泛地应用，如m p e g 1 标准已经被应用到v c d 中， m p e g 2 则被用于d v d 、数字电视等多个领域，压缩效率更高的m p e g 一4 标准已经应用于互 联网的交互式流媒体中。随着互联网等先进技术的不断发展，视频压缩编码标准的应用范围 将更为广泛。 本章首先介绍视频图像压缩编码的意义及其发展历程，然后分析视频图像压缩编码中预 处理技术的可行性与必要性，接着介绍了视频质量评价对预处理技术的重要性，最后给出本 文的主要研究内容与工作安排。 1 2 研究背景和意义 由于视频图像的数据量很大，很难实现实时传送，从而导致视频图像与人们所需求的更 清晰、更实时的视频信息之间存在着很大的矛盾。视频图像预处理技术，就是以提高视频图 像的压缩率、保证图像质量等为目的而进行的一系列处理步骤。 视频压缩编码预处理技术是对图像序列进行处理，使之在固定压缩比特率的情况下得到 质量最优的压缩编码图像。视频信号在进入编码器之前通常会受到各种噪声的污染。例如， 电荷耦合元件( c h a r g e - c o u p l e dd e v i c e ，c c d ) 或互补金属氧化物半导体( c o m p l e m e n t a r ym e t a l o x i d es e m i c o n d e c t o r ，c m o s ) 等图像传感器在摄取图像的过程中会引入光学噪声；视频图像 信号在进行编码之前由于传输信道的影响也会引入噪声。这些噪声的存在不但增加了原始图 像序列的熵，同时由于噪声具有时域非相关性，导致编码器需要花费额外的比特来对这些噪 声进行编码，从而很大程度上降低了编码器的压缩编码效率。因此，视频信号在编码之前需 要进行预处理，去除噪声以及一些人眼无法察觉的高频信息，在给定的比特率下达到最好的 杭州电子科技大学硕十学位论文 编码效果。 1 2 1 视频图像压缩的意义 数字化的图像信号拥有相当庞大的数据量。例如，根据c c i r 6 0 1 的建议，电视演播室数 字电视分量的亮度信号、色度信号在抽样频率分别为1 3 5 m h z 和6 7 5 m h z 并采用8 b i t 量化时， 总码率达到了2 1 6 m b i t s 。这么庞大的数据量会给存储设备、传输信道以及计算机的处理速度 带来很大的压力，为了更好地存储和传输图像信号，必须对这些数据信息进行压缩。 视频图像之所以可以进行压缩，首先，是因为一帧图像中的邻近像素之间具有很强的空 间相关性，像素之间的距离越近，它们的值就越接近，也就是说相邻的像素值发生突变的概 率很小，所以邻近像素之间存在空间冗余，即邻近像素之间具有很强的空域相关性。其次， 视频图像不仅具有空域相关性，而且相邻帧的像素之间也存在冗余，即存在时域相关性，并 且时域相关性一般会比空域相关性更强，所以可以利用帧内空域相关性和帧间时域相关性对 视频图像进行压缩编码。另外，由信息论知识可知，只要根据每个像素信息熵的大小为每个 像素分配相应的比特数，那么图像数据中的每一个像素点就可以表示出来，但是由于在获取 图像时很难得到每一个像素的信息熵，故一般情况下，对每个像素用相同的比特来表示，会 导致信息熵冗余即编码冗余。正是由于以上讨论的这些冗余的存在，给视频压缩创造了极大 的可能性。如果在发送端经过计算和处理，不发送可预知或者人眼感觉不到的像素信息，就 可以实现在传输中去除冗余、降低码率的作用。 1 2 2 视频压缩编码国际标准的发展史 随着图像处理的趋势由模拟转向数字，i t u t 和m p e g 联合制定了针对数字图像的 m p e g 2 标准，由于该标准在性能上超越了原有的h 2 6 1 ，使其被高清晰度数字电视( h d t 、d 和视频存储( d v d ) 等领域采纳，并且视频图像质量的性能完全超越了模拟的视频图像；h 2 6 3 标准在可视电话、视频会议等低码率视频领域中有重要的应用。总体上看，随着视频压缩编 码标准的不断发展，编码过程中对宏块的划分更加灵活，运动估计更加准确，压缩编码的性 能也不断提高【s 】。文献 9 ，1 0 q 丁详细介绍了视频编码技术的发展情况。 h 2 6 1 是基于宏块进行编码的一种混合视频编码标准，该标准包括1 6 x 1 6 宏块大小的运 动补偿、8 x 8 块的d c t 变换、标量量化、可变长编码等一系列操作，对数据传输率为 6 4 - - 2 0 4 8 k b i t s 的视频图像进行压缩编码。 m p e g 1 是针对数据传输速率低于1 5 m b i t s 的数字存储媒体中的运动图像及其伴音编码 而提出的一种国际标准，对s i f ( 标准转换格式) 格式下具有标准分辨率( n t s c 为3 5 2 x 2 4 0 ，p a l 为3 5 2 x 2 8 8 ) 的图像进行压缩编码，画面的播放速率为3 0 f r a m e s ，并且伴有c d 音质。另外， 数字电话网络上的视频传播，如视频点播( v i d e oo nd e m a n d ，v o d ) 、教育网络等也采用该编 码压缩标准。m p e g 1 采用双向帧间预测( b 帧) 、条带结构、精度达到半像素级的运动矢量， 目的是把2 2 1 m b i t s 的n t s c 图像压缩到1 2 m b i t s ，压缩率接近2 0 0 ：l ，广泛应用于v c d 和 一些视频片段的下载。 2 杭州电子科技大学硕士学位论文 m p e g 2 是针对数据传输率为2 1 0 m b i t s 的运动图像及其伴音编码而制定的标准。 m p e g 2 标准支持隔行扫描图像编码即分场编码和完整的可分级编码模式，适用于在宽带上 传输的视频图像，视频图像质量可以达到电视广播甚至h d t v 的要求。d v d 和数字广播电 视都采用m p e g 一2 的压缩编码方式。 h 2 6 3 是针对低码率可视电话系统的视频压缩编码而提出的一种标准，它提供了四种可 选的编码算法：无限制的运动矢量模式( u n r e s t r i c t e dm o t i o nv e c t o rm o d e l ) ，基于语义的算术编 码模式( s y n t a x b a s e da r i t h m e t i cc o d i n gm o d e ) ，先进的预测模式( a d v a n c e dp r e d i c t i o nm o d e l ) 和 p b 帧模式( p b f r a m e sm o d e l ) 。将一个大小为1 6 x 1 6 的宏块划分为4 个8 8 的子块，然后对每 个8 x 8 子块分别进行运动补偿，实现帧问编码。h 2 6 3 主要应用于视频会议和可视电话中。 与之前的基于帧而进行的压缩编码的标准不同，m p e g 4 是基于视频图像的对象( o b j e c t ) 进行编码的。m p e g - 4 采用基于对象的比特率控制方法，即使在带宽较低的情况下，利用码 率分配方法，为用户感兴趣的对象多分配一些比特，而为用户不感兴趣的内容少分配一些比 特，这样在不提高编码比特的同时也使视频图像的质量得到保证。目前用于网络数字电视监 控的数字录像机大多都采用m p e g - 4 编码。 h 2 6 4 是目前最新的视频压缩编码标准，又称为“先进视频编码”( a d v a n c e dv i d e oc o d i n g ， a v c ) t 1 1 】，此标准采用了很多专门用于视频图像压缩的新技术，极大的提高了压缩编码的性能， 而且h 2 6 4 具有良好的网络亲和力，与其它标准相比，h 2 6 4 提高了视频图像压缩编码的效 率，具有更好的应用前景。在有线电视、视频会议和远程监控等实时的视频通信领域中已经 得到了越来越广泛的应用。 1 2 3 预处理技术研究的意义 视频压缩编码预处理技术的目标是通过对图像序列处理，使之在固定的压缩比特率下得 到的压缩编码图像质量更好。由于视频原始信号在编码之前往往会受到噪声的干扰，如c c d 和c m o s 器件在拍摄过程中会引入光学噪声，将使编码器花费较多的比特对受噪声污染的视 频图像序列进行编码，从而降低了编码器的率失真效率。因此，视频信号在编码之前需要进 行预处理，去除噪声以及一些人眼无法察觉的高频信息，从而提高编码效率。 目前的压缩编码系统仍然较多的采用传统的滤波技术实现预处理。并将预处理与压缩编 码器级联起来，分属于两个独立的模块。这种预处理方案会较大浪费处理器的资源。新型的 预处理方案则将预处理技术和编码器相结合，在压缩编码的过程中完成预处理，减少预处理 过程中的资源消耗，提高编码器的性能。 虽然在以前的研究中对去隔行和去噪声技术研究已经相对比较成熟。但是，一般的算法 研究者对实际应用中的复杂度因素缺乏考虑，尤其是在嵌入式视频编码和通信场合，计算资 源有限，对算法复杂度非常苛刻。在本论文的研究中，我们针对视频的嵌入式编码场合，把 预处理作为编码器的一个环节进行考虑。因为在现实应用中，作为一个编码系统不可能单独 分离出预处理部分和编码部分。把两者作为一个整体考虑，不仅有助整体性能的提升，也有 3 杭州电子科技大学硕士学位论文 助于预测编码整体复杂度的降低。 1 2 4 视频质量评价的意义 视频图像是目前多媒体技术中研究的最主要内容之一，其中视频点播、视频会议、可视 电话等各种视频图像技术都已经在日常生活中有了广泛应用。但是图像视频在采集、存储、 压缩以及传输过程中，或多或少的会引入各种失真，例如为了降低视频图像的存储空间和传 输带宽而对视频图像进行的压缩过程中会引入量化失真；在网络上传输视频图像数据时，会 由于包丢失而引入失真。这些失真使视频图像影响消费者的观看效果。 由于消费者对视频图像质量的评价最终取决于人眼的主观感知质量，因此对视频图像质 量评价技术的研究日益重要。视频图像质量评价在视频通信、视频压缩及处理等领域中都起 着十分重要的作用：视频图像质量可以反映出实时或非实时传输的视频图像性能的优劣以及 各种视频图像传输信道的服务质量( q u a l i t yo fs e r v i c e ，q o s ) 的好坏，系统根据视频图像质量 的评价结果，对编解码器或信道的参数进行调节，从而可以保证系统的服务质量；对编解码 器输出的信号给出易于理解的质量估计值，有利于评估和进一步优化编解码器的性能；精确 的视频图像质量评价方法有助于设计、优化更加符合人眼视觉效果的视频图像显示系统；有 助于构建出一个好的质量评价平台，对各种视频图像处理方法以及编解码系统进行质量评价， 特别是对于某些设备开发商，如果需要在有限的资源条件下开发出一套质量最好的系统，就 更加需要有一个准确合理的质量评价准则作为指导。可见，质量评价在视频图像处理中的意 义重大。 1 3 去隔行算法和降噪算法的研究现状 1 3 1 去隔行算法的研究现状 为了解决去隔行的问题，人们已经提出了很多去隔行算法并将其应用到了实际的产品中。 其中最简单的是线性算法，直到2 0 世纪7 0 年代，电视产品采用的基本都是此类方法。从8 0 年代初开始，各种非线性算法相继被提出，与线性算法相比，非线性算法具有更好的去隔行 性能。随后，有关学者提出了运动补偿的算法，这种算法主要针对视频图像中的运动物体进 行去隔行处理，需要占用很多高性能的硬件资源才能达到实时性要求，因此当时对于消费类 电子产品来说这种方法的代价较高。随着超大规模集成电路的发展和数字系统设计方法的提 高，在9 0 年代早期出现了基于运动补偿的面向消费类电子的芯片1 2 】【13 1 ，这是去隔行历程中 的一个重大突破。 线性空域滤波利用同一场中垂直相邻像素之间的相关性进行插值，最简单的线性空域滤 波是行重复，行平均在p c 中称为b o b ，也是最流行的线性空域滤波方法之一，一般情况下， 纯粹的空域滤波只利用像素的空间相关性而忽略了时域相关性，从而会引入图像模糊。 线性时域滤波利用像素时域上的相关性。场重复或者场内插是最简单的线性时域滤波， 由于场重复保留了所有的垂直频率，所以对于静止图像来说场重复是最好的插值方法。然而， 运动物体在输出帧的奇数行或偶数行中显示的位置不同，隔行扫描是分成两场采集，然后显 4 杭州电子科技大学硕士学位论文 示的时候再合成完整的一帧，如果在两场采集的时间间隔内，物体发生了运动，那么用场重 复进行去隔行时，合成帧中图像的边缘就会出现错位即锯齿现象，图像的轮廓变得模糊不清， 对于观看者来说是难以接受的。 运动自适应算法是一种非线性算法，分为运动检测和插值两部分，运动检测( m o t i o n d e t e c t i o n ，m d ) 用于在两种状态中进行转换，其中一种状态对于静止图像最适合，而另一种 适合运动图像。a c h i h ae ta 1 1 4 1 和p r o d a n 1 5 】指出将时域和空域滤波器结合使用来抑制伪信号， 并运用运动自适应算法来保留频率域的真实频率成分。b o c k 1 6 1 也提出根据运动检测来区分图 像的运动状态，然后分别对静止部分和运动部分进行最佳插值。s e t h - s m i t h 和w a l k e r i l t 指出， 一个好的空时滤波器可以达到与运动自适应滤波器一样好的性能，且空时滤波器不需要运动 检测器来实现，所以代价低，但是空时滤波器需要对不同的图像进行整体的主观加权，这是 空时滤波器的难点。 h e n t s c h e l 埔】提出了在一帧内进行垂直边缘的检测而不是进行运动检测。边缘检测输出结 果e d 定义为： e d ( x ，少；玎) = g f ( x ，y - 1 ；n ) - f ( x ，y + l ；，z ) ) ，( y m o d 2 n m o d 2 ) ( 1 1 ) 其中f ( x ，y l ；，1 ) 和f ( x ，y + l ；n ) 是第n 场待插像素点的垂直相邻的上下两个像素灰度值，g ( ) 是一个非线性函数，这个函数决定了边缘是否存在。9 0 的输出是0 或者1 。这个检测器不区 分静止和运动部分，而是当边缘检测输出结果为l 时说明存在垂直边缘，此时就进行时域插 值，否则进行空域插值。 d o y l ee ta 1 【1 9 】提出了基于边缘插值算法，用一个很大的样本空间来包含像素的边缘方向 的信息。如果图像中存在运动，就必须利用空域相关性进行场内插值，此时插值必须优先保 留基带频谱。当滤波器确定了具有最小失真的边缘方向以后，就根据此方向上的像素进行某 种运算，并将运算结果作为待插像素值。在一个邻域内通过寻找一个主方向，可以提高边缘 插值的准确性，但是这样仍然存在伪信号。 中值滤波器【2 们，是目前为止应用最广的一个隐含的自适应滤波器。最简单的中值滤波是 三点中值滤波，待插值点根据本场中垂直相邻像素的灰度值和前一场中时域相邻的像素灰度 值的中值得到。中值滤波会引入伪信号，h w a n g e ta 1 【2 l 】指出在中值滤波之前使用平滑技术可 以减小这个缺陷。由于中值滤波具有很好的保护垂直边缘功能以及其硬件实现代价低，故它 的应用很多。 l e h t o n e n 和r e i l f o r s 【2 2 】提出了混合滤波算法。该算法将时空滤波与五点中值滤波结合起来 进行滤波。其中时空滤波器的输出是五点中值滤波器的输入之一，其余的四个输入是与待插 像素在时空方向上相邻的像素灰度值。混合算法结合使用线性和非线性算法，插值效果得到 了一定程度的改善。 s a l o e t a l 2 3 】将中值滤波从时域延伸到隐性的边缘自适应上，而且把三点中值延伸为七点 中值。s i l o n 酣i 【2 4 】提出了一种边缘和运动自适应相结合的算法，该算法用一个3 场运动检测器， 5 杭州电子科技大学硕士学位论文 可检测出静止、慢速运动、快速运动三种运动状态。基于这三种运动状态，选用三种不同的 插值方法，对于图像中的静止像素，利用时域相关性选用时域滤波器进行插值；运动慢的像 素，用加权混合中值滤波器进行插值；对于运动快的像素，用空域滤波器作为插值器进行插 值运算。k i me ta 1 【2 5 】用3 场运动检测器来检测像素的运动状态，通过比较前一场与后一场中 对应位置的像素值，来检测像素运动与否。如果两场中相应位置上像素的绝对差的加权和大 于设定的阈值，就将此像素判定为运动像素，同时，用垂直相邻像素的绝对差与一个设定的 阈值进行比较得到垂直边缘。在基于边缘和运动检测器的去隔行算法中，待插像素点的插值 方法在时域中值和边缘插值之间转换，通过利用空域的相关性来得到其中的边缘插值方向。 1 3 2 降噪算法的研究现状 作为视频图像预处理中的一种基本算法，降噪算法在机器视觉图像、医学图像等图像分 析与处理方面都有着最基本而又非常重要的应用。由于视频图像在获取、传输以及显示等各 个环节中都会受到噪声的干扰，从而使人眼很难提取出图像中的有用信息，进而影响到视频 图像的观看效果。另外，由于噪声的存在，编码器需要增加额外的比特对其进行编码，在一 定程度上降低了压缩编码的效率。因此，降噪算法至关重要。为了最大限度的抑制噪声，提 高编码效率以及得到好的观看效果，专家学者们根据不同图像的特点和视频图像中噪声的统 计特性，提出了很多降噪方法【2 6 1 。 空间域滤波方法和频域滤波方法是最常用的视频图像降噪方法。空间域滤波方法是对图 像的像素直接进行滤波处理；频域滤波方法则是对图像进行傅立叶变换，在变换域进行滤波 处理，然后反变换到空间域，从而实现降噪的目的。 空间域滤波方法包括平滑滤波器和统计排序滤波器。这两种方法都是对图像邻域进行的 操作，这两种滤波器的实质都是对图像中的所有像素点与模板进行相关计算实现降噪操作。 平滑滤波器包括简单的均值滤波器和加权均值滤波器，平滑滤波器在滤除噪声的同时，容易 模糊视频图像的边缘细节。图基在1 9 7 1 年提出了最早的统计排序滤波器一中值滤波器。中值 滤波器是一种典型的非线性滤波器，其滤波原理是将一个含有奇数点的滑动窗的中心像素用 该窗口内所有像素灰度值的中值代替。后来很多学者对中值滤波提出了很多改进方案 2 7 j 2 8 1 ， 其中自适应加权中值滤波算法对性能的改善最为有效，这种算法可以有效地滤除视频图像中 的脉冲噪声，降低图像的模糊程度。由于中值滤波器对视频图像中的所有像素点都进行相同 的处理，而不考虑图像本身的特性，因此在滤除噪声的同时也在一定程度上造成了视频图像 的边缘和细节的损失。 频域滤波方法的原理是将视频图像转换到频域，在频域对图像进行降噪处理。由于图像 中缓慢变化的区域对应频率分量中的低频分量，图像中的突变区域如图像中边缘细节和噪声 对应频率分量中的高频分量，根据视频图像和噪声不同的频率特性，我们可以用低通滤波器 ( 巴特沃思低通滤波器和高斯低通滤波器【2 9 1 ) 来抑制频谱中的高频分量，或者利用高通滤波器 做相反的操作来实现降噪的目的。当图像不存在边缘和细节部分或者边缘和细节部分较少时， 6 杭州电子科技大学硕士学位论文 图像信号的频谱与噪声信号的频谱不会重叠或者重叠部分较少，此时，利用频域滤波方法可 以得到较好的滤波效果，但是当图像中存在较复杂的边缘和较多的细节时，图像与噪声的频 谱会混叠在一起，此时，利用频域滤波的滤波效果将会很差。但是由于大部分的视频图像中 都或多或少的存在着边缘和细节，所以频域滤波器在抑制噪声的同时，也会使图像的边缘引 入模糊。维纳滤波器【3 0 】是基于最小均方误差( m i n i m u mm e a ns q u a r e de r r o r ，m m s e ) 准则进行 滤波，得到了比较好的降噪效果。 1 4 本文主要研究内容和工作安排 本文主要针对预处理中的去隔行算法和降噪算法进行研究，首先介绍了本文研究的背景 和意义及研究现状，简要介绍视频图像压缩标准的意义及发展，预处理技术和视频质量评价 的意义，并对去隔行算法和降噪算法的研究现状做了综述：然后介绍了本文所研究的去隔行 和降噪两种预处理技术，详细介绍了h 2 6 4 压缩编码框架，并将此框架作为本文降噪处理的 基本框架，分析了视频图像评价标准对视频图像的重要性：接着分析了经典的去隔行方法， 并提出改进的视频去隔行算法，根据评价准则对本文所提出的去隔行算法与经典去隔行算法 进行比较；最后分析了经典的降噪技术，提出了一种基于h 。2 6 4 编码环内的视频图像降噪算 法，并对该算法进行了仿真。仿真结果表明：基于h 2 6 4 编码环内的视频图像降噪算法的滤 波效果和编码压缩性能都比空域内的滤波有所提高，而且对图像的细节信息也有较好的保护。 本文的工作安排具体如下： 第一章，阐述本文的研究背景和意义以及研究现状，包括视频图像压缩的意义及视频图 像编码国际标准的发展史，预处理技术以及视频质量评价的意义，并对去隔行算法和降噪算 法的研究现状进行综述。 第二章，介绍视频图像预处理及视频图像质量评价标准，详细阐述了h 2 6 4 编码框架中 的几个重要模块，并描述了h 2 6 4 视频压缩标准较其它压缩编码标准的优越之处，以此为基 础，将随后讨论的降噪预处理技术应用到此编码框架中；然后简要介绍了视频图像预处理中 的去隔行和降噪技术，并给出了各视频图像评价标准的公式表示以及各自的优缺点，重点介 绍了峰值信噪比( p e a ks i g n a lt on o i s er a t i o ，p s n r ) 、结构相似度( s t r u c t u r a ls i m i l a r i t yi n d e x m e t r i c ，s s r m ) 和平均可分辨度准则。并根据实际状况，将视频质量评价准则应用到本文所要 研究的预处理技术中。 第三章，对视频图像的去隔行算法进行了研究，针对运动自适应算法无法消除运动重影 的缺陷，本文提出了一种基于中值滤波与边缘插值的视频去隔行算法，该算法利用改进的4 场运动检测算法，根据检测结果结合中值滤波、场重复以及改进的基于边缘的行平均算法， 有效地消除了去隔行之后的重影。仿真结果验证了本文算法的性能，从主观感受和客观评价 两方面比较，本文算法均有一定程度的改进。 第四章，研究了视频图像预处理技术中的降噪技术，并以视频压缩编码标准h 2 6 4 为基 础，提出了一种基于h 2 6 4 编码环内的视频图像降噪算法，对不同序列的图像在编码环内进 7 杭州电子科技大学硕士学位论文 行降噪处理，与空域滤波算法相比，本文所提算法使滤波效果有所改善，并且编码压缩性能 有所提高。 第五章对全文进行了总结，分析了本文工作中存在的不足，并对今后的工作进行了展望。 8 杭州电子科技大学硕士学位论文 第2 章视频图像预处理技术及视频图像质量评价 各种观测系统利用各种不同的形式和手段去观测客观世界，并将所观测到的内容直接或 间接作用于人眼，从而产生视觉可感知的实体【3 l 】称为图像。视觉信息在人类感知和认识世界 的过程中起着极其重要的作用，图像质量就是人们对一幅图像视觉感受的评价。人类所获得 的信息有8 0 以上来源于眼睛所摄取到的图像，在绝大多数情况下，这些图像信息的获取方 式更加高效便捷，而且比任何其他形式的信息都更加直观具体和丰富【3 2 1 。但是数字图像和视 频在获取、压缩、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等 非人为因素以及物体运动、离焦等人为因素的存在，不可避免地会使视频图像信号引入各种 噪声，如对电影胶片进行扫描而得到的视频图像中，通常含有因胶片擦伤而产生的噪声；在 电视信号中，由于传输或者接收条件的限制，通常会存在各种条纹状的噪声【3 引。这些噪声不 仅使图像和视频变得模糊、质量下降，而且影响图像的编码效率，最终影响到我们的观看效 果，而且对人们认识客观世界、研究解决问题带来了很大困难。因此对图像与视频质量评估 方法的研究显得日益重要，对于有损压缩算法，建立一套评价准则，对编码质量进行评价势 在必行。一般而言，图像质量评价准则分为两大类：主观质量评价和客观质量评价【3 4 , 3 5 j 。 本章首先介绍h 2 6 4 视频编码框架，此编码框架是本文所要研究的降噪预处理的基础， 然后介绍视频通信中的预处理技术中的去隔行和降噪技术，最后介绍视频图像质量评价标准， 利用评价标准对本文所研究的预处理技术进行评价。 2 1h 2 6 4 视频编码标准 由于h 2 6 4 具有良好的压缩编码性能，能在低码率下得到好的视频图像质量，这一特性 使其在对压缩效率要求高的场合中有重要应用。 2 1 1h 2 6 4 编码框架 h 2 6 4 不仅具有更高的压缩效率，而且更加适应p 和无线网络信道，这些特点使h 2 6 4 在有线电视、视频会议和远程监控等实时性要求较高的视频通信领域中已经得到了广泛应用。 现在已经有采用h 2 6 4 编码的基于d s p 的可视电话出现在市场上。另外，h 2 6 4 还有一个重 要应用，即网络的流媒体。现在流行的v o d 应用的就是流媒体技术，我国宽带上网用户已 达1 0 0 0 万用户以上，而且用户数还在继续增加，所以v o d 有很好的应用前景。 h 2 6 4 编码框架如图2 1