（通信与信息系统专业论文）数字图像的去块效应的研究.pdf

重庆大学硕士学位论文中文摘要 摘要 随着数字化多媒体技术的迅速发展，人们对各种数字图像的需求日益增长。 由于图像尤其是视频图像具有信息量巨大的特点，因此在传输、存储等过程中需 要对其进行数据压缩。目前，多数国际数字图像编码标准中采用基于分块的d c t 变换压缩编码技术。这种压缩技术能够有效地压缩图像数据，同时容易在数字图 像的解码过程中产生块效应。这种以块效应为代表的视觉降质，极大地降低了图 像的主观视觉质量，因此，伴随着数字图像的广泛应用，就迫切需要有高效的、 去块效应能力强的处理算法。 本文以提高数字图像的主观视觉质量为目的，对去块效应算法进行了较深入 的研究。提出了一种基于分类处理的去块效应算法，有效地去除了块效应、较好 地提高图像了的主观视觉质量。另外，提出了一种基于时域相关性的块效应检测 算法，能够有效地检测出视频序列中所存在的块效应。 本文主要研究工作如下： 系统地阐述了去块效应算法的基本理论和发展趋势，分析了目前现有的各种 去块效应技术的算法思想。 在分析现行算法的基础上提出了一种基于分类的去块效应算法，首先根据图 像的d c t 系数特性将图像分为不同的区域，接着对不同区域根据块效应强度进行 不同程度的平滑，最后通过仿真证明该算法能在保护图像细节的前提下、有效地 去除了其中的块效应。 根据视频图像处理中块效应会随机出现在视频序列中某些帧的某些宏块边界 这一特点，提出了一种基于时域相关性的块效应检测算法，利用当前帧与前后帧 中像素的相关性来检测当前帧中的块效应，通过仿真证明该算法能有效检测出视 频序列中的块效应。 关键词：d c t ，块效应，块效应检测，图像增强 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t l l 恤r a p i dd e v e l o p m e n to fm ed i 垂t a li 砌劬e d i at e c h o l o 缈m e r ei sav a r i e t ) r o fg r o 、析n gd e r n 觚df o rt h ed i g i t a li m a g e s i i l c et h ed i g i t a li n l a g eh a sm ed 嘲沲c t e r i s t i c s o fag r e a t 锄o u n to fi n f o 删o n ，i ti sr e q u dt 0b ec o m p r e s s e d a tp r e s 锄t ，m 锄y 缸e n 蜥o n a ld i g i t a ji i n a g ec o d i n gg t a i l d a r d su s en l eb l o c k _ b 勰e dd c t t r a n s f 0 】咖c o d i n g t c c l l n i q u e s ，w l l i c he 伍c i e n t l yc o i n p r e s s e d 也ed i g i t a li i n a g e h o w e v e r ，t l l i st e c l l n i q u e 谢uc 卸s eb l o c l 【i 1 1 9e 虢c ta l 圮d e c o d e dd i g i t a li i i l a g e ，w l l i c hb a d l y 陀d u c e s 廿1 e s u 场e c t i v e 小l a l i 够o ft l l ei i n a g e a n dv i d e 0 t h e 犯f o r e ，t h e r ei sa nu 玛e n tn df 0 r e 伍c i e md e - b l o c k i n ga l g o r i t b i n i l l l i sp a p e r i no r d e rt 0 i n l p r o v em es 蝴e c t i v ei n l a g eq u a l i 吼w ec a r e m l l y r e s e a r c h e dm ed e - b l o c k i n ga l g o r i t l l m 觚dp r o p 0 9 e dac l 弱s i 6 c a t i o nb a s e dd e - b l o c k m g a j g o r i m m ，w l l i c he 伍c i e n t l yr e m o v et h eb l o c k i i l ge 虢c t 觚di i n p r o v e 协es u b j e c 缸v e 删时o ft l 忙曲a g e b e s i d e s ，w ep r o p o s e dat i m e d 0 贼i i nc 0 玳l a t i o nb 邪e db l o 出n g d e t i o c t i o na l g o r i t l l i n ，w 1 1 i c hc o u l de 伍c i e n n yd e t e c tb 1 0 c l 【i 】唱e 位c t si l ln l ev i d e oi n l a g e s 1 1 1 i sp a p e rm l d i e dt l l ef o l l o 诵n ga s p e c t s ： g 锄e r a l l yd e s c r i t e dt l l eb 猫i cm e o r ya n dt r c 肚d so ft h ed e - b l o c k i n g 甜g o r i m m ，a n d 砌y z e d 也ec l l l 瑚te x i s t i n gt e c h n o l o g yo nd e b l o c 虹n ga l g o r i t l l m b 嬲e do nm e 砌y s i so ft 1 1 ee x i s t i i 坞d e - b l o c k i i 玛a l g o r i m m ，w ep r o p o s e da c l 雒s i f i c a t i o nb 硒e dd e - b l o c 妨唱m 9 0 酬 l i i l ：f i r s t l y 缸i i l l a g ei sd i v i d e d 缸od i 俄r e i l t r e 西o n sa c c o r d 迦t om ec h a r a c t c r i s t i c so f m ed c tc o e 街c i 咄o f m ei i i l a g e t h e n 恤 b l o c k i n ge f 6 e c ti ss m o o m e d 州n lv a 吲m 唔d e g r e e so fi n t i m s i 锣a c c o r d i l l gt 0n l ei l n a g e 陀百o nw 址c ht h eb l o c k i i 培e 毹c tb e l o n g st 0 f 缸a l l y ，i ti sp r 0 v e db ys i i n u l a t i o nt l l a tt h e a l g o r i t h mc 趾e 街c i e n t l yr e r n o v em eb l o c l ( i 】唱e 彘c t 砌l ep r o t e c t i n gi i i l a g ed e t a i l s b 嬲e do n 让i ec h 锄删【e d s t i c s 廿1 a td u r i i l gi i i 鹕ep r o c e s s i n g ，m eb l o c k i n ge 蔬c t 埘l l 啪d 眦l ya p p e a ra tt h eb o m - d a 巧o fs o i n em a c r ob l o c ko fs o n l ef 豫m e si nm ev i d e o q 呦c e ，w ep r o p o s e dt i n l e d o m a i l lc 0 盯e l a t i o nb a s e db l o c l 【i i 培d e t e c t i o na l g o r i 也i n w h i c hl l s et h er c l e v 锄c eo f p i x e l si nn l ec u 饿i n t6 m n e 锄dp r e v i o u s 觑衄e0 rs u b s e q u e n t 胁l e w bs h o w e db ys 曲u l a t i o nn 雠位a l g o 础蛐c 眦e 雎c t i v e l yd e t e c t 也eb l o c k 堍 e f f e c to fv i d e os e q u e n c e s k e yw o r d s ：d c t ，b l o c k 堍e 位c t ，b 1 0 c k e l j f 托td e t c 嘶。玛h i l 4 9 ei i i l p r 0 v e m e n t 学位论文独创性声明 本 人声明 所 呈 ，交 的竺 士 学位论文 狐匿像的舌磋主婊鱼否f f 孝 是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：；长轰 签字日期：妒9 f ， 一名：眵 签字日期：2 叩， 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意l ：中 国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库出版章程( 以 下简称- 章程”) ，愿意将本人的丝士学位论文鍪i 图像舀5 丢嗉5 灰岛z 万金提 交中国学术期刊( 光盘版) 电子杂志社( c m 融) 在中国博士学位论文全文数据 库、中国优秀硕士学位论文全文数据库以及 i d l l 2 的情况，这 时d 1 与式2 3 中相同，而 d 2 = d 1 2 = 【( 彳一d ) 1 6 + ( c 一功4 】 ( 2 6 ) 同理可得，研、c 1 是及c 的平均值加上或减去( 彳一d ) 8 ，而彳1 、d 1 是爪d 分 别加减式2 6 中的d 2 ： 彳1 = 彳+ d 2 ，d 1 = d 一万2 ( 2 7 ) 当彳 d 时，m 取负号，d 1 取正号；当彳 l d l i 2 的情况下，这时有 d l = 2 s t r e n g 仃h d = q p d f ，1 1 、 d 2 = 士( q p d ) 2 、。“17 同理可以得到，经过滤波后曰与c 的阶跃减少2 d 1 ，彳与d 的阶跃减少d 1 ， 滤波起到了渐进平滑的作用。 ( 6 ) 对于d s t n g t h 的情况，有d 1 = o ，d 2 = o 。显然两个块边缘像素灰度值 相差较大( d q p ) ，这时有可能是图像中的真边缘，不再做边缘平滑，滤波器失 效。 h 2 6 3 + 的去块效应滤波器是一维滤波器，为了得到二维效果，对一个块要进 行两次滤波，第一次是在水平方向，第二次在垂直方向。 综上所述，可以归纳如下：滤波器的补偿作用，是针对相邻图像块边界的四 个像素爪及c 、d 的灰度值所形成的差值b c 和4 一d 进行加权，并对d 小于 2 s t 烈g m 的情况进行平滑；去块效应滤波器实际上是在保证滤波前后能量不 变的前提下，通过减少块间边缘像素的“台阶”来去除由量化误差所引起的块效应， 并尽量使得图像真实边缘不受损伤；该方法的优点是开销小，对边缘平滑有一定 的效果。但是该方法忽略了人眼视觉特性对图像平坦区域和边缘区域等处的块效 应敏感程度的差异，易造成块边界高频信息失真，而对平坦区域中的块效应又平 滑的不够，因此，滤波后图像主观视觉质量得不到明显的改善。 2 3h 2 6 4 中的环路去块滤波算法1 1 5 l h 2 6 4 是在h 2 6 3 的基础上发展起来的，继承了以往所有压缩编码技术如帧内、 帧间预测等技术的主要优点。由于h 2 6 4 所采用的基本编码框架依然是传统的基 于块的运动补偿与d c t 变换相结合的混合编码技术，这导致在低码率情况下，重 构图像中会出现严重的块效应现象。为解决这一问题，h 2 6 4 在编解码环路中引入 了环路滤波器，使得h 2 6 4 能够在码率相对较低的情况下也能保持较好的图像质 量。 h 2 6 4 中的环路滤波器滤波的基本思想是：首先计算图像块边界强度，然后再 通过滤波器对图像块边界像素进行滤波，来去除块效应。如果每帧中图像块边界 处的像素亮度绝对差值相对较大，那么出现块效应的可能性就很大，因此需要进 行相应滤波处理，滤波的强度随着图像块边界处的编码信息而自适应改变【5 刎；然 而，如果差值幅度过大，这就不是由量化误差所造成的，而是图像中的实际边缘 1 7 重庆大学硕士学位论文2 环路去块滤波算法研究 信息，那么就不对其进行滤波处理。这样就能够既去除块效应又可以保护图像的 纹理和边缘信息。 在h 2 6 4 编码标准中，d c t 变换是基于4 4 大小的图像块，因此环路滤波器 在滤波的时候也是以4 4 大小的图像块作为处理单元，如图2 5 所示，图中的粗实 线为需要滤波的边界，按光栅扫描顺序对解码后的每个宏块进行滤波，在一个宏 块中对块边界按照先垂直后水平，先亮度后色度的顺序分别处理，整个滤波过程 分为边界分析和滤波运算两大部分阱1 。 i p 3p 2p ip 0q oq iq 2q 3 p 3 p 2 p i p ( ) q ( ) q l q 2 q 3 水平边界 图2 5 需要滤波的水平与垂直边界 f i g 2 51 h eh 商z o n _ t a l 狮dv e n i c a lb o “l e rw h i c hn e e df o rf i n e r i i l g 首先进行边界强度分析，h 2 6 4 将边界强度分为四级，具体边界分析的过程如 下： 对4 4 图像块定义参数边界强度( b s ) ，对不同强度的块边界采取不同强度的 滤波。设p 块和q 块为两相邻块，以表2 1 为依据决定p 块和q 块之间边界的边 界强度： 表2 1 块边界强度判决准则 p 块或q 块为帧内编码模式且块边界也为宏块边缘 p 块或q 块为帧内编码模式 p 块或q 块的残差变换系数不都为o p 块或q 块的残差变换系数都为0 ，但p 块或q 块的参考帧不同或运动矢 量不同 p 块或q 块的残差变换系数都为0 ，p 块或q 块的参考帧和运动矢量相同 从表2 1 的判决算法可以看出：块边界强度的大小取决于编码过程中产生的残差大 1 8 重庆大学硕士学位论文2 环路去块滤波算法研究 小。帧内编码时，由于帧内预测所涉及的参考像素比较少，预测图像块与原始图 像块差别较大，产生的残差通常会比帧间编码大，变换量化后产生的误差相应较 大，在块的边界处就可能造成较强的虚假边界，此时b s 取值4 或3 ；而当帧间预 测相对准确时，残差较小，此时边界强度也较小。若通过运动搜索找到一个完全 相同的参考块时，残差的变换系数为o ，此时若相邻两个像素块对应的参考块在同 一帧内并且也相邻，在解码后这两个像素块的边界上就不会出现不连续的现象， 此时不需要滤波，即b s = o ，若它们对应的参考块不相邻则b s = l 。如果预测残差 不为o ，则b s 2 。b s 值的下降趋势说明最强的方块效应主要来自于帧内预测模式 及对预测残差编码，而在较小程度上与图像的运动补偿有关【3 6 1 。 由此可见，块效应一般由帧内预测以及预测误差产生，运动补偿对块效应的 产生影响较小。根据重建后的图像块边缘是否有块效应以及其强弱信息，进行不 同程度的滤波，使得去块效应达到最佳效果。 对于b s 非o 的边界，要区分真假边界，这里引入一对与量化相关的参数口和 ，用来检查图像的内容，以决定边界上的点是否需要滤波( 口和都是门限参 数，口表示块间的边界门限，表示块内的边界门限，高于门限就判断为真实边 界，不需要进行滤波) 。对于两个相邻的4 4 图像块，假设左边块的像素点分别是 p 3 ，p 2 ，p 1 ，p o ，右边块的像素点分别是9 0 ，9 1 ，9 2 ，9 3 ，如图2 4 所示，那么只有当下 述三个条件同时满足时才对边界点进行滤波： l p o g o l 口( i n d e 哟 l p l 一p o i 3 p 1 = ( p 2 + p 1 + p o + 9 0 + 2 ) 2 ( 2 1 5 ) p 2 = ( 2 p 3 + 3 p 2 + p 1 + p 0 + 9 0 + 4 ) 3 q 块的情况和p 块完全对应。 h 2 6 4 的环路滤波器先对图像块边界进行了边界分析，然后根据边界强度来选 择性不同的滤波器进行滤波：对边界强度大的边界进行强滤波，对边界强度为0 的边界不滤波，以此来保证有效的去除图像中因预测误差产生的块效应，并且尽 可能的保护图像原有的边缘信息。尽管h 2 6 4 的环路滤波器可以较好的去除块效 应，但是它的算法复杂度非常高。虽然环路滤波器在算法中只使用了加法、位移 和比较运算，它依然是h 2 6 4 编解码器中最复杂的部分之一，由于图像块大小为 4 4 ，在去块滤波时平均来说要对图像块边界处4 个相邻像素进行处理，这样的 话就几乎是对整幅图像的每一个像素都进行处理，这些会大大的增加编解码的算 法复杂度1 3 6 j 【5 3 】。 重庆大学硕士学位论文 3 后处理去块效应算法研究 3 后处理去块效应算法研究 上一章介绍了视频编码中去除块效应的主要技术：环路滤波技术。本章主要 介绍图像编码中另一类去块效应技术：后处理去块滤波技术。首先介绍后处理去 块效应滤波的原理以及分类，然后对这几类后处理去块效应滤波算法的优缺点进 行了简要分析。 3 1 后处理去块效应算法原理 后处理去块滤波是一个独立于编解码系统的滤波器，通常在解码器输出解码 图像后和图像显示之前对解码视频进行滤波，目的是去除解码图像中的块效应， 提高解码图像的主观视觉质量。具体的要求是：既要保护好图像的细节，又要有 效的去除虚假的块边界。 通常，后处理去块滤波可以分成两类：基于图像增强的后处理去块技术和基 于图像恢复的后处理去块滤波。 先验信息 图3 1 基于图像恢复的后处理去块技术 f i g 3 11 1 h ep o s t - 眦e s s i i l gt e c l n i q 鹏b 嬲e d i m a g er e i c o v e 巧 图3 1 是基于图像恢复的后处理去块技术的原理图。将具有块效应的图像看成 是原始图像的退化图像，将块效应的去除看作是对退化图像的恢复问题。具体的 方法就是利用解码端所接收到的数据和失真模型等先验知识，来使退化图像尽量 地恢复为原始图像，以此来去除块效应。基于图像恢复的后处理去块滤波是在提 高重建图像主观视觉质量的同时也提高其客观指标，效果很好，但运算量大，不 适合实时处理。 图3 2 基于图像增强的后处理去块技术 f 逸3 1t kp o s t 呷l c e s s i n gt e c l l i l i q u cb a s e d0 i li 瑚g ei l i l p m m e n t 2 l 重庆大学硕士学位论文3 后处理去块效应算法研究 图3 2 是基于图像增强的后处理去块滤波器的原理图。为了降低与解码器的关 联程度，基于图像增强的后处理去块滤波器可以在无需解码信息的情况下对解码 图像进行滤波。该方法着重于对图像块效应的平滑，而不是将每个像素恢复到 它的原始值，可以根据人眼视觉系统特性来设计后处理去块效应算法。比如在图 像的平坦区域，人眼对块效应会更敏感，而在边缘区域由于人眼的掩蔽效应、人 眼的敏感度降低，因此将图像分为不同的区域，然后用不同的处理方法分别进行 处理，可以获得较好的图像质量。该方法使用灵活、应用广泛，其缺点就是没有 充分利用编码信息，会造成图像模糊。 3 2 基于图像恢复的后处理去块技术 基于图像恢复的后处理去块技术是利用解码端接收到的数据和其他先验信息 尽量将具有块效应的图像恢复为原始图像，从而去除图像中的块效应。此类算法 中最有影响力的是基于凸集投影理论( p o c s p r o j e c t i o n 伽幻c o n v e xs e t ) 的迭代算 法和基于马尔可夫随机场的最大后验估计一m a x 岫ap o s t e r i o r ) 算法。下面 简单介绍一下这两种经典的基于图像恢复的后处理去块技术。 3 2 1 基于凸集投影理论的迭代算法 基于凸集投影理论的迭代算法是信号重建的重要方法之一，用这种算法去除 图像中的块效应，基本思想是：先根据图像所采用的压缩算法、噪声或输入图像 的特性来获取先验知识，利用先验知识构成闭合的凸约束集，并用闭合的凸约束 集来表示原图像，然后把具有块效应的图像往这些用闭合的凸约束集的交集上投 影，通过反复迭代使得恢复图像尽可能的接近原图像。早在上世纪6 0 年代，前苏 联学者b r e g m a i l 和g u b i i l 等就建立了与之相关的数学理论，后来y 0 l l l a 将该方法 引入到图像复原中【1 7 】。y o u l a 假设待恢复的图像f 是一个h i l b e r t 空间h 中的一个 元素，图像f 的每个已知特性都可以表示成一个相应的闭合凸集，这样刀个特性将 生成n 个闭合凸集 e ，f = 1 ，2 ，挖 ，且它们的交集c 非空。这样，待恢复的图像f 应该被包含在所有的凸集e 的交集c 中： ，c = n g ( 3 1 ) j 暑l 对解码端的解码图像，即具有块效应的图像昂，令为e 向凸集c ：f 正交投影的算 子，将磊向这些凸集进行迭代投影，五+ 。= 置忍只最，七= o ，1 ，就可以使通过迭 代所生成的图像疋+ ，慢慢的趋近待恢复的图像f 。 在基于凸集投影迭代算法中，一般用到两类约束凸集，其中一类是量化约束 集，可以看做是有关编码系统的先验信息，基本设置方式如下： 设该量化约束集为g ，原图像为f ，变换编码算子为h ，量化为非线性算子q ， 重庆大学硕士学位论文3 后处理去块效应算法研究 量化后的值为y ，那么就有c l = f ：l ，= q 【艘】) 。令异为投影到凸集c l 上的投影算 子，该投影算子可以保证将处理后的图像的每个d c t 系数限制在原始的量化区间 内。量化约束集的缺陷在于它所定义的集合太大，经过平滑约束之后，大约9 8 9 9 的系数在量化约束集之内，实际上被量化约束排除的系数非常少，因此量化 约束集对算法的贡献通常不大。为了构造更为实用的量化约束集，p a r k 等人从回归 预测角度提出了窄量化约束集，较之传统的量化约束集性能有明显的提高【瑚。 另一类是平滑约束集，设为c ，该约束集一般针对的是关于原始图像的先验 平滑特性，直接针对因块效应而引入的高频成分，令只为投影到凸集g 上的投影 算子，该投影算子可以根据平滑约束对重构图像中的块效应进行抑制【1 9 1 ，相当于 对重构图像进行平滑滤波运算。由于对图像平滑特性的描述多种多样，例如可以 从空域或频域来描述图像的平滑特性，z a l 【h o r 把高于某一截止频率的分量看作是由 块效应引起的，提出了带限约束集。但是原始图像也可能包含高于截止频率的高 频分量，因此该方法在减少由块效应所引起的高频分量的同时，也减少了原始图 像的高频分量，从而造成图像过于平滑【2 0 j 。p e a k 等人根据图像平滑特性，假定两 个相邻矢量的总体频率特征与每个矢量的局部频率特征相似，采用n 点d c t 来获取 每个矢量的局部特征，并使用2 n 点d c t 来获取两个相邻矢量的总体特征。对n 点 和2 n 点的d c t 系数进行比较，从而检测出由块效应所引起的高频分量【2 l 】。 基于凸集投影理论的迭代算法的优点是在消除图像块效应的同时可以在一定 程度上保持图像的细节，但是该算法的复杂度比较高，不利于实时实现，而且由 于平滑限制条件很难保证在消除块效应的同时不损伤原始图像的频率分量，所以 平滑约束集选择不当很容易造成平滑约束集和量化约束集的交集为空集。 3 2 2 基于最大后验估计算法 基于最大后验估计算法的基本思想是利用图像统计特性的先验知识，基于最 大后验概率准则，根据重构的图像信息来确定原始图像的信息3 7 5 4 1 。设原图像为 f ，变换编码算子为h ，量化为非线性算子q ，具有块效应的重构图像为】，假设 f 具有个先验分布，那么f 的最大后验估计f 就是指在给定重构图像】，的条件 下，得到估计f 的概率是最大的瞄】： ，2 鹕1 黔【p ( f y ) 】 ( 3 2 ) 其中s ： f ：】，= g 舰】) 。根据贝叶斯公式，有尸( f i y ) ：兰挈，由于p ( 功 ，l jj 与f 无关，在求最大值时可以忽略，并且目标泛函取对数之后，对求最大值的过 程不影响，于是( 3 2 ) 式变为： f = a 唱r 啦曙 1 0 9 p ( 】，刃+ l o g 尸( f ) 】 ( 3 3 ) 由于在给定变换h 和量化q 后，条件概率尸( y d 可以表示为： 重庆大学硕士学位论文 3 后处理去块效应算法研究 r 1 以引d 2 恼 】，= 研胛】一lj 】，q 【艘】 因此式( 3 3 ) 可以表示为： f = a 唱翠警 1 0 9 p ( f ) 】 ( 3 4 ) ( 3 5 ) 其中，先验条件概率尸( 刃分布模型是与图像的先验知识紧密相关的，使用不同的 分布模型将得到不同的算法。目前大多文献都使用马尔科夫随机场作为先验图像 模型( m i 江) 【3 刀，根据h 锄n e r s l e y c l i 舶r d 定理，每个m 】盱都等价为一个q b b s 随 机场，即尸( d 符合g i b b s 分布： 邶) = 三e x p 一萎w ) ) ( 3 6 ) 其中z 为标准化函数，k ( f ) 称为势函数，是一个局部像素组c 的函数；c 表示图像 中所有可能的子团集合。假设原始图像大小为聊刀，在二阶领域条件下，可以选 取如下势函数： 圪( f ) = 以弓一毛) ( 3 7 ) c e c f = l = 1 七= f l ，= 一l 其中反x ) 是代价函数。将式( 3 6 ) ( 3 7 ) 代入( 3 5 ) ，得： f = 鹕州p ( 弓一昂) 】 ( 3 8 ) f = lj = l 七= f l ，= 一l 函数反x ) 往往选取凸函数，如果它是非凸的，目标泛函的最小化过程很容易会陷 入局部最小值，造成解的不稳定，所以只有当它是凸函数时，才能很容易地找到 全局最小值。可以选择h u b e r 函数模型作为代价函到3 7 】： f x 2i z i 丁 p x 21 丁z + 2 z ( 1 x i z ) 。l 二i 丁o 3 9 ) 通过阈值t 把代价函数分为线性和二次型两部分，通过线性部分在一定程度上保护 了边缘，又因为它是凸函数，保证了m a p 估计的有效性。合理的设置丁值是去块 效应效果好坏的关键。对于相对较平滑的图像应该选择比较大的丁值才能有较强的 去块效应能力，而为了保护图像边缘，对纹理较多的图像应该选择比较小的r 值 1 3 8 】 o 基于最大后验估计去块效应算法能够更好地避免其他算法在去块效应时经常 引起的振铃效应等损害图像质量的现象，在避免图像模糊方面也优于滤波类方法。 但是，在要求更好的去块效应效果时，也会造成图像一定程度的模糊，此外，该 算法复杂度比较高、不利于实时实现。 3 3 基于图像增强的后处理去块技术 基于图像增强的方法是为了提高图像或视频的主观视觉质量，对处理后图像 重庆大学硕士学位论文3 后处理去块效应算法研究 的客观质量( 一般用p s n r 来度量) 通常不作严格的要求。在设计图像增强算法时， 着重于考虑人眼的视觉特性并利用块效应所的特征。图像增强的目的是对图像中 的块效应从空域或者频域进行平滑，而不是将每个像素恢复到它的原始值，综合 来说，后处理去块滤波的平滑方法必须要满足以下两点要求： ( 1 ) 人类视觉系统对于在平坦区域的块效应比对于在复杂纹理区域( 细节多的区域) 的块效应要敏感。因此，对于平坦区域，需要使用一个强的平滑滤波器；而在非 平坦区域，只需要对块边界的少数点进行滤波就能达到不错的视觉效果。 ( 2 ) 平滑滤波在非平坦区域使用时，会带来模糊等视觉效果。因此，为了保持图 像的细节不被滤除，在非平坦区域需要使用弱的、具有自适应能力的平滑滤波器。 由于基于图像增强的去块效应方法是在解码端对重构后的图像直接进行滤波 平滑处理，并且不需要任何编解码先验信息，也就是说它和整个编解码系统是完 全独立的，因此，基于图像增强的去块效应方法与现有的任何图像编码标准都完 全兼容，也正是因为这个优势，基于图像增强的去块方法成为了目前去块效应算 法研究的热点【引，国内外学者所提出的大部分去块效应算法都属于这一类，下面就 简单介绍一下国内外学者所提出的比较经典的基于图像增强的去块方法。在介绍 的过程中也对这几种算法的优缺点进行了简单的分析，为本文中的改进算法提供 了一些思路。 空域滤波方法是最基本的基于图像增强的去块效应方法，该方法直接对图像 像素的亮度值进行处理。因为图像中的块效应表现为一种高频缺陷，所以最简单 的空域滤波就是低通滤波器，对整幅图像进行低通滤波，以此去除块效应，但该 方法显然不可取，因为没有考虑到图像的自身局部信息，虽然去除了块效应，同 时也丢掉了整幅图像的高频信息，造成了整幅图像的模糊。因此，需要将图像划 分为几个不同的区域，然后对于不同的区域分别进行自适应滤波，去除块效应， 空域滤波算法原理可以归纳为图3 3 所示： 图3 3 空域滤波原理示意图 f i g 3 31 n l es c h e h m t i cd i a 鲋蛐o f 屺s 删a ld o m a i l lf i l t e 血g 如图所示，空域去块效应滤波时，主要是根据图像的纹理特性将图像划分为 重庆大学硕士学位论文3 后处理去块效应算法研究 平坦块和非平坦块( 边缘纹理区域) 。其中，平坦区域空间细节含量比较少，灰度 值变化不大；而边缘纹理区域，空间细节含量较多，灰度值变换频率较高。由于 块效应是由分块量化后的量化误差所引起，在图像中随着图像内容的不同，块效 应也有不同的表现形式，因此应该有选择地选取平滑强度不同的滤波器对图像中 不同区域的块效应进行处理。对于平坦区域，人眼视觉系统对块效应比较敏感， 有一点块效应也会极大地降低图像的主观视觉质量，因此需要对这些区域进行高 强度平滑；并且，由于在平坦区域中高频成分较少，所以对这些区域进行高强度 平滑也不易造成图像的模糊。因此，综合来说应该对平坦区域进行高强度平滑。 对于非平坦区域，人眼视觉系统对块效应比较迟钝，该区域中的一些块效应有时 也会被人眼忽略掉，因此对这些区域不需要进行高强度平滑，并且在非平坦区域 中高频分量较多，对这些区域进行平滑极易造成图像的模糊、影响图像的主观视 觉质量，因此对该区域应该进行低强度平滑【3 3 】。综上所述，空域滤波去块效应方 法最重要的技术可以归为两点： ( 1 ) 根据图像自身局部信息将图像划分为不同的区域； ( 2 ) 对不同的区域采用不同的滤波方法滤除块效应。这样才能保证在去除块效应的 同时不造成图像的模糊。 在对图像区域分类的过程中，可以利用方差将图像划分为平坦区域和非平坦 区域。例如，对图像中一个大小为8 8 的图像块厂( x ，y ) ，首先计算出该图像块的 像素均值，如式3 1 0 所示： 所：二y y 厂( 五) ，) ( 3 1 0 ) 6 4 蒿蒿一 接着，如式3 1 1 所示，计算出该图像块的平坦系数： 弓= 砉扣小班她) = ：；，羔嚣 ( 3 1 1 ) j = o 归0iu ，= 1 、竹” 其中，磊被设置为一个较小的值，从而让乃反映出图像块厂( x ，j ，) 的平坦性。当t 大 于一个特定的门限五时，则认为图像块厂( x ，y ) 属于图像中的非平坦区域，反之， 属于图像中的平坦区域。另外，还可以通过梯度算子检测出图像中的边缘纹理区 域，即利用一阶导数来检测图像中每个像素的某个邻域内灰度的变换来检测出图 像中的边缘纹理信息。其中，s o b e l 算子因为计算量小、速度快，成为目前应用最 广泛的梯度算子【1 6 】，即通过在图像空间中利用两个3 3 的方向模板与图像中每个 点进行邻域卷积完成，这两个模板分别检测图像中的水平和垂直边缘，如图3 5 所 示： 重庆大学硕士学位论文3 后处理去块效应算法研究 雕 i 列 s o b e l 算子如式3 1 2 所示： 日= 研+ 磁= ( 厂( x ，少) 幸s ) 2 + ( 厂( x ，y ) 曩是) 2 ( 3 1 2 ) 其中，( x ，y ) 为图像像素灰度值，为卷积运算，s 与& 分别代表水平方向和垂 直方向的模板。其原理就是对选定的图像用同样的窗口进行卷积，得到图像的梯 度值，并与设定的阈值进行比较，如果得到梯度值日大于该阈值，就认为该点是 边缘点，则把3 3 图像窗口中央的像素灰度值用2 5 5 来代替，否则就把图像窗口 中央的像素用0 代替，以此就可以把图像中的边缘纹理像素点检测出来【3 5 】。 对图像进行区域划分之后，对不同的区域，综合人眼视觉特性以及不同区域 的纹理特性采用不同的空域滤波器进行滤波，通过滤波对图像进行平滑，消除图 像中的像素值跳变现象。在去块效应处理中，由于块效应的特性，即块效应一般 出现在图像块的边界处，因此只对块边界的像素进行平滑滤波处理，一般选择一 维的空域滤波掩模，在待处理的图像块边界处每一行每一列逐点地移动掩模，滤 波器在每一点的响应由滤波器掩模系数与滤波器掩模扫过区域的相应像素的乘积 之和给出。如对于一个五抽头的滤波器( 1 ，2 ，4 ，2 ，1 ) 1 0 在处理某行像素时，该区域 中的任 意一点 ( z ，y ) 的响应为： 【( x 一2 ，y ) + 2 ( x 一1 ，y ) + 4 ( x ，j ，) + 2 ( x + 1 ，y ) + ( x 一2 ，y ) 】l o 。可以通过设置滤波器 掩模系数以确定滤波器的平滑强度，并且滤波器平滑强度还跟滤波器的抽头数量 有关，抽头越多就意味着参与平滑的像素数量也就越多，平滑强度也就越强。在 处理图像中强边缘区域时也可以采用中值滤波器进行滤波，中值滤波器在每一点 的响应为滤波器掩模扫过区域的像素亮度值中值。中值滤波器引起的模糊较少， 可以较好的保持图像边缘信息。 鼬m 通过检测图像的梯度信息，将图像直接分为平坦块和非平坦块，然后采 用一维9 抽头的滤波器( 1 ，1 ，2 ，2 ，4 ，2 ，2 ，1 ，1 ) 1 6 依次按行或按列对平坦区域进行滤波， 依次对平坦区域的每一个像素进行平滑阱l 。而对于非平坦区域，只对图像块边界 处的两个像素进行平滑，以此保护图像的细节信息。k o n g 利用图像的局部方差将 图像分为平坦区、纹理区和高复杂区，并且认为块效应只存在于高复杂区中，然 后同样利用方差在高复杂区内检测块效应，接着将一维高斯滤波器作用于检测出 的块效应，以此去除块效应【2 5 1 。林国辉等人对k o n g 所提出的方法进行了一定改进： 重庆大学硕士学位论文 3 后处理去块效应算法研究 首先利用方差将图像块划分为平坦块和纹理块，然后根据纹理块周围图像的平坦 程度将其细划分为普通纹理块和强边缘区域，对平坦块用h o d g e s l e h m e n 滤波器 进行滤波，对强边缘区域采用中值滤波，对普通纹理块不作处理、以保护图像的 细节信息闭。1 缸等人把分类更加细化，根据图像纹理强度和像素位置将图像划分 为平滑区域、复杂区域、中间区域以及突变区域和附加细化区域5 个种类。对于5 类区域分别采用不同的方式进行滤波：在平滑区域，采用滤波强度较大且同时对 块边界左右6 点像素进行滤波：在复杂区域，由于包含图像的纹理信息，不适台 使用较强滤波而且为了保护块内的图像信息，只对块边界左右2 点像素进行滤 波；在中间区域，因为介于复杂区域和平滑区域之间即要滤去明显块效应又要 保护部分纹理信息，所以采用和复杂区域相类似的策略，但滤波强度更大；对于 突变区域，实验证明图像边缘在块边界上会得到过分增强，使人视觉不适，所以 要对图像边缘进行弱化，这里采用强度较大的两点滤波；在附加细化区域中，将 根据相邻的四个边角上点的像素关系，选择合适的滤波器进行四点滤波哪j 。 基于d c t 域去块效应方法是目前比较热门的基于图像增强的去块效应方法， 包括研究块效应在d c t 域的特性，如何通过d c t 域系数判断块效应强度以及通过 改变图像的d c t 域系数值去除块效应等问题。在这里，提出一个偏移块的概念： 对于图像中两个相邻的图像块，可以将两个块接壤处，即边界处周围的儿列或几 行像素组成一个新的图像块偏移块( s h i f i 。d b l o c k ) ，如罔34 所示从图中可 以看出，两个图像块的块效应就在偏移块的f 中央处。 小、r 相 糍的两 雕像块 幽34 偏移块目i 息幽 f 镕34t h es c h e m m j c d l a g m mo f 曲es h l n e d b j o c k 誓戆il 矗盲_ 一 _ 器器 一 盎器 一 晶器 一 重庆大学硕士学位论文3 后处理去块效应算法研究 对于一幅没有块效应的平滑图像，图像内部的像素高度相关，像素之间基本 上是平滑的过渡，那么相邻两图像块和它们之间的偏移块在d c t 域系数特性上应 该是高度相似的。但是图像和视频编码中对图像块的d c t 变换系数进行粗糙量化、 导致在图像块中引入量化误差，破坏了原始图像中块与块之间的连续性，从而使 得重建图像中出现了块效应。块边界处的块效应使得跨越块边界的偏移块的d c t 系数块中出现了新的高频分量，那么去除偏移块中新的高频分量就可以有效去除 可以用一个二维阶梯函数模拟图像中的块效应【2 蜘，以水平方向的块效应为例， 例如两个左右相邻，大小为8 8 的图像块a ，b 之间存在水平方向的块效应，如图 3 4 所示，它们之间的块效应则处在偏移块c 的正中央处。那么可以用如式3 1 3 所示 的二维阶梯函数模拟c 块中水平方向的块效应。 邓= 陬l 端之； c 块可以看作是原图像叠加上二维阶梯函数s ( f ，) 。对s ( f ，) 进行d c t 变换： 只( 甜，) = e g s ( 切( “，f ) ( 1 ，j ) ( 3 1 4 ) 其中g ，g = 溪茎：0 忙咐，c 刈，= 州亿邶蠹。 因为s ( f ，j f ) 是二维阶梯函数，那么式3 1 4 可以写为： c ( “，1 ，) = g c v j ( f ，) r ( ，) 陟岛( ”，j ) ( 3 1 5 ) 如果o ，那么r ( “，f ) = o ，因此有当甜= o 时，只( 甜，1 ，) = o 。当“= o 时， r ( “，f ) = 8 ，因