（信号与信息处理专业论文）avs视频标准环内去块效应滤波器的研究与硬件实现.pdf

摘要 摘要 随着数字多媒体信息技术的迅速发展，视频压缩技术对数字电视、可视电话、 无线视频等视频通信服务中起着举足轻重的作用。现阶段用于视频压缩编码的最新 标准有m p e g - 4 、h 2 6 4 及我国具有自主知识产权的标准a v s 。其中h 2 6 4 视频压 缩标准凭借高压缩比和较好的图像质量，己经成为在国际上被广泛认可的视频压缩 标准；而我国自主开发的视频标准a v s ，是我国第一个具有自主知识产权、达到国 际先进水平的数字音视频编解码标准，拥有近似h 2 6 4 的压缩性能，但大大降低了 实现的复杂度，同时低廉的专利费用使a v s 十分具有市场竞争力。 本文从视频编解码去方块效应技术入手，结合a v s 标准提出有效结构来实现该 标准的环内去块效应滤波器。h 2 6 4 a v c 和a v s 都采用基于块的整数变换、量化和 运动补偿技术，不可避免的引入了块效应，影响了图像质量，也成为限制低码率传 输的主要方面。a v s 标准中在编解码环路中引入了滤波器，有效地去除了因方块单 独处理与粗糙量化所造成的方块效应。通过分析a v s 滤波算法，合理分配内部r a m 及存储空间的安排，减少对总线带宽的占用，以及使用改进的滤波顺序，尽可能的 减少一个宏块滤波所用时钟节拍。 在设计方法上采用自顶向下的设计方法，以r m 5 2 为基础建立了软件参考模型， 参考模型为r t l 级仿真提供了测试向量，在设计的每一步都进行仿真验证，以保证 设计的正确性。最后用e d a 工具进行综合，将设计下载到开发板进行板级验证， 确保设计能够满足标清视频的实时解码。 关键字：环路滤波器，a v s ，f p g a ，n i o s i i a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fd i g i t a lm u l t i m e d i at e c h n o l o g y , v i d e oc o d i n gt e c h n o l o g y p l a y sa l li m p o r t a n tr o l ei na r e a s l i k ed i g i t a l v i d e oc o n f e r e n c e ，a n dw i r e l e s s m u l t i m e d i ac o m m u n i c a t i o n se t c n o w a d a y sh 2 6 4 ，m p e g 4a n da v sa r et h ep o p u l a r c o d i n gs t a n d a r d s ，w i d e l ya c c e p t e d a n du s e d i n m a n ya p p l i c a t i o n s h 2 6 4 i s i n t e r n a t i o n a l l ya c k n o w l e d g e df o ri t sh i g hc o d i n gr a t i oa n dg r e a ti m a g eq u a l i t y a n da v s o w n e db yc h i n ai st h ef i r s ta d v a n c e da u d i oa n dv i d e oc o d i n gs t a n d a r dw i t hf u l l y i n t e l l e c t u a lp r o p e r t y i th a sc o d i n gp e r f o r m a n c ec l o s et oh 2 6 4w i t hl o w e ri m p l e m e n t c o m p l e x i t ya n dc h e a p e rp a t e n tc h a r g e ，w h i c hl e a d si tt ob ev e r yc o m p e t i t i v e i nt h i st h e s i s ，if o c u s0 nt h ek e yt e c h n o l o g yo fi n - l o o pd e b l o c k i n gf i l t e ra n dp u t f o r w a r da ne f f i c i e n ta r c h i t e c t u r ef o ra v sc o d i n gs t a n d a r d d c tt r a n s f o r m , q u a n t i z a t i o n a n dm o t i o nc o m p e n s a t i o nb a s e do nb l o c k sa r eu s u a l l yu s e di nv i d e oc o m p r e s s i o n t e c h n i q u e sl i k eh 2 6 4 a v ca n da v s ，w h i c hu n a v o i d a b l yb r i n g sb l o c k i n ga r t i f i c i a le d g e s b l o c k i n ga r t i f i c i a le d g e sd e g r a d ei m a g eq u a l i t ya n db l o c kt r a n s m i t t i n gu n d e rl o wc o d i n g r a t i o t or e m o v eb l o c k i n ga r t i f i c i a l ，a v si n t r o d u c e si n - l o o pd e b l o c k i n gf i l t e r a n a l y z e a v s d e b l o c k i n ga l g o r i t h mt of m d a p r o p e rr a mm a n a g e m e n ta n d a ni m p r o v e dd e b l o c k i n g o r d e r , w h i c hd e c r e a s e so c c u p a t i o no fb u sb a n d w i d t ha n dd e b l o c k i n gc l o c kt a p t o p - d o w nd e s i g nm e t h o di sa d o p t e di nt h ew h o l ed e s i g n as o f t w a r er e f e r e n c e m o d e li sm a d eb a s e do nr m 5 2 cp r o v i d i n gt e s tv e c t o r sf o rr t ld e s i g n s i m u l a t i o ni sm a d e i ne v e r yd e s i g ns t e pt oe n s u r em i n o rm o d u l e sw o r kp r o p e r l y a tl a s td e s i g ni ss y n t h e s i z e d a n dd o w n l o a d e dt od e v e l o p i n gb o a r d b o a r dl e v e lv e r i f i c a t i o nm a k e ss u r et h a tt h ed e s i g n c a l ld e c o d es t a n d a r dd e f i n i t i o nv i d e oi nr e a lt i m e k e yw o r d ：i n l o o pd e b l o c k i n gf i l t e r , a v s ，f p g a ，n i o s i i i i 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：店良午 p 毒海乡月f 7 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：裔艮午签名：席队t 淤缛乡月 第1 章绪论 第1 章绪论 1 1 选题背景 近年来数字多媒体产品的需求迅速增加，从数字广播、数字电视机项盒到高清 电视，从d v d 播放器、数字摄录机到可视电话会议，从孤立的手持设备到互联的 无线终端，视频压缩技术的应用遍及了通信设备、互联网络以及消费类电子，对数 字多媒体产业起到了巨大的推动作用。 人类从外界接受的信息有7 0 以上来自于视觉，相对于其他形式信息视频信息 具有直观性、确切性、高效性、广泛性等特点，在短时间准确、高效的到达信息交 流的目的。但原始或未压缩的视频需要存储或传输大量数据，目前的存储技术及网 络带宽无法满足实时要求，对其应用带来了极大的挑战。显然数字视频的存储或传 输需要采用压缩技术对数字视频进行编码，在保持视频质量的同时占用尽可能 少的空间。视频压缩算法是通过去除时间、空间和或者频率域的冗余来实现的，在 过去的二十年里许多不同的压缩解压缩系统和算法被提了出来，为了鼓励协调工 作，使不同厂商的产品能够有效地沟通，有必要定义标准的压缩编码和解码算法， 这种需求促进了一系列主要图像视频压缩国际标准的研究与发展，其中包括j p e g 、 m p e g 、h 2 6 x 和a v s 系列标准。 视频编解码技术两大标准机构，针对不同的应用场合开发了不同的视频压缩标 准。国际电信联盟( i t u ) 致力于电信应用，开发了用于低比特率视频电话的h 2 6 x 标准，其中包括h 2 6 1 、h 2 6 2 、h 2 6 3 与h 2 6 4 ：国际标准化组织0 s o ) 主要针 对消费类应用，针对运动图像压缩定义了m p e g 标准，m p e g 标准包括m p e g l 、 m p e g 2 与m p e g 4 。r r u t 与l s o i e c 两大组织颁布的各项视频编码标准均在一定 程度上推进了多媒体行业的发展。m p e g 1 标准的制定导致了v c d 的发展；m p e g 2 标准是d v d 和数字电视及h d t v 发展的前提；m p e g 4 标准引发了大量的基于 i n t e r a c t 的视频应用；h 2 6 3 标准在视频会议方面发挥了重要的作用。h 2 6 4 标准更 是体现了两大国际视频编码组织的优势，吸收了它们以往各个标准的优点，在数字 视频的实现方面提出了诸多改进方法，采用了许多新技术，提供了比以往更高的压 第1 章绪论 缩率，定位于覆盖整个视频应用领域，包括：低码率的无线应用、标准清晰度和高 清晰度的电视广播应用、i n t e r n e t 上的视频流应用，传输高清晰度的d v d 视频以及 应用于数码相机的高质量视频应用等等。而我国最新自主开发的视频标准a v s ，是 我国第一个具有自主知识产权、达到国际先进水平的数字音视频编解码标准，定位 于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通讯、互联网宽 带流媒体等信息产业应用，是数字音视频产业的共性基础标准1 1 】。根据性能分析比 较发现，a v s 拥有近似h 2 6 4 的压缩性能，但实现复杂度远低于h 2 6 4 ，同时低廉 的专利费用使a v s 十分具有市场竞争力。 视频编码压缩了数据、减少了比特率，但以丢失部分信息为代价，这种失真直 接导致图像质量的下降，其中尤以方块效应问题最为突出，直接影响视觉效果。产 生方块效应主要原因有两个：其一，就是基于块的帧内和帧间预测残差的d c t 变换。 其变换系数的量化过程相对粗糙，因而反量化过程恢复的变换系数带有误差，会造 成在图像块边界上的视觉不连续。第二个原因来自运动补偿预测。运动补偿匹配的 不精确以及插值过程中引入的误差引起方块效应，若不及时修正，会随着参考帧的 积累而传递下去。a v s 标准采用了目前主流的基于块的混合编码框架，在压缩过程 中引入了方块效应，为了消除或降低方块效应对视频序列质量的影响，该标准在编 码及解码环路中引入了去方块效应滤波系统。去方块效应滤波器是a v s 标准的重要 组成部分，是视频图像在低码率情况下，保持清晰主观效果的主要技术保障。 1 2 国内外研究现状 为了减少因高压缩比产生的块效应失真，诸多国际标准都采用了去块效应滤波 技术，使用滤波器来平滑块间的亮度落差，改善视觉效果。目前，许多专家学者提 出了一系列用于解决静止图像或运动图像中方块效应的方案。 针对基于分块编码图像中的方块效应，解决方案主要分为两类：后置滤波器、 编解码环路滤波器。后置滤波器，顾名思义是指在图像恢复后，对之进行处理，滤 掉方块效应，再在屏幕上显示出来，它不需要改变编码端的处理过程。环路滤波器 在编码过程中对每帧进行滤波，完成后用于下一帧的参考。a v s 标准中采用的是环 路滤波器，即在编解码环路中进行消除方块效应滤波操作。由于去方块效应后的图 2 第1 章绪论 像帧可以作为后续图像的参考，而参考图像在消除方块效应后更接近于原始图像， 使得运动补偿时的残差减小，从而可进一步降低码率。 目前国内已有多家公司正致力于解码芯片的研发，展讯通信以及上海龙晶已经 相继推出了各自商用的a v s 音频视频解码芯片，其解码芯片能对采用a v s 编码的 高清视频序列进行实时解码。针对a v s 标准中的环路去方块效应滤波系统，代建玮 等提出了一种高效的v l s i 结构，采用双口s r a m 及合理安排，以流水线方式进行 滤波，很大程度的提高了滤波器性能f 2 1 。 1 3 本课题研究的目的和意义 a v s 标准采用了大量最新的视频编码技术，获得了令人满意的图像质量，对比 m p e g 标准组织对m p e g 4a v c h 2 6 4 的测试报告，a v s 在编码效率上与其处于同等 技术水平，其压缩性能与h 2 6 4 基本一致。对a v s 与h 2 6 4 的计算实现复杂性进行扼 要对比，大致估算a v s 解码复杂度相当于h 2 6 4 的3 0 ，a v s 编码复杂度相当于h 2 6 4 的7 0 。a v s 视频标准是基于我国自主创新技术和国际公开技术所构建的标准，主 要面向高清晰度和高质量数字电视广播、网络电视、数字存储媒体和其他相关应用， 具有以下特点【3 】：， 1 ) 性能高，编码效率是m p e g 2 的2 倍以上，与h 2 6 4 的编码效率处于同一水平： 2 ) 复杂度低，算法复杂度比h 2 6 4 明显低，软硬件实现成本都低于h 2 6 4 ； 3 ) 我国掌握主要知识产权，专利授权模式简单，费用低。 a v s 标准是能够支撑国家数字音视频产业发展的重要标准，随着标准的完善推 广，推动“技术_ 专利_ 标准_ 芯片与软件_ 整机与系统制造_ 数字媒体运营与文 化产业”的产业链条构建，为我国数字音视频产业的跨越发展提供了契机。 本文的研究隶属于a v s 解码器研究课题组，主要目标是研究开发a v s 视频解码 器的重要组成部分一环内去方块效应滤波器。a v s 解码器要求能够对a v s 标准的 基准当次视频码流进行实时解码，做到f p g a 板级验证，对级别4 0 的标准清晰度视 频码流进行实时解码及显示。 3 第1 章绪论 1 4 本文的主要工作 本论文主要研究了a v s 解码器中环内去方块效应滤波技术，并针对标准完成硬 件电路的设计与实现。第一步工作是深入学习研究了视频编解码中去块效应滤波技 术原理及实现，了解国内外的最新研究成果。第二步根据a v s 视频编码标准的描述， 设计确定去方块效应滤波器的硬件实现结构，并以r m 5 2 c 为基础建立了软件参考模 型，然后用v e r i l o gh d l 硬件描述语言进行r t l 级实现。最后使用e d a 工具进行 仿真验证、布局布线，并下载到f p g a 开发板进行板级的调试与验证。 本文所设计的滤波器采用三级流水线实现滤波过程，通过对片内s r a m 大小、 存储结构的合理安排，并行实现读写、滤波操作，尽可能减少滤波所用时钟节拍。8 8 块的一条垂直边需要8 + 3 个时钟节拍，水平边则需要3 + 8 + 3 + 3 个时钟节拍即 可完成滤波：并提前进行边界强度的计算，即在对当前边进行滤波的同时，计算下 一条边的边界强度，最大程度地复用时钟节拍，提高滤波性能。同时本文采用片内 s 舢存放上一宏块行的最后3 行数据，减少对片外s d r a m 的访问，最大程度的 减少系统带宽的占用，只有当数据完成所有滤波计算后才更新到外部s d r a m 。为 了高效的复用时钟节拍，调整了滤波顺序，复用滤波及输出时钟节拍，即在进行水 平边滤波同时，将己完成滤波的数据输出到外部s d r a m 。最后对片内s r a m 数据 进行更新调整，准备下宏块的滤波。本文片内s r a m 均采用6 4 b i t 位宽，以满足 实时要求，并采用6 组8 8 b i t 的寄存器组实现转置，只需6 个额外时钟即可完成 水平边滤波时输入与输出数据的转置。 一 滤波器的实现是以整个a v s 解码器芯片架构为基础的，并可以嵌入至解码器芯 片中工作。依照e d a 综合工具的综合结果，本文所设计的滤波器可以达到9 3 m 的 时钟频率，可以完成标准清晰度的a v s 视频序列的滤波工作。 1 5 本文各章节的组织安排 本文的章节编排如下。 第1 章绪论部分，先概述了本课题研究的背景、国内外研究的现状，之后讨论 了该领域研究的目的与意义，并列举了本文所做的工作。 4 第1 章绪论 第2 章主要介绍a v s 视频压缩标准，并和其他一些国际视频压缩标准如 m p e g 4 ，h 2 6 4 等作了比较，分析了a v s 优势所在，针对该标准的通用编解码器结 构，介绍其所采用的核心技术。 第3 章从图像质量的评价标准入手，分析了视频编解码过程中产生方块效应的 机理，介绍了常用的去方块效应滤波技术，最后详细分析了a v s 标准中去方块效应 滤波器的具体算法。 第4 章介绍f p g a 系统开发设计，包括f p g a 发展概况及开发流程，最后结合 本课题所用的f p g a 开发板，介绍了n i o s 系统及开发板的使用。 第5 章详细讨论了本文去方块效应滤波器的实现结构。简要介绍解码器芯片的 系统结构方案，遵循a v s 解码器设计的整体要求，设计适合的去方块效应滤波器实 现结构。之后详述了去方块效应滤波器的实现细节，介绍了几个主要模块的设计方 案，最后简单论述了设计的仿真、综合结果。 第6 章为结束语，对全文做了总结，对今后的工作进行了展望。 5 第2 章a v s 视频压缩标准 第2 章a v s 视频压缩标准 2 1 a v s 视频压缩标准概述 在过去的二十年里，图像视频压缩一直是研究的热点之一，为了满足各种 数字视频应用需求，多种视频压缩标准被相继提出。其中最为成功与流行的是 i s 叩e c 制定的m p e g 系列标准和删t 制定的h 2 6 x 系列视频标准。视频压 缩技术的发展使数字多媒体应用进入了一个新的时代，同时数字多媒体产业的 发展又对视频压缩技术提出了更高的挑战与要求。图2 1 概括了i t u t 和 i s o m p e g 标准的研究发展阶段和不同标准之间的关系。 l t u 二t m p e g i t u t ， m p e g l h 2 6 1 h 2 6 3h 2 6 3 +h 2 6 3 + + m p e g 1m p e g 4 h 2 6 2 ，h 2 6 l ， m p e g 2j v t 8 48 89 0 鸵9 49 6驰0 00 20 4 图2 1 u t 和i s o m p e g 标准发展史 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 标准是信息技术先进音视频编码系列 标准的简称，是我国自主研发，具有自主知识产权的音视频编码标准，该标准 包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支 撑标准。其目标是成为先进的视音频编码标准，在编码效率上对现有编码标准 有显著的提升，同时尽量避免国际专利问题：面向我国的信息产业需求，为数 6 第2 章a v s 视频压缩标准 字音视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、 d t v 、无线宽带多媒体通讯、i n t e m e t 宽带流媒体等信息产业应用，成为数字音 视频产业的共性基础标准。a v s 第二部分视频部分于2 0 0 6 年3 月起正式实施， 成为国家标准，随着标准的完善与推广，一定程度上将极大地推动我国数字音 视频产业的迅速发展。 a v s 标准以当前国际上最先进的h 2 6 4 a v c 框架为基础，强调自主知识产 权，同时充分考虑实现的复杂度，其总体框架包括八大技术模块：变换、量化、 帧内预测、帧间预测、变长编码、环路滤波器、熵编码器和场编码。相比其他 视频编解码标准，a v s 具有非常显著的优势，其编码性能接近于h 2 6 4 ，但实现 复杂度远远低于后者。具体来说在同等的画质下，a v s 和h 2 6 4 比上一代编码 标准m p e g 2 平均节约“的传输码流，而比m p e g 4 a s p 要平均节约3 9 的 传输码流，编码效率是m p e g 2 的2 倍以上；复杂度低，大致估算a v s 解码复 杂度相当于h 2 6 4 的3 0 ，编码复杂度相当于h 2 6 4 的7 0 【3 】，大大节省软硬 件实现成本。 2 2 编解码器系统框架 2 2 1 编码器系统框架 a v s 视频标准和之前的国际标准一样采用运动估计、补偿加变换换编码 ( d p c m d c t ) 的混合编码模式，图2 2 描述了混合视频编码系统的编码器结构 【4 】。 7 第2 章a v s 视频压缩标准 i f n l弋n 翔- r 翮： i 当前r 一! 广1 ：广 i f n 一1 l 。一1 l 参考f 耀驿内 i 丞h 曩卜一b 釜午卜f 卜 图2 2 编码器结构框图 由图2 2 ，输入的帧或场f n 以宏块为单位被编码器处理。当前宏块的编码方 式可以有两种帧内预测编码或帧间预测编码。如果采用帧间预测编码，在 参考图像中寻找与当前宏块匹配的1 6 1 6 像素区域( m e ) ，并经参考图像运 动补偿( m c ) 后得出其预测值p r e d ( 图中用p 表示) ，其中参考图像用f 1 3 _ 1 表示。为了提高预测精度，提高压缩比，实际的参考图像可在过去或未来( 指 显示次序上) 已编码并解码重建的帧中进行选择。a v s 中最多可以有两个参考 帧，并支持1 4 像素精度的插值预测。采用帧内预测编码时，将关于帧内预测的 参数设置成零以表示没有参考之前传送的图像信号，利用当前帧已编码数据进行 预测，并有多种预测模式供选择以提高预测精度。a v s 标准中共有9 种帧内预 测模式：基于8 8 块，5 种亮度预测模式，4 种色度预测模式。预测值p r e d 和 当前块相减后，产生一个残差块d n ，代表原始图像与预测所得图像之间的差别， 经变换、量化后进行熵编码。熵编码后的残差系数，附加上用于宏块解码的其 他信息，如宏块预测方式、量化步长、运动补偿信息等，就构成了压缩后的码 流。最后，这些码流通过网络提取层( n a l ) 进行传输或存储。 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的 功能。因此必须使残差图像经反量化、反变换后得到的d n 与预测值p 相加进行 重建，得到u f n ( 未经滤波的图像) 。为了去除编码解码环路中产生的噪声， 提高参考帧的图像质量，以提高压缩图像性能，在解码环路中设置了环路滤波 器，以减少方块效应的影响。一系列宏块f n 组成的集合构成重构后的参考图像， 8 第2 章a v s 视频压缩标准 且输出宏块通常按照栅扫描顺序进行存储。 2 2 2 解码器系统框架 图2 3 所示为a v s 解码器结构框图，解码器是编码器的逆过程，熵解码器 对已经量化的系数和运动补偿数据进行解码。同编码器一样，预测信号是通过 帧内或者帧间预测获得的，与反变换后的残差系数相加重构图像。宏块解码的 最后一步是滤波过程，目的是消除方块效应，提高图像质量，主要为接收者对 图像质量的主观感受。 图2 3 解码器结构框图 从图2 2 与图2 3 中可以认识到在编码器中加入重构分支的目的是确保编码 器和解码器中采用一致的参考帧构成预测宏块。如果没有重构分支的引入，编 码器与解码器就可能使用不同的预测宏块p ，这样会导致编码器和解码器之间的 累计误差或“漂移 。 2 3 核心技术 a v s 视频标准中具有特征性的核心技术包括：8 7 整数变换、量化、帧内 预测、i 4 精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效应环 内滤波等【5 】【6 】。 1 整数变换及量化 9 第2 章a v s 视频压缩标准 a v s 采用8 8 的整数变换，解决了通用d c t 出现的失配问题，同时与h 2 6 4 标准中4 4 的i c t 相比较，具有去相关性强、效率高、计算复杂度低等特点， 在高分辨率下比4 4 的i c t 更优越。目前a v s 所采用的8 8 变换与量化方案， 即适合于1 6 位d s p 或其他软件方式的快速实现，也适合于a s i c 的优化实现。 2 帧内预测 a v s 的帧内预测技术和h 2 6 4 标准一样均在空间域上进行，即用当前块的 临近像素直接对每个系数做预测，其亮度和色度块的预测都基于8 8 块为单位。 a v s 共有9 种帧内预测模式，5 种亮度块预测模式，4 色度块种预测模式，且4 种色度预测模式中又有3 种和亮度块的预测模式相同。在编码质量相当的前提 下，a v s 采用较少的预测模式，使方案更加简洁、实现的复杂度大为降低。 3 帧间预测 帧间预测编码是混合编码技术框架中最重要的部分之一。a v s 标准采用了 1 6 1 6 ，1 6 8 ，8 1 6 和8 8 的块模式进行运动补偿，而去除了m p e g 4a v c h 2 6 4 标准中的8 4 ，4 8 ，4 4 的块模式。实验表明，对于高分辨率视频， a v s 选用的块模式已经能足够精细地表达物体的运动。较少的块模式，能降低 运动矢量和块模式传输的开销，从而提高压缩效率、降低编解码实现的复杂度。 a v s 和m p e g 4a v c h 2 6 4 都采用了1 4 像素( 亮度) 精度和1 8 像素( 色 度) 精度的运动补偿技术。但二者采用的插值方法却不相同，m p e g 一4a v c h 2 6 4 采用6 抽头的维纳插值滤波器，计算复杂。而a v s 采用二阶4 抽头滤波器，在 不降低性能的情况下减少插值所需要的参考像素点，减小了数据存取带宽需求， 、 而且大大降低了计算复杂度。 a v s 标准中最多可以使用2 个参考帧，其中p 帧可以有最多2 帧的前向参 考帧，而b 帧采用前后各一个参考帧，p 帧与b 帧( 包括后向参考帧) 的参考 帧数相同。其中b 帧的双向预测有对称模式( s y m m e t r i cm o d e ) 、直接模式( d i r e c t m o d e ) 、和跳过模式( s k i pm o d e ) 。使用对称模式时，码流只需要传送前向运动矢 量，后向运动矢量可由前向运动矢量导出，从而节省后向运动矢量的编码开销。 1 0 第2 苹a v s 视频压缩标准 运动矢量导出，无需传输运动矢量。跳过模式的运动矢量的导出方法和直接模 式的相同，跳过模式编码的块其运动补偿的残差也均为零，即该模式下宏块只 需要传输模式信号，而不需要传输运动矢量、补偿残差等附加信息。 4 熵编码 a v s 熵编码采用自适应变长编码技术。对可变分布的语法元素使用指数哥 伦布码，采用自适应性二维可变长编码方法，而对于均匀分布的语法元素采用 定长编码。 对预测残差的块变换系数，经扫描形成( 1 e v e l 、r u n ) 对串，l e v e l 、r u n 不是 独立事件，而存在着很强的相关性，在a v s 中l e v e l 、r u n 采用二维联合编码， 并根据当前l e v e l 、r u n 的不同概率分布趋势，自适应改变指数哥伦布码的阶数。 5 环路滤波 a v s 采用环内去块滤波技术，针对8 8 的块进行边界滤波，采用高度自适 应的滤波算法，在一定复杂度下尽可能的提高滤波效果。a v s 环路滤波器一共 使用3 级边界强度，且只使用边界两边3 个像素值进行滤波，大大降低了实现 复杂度。 a v s 视频标准目前定义了一个基准档次( p r o f i l e ) ，该基准档次又分为5 个级另l j ( 1 e v e l ) ，分别对应高清晰度与标准清晰度应用。与m p e g - 4a v c h 2 6 4 的b a s e l i n ep r o f i l e 相比，a v s 视频标准增加了b 帧、i n t e r l a c e 等技术，因此其压 缩效率明显提高，而与m p e g - 4a v c h 2 6 4 的m a i np r o f i l e 相比，又减少了 c a b a c 等实现难度大的技术，从而增强了可实现性。表2 1 对a v s 和m p e g - 4 a v c h 2 6 4 视频标准中所使用的各个技术模块作了对比，并大致估算了实现的 复杂性【3 】。 表2 1a v s 与h 2 6 4 计算复杂性对比 技术模块a v s 视频m p e g - 4a v c ，h 2 6 4复杂性分析 帧内预测基于8 x 8 块，5 种亮度基于4 4 块，9 种亮度预降低约5 0 预测模式，4 种色度预测模式，4 种色度预测模 第2 章a v s 视频压缩标准 测模式式 多参考帧预测最多2 帧最多1 6 帧，复杂的缓冲存储节省5 0 以上 区管理机制 变块大小运动补偿1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，1 6 x 1 6 、1 6 x 8 、8 x 1 6 、节省3 0 。4 0 8 8 块运动搜索8 x 8 、8 x 4 、4 x 8 、4 x 4 块 运动搜索 b 帧宏块对称模式只搜索前向运动适量双向搜索最大降t 氐5 0 即可 1 4 像素运动补偿1 2 像素位置采用4 拍1 2 像素位置采用6 拍滤降低1 3 存储器的访 滤波1 4 像素位置采波1 4 像素位置线性问量 用4 拍滤波、线性插值插值 变换与量化解解码端归一化在编编解码端都需进行归一解码器低于 码端完成，降低解码化 复杂性 熵编码上下文自适应c a v l c ：与周围块相关相比c a b a c 降低 2 d v l c， 性高，实现较复杂3 0 以上 e x p - g o l o m b 码降低计 c a b a c ：硬件实现特别 算及存储复杂性 复杂 环路滤波基于8 x 8 块边缘进行，基于4 x 4 块边缘进行，滤降低5 0 简单的滤波强度分波强度分类繁多，滤波 类，滤波较少的像素边缘多 i n t e r l a c e p a f f 帧级帧场自适m b a f f 宏块级帧场自编码降低3 0 应 适应 容错编码简单的条带划分机制数据分割、复杂的大大低于 足以满足广播应用中f m o a s o 等宏块、条带 的错误隐藏、恢复需 组织机制、强制i n t r a 块 求刷新编码、约束性帧内 预测等实现特别复杂 a v s 视频的主要特点是应用目标明确，技术有针对性。因此在高分辨率应 用中，其压缩效率明显比当前数字电视、光存储媒体中常用的m p e g 2 压缩标 准提高一个层次。在压缩效率相当的前提下，又较m p e g 4a v c h 2 6 4 的m a i n 第2 章a v s 视频压缩标准 p r o f i l e 的实现复杂度大为降低。 目前的a v s 视频技术可实现标准清晰度、低清晰度等不同格式视频的压缩， 但针对此类应用的压缩效率还有待提高，这应当是a v s 视频标准下一步的工作 重点。 2 4 本章小结 本章主要对a v s 视频标准作了一个整体的概述，介绍了a v s 的应用领 域以及相对其他国际标准的独特优势。介绍了a v s 编解码器的系统结构，所采 用的核心技术，并和m p e g 4a v c h 2 6 4 标准中的各技术模块作了比较，估算 了大致的实现复杂度。 第3 章去块效应滤波技术 第3 章去块效应滤波技术 目前具有实用价值的视频压缩编码均为有损编码，如m p e g 系列h 2 6 x 以及 中国的a v s 标准，有损编码算法必将引入误差，而且压缩率越高通常带来的误 差越大。这种误差的主要来源于目前压缩算法中基于块的编码框架，基于块的 d c t 变换、量化以及预测等技术引入了各种误差，主要的误差有以下几种：方 块效应，振铃效应，基模板效。本章主要分析讨论方块效应以及相应的滤波技 术。 3 1 方块效应 目前主流的视频编码标准由于采用了基于块的变换、量化和运动补偿技术， 使得相邻块引入了非均匀失真，以至于恢复后的图像在块边缘形成“虚假边界 ， 视觉效果上产生不连续性，这就是我们常说的方块效应。方块效应的产生是由 于编码算法中基于宏块、块的操作引起的。首先将图像分割成各个方块进行d c t 处理，并在此基础进行分别量化，可能导致d c t 系数高频分量丢失，同时使块 之间失去相关性；其二运动补偿技术也会引入方块效应。运动补偿块是对参考 帧内的某块象素样本点进行插值而得，由于运动补偿块的匹配不可能是绝对准 确，所以就会在复制块的边界上产生数据不连续，同时参考帧中存在的边界不 连续也会被复制到当前图像块内。比较而言采用帧内预测编码时，方块效应比 较明显，而在采用运动补偿技术的帧问预测编码中不很是严重，但也不容忽视， 尤其是在低比特率传输应用场合下。 在使用d c t 变换的压缩编码中，视频序列中的每一帧都被分割成若干n x n 的像素宏块，帧内或帧间预测后的残差数据块则经过二维d c t 变换，转换为 n 。个d c t 系数，二维d c t 变化可由下式表示： 1 4 第3 章去块效应滤波技术 f ( u ，v ) - 其中u ，v - 0 时表示变换域中的低频成分，也称为直流系数；其余是变换域 的高频成分，也称为交流系数。对变换结果进行分析，可以看出能量主要集中 在系数矩阵得左上角低频分量上。 量化矩阵设为q u ，v 】，量化过程可用下式表示： l u , v 1t 渊+ c 眇1 ( 3 2 ) 量化过程是一个取整运算，e 【u ，v 】表示量化中引入的误差。 在解码器端对残差数据进行反量化和反变化，其过程表示如下： f 。i n ，y 】一匕瞳，v q u ， ，】一f l u ，y 】+ e t u ，1 ，】q 阻，v 】 ( 3 3 ) f ( x ，y ) 一p 【u v e c v 。， = =n - 1 n - 1 ( 3 4 ) 。乏薹脚e c v , y - ! - 薹荟e q e 声q 由式( 3 4 ) 可知，解码器端经过反量化、反变换后量化噪声 善荟p m q 眇e 一 将分散在图像的各个块之内，由于各个块独立处理，不同块迭加了不同的量化 噪声，在块边晃处就表现为不连续性，即所谓“方块效应 。 因量化产生的失真影响有两大类：一类是较小量级的d c t 系数被设置为零， 尤其是高频交流系数；另一类是某些系数经过量化处理后不再是精确值，有一 定误差。方块效应是基于块变换编解码器的特征，对直流分量系数、低频交流 分量的过度量化都会引起方块效应。直流分量表示某一块图像区的平均能量。 在平滑区域内，直流系数过度量化会导致相邻块之间值变换过大，重建块之间 珍 o y y 戤 三烈 七” o 0 仪 仅、 1j 1 卟m，、，qfr，鼍珈m v 岛 + d、焉 h m y 岛 g 1 一n 三烈 m y 岛 m x 岛 2 一n 第3 章去块效应滤波技术 就会产生跳边，视觉上产生块效应。同样地，图像中颜色变化比较缓慢的区域， 对表示基础格调的低频交流分量过度量化则会导致方块边缘的不连续性。 3 2 图像的质量评价 图像质量的含义包含两个方面，一是图像的逼真度，另一个是图像的可懂 度。所谓图像的逼真度是描述被评价图像与标准图像的偏离程度：图像的可懂 度是指图像能向人或计算机提供信息的能力。评价视频信号的质量是一件困难 的事，而且并不精确，因为图像质量的认定包含很多主观因素，与每个观察者 个体有关，而客观标准虽然较为准确且可以重复，但目前尚不能完全模拟视觉 主观感受。 3 2 1 主观质量评价 主观质量评价就是根据c c i r ( 国际无线电咨询委员会) 的相关建议，组织 若干名专家和“非专家”作为评分委员，在特定环境下，用符合规定的设备， 按特定方法，利用5 项或7 项评分法对被测试图像的视觉效果进行评价，最后 按平均加权法则给出评定结果【4 】。 表3 1 图像质量主观评分标准 c c i r 五级评分等级等级清晰度评分等级评价 优5不同程度的觉察，轻度损伤很好 好 4 有损伤，但不令人讨厌 好 稍差 3 有令人讨厌损伤稍差 很差2损伤令人讨厌，但尚可忍受很差 劣1非常令人讨厌损伤，无法观看劣 主观质量评价是以众多评价值的统计结果作为衡量图像质量的尺度。该方 法劳动强度较大，需要组织较多人并花费相当长的时间，不能应用于图像实时 1 6 第3 章去块效应滤波技术 性传输的场合，对于提高评价结果的再现性、可信性和普遍性也很不容易。 3 2 2 客观质量评价 相对于主观质量评价，客观评价方法需要成本低、速度快，且可重复，是 一种快捷方便的评价手段，但往往不太符合人眼的视觉感受。这种定量测试方 法对改进压缩算法、提高硬件性能十分有利，但是如何使测试符合主观评价结 果，客观评价方法还有待进一步的研究与统一。 峰值信噪比( p s n r ，p e a ks i g n a ln o i s er a t i o ) 是客观评价最常用的测试方法 【4 】： p s n r 一1 0 1 9 ( 2 “一d 2 m s e ( 3 5 ) 其中n 为表示每个像素的比特数，( 2 4 一d 2 为图像中最大可能的信号值平均， m s e 是原始和编解码后图像之间的均方误差。通常p s n r 值高意味着图像质量 好，p s n r 值低意味着之质量差，而事实上这个评价标准也有一定的局限性，它 与上一节中主观评价结果不完全吻合，一个特定的p s n r 值不能绝对反映主观 认识。近年来人们正在努力研究开发与主观评测结果更一致的客观测量标准， 许多新的方案被提交，但至今还没有出现一个标准化的、精确的客观质量评估 体系。 3 3 去方块效应滤波技术 目前在视频编解码系统中用于去方块效应的方法主要有两种：后置滤波器 ( p o s td e b l o c k i n gf i l t e r ) 或者环路内滤波器( i n 1 0 0 pd e b l o c k i n gf i l t e r ) ，其结构 非别如图3 1 、3 2 所示。后置滤波是指在图像恢复后，对之进行处理，滤掉方 块效应，再在屏幕上显示出来，它不需要改变编码端的处理过程。具有计算简 单、不改变传输码流、不会增加编码输出比特等优点；缺点是不能提高编码效 率。环路内滤波器在编码过程中对每帧进行滤波，完成后被用于下一帧的参考。 1 7 第3 章去块效应滤波技术 具有提高编码效率、避免误差积累等优点；缺点是在低码率时会减缓编解码速 度。后置滤波系统是在解码环路之外处理显示缓存中的数据，因此从标准化的 角度来说，后置滤波器并不属于标准的一部分。后置滤波的应用具有可选择性， 为实现解码器提供了很大灵活性。而环路内滤波器是在编码环路中发挥作用的。 也就是说，经过滤波的帧图像还要作为参考帧，为后续编码图像的运动补偿提 供依据。为了跟编码器同步，这就要求所有目标解码器都要包含统一的滤波器。 特殊应用条件下，解码器中除了环路内滤波器，也可加上一个后置滤波器，进 一步提高视频图像的质量。 图3 1 后置滤波器 图3 2 环路滤波器 与后置滤波器相比较，编解码环路中加入滤波器具有以下优势【7 】。首先， 能够保证图像质量；第二，解码器中不需要增加额外图像缓存用于存储整幅图 像。使用后置滤波器时，解码后的图像将存储至参考图像缓存区，同时还需要 设置另一个缓存器用于存储这些完成滤波的图像，然后输出到显示设备。如果 使用环内滤波器，去除方块效应是在解码过程中完成的，完成滤波的图像可直 接输出到参考帧图像缓存区；第三，诸多试验表明利用解码环路内的滤波器可 1 8 第3