（模式识别与智能系统专业论文）基于信息嵌入技术的帧内误码掩盖改进方法.pdf

南京邮电大学硕士研究擞学位论文 摘要 摘要 嚣。2 6 碡舷她标准是由运动图像专家组m p e g 和i t u 下属的享冕频编码专家组v c e g 联合铡 定的新一代高效视频压缩编码标准。它把设计的重点放在提供更高的压缩比以及改进对网 络环境的适应性主。与以往的标准楣毙，它采用了更多的先进技术，使得在相露码率下使 用h 2 6 4 标准编码可以获得更好的主客观质量。 毒手在高丢包率信道土，宏块丢失导致解码错误在时间和空间上扩散，以至解码图像 的质量严熏下降。为了提高视频通信中重建图像的质量，针对最新h 2 6 4 视频编码标准的 特点，本文研究和改进了传统的基予信息嵌入技术的帧内误码掩盖方法。在编码端，采用 s o b e l 算予对i 帧进行边缘检测，根据边缘检测结果将宏块划分成三类：平滑宏块、简单 边赛宏块和复杂边界宏块。再将检测的边缘信息根据宏块类型的不同按位嵌入到下一个p 帧中对应块的d c t 变换系数中去；在解码端，将这些嵌入的信息提取出来，采用基于纹理 的线性内插方法，使用这些重要信息修复王帧图像，以达到提高i 帧主观质量的目的。仿 真结果表明：对于不同的图像序列和不同的丢包信道，本文提出的改进方案要优于传统的 基予信息嵌入的帧内误码掩盖方法，i 帧的亮度峰值信嗓比提高了1 2 一1 7 d b 。 关键词：误码掩盖：视频编码；h 2 6 4 a v c ；帧内预测：信息嵌入 南京邮电大学硕士研究生学位论义 a b s t r a c t a b s t r a c t 。2 6 4 a v ci st h en e we f f i c i e n tv i d e oc o m p r e s s i o na n dc o d e cs t a n d a r ds p e c i f i e d b y 琵繇( v i d e oc o d i n ge x p e r tg r o u p ) ，w h i c hi sa no r g a n i z a t i o nu n d e rt h em p e g ( m o t i o n p i c t u r ee x p e r tg r o u p ) a n di t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 。t h e d e s i g n i n ge m p h a s i so ft h i ss t a n d a r di st og e tm o r ec o m p r e s s i n gr a t ea n db e t t e r p e r f o r m a n c eu n d e r v a r i o u sn e t w o r k i n g c o n t r a s tw i t ht h ep r e v i o u sv i d e oc o d e c s t a n d a r d s ，h 2 6 4u s e sm o r ea d v a n c et e c h n o l o g i e sa n da c q u i r eb e t t e rs u b j e c t i v ea n d o b j e c t i v ei m a g eq u a li t yb e l o wt h es a m ec o d er a t eo ft h eo u t p u ts t r e a m o nt h eh i g h l o s sc h a n n e l ，b e c a u s eo fl o s so fm i c r o b l o c k st h ee r r o r - c o d em a y s p r e a di nt h et e m p o r a la n ds p a t i a lf i e l d 。i tr e s u l t si nt h eh e a v yd e g r a d a t i o no f i m a g eq u a l i t yi nd e c o d e ds e q u e n c e i no r d e rt oi m p r o v et h eq u a lit yo fr e c o n s t r u c t e d i m a g ei nv i d e oc o m m u n i c a t i o n ，a c c o r d i n gt ot h ef e a t u r e so fh 2 6 4s t a n d a r d ，t h i s p a p e rp r o p o s e sa ni n t r a - f r a m ee r r o r “c o d ec o n c e a li n gm e t h o db a s e do nd a t ae m b e d d i n g t e c h n o l o g y t h i sp a p e ru s e st h es o b e lo p e r a t o rt od e t e c tt h ee d g ei n f o r m a t i o no f i f r a m e ，a n de m b e d st h e e d g ei n f o r m a t i o no fe a c hm i c r o b l o c ki nt h ed c t c o e f f i c i e n t so fc o r r e s p o n d i n gm i c r o b l o c ki nn e x tp - f r a m eb i tb yb i t i nt h e d e c o d i n gs i d e ，t h ee m b e d d e di n f o r m a t i o ni s e x t r a c t e d t h i s i m p o r t a n t e x t r a - i n f o r m a t i o ni su s e dt or e s t o r et h ei m a g eo fi - f r a m ea n d i m p r o v et h e s u b j e c t i v eo b s e r v i n gq u a l i t y w i t ht h et e s t i n go fd i f f e r e n ts t a n d a r ds e q u e n c e s a n dt y p i c a lc h a n n e lm o d e l sw i t hd i f f e r e n tp a c k e tl o s sr a t e ，t h ee m u l a t i o nr e s u i t f i n a l l ys h o w st h a tt h em e t h o do ft h i sp a p e ri sb e t t e rt h a nt h et r a d i t i o n a le r r o r c o n c e a li n gm e t h o db a s e do nd a t ae m b e d d i n gt e c h n o l o g y ，t h ep s n ro f l u m i n a n e 主n o u t p u ts e q u e n c ei si n c r e a s e d 】。2 一】7 d b k e y w o r d ：e r r o rc o n c e a l m e n t ；v i d e oc o d i n g ：辑。2 6 4 a y c i n t r ap r e d i c t i o n ：d a 专a e m b e d d i n g 薹l 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：锥日期：2 划 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名： 蟑导师签名： 南寨邮电大学硕士轿究缴学位论文 第一章绪论 第一章绪论 羔1 研究背景 随着宽带阏络的发展和用户需求的驱动，多媒体技术及其应用得到了越来越多的关 注，被认隽是未来离速网络魄主流应用之一。多媒体疲用龙其是视频应用，相对于i n t e r n e t 的传统瘦用如燃、e - m a i l 等，其对实时性要求更离，对带宽的需求更大。基于王p 的视 频应用分必三类：交互应用，如可视电话和视频会议；预编娼的视频流下载，基于王p 的 实时视频流；数字电视广播。为满足这些巍用的需求，必须解决豳个q o s 闯题：吞吐量、 传输时延、时延抖动、误码率。但是，国于视频应用中大多采用了高压缩率的编码技术， 其对传输误码的要求非常苛刻，而i n t e r n e t 的本质是尽力而为的网络，不提供传输的q o s 保证，因此提高视频应用对传输误鹤的抗干扰和恢复能力一誊是多媒体通信领域的研究热 点。 视频通信系统遴常由五部分组成：视频源编码、复用包封装信道编码、信道传输、 解复用解包信道解码和视频解码。由予以下原因视频通信中的锩误恢复问题显得尤为重 要： ( 1 ) 由予在源编码器中采用了空间和时间预测编码以及可变长编码( v l c ) ，压缩的视频 流对传输中的错误特别敏感； ( 2 ) 视频源和两络环境通常是时变的，因此基于某些统计模型设计出个样优化的解 决方案是根困难的，甚至是不可憝贻； ( 3 ) 视频源码率通常很离，对于某些实时应用面言，编解码器不可能过予复杂。 蔼且，无线信道由于多径衰落和信道带宽限制等原因，视频压缩数据经过信道传输艨， 图像恢复质量急剧下降。所以，如何在高误码的无线信道下，有效的提高重构图像的质蹩， 是我们迫切需要关注和研究的润题。 1 2 研究现状 传统上，抗误码的机制分为三类：在编码器和信道编码中弓l 入冗余，使编码流对传输 错误吴有更强的抗干扰能力；解码器根据错误检测的结采对错误进行隐藏；通过编码器、 健输信道和解码嚣之闻迸彳亍交互，编码器根据检测到的错误信息调整留身的操作。 南京邮电大学硕士研究生学位论文 第一章绪论 新一代图像编码标准h 2 6 4 除了具有高效编码的特性，还引入了一些新工具用于提高 错误恢复能力，特别是参数集、n a l 上的n a l u 的概念、视频编码层的f m o 和数据分割等都 有效的提高了在尽力而为的网络环境下视频通信的性能。尽管有这些错误恢复工具，但是 在误码率高的信道下，如无线信道、i p 信道，图像恢复的效果还是不尽人意。因此如何进 一步提高视频在传输中的错误恢复能力成为近年来研究的热点之一。 1 3 本文研究内容及结构安排 视频在网络上传输的抗误码工具是一个综合面很广的研究方向，它囊括了信息编码理 论、视频信号处理、网络通信协议等领域的知识。随着相关领域技术的不断发展，视频通 信的抗误码功能将面临着更大的挑战。因此，本文针对当前最新的h 2 6 4 a v c 视频编码标 准在高误码网络环境中的应用，围绕新一代视频网络通信的需求和所面临的难题展开了深 入的分析和研究。 本文的主要贡献是：针对传统的基于信息嵌入的误码掩盖方法在恢复图像纹理复杂区 域时效果较差，本文提出一种改进的信息嵌入误码掩盖方法。该方法是将宏块类型进行进 一步的划分，以不增加带宽为前提，通过在编码端引入一种新的f m o 划分方式，对i 帧中 的重要的边界信息进行交织嵌入保护，并对宏块特点进行定位( - - 种宏块类型) ，对于平 滑宏块只嵌入宏块类型信息，对于纹理信息较为单一的宏块需增加嵌入一个角度信息，对 于纹理信息较复杂的宏块则需要将其进一步的划分，以8 8 大小为单位计算角度信息并 嵌入到对应的d c t 系数中( 实际上该宏块就嵌入了四个角度信息) 。解码端采用基于纹理的 内插方式，先找出周围块中与待恢复像素点相关的两个像素点，以这两个像素点与受损块 中待恢复像素的距离为权值进行内插恢复。实验表明，使用这种改进的帧内误码掩盖方案， i 帧图像的恢复质量有明显的改善。 论文结构安排如下： 第一章绪论，简要阐明研究的背景以及论文的内容和结构。 第二章介绍视频编码标准的发展，简要分析各标准的编解码框架。 第三章 详细的阐述了新一代图像编码标准h 2 6 4 以及它的核心技术，包括帧内帧间预 测、d c t 整数变换及量化、熵编码、循环去块效应滤波器以及h 2 6 4 中的差错 恢复工具，这些工具主要有参数集、数据分割、灵活宏块h y j j 次序( f m o ) 、冗 余图像、s p s i 帧等。 第四章 介绍了视频通信中的错误隐藏技术，总结了基于时域和空域的传统错误隐藏算 2 南柬邮电大学硕士研究生学位论文 第一章绪论 第五章 第六章 法，并分析比较了各类方法的优缺点。 详细阐明了信息嵌入技术应用于误码掩盖的基本思想，在分析h 2 6 4 现有的帧 内错误隐藏方法的基础之上，总结h 2 6 4 标准的特点，提出了一种改进的基于 信息嵌入隐藏技术的帧内误码掩盏方法，进一步提高了解码器的抗误码能力。 总结本文的研究成果，并给出结论，提出进一步研究的方向。 3 南京邮电大学硕士研究生学位论文 第二章视频编码标准概论 第二章视频编码标准概论 2 1m p e g 系列图像编码标准简述 m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 是19 9 8 年由国际标准化组织( i m e r n a t i o n a l o r g a n i z a t i o n f o rs t a n d a r d i z a t i o n ，i s o ) 和国际电工委员会( i n t e r n a t i o n a le l e c t r o t e c h n i c a l c o m m i s s i o n ，i e c ) 联合成立的专家组，负责开发电视图像及声音数据的编码、解码和它们 的同步等标准。这个专家组开发的标准称为m p e g 标准。 m p e g 标准已经经历了几个阶段，原本这个委员会有三个工作团队组成，即m p e g 1 、 m p e g 2 和m p e g 3 ，分别将位速率放到1 5 、1 0 、及4 0 m b i t s ，但后来由于m p e g 2 足以 能提供m p e g 3 的位速率，因此m p e g 3 便被舍弃了。 2 1 1m p e g 一1 标准 m p e g 。1 【1 】是为针对多目标视频压缩而设计的，它的应用范围包括交互式多媒体、 c d r o m 存储、v c d 等。它的输入信号一般为y ( 7 2 0 * 4 8 0 ) 、u v ( 3 6 0 * 4 8 0 ) ，是将y u v 经过取样成s i f ( s o u r c ei n p u tf o r m a t ) 的格式：y ( 3 6 0 * 2 4 0 ) 、u v ( 1 8 0 * 1 2 0 ) ，然后再做 编码。 m p e g 1 定义了三种图像类型，分别是i ( 帧内图像) 、p ( 预测图像) 、b ( 双向预测图 像) 。i 帧采用帧内编码，使用了d c t 的方式处理，不以其他图像做参考，但是可以作为 其他类型图像的参考帧，一般来说每1 5 帧画面就会有一个i 帧，以避免在g o p 中补偿编 码无法有效的预测p 和b 帧图像。p 帧采用帧间编码，参考前面的i 或p 帧，经过运动补 偿产生，主要存储不一样的部分，即图像有变化部分的信息。b 帧原理和p 帧相近，不过 b 帧能够参考前后图像。 m p e g 一1 是一种有损的，非平衡编码。有损意味着为达到低比特率，一些图像和伴音信 息将被丢失。通常这些是人眼和人耳最不敏感的信息，因此即使以l xc d r o m 的速率压 缩也能达到v h s 的图像质量和高保真立体声的效果。 m p e g 一1 的数据流包含3 种成分：图像流，伴音流和系统流。图像流仅仅包含画面信 息，伴音流包含声音信息，系统流实现图像和伴音的同步。所有播放m p e g 图像和伴音数 4 南京邮电大学硕| ：研究艇学位论文 第二章视频编码标准概论 搌所需的时钟信息都包含在系统流中。 2 1 2 船e g - 2 标准 m p e g - 2 1 】标准与m p e g - 1 相容，也使焉了王、p 、b 帧，主要应用与d v d 、h d t v 等 领域，在非可分等级的编码中，与m p e g 。1 一样，m p e g 2 是以通用的混合d c t 和d p c m 编码为基础，加入了宏块结构、运动补偿和帧闯预测酶编码方式。姗e g 2 孳l 进了一些新 的运动补偿场预测模式，以便有效地对场图像和帧图像加以编码，另外，m p e g 2 还引入 了更高的色信号取样模式。m p e g - 1 中使用4 ：1 ：1 模式，帮色差信号的取样无论在水平方向， 还是在垂赢方向上都是亮度信号采样点数的1 2 。m p e g 2 除了4 ：2 ：0 外，还支持4 ：2 ：2 和 4 ：4 ：4 模式，前者色差信号的采样点数在垂直方向上与亮度信号相同，只在水平方向上是亮 度信号的1 2 ：后者的色差信号的采样点数和亮度信号则完全相同。 m p e g - 2 码流分为三层：基本流( e s ) 、分组基本码流( p e s ) 和复用后的传送码流( f s ) 、 节目码流( p s ) 。其中e s 由视频基本码流和音频基本码流组成；p e s 则是把视频和音频 e s 分别打包，组成长度可变且最长为2 强个字节的分组；t s 、p s 分别指的是用于传输的 传输流和用于存储的节目流。 m p e g - 2 按匝缩比的不同分成了五档，并按清晰度不同分成了四种级别，分别用在s d t v 、 h d t v 上，码流从4 m b i 讹一l o o m b i 珧。 2 。1 。3m p e g - 4 标准 m p e g 一4 0 1 于1 9 9 8 年1 1 月公布，原预计1 9 9 9 年l 胃投入使用的圜际标准m p e g - 4 不 仅是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。 m p e g - 4 标准主要应用于视频电话( v i d e op h o n e ) ，视频电子邮件( v i d e oe m a i l ) 和电子新闻 ( e l e c t r o n i cn e w s ) 等，其传输速率要求较低，在4 8 0 0 6 4 0 0 0 b i t s 之间，分辨率为1 7 6 x 1 4 4 。 m p e g - 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求用最少的数据获徭最 佳的图像质量。与m p e g - l 和m p e g 2 相比，m p e g 4 的特点是其更适于交互a v 服务以 及远程监控。m p e g 一4 是第一个使得用户由被动变为主动不再只是观看，允许你加入其中， 即有交互性) 的动态图像标准；它的另一个特点是其综合性。从根源上说，m p e g 4 试图将 自然物体与人造物体相溶合( 视觉效果意义上的，僵从设计匿标上看宅还有着更为广泛的 5 南京邮电大学堡j ：里窒生鲎堡垒奎 萋三兰望塑麴塑堡鲨塑缝 - _ _ _ _ _ _ _ _ l _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ - - _ _ _ _ _ _ _ - _ _ _ _ _ - _ _ _ _ _ - - _ _ _ _ _ _ _ _ _ _ _ - _ _ - _ _ - _ _ _ _ _ _ _ _ _ _ - _ _ 一 适应性和可扩展性。 它的优点是： 1 有着很高的基缩比，并且对画蕊质量影响很小。 2 错误处理的鲁棒性，有助于低比特率视频信号在高误码率环境( 如移动通信环境) 下 的存储和传输。 3 基于内容的编码方式，便于操作控制。 2 。1 4m p e g - 7 标准 准确说来，m p e g 。7 【1 1 并不是一种疰缩编码方法，丽是一个多媒体内容描述接爨。其霾 标是产生一种描述多媒体信息的标准，并将该描述与所描述的内容相联系，以实现快速有 效鲶检索。只有首先解决了多媒体信息的规范纯描述螽，才能更好遗实现信息定位。该标 准不包括对描述特，征的自动提取。 m p e g 7 标准可以独立予其他m p e g 标准使用，僮m p e g 4 中所定义的音频、视频 对象的描述适用于m p e g 7 。m p e g 7 的适用范围广泛，既可以应用于存储，也可以用予 流式应用，它还可以在实时或非实时的环境下应用。 2 1 5m p e g 一2 1 标准 m p e g - 2 1 t 1 】是一个可互操作和高度自动化的框架，而且这个框架还考虑到了d r m ( d i g i t a lr i # t sm a n a g e m e n t ) 的要求、对象化的多媒体接入以及使用不同网络和终端进行传 输等问题。m p e g - 2 1 也可表述为：以种高效、透明和可互操作的方式支持用户交换、接 入、使用并操作d i 的技术。 m p e g - 2 1 基于两个基本概念：分布和处理基本单元d i ( t h ed i g i t a li t e m ) 以及d i 与用 户闻的互操作。 m p e g 一2 1 分为六个部分； 第一部分：景象、技术和策略( v i s i o n ，t e c h n o l o g i e s ，a n ds t r a t e g y ) ；m p e g - 2 1 的第一 部分主要提供了框架的定义并介绍了用户和d l 的概念。 第二部分：d i d ( d i g i t a li t e md e c l a r a t i o n ) ；d i 包括视频、音频、文本和图形等媒体 源。对于所有m p e g 一2 1 系统来说，d i 的确切含义都是很重要的，但要想为d i 给个精确的 6 南京邮电大学硕士研究生学位论文 第二章视频编码标准概论 定义，同时满足如此众多的文件格式的要求，将是十分困难的。 第三部分：d i i ( d i g i t a li t e mi d e n t i f i c a t i o n ) ：d i i 以标准化的形式来描述特定地点中 与之相关的d i 、容器、器件和片断等。在m p e g 2 1 的框架中d i 通过将统一的源标识符( u r - - u n i f o r mr e s o u r c ei d e n t i f i e r s ) 压缩成标识元素来进行区分。 第四部分：i p m p ( i n t e l l e c t u a lp r o p e r t ym a n a g e m e n ta n dp r o t e c t i o n ) ；此部分包括从远 程位置重新获得i p m p 工具以及在i p m p 工具之间、i p m p 和终端之间交换信息的标准方法。 它提出了i p m p 工具的认证，同时实现了权力数据字典( r i g h t sd a t ad i c t i o n a r y ) 和权力表 达语言( r i g h t se x p r e s s i o nl a n g u a g e ) 二者的集成。 第五部分：r e l ( r i g h t se x p r e s s i o nl a n g u a g e ) ；m p e g 一2 1 的r e l 是一种机器解释语 言，可以提供灵活互操作的机制。它同时支持接入的规范和对数字内容的使用控制。r e l 也为个人数据提供灵活的互操作机制，满足个人的要求，保证个人的权益。 第六部分：r d d ( r i g h t sd a t ad i c t i o n a r y ) ：m p e g - 2 1 的r d d 是一个关键术语的字典， 其中存放了描述那些控制d i 的用户的不同权限。它包含一系列清晰、连贯、结构化和集 成的术语，用来支持m p e g 2 1 的r e l 。r d d 规定了字典的结构和核心，同时也规定了如 何在注册授权的管理之下去进一步定义术语。 2 2h 2 6 x 系列图像编码标准简述 应用于电信网络的视频编码先后经历了i t u th 2 6 1 、h 2 6 2 ( m p e g 2 ) 、h 2 6 3 及其改 进h 2 6 3 + 和h 2 6 3 + + ，应用领域覆盖i s d n 、t 1 e 1 、p s t n 、移动无线网络及局域网等， h 2 6 x 系列标准正朝着网络适应性好、抗误码能力强、编码效率高的方向不断发展。 1 9 9 8 年，视频编码专家组( v c e g ) 开始了h 2 6 x 标准的研制工作，旨在使编码效率比 现有视频编码标准提高一倍以上。2 0 0 1 年1 2 月，视频编码专家组与运动图像专家组合作， 成立了联合视频小组( j v t ) ，开始致力于完成新的视频编码标准h 2 6 4 a v c ( i t u t 称之为 h 2 6 4 ，i s o 称之为a v c ) ，作为m p e g 4 标准的第十部分。 h 2 6 4 a v c 是全面应用视频编码理论的最新成果，与现有各种标准相比，在相同的视 频质量下，码率减少一倍以上，这意味着在相同码率下，视频质量显著提高。h 2 6 4 a v c 可工作于多种速率，广泛应用于i n t e m e t 上的多媒体流服务、视频点播、可视游戏、低码 率移动多媒体通信( 视频手机等) 、交互式多媒体应用、实时多媒体监控、数字电视与演播 电视和虚拟视频会议等领域，具有非常广泛的开发和应用前景。 7 南京邮电太学硕：研究缴学位论文 第二章视频编码标准概论 2 2 。1h 。2 6 1 标准 珏。2 6 1 1 2 1 又称必p 6 4 ，其中p 必6 4 k b i t s 的取值范围，是盖到3 0 的可变参数，最初是 针对在i s d n 上实现电信会议应用特别是西对面的可视电话霸视频会议而设计的。实际的 编码算法类似于m p e g 算法，但不能与m p e g 兼容。h 2 6 i 在实时编码时比m p e g 所占 用的c p u 运算量少的多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间 的平衡折中机制，也就是说，剧烈运动的图像毙相对静止的图像质量要差。 h 2 6 1 采用了一种公共中间格式( e 琢) ，不论何种彩色格式，发送方先把自己国家的 彩电利式转换成c i f 格式，经h 。2 6 1 编码薅褥由c i f 格式转换到接收方彩电制式。h 。2 6 1 编解码器框图如下； 图2 1h 2 6 1 视频编码器框图 图2 2h 2 6 i 视频解码器框图 8 南京邮电大学硕士研究生学位论文 第二章视频编码标准概论 2 2 2h 2 6 3 标准 h 2 6 3 1 2 j 是国际电信联盟推出的码率低于6 4 k b it s 的低码率视频压缩标准，它是一种集 图像帧间预测( 降低图像的时间冗余度) 和离散余弦变换( d c t ) 编码( 降低图像的空间冗余 度) 于一体的混合编码结构的标准。具有较高的压缩比，适合于无线视频传输。采用的基 本技术包括：d c t 变换、运动补偿、量化、熵编码等，其核心是离散余弦变换加运动补偿 ( d c t + m c ) 。 h 2 6 3 将视频信号按帧序列图像进行分组，每组中包含3 种图像类型，即i 、p 、b 帧图像。 在标准中，i 、p 、b 几种图像的组织也很灵活，可根据具体的应用来组织。通常可按下列 格式来组织：每8 帧有一帧i 图像；两帧i 图像之间有一帧p 图像：i 帧图像与p 帧图像 之间有3 帧b 图像。下图可以看出这种组织形式。 h 2 6 3 编解码器的结构如图2 4 ： 图2 3 图像的组织 图2 4 h 2 6 3 编码器结构图 9 南京邮电大学硕士研究生学位论文 第二章视频编码标准概论 2 2 3h 2 6 4 标准 图2 。5h 。2 6 3 解码器结构图 h 2 6 4 3 】标准是i t u t 的视频编码专家组和i s o i e c 的运动图像专家组组成的联合视频 组( 肿，j o i n tv i d e ot e a m ) 开发的标准，也称为m p e g - 4p a r t1 0 ，又称a v c ( 高级视频 编码) 。在相同的重建图像质量下，h 2 6 4 比h 2 6 3 节约5 0 左右的码率。因为其具有更离 的压缩比、更好的王蹰套无线网络信道髂适应牲，在数字视频通信和存储领域得到越来越广 泛的应用。同时也要注意，h 2 6 4 获得优越性能的代价是计算复杂度增加，据估计，编码 的计算复杂度大约相当于h 。2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。下图为h 。2 6 4 标准的编码结构图。 图2 6h 2 6 4 视频编码框图 1 0 南京邮电大学硕士研究生学位论文第二章视频编码标准概论 h 2 6 4 的特点： 1 h 2 6 4 具有较强的抗误码特性，可适应在丢包率高、干扰严重的信道中传输。 2 h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。 3 h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 4 h 2 6 4 的基本系统无需使用版权，具有开放的性质，能很好地适应i p 和无线网络的使用， 这对目前的因特网传输多媒体信息、移动网中传输宽带信息等都具有重要的意义。关于 h 2 5 4 标准的关键技术将在下一章进行详细介绍。 南京邮电大学硕士研究生学位论文 第三章h 2 6 4 标准及编码关键技术 3 。1 引言 第三章h 2 6 4 标准及编码关键技术 h 。2 6 4 a v c 是最新的国际视频编码标准，于2 0 0 3 年5 月正式批准。h 2 6 4 是在h 2 6 3 和 h 2 6 3 + 的基础上发展而来的，从h 2 6 1 、h 2 6 2 到h 2 6 3 ，从m p e g - 1 、m p e g 一2 到m p e g 一4 都有 一个共同的不断追求的屡标，那就是在尽可能低的码率( 或存储容量) 下获得尽可能好的图 像质量。另外，随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也日 益显现出来。这就是i e o i 髓和i t u - t 两大国际标准化组织联手制定视频新标准h 2 6 4 所试 图解决的问题。整个视频压缩标准的发展历程如图3 1 所示。 1 9 8 41 9 8 81 9 9 21 9 9 62 0 0 02 0 0 4 图3 1 视频压缩标准的发展历程 h 2 6 4 的主要设计目标在于以下几个技术领域的应用： 基于有线，卫星，a d s l ，c a b l em o d e m 等多种网络的广播； 光磁设备的交互或顺序存储； i s d n 、以太网、l a n 、d s l 、无线、移动网络及混合溺络环境中的交互服务； i s d n 、c a b l em o d e m 、d s l 、l a n 及无线网络中的视频点播或流媒体服务： i s d n 、d s l 、l a n 、无线及移动网络中的彩信( m u l t i m e d i am e s s a g i n gs e r v i c e s ，m s ) 服 务。考虑到可能在现有或者未来的网络中部署新的应用，h 2 6 4 还必须具备适应多种不同 应用及网络的戆力。因此， 1 2 6 4 在系统层面上提出了个新的概念，鍪p 在视频编码层和 网络适配层之间进行概念性分割，前者是视频内容核一b e , 缩信息的表述，定义了宏块层以 1 2 南京邮电大学硕j ：研究生学位论文一 笼三童坚：! 塑楚堡垒麴塑差壁苎娄 _ _ _ _ _ _ _ _ _ _ - _ _ - _ _ _ _ _ _ _ 一 一 及宏块层以下的语法，后者是通过特定类型网络进行递送的表述，定义了片层以及片层以 上的语法，这样的结构便于信息的封装和对信息进行更好的优先级控制。网络适配层的引 入，使其码流结构对网络的适应性增强，能够很好地适应i p 和无线网络的应用。该分层结 构如图3 2 所示。 图3 2h 2 6 4 分层结构 1 视频编码层( v c l ) 视频编码层( v c l ) 包括基于块的运动补偿混合编码和一些新的特性。与以前的视频编 码标准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以增加标准的灵 活性。在v c l 中，运动补偿支持多种块的形状和尺寸，支持小数取样内插滤波，支持小至4 x 4 的块尺寸和多参考帧图像。运动位移的精度通常为1 4 ，也支持1 8 精度。它除了支持i 帧、8 帧和p 帧外，还支持一种新的流间转换帧( i n t e r s t r e a mt r a n s i t i o n a lp i c t u r e s ) ， 称之为s p 帧。在编码器预测环路采用了去方块效应滤波。 2 网络抽象层( n a l ) 网络抽象层负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、 定时信息的利用或发序列结束信号等。n a l 不但支持视频在电路交换信道上的传输格式， 而且还支持视频在i n t e r n e t 上利用r t p u d p i p 传输的格式。n a l 包括自己的头部信息、段 结构信息和实际载荷信息( 如果采用数据分割技术，数据可能由几个部分组成) 。n a l 的任 务是提供适当的映射方法将头部信息和数据映射到传输协议上，这样，在分组交换传输中 可以消除组帧和重同步的开销。为了提高h 2 6 4 的n a l 在不同特性的网络上定制v c 乙数据格 式的能力，在v c l 和n a l 之间定义基于分组的接翻、打包和相应的信令也属于n a l 的部分。 因此，高编码效率和网络友好性的任务就由v c 乙和n a l 分别来完成。 1 3 南京邮电大学硪士研究生学位论文 第三章h 2 6 4 标准及编码关键技术 3 2 帧内预测编码 文献f 3 】中叙述了帧内预测编码的基本原理是：利用相邻像素的相关性，依据已解码重 建的相邻块像素来实现对当前编码块的预测，并且对预测块和实际块的预测残差进行变 换、量化、熵编码，以消除图像在空间上的冗余。通常视频在空间相邻像素之间有很强的 相关性，存在大量的空闻冗余，尤其在变换平缓的区域，由于相邻像素值相近，利用帧内 预测编码可以有效的提高编码效率。 3 2 14x4 亮度预测模式 该模式下，把1 6 x1 6 宏块划分戒王6 个4 4 的子块，每个子块利用相邻的上方及左 方已编码重构的像素点来预测，4 x 4 亮度块的上方和左方像素位置分布如下图所示，a q 为已编码重构像素，用作编解码器中的预测参考像素。氇一p 为待预测像素。 q i 3 k l efg珏 图3 34 x 4 块中像素及相邻像素位置 根据预测方向的不同有9 种不同的预测模式，如下： 1 4 南京邮电大学硕= ：研究生学位论文 第三章h 2 6 4 标准及编码关键技术 叫纠b | qd 日f g叫 | l l r r j l _ _ _ r k l _ _ _ ， l 4 ( 下右对角线)5 ( 右垂直)6 ( 下水平) 7 ( 左垂直) 8 ( 上水平) 图3 4i n t r a _ 4 x 4 帧内预测模式 这9 种预测模式的描述： 模式0 ：垂直预测，由上方相邻子块中的像素点a 、b 、c 、d 垂直推出相应的像素值。 模式1 ；水平预测，使用左方相邻子块中的像素点i 、j 、k 、乙水平推出相应像素值。 模式2 ；d c 预测，使用上方相邻予块中的像素点a 、b 、c 、d 和左方相邻子块中的像素 点i 、j 、k 、乙这8 个像素值的平均值推出所有像素值。 模式3 ：下左对角线预测，与模式o 成4 5 度角，使用相邻予块的像素点a 、b 、c 、d 、 e 、f 、g 、 进行线性插值得出相应像素值。 模式4 ：下右对角线预测，与模式l 戒4 5 度角，使用相邻予块的像素点a 、b 、c 、d 、 i 、j 、k 、l 、x 进行线性插值得出相应像素值。 模式5 ：右垂直预测，与模式0 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、i 、 j 、k 、乙、x 进行线性插值得出相应像素值。 模式6 ：下水平预测，与模式l 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、i 、 j 、k 、l 、x 进行线性插值得出相应像素值。 模式7 ：左垂直，与模式0 成2 2 。6 度角，使用相邻予块的像素点a 、8 、e 、d 、e 、f 、 g 、h 进行线性插值得出相应像素值。 南京邮电大学硕遗：研究生鲎丝笙奎 篓三兰坚：! 丝堡堡墨绝堡茎堡垫垄 _ _ - _ - - 一一一。 模式8 ：上水平预测，与模式l 成2 2 6 度角，使用相邻子块的像素点a 、b 、c 、d 、e 、 f 、g 、h 进行线性插值锝出相应像素值。 3 2 21 6 x1 6 亮度预测模型和8 x 8 色差块预测模型 1 6 1 6 亮度预测模型时，将整个亮度宏块看成一个整体来进彳亍预测，有4 种预测模式， 分别是： 模式0 ：垂直预测，由上边像素推出相应像素值。 模式l ：水平预测，由左边像素推出相应像素值。 模式2 ：既预测，由土边和左边像素平均值推出相应像素值。 模式3 ：平面预测，利用线形“p l a n e ”函数及左、上像素推出相应的像素值( 在亮度 变化平缓区域效果好) 。 每个帧内编码宏块的8 x 8 色度成分由已编码左上方色差像素的预测得到，两种色差 成分常使用阋一种预测模式。它也有四种预测模式，类似于帧内1 6 1 6 预测的4 种预测 模式，只是模式编号不同，即模式0 ( d c ) 、模式1 ( 水平) 、模式2 ( 垂直) 、模式3 ( 平 面) 。 3 3 帧间预测编码 帧间预测主要是利用连续图像序列之间的相关性，通过运动补偿预测编码方法来消除 视频图像的时间冗余。h 。2 6 4 除了具有以前一些标准中的基本的p 帔、8 帧预测方法岁 ，还 增加了许多新的功能：采用不同大小的预测块进行运动估计；采用1 4 ( 甚至1 8 ) 像素精度 豹运动於偿算法；采用多参考帧进行帧闻预测编码；采用去块效应滤波器消除毒块预测误 差产生的块效应。这些新的功能在文献f 4 】【5 】【6 】f 7 】都有详细的说明。 h 2 6 4 标准中对帧闻预测时每个1 6 x1 6 宏块又可分为8 1 6 、1 6 x 8 、8 x 8 、8 x 4 、4 x 8 、4 x 4 等更小的块进行变换编码。色度块大小为亮度块的1 4 ，每个宏块的编码顺序下图 所示： 1 6 南东邮电大学硕士研究生学位论文 第三章h 2 6 4 标准及编码关键技术 5 2 34 6 o l 7 0l 23 图3 。s 帧闻编码孛( 不露种类块) 运动泰 偿编码的块扫攒顺序 因为采用了不阏大小的块进行帧闻预测，使得运动估计模型更接近物体的实际运动， 所以运动补偿更精确。 3 3 1 高精度的运动估计算法 嚣2 6 4 的运动估计可以达至u 1 4 甚至1 8 像素，它主要是通过插值来取得分数像素值。 图3 6 给出了整数像素点和分数像素点的分布示意图，图中大写字母a - u 为整数像素点位 羲，a a 、b b 、c a 、d d 、e e 、f f 、g g 、h h 及b 、h 、j 、s 、i l l 为半像素点位置，a 、e 、d 、n 、f 、 i 、k 、q 、e 、g 、p 、r 为1 4 像素点位嚣。其中1 2 像素预测值由一个抽头值为( 1 ，一5 ，2 0 ， 2 0 ，一5 ，1 ) 的6 抽头滤波器得到，1 4 像素预测值由褶邻的整数像素和半像素值平均得到。 1 7 南京邮电大学硕士研究生学位论文 第三章h 2 6 4 标准及编码关键技术 口口囚园回 口口 口口 回囡回口口 固 固 固 团 圆 回 gab ch def g hl j km np qr m s n 田 园 回 团 囡 囤 口口因囡团口 口 口口团囡囵口 口 图3 6 整数像素点与分数像素点的位鬣 具体采样插值方法如下： ( 王) 1 4 像素亮度插值方法 半像素点b 预测值：蛊水平方向楣邻的8 个整数像素点值幂| 用6 抽头滤波器得到一个中 间临时值b ，再由b ，得到b 的值。h 点则是由垂直方向的