（通信与信息系统专业论文）基于h264的错误掩盖技术研究.pdf

摘要 随着人类社会信息化的加剧，视频通信的应用成为必然趋势，但是视频信息 量巨大，难以传输和存储，此时，就需要通过运动补偿、d c t 变换等方法对视频 进行压缩，而压缩后的视频码流在传输时，由于信道的影响，数据容易出错甚至 丢失，而且错误很可能会延续到后面的帧，在这种情况下，进行错误掩盖是降低 错误影响的有效方法。 本文首先介绍了h 2 6 4 视频编码标准的各个环节，然后对错误掩盖进行了详 细的研究。本文研究的主要内容包括两个方面：i 帧错误掩盖和p 帧错误掩盖。对 于i 帧错误掩盖，传统的线性插值对平滑视频图像的掩盖有较好效果，却丢失了边 缘信息，本文提出了一种方向插值和边界匹配相结合的i 帧错误掩盖方案，一方面 加入方向插值的思想，另一方面在i 帧引入了边界匹配。对每一个错误块，该算法 先计算每一个正确解码的相邻块的平均方向，然后用方向插值建立相应的预测块， 最后利用边界匹配把误差最小的预测块作为最后的替代块。对于p 帧错误掩盖， 考虑到零运动矢量掩盖不适用于运动较剧烈图像，而边界匹配法对运动矢量的估 计又不够精确，本文提出了改进的p 帧错误掩盖算法，对每一个错误块，该算法 把所有正确解码相邻块的均值运动矢量以及中值运动矢量也作为错误块的各选运 动矢量，对边界匹配法则进行了修改，最后加入运动矢量搜索以找到一个更好的 运动矢量。通过在h 2 6 4 的标准测试平台j m 模型上进行的实验表明，本文所提i 帧和p 帧的错误掩盖算法主客观效果都要优于j m 方案。 关键词：h 2 “错误掩盖方向插值边界匹配运动矢量 a b s t i a c t w i t ht h e 瑚l p i dd e v e i o p m to f i n f o 】吼a t i o na g ei nh 砌趾s o c i e 吼t h ea p p l i c a l i o no f v i d e oc o m m u n i 训o nb e c o m 嚣a r t a i n 仃蜘【d b u tt h e 的n d o l l sd a t ao fv i d e ob r i n g s s o m ed i 伍伽l t i 髂f o r 、，i d t r a m s m i s s i 锄ds 锄嘤e ，i t sn e c 嚣s a r yt 0u s em o t i 湖p e n s a t i ，d c t 缸do t h e rt e 曲m o l o 舀懿t oc o m p r 嚣st h ev i d c od a t 扎、v h 跚t h e c o m p r e s s e d 、r i d s h 瑚mi s 仃a n s m i t t c d ，i t se 鹪yt 0b eo o 肌p t e d ，锄dt h ee o rm a y p m p a g a t et o 血es u c c d 嚣o nt h i sc o n d i t i o n ，钟r o rc o n c 以山n e n ti sa ne 丘b c t i v e n l e t h o dt 0 c o m b a t 蛳墙 ht h i sp 印1 h eh 2 6 4 比m d a r di si n 劬d u c c di nd e t a i l 缸t ，趾d 血。ne 玎o r c o n c c a l l n 铋ti sr 嚣e a r c h c dp 枷c u l a d y t h em a i ns t l l d yo f m i sp a p e rc o n d u d c s t w o p a r t s ： i - 宜锄ee 力wc o n c c a h n e n ta n dp 俩m ee n o rc o n a l m a l t f o ri 台锄ea 惭 c o n c c a l m t ，咖c c 血e 劬l d m o n a ll i n e 孤i 唧l a t i o nh 嬲g o o de 侬斌i n 锄o o t hv i d 。o p i c t l l r cw h i l em i s s e st h ee d g ei l l f 0 皿a t i o n ，锄i n l p r o v c di 一舶m e rc o n c e a l m e n t m e t h o dc o m b i n i n gt h ed i r e c t i o ni n t c r p o l a t i o n 锄db o u n d a 叮m 龇gi sp r o p o s e di nt h i s p a p f 0 r 趾e 丌o r b l o c ko fi - 缸衄e ，m ep r o p o s c da l g o r i t h 】咀f i r s tc a l c i l l a t e st h ea v c r a g e d i r 6 o fc a c hn e i 曲b o r i i l gb l o c kw h i c hi sd e c o d e dc o 鹏c t l y ，柚dl l s 伪m ed i r e c t i o n i n t e r p o l a t i o nm e l l l o dt or e b u i l dac o 仃c s p o n d i n gp r e d i c t i v eb l o c k t h e nm eb l o c kw h i c h h 船m i l l i m 啪e 柳i sc h o 嬲t h el 觞tc o n a l c db l oc ：k 台d mt h ep 捌i c d v eb l o c k su s i n g t h eb o u n d a r ym a t c l l i n g f o rp 一矗锄ea r o rc o n c c a l m e n t ，s i n c ct h ez e m o t i o nv e c t o r a l g o r i n l mi sn o tm i 诅b l ef o rt h e “d p i c t i l r cw i t hr 印i dm o t i o n ，缸dt l l eb o u n d a r y m a 土c h i n ga l g o r i t h mc a n t 懿t i m a t em o t i o nv e c t o ra c 切l r a t e l y ，a ni m p r o v e dp - 胁e e 仃o r c o n c c a l m ta l g o r i 岫咀i sp r o p o s c d f o r 粕e r r o rb l o c ：l 【，b o 也t h ea v e f a g em o t i 伽v c c t o r a n dt h em e d i a lm 娟o nv e c t o ro fa l ln e i g h b 面n gb l o c k sw h i d ha d e c o d e dc o r r c d l ya r c a d d e dt ot h eo 皿o n a lm o d o nv e c t o r s 加1 dm eb o l 】i l d a r ym 龇g p r i n c i p l ei s 锄d e d 黜s p d i l l g l y f i n a n yam o r ea c c i 】r a t em o t i o n v t ：c i b o ri s 船a r c h e d v 硪匆i n gt h e 铆os c h e m 鼯伽j mm o d e l 砌c hi st h es t a i l d 捌t e s tp l a t f o mo f h 2 6 4 ，也e 唧幽e n t a lr c s u l t ss h o wm a tt h ep 】o p o s e da l g o r i t h m sd b t a i nb e 地c r p e r 勋m 蛆b o t h i ns u b j t i v c 锄do b j e c t i v ce 位c tm 趾j m k e y w o r d s ： h 2 “e m r n c e a l m 印td i 眦廿蛐a li n 蛔甲o l a 廿o n b o u n d a i 了m a t c h i n g t 讧0 6 佃v e c t o r 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期加于7 i 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名： 导师签名： 日期炉一矿；f 矿 日期闷，- ，矿 第一章绪论 第一章绪论 1 1 引言 现代社会是一个信息化的时代，信息的快速膨胀和发展，几乎波及世界的每 个角落。数字视频技术在通信和广播领域获得了日益广泛的应用，特别是9 0 年代 以来，随着b t 锄e t 和移动通信的迅速发展，视频信息和多媒体信息在b 锄m e t 网 络和移动网络中的处理和传输成为了当前我国信息化中的热点技术。 但是视频图像的数据量非常大，传输和存储所需带宽资源较宽，使得视频通 信发展面临严峻挑战。如一路可视电话，由于其活动的内容较少，所需带宽较窄， 但要达到良好质量，不压缩传输速率约需若干m b i 体；又如一路高清晰度电视信号 饵d t v ) ，由于其信息量巨大，不压缩需l g b i t s 。在未经压缩情况下，如此大的数 据量对其进行实时处理计算量也非常大，从而给传输、处理多媒体视频通信带来 了非常大的挑战，因此，必须对视频数据进行压缩，才能够达到实用化，同时也 要解决好压缩后视频质量保证的问题，两者相互矛盾。视频压缩的目标就是既要 有较大的压缩比，又要保证一定的视频质量。 为此，人们进行了大量这方面的研究，1 9 8 4 年，c c r r t 公布第一个视频编码 国际标准h 2 6 l 【l 】，此后，仃u t 等国际标准化组织颁布了一系列视频编码国际标 准，如h 2 6 3 、m p e g - 1 、m p e g 一2 、m p e g 4 等，极大的推进了视频通信的发展。 但严格地讲，还有一些问题不让人满意，主要是应用范围不广，关键是视频压缩 与质量之间的矛盾未很好解决。例如，可视电话一直被认为是一种理想的通信设 备，可近3 0 年来至今未能普及，就是因为性价比不高。 2 0 0 3 年3 月，i t u t ，i s o 正式公布了h 2 “视频编码标准，由于其相比以往 标准的出色的性能，被人们称为新一代视频编码标准。具体讲，与h 2 6 3 或m p e g - 4 相比，在同样质量下，其码率能降低一半左右；或者说在同样码率下，其信噪比 明显提高。这样一来，h 2 6 4 标准在国际上受到了广泛地重视和欢迎。 视频通信这一巨大的市场促使了视频编码技术的发展。而视频传输的一个固 有的问题就是由于信道的影响，传输数据容易出错甚至丢失，因而，根据编码视 频和信道特性，对误码进行错误控制成为图像和视频通信中的一个重要技术，也 是当前研究的热点。 2基于h 2 “的错误掩盖技术研究 1 2 研究背景与意义 视频压缩编码是视频通信中的一项关键技术。一般来说，视频数据表示中存 在着大量的冗余信息，通过去除冗余信息，可以减小视频的数据量，从而解决存 储和传输的难题。视频压缩编码技术正是这样一种利用冗余特性来减少视频图像 信息量的方法。 视频通信系统利用的传输信道有很多种，不同的信道传输信道和q o s 策略会 不同，比如无线信道传输的误码率可能很高，而光纤传输的误码率较低。在视频 信息的传输过程中，由于受到信道带宽或稳定性的影响，容易发生数据的损害或 丢失，尤其是当前的视频编码标准采用了基于运动补偿的视频编码技术，错误不 仅会对当前的视频帧产生影响，而且可能影响后面的视频帧，这就是错误在一定 程度上的延续，从而使得图像质量受到严重影响( 图1 - 1 为f o r 哪缸和c o a s t g i l a r d 出 错图示) ，此时，对视频图像进行错误掩盖是降低错误影响的一项有效措施。 图1 1f o i 1 和c o t g i d 序列第l 和第7 帧出错图不 一般来说，按照在视频通信系统中位置的不同，错误掩盖技术可以分为以下 几类：编码端的错误掩盖、解码端的错误掩盖以及编解码端交互的错误掩盖。解 码端的错误掩盖，不需要在编码比特流中添加冗余信息，没有修改视频的结构， 从而不会导致传输码率下降、传输带宽增加的问题，另外，针对在不同信道上传 输的同一视频，可以不进行视频编码器的适应性调整，而且解码端的错误掩盖不 需要反向信道，没有增加传输开销。本文主要进行解码端的错误掩盖算法研究。 对视频通信错误掩盖这一课题的研究，有利于视频通信，特别是无线通信业 第一章绪论 务的开展和普及，对多媒体通信的发展具有非常重要的理论意义和实用价值。 1 3 国内外研究现状 自从第一个视频编码国际标准诞生以来，错误控制就是一个非常重要的研究 方向，而作为其关键部分的错误掩盖技术也是举足轻重。在视频压缩编码技术的 不断发展的过程中，许多国内外的学者都对错误掩盖技术进行了研究，提出了一 系列不同的错误掩盖算法，主要可以分为以下两类： 第一类，一般称为第一代的错误掩盖算法，主要可以分为以下几个方面：时 域错误掩盖【2 - 1 7 l 、空域错误掩盖【1 孓2 7 】、时空结合的错误掩盖【2 8 】及频域错误掩盖【2 9 】。 这一类算法目前被广泛应用，其复杂度一般不高，主要利用视频信号固有的相关 性：时域相关性和空域相关性。时域错误掩盖利用了视频信号的时间相关性，一 般先估计出运动矢量，然后通过估计出的运动矢量在参考帧中找到相应的宏块来 代替当前丢失的宏块；空域错误掩盖利用了视频信号的空间相关性，一般通过有 效邻域的空间插值算法来估计出当前丢失的宏块：时空结合的错误掩盖将时空相 关性结合起来使用，如掩盖时通过判定选择其中的一种方式；频域错误掩盖则是 通过频域插值来实现的。这类算法，因为视频信号内容的不同和出错方式及其程 度的不同，所实现的效果差异往往比较大。 第二类，一般称为第二代的错误掩盖算法，t s l l l l 趾c h e n 【3 0 】等学者提出了以模 板匹配为基础的错误掩盖算法，与第一代利用时空相关性的算法不同，把模板匹 配的方法引入到视频错误掩盖中，取得了较好的效果，因此将其称为第二代的错 误掩盖算法。 另外一些学剖3 1 l 从编码数据进行分级的思想入手，采用添加冗余信息的方法 来保护重要的数据，这一算法也取得了很好的效果。 1 4 主要工作与内容安排 本文通过分析和研究现有的一些错误掩盖算法，提出能达到较好效果的错误 掩盖方案，并对其进行实现，仿真测试和分析。论文主要工作包括：i 帧错误掩盖 和p 帧错误掩盖。 本文内容安排如下： 第1 章绪论部分，主要介绍课题研究的背景，国内外在此课题上的研究进展 以及本文主要工作与内容安排。 第2 章介绍了视频压缩编码原理，视频压缩编码技术，以及错误掩盖技术。 第3 章简述了h 2 6 4 的发展历程，基本目标，介绍了h 2 6 4 视频编码标准的 4 基于h 2 “的错误掩盖技术研究 关键技术，并对其抗误码技术进行研究。 第4 章本章先分析了j m 中的空域错误掩盖方案，即双线性插值，针对其容 易丢失边缘信息的缺陷，提出了方向插值和边界匹配相结合的i 帧错 误掩盖方案，该算法一方面运用了方向插值，另一方面加入了边界匹 配，通过选择来确定最优方向，然后具体描述了该算法的实现，最后 进行了仿真测试与分析。 第5 章本章先分析了j m 中的时域错误掩盖方案，并介绍了零运动矢量法， 针对零运动矢量法块效应明显，而j m 方案对运动矢量估计不够精确， 提出了一种改进的p 帧错误掩盖方案，该算法在正确接收邻块的运动 矢量的基础上，加入均值运动矢量和中值运动矢量，对边界匹配法则 进行了修改，并用搜索来找更精确的运动矢量，然后对该算法的实现 进行了具体描述，最后进行了仿真测试与分析。 第6 章总结本文的工作，对以后的工作提出展望。 第二章视频压缩编码与错误掩盖概述 5 第二章视频压缩编码与错误掩盖概述 2 1 视频压缩编码概述 视频压缩编码是数字视频处理的重要应用。视频图像具有很强的时空相关性， 存在大量的时间和空间冗余，视频压缩编码的主要思想就是去相关，减少视频图 像的冗余，用尽可能少比特的码流来表示视频内容，从而实现视频的压缩。 2 1 1 视频压缩编码的目标 视频信号由于信息量过大，传输网络带宽要求高，就像一辆庞大的货车只有 在宽阔的马路上才能行驶一样，于是要将视频信号在传输前进行压缩编码，然后 进行传输，以便节省传输带宽和存储空间。 视频数据在压缩后应该保持一定的质量，衡量质量的好坏主要有两个标准： 一是主观质量，从人的视觉上对重建的视频质量进行评定；二是客观质量，通常 用信噪比衡量。视频压缩的目标就是在满足一定质量要求的前提下尽可能的提高 压缩比。但压缩比和质量是相互矛盾的，如果不考虑质量，一味地压缩，虽然压 缩比很高，但压缩后的信息严重失真，显然不能满足要求；反之只关心质量，压 缩比太小，存储、传输都不方便，就会制约使用。因而要在保证一定质量的情况 下，对视频图像进行尽可能的压缩，用最少的比特流来表示最多的视频内容。 2 1 2 视频序列的冗余特性 视频序列具有冗余特性，这也就为视频的压缩提供了可能性，因而对视频序 列的各种冗余特性进行充分挖掘，就可以实现对视频图像的压缩。一般说来，视 频信息的冗余【3 2 】可以分为以下类型： ( 1 ) 空间冗余：视频序列在空间上存在一定的冗余，特别是同一个视频对象的 相邻像素之间相关性极强，由于图像普遍存在空间平滑性，所以在空间上相邻像 素的特征如颜色和亮度等都存在很强的相关性，可通过改变这些特征的描述方式 以减少冗余信息。 ( 2 ) 时间冗余：对于视频序列而言，除非发生场景切换，否则时间上后续帧往 往包含与前面紧邻帧相同的背景和对象，这就是视频序列的时间冗余，此时可以 通过只记录相邻帧的变化来压缩信息。 6基于h 2 “的错误掩盖技术研究 ( 3 ) 视觉冗余和结构冗余：视觉冗余是由于人眼的视觉非均匀性使得人眼视觉 对某些空间频率感觉迟钝而造成的。因此视频中的不同频率成分的内容对人眼系 统而言其重要性也不同。例如，人眼视觉系统对亮度信号变化的敏感性高于色度 信号变化，因此可以对色度分量进行下采样而能保持主观视觉质量不变。另一方 面还可以对信号频域的各个分量采取不同的量化步长，将人眼视觉不敏感的分量 去除。所谓结构冗余则是指图像的某些区域存在非常强的纹理结构，图像像素值 有明显的分布特性和模式。对于编码符号，其平均码长高于所表示信息的信息熵， 这个差值就形成了编码冗余。 理论和实践都表明视频或图像是可以被压缩的，原因是视频数据或者图像数 据中存在大量的冗余信息。大多数视频编码的方法都是去除这些冗余信息，实现 信息压缩。 2 1 3 视频压缩编码技术 视频编码系统( 3 3 】的基本结构如图2 1 所示，视频编码方法与采用的信源模型有 关。如果采用“一副图像由许多像素构成”的信源模型，这种信源模型的参数就 是每个像素的亮度和色度的幅度值，对这些参数进行压缩编码的技术称为基于波 形的编码。如果采用一个分量由几个物体构成的信源模型，这种信源模型的参数 就是各个物体的运动、形状和纹理。对这些参数进行压缩编码的技术称为基于内 容的编码。这两类编码方法采用不同的压缩编码方法，获得相应的量化前参数， 再对这些参数进行量化，最后，用无损编码技术把量化后的参数映射成二进制码 字。而解码就是编码的逆过程。 i 一一二一= 一一一一一一一一一一一一一一一一一一一一一一一一一一i i 编码器i ii 输入 输出 解码器 图2 1 视频编码系统图 第二章视频压缩编码与错误掩盖概述 7 一、基于波形的编码 基于波形的编码【蚓采用把预测编码和变换编码结合起来的基于块的混合编码 方法。最流行的基于波形的图像编码方案之一是变换编码。在基于块的变换编码 中，一个图像分解为非重叠的块，每个块变换成一组系数。这些系数用标量量化 器分别量化。最后用可变长编码把量化的系数索引转换成二进制比特。在解码器 中，通过逆过程由量化系数恢复图像块。图2 2 给出了一个典型变换编码的编码器 和解码器的工作过程。 变换系数系数索引编码比特流 图2 2 一个块变换编码系统的编码器和解码器的方框图 二、基于内容的编码 基于块的编码易于操作，但由于人为地把一副图像划分为许多大小固定的块， 当包含边界的块不属于物体时，它们分别具有不同的运动，便不能用同一个运动 矢量表示该边界块的运动状态，如强制分块，这种边界块会产生高的预测误差和 失真，影响压缩编码信号的质量。 于是产生了基于内容的编码技术。此时，先把视频帧分成对应不同物体的区 域，然后分别对其进行编码。也就是说，对不同物体的形状、运动和纹理进行编 码。在最简单的情况下，利用二维轮廓描述物体的形状，利用运动矢量描述其运 动状态，而纹理则用颜色的波形进行描述。 当视频序列中的物体种类己知时，可采用基于知识或基于模型的编码。例如 对人的脸部，已开发了一些预定义的线框对脸的特征进行编码，这种编码效率较 高，只需要少数比特就能描述其特征。对于人脸表情可能的行为可用语义编码， 由于物体可能的行为数目非常小，可获得较高的编码效率。 2 1 4 视频编码标准的发展 2 1 4 。1h 2 6 x 系列编码标准 h 2 6 1 编码标准：由于会议电视和可视电话的需要，c c i t t 发布了h 2 6 l 建议， 这个视频编码方案对以后各种视频编码标准产生了深远的影响，被称为视频压缩 编码的一个里程碑。它详细制定了视频编码的各个部分，包括运动补偿的帧间预 测、d c t 变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务而制定的， 8 基于h 2 6 4 的错误掩盖技术研究 速率为6 4 k b s 的整数倍。h 2 6 1 只对c 和q c 球两种图像格式进行处理，把每帧 图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块l o c k ) 层来处理。 h 2 6 3 编码标准：h 2 6 3 是r r u t 为低于6 4 k b ，s 的窄带通信信道制定的视频编 码标准。它是在h 2 6 l 基础上发展起来的，其标准输入图像格式可以是s q c 瑾、 q c 、c 巧、4 c i f 或者1 6 c 砸的彩色4 ：2 ：o 亚取样图像。h 2 6 3 与h 2 6 l 相比 采用了半像素的运动补偿，并增加了4 种有效的压缩编码模式啪】： ( 1 ) 无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢 量所指的参考宏块在编码图像之外时，就用其边缘的图像像素值来代替。当存在 跨边界的运动时，这种模式能取得很大的编码增益，特别是对小图像而言。另外， 这种模式包括了运动矢量范围的扩展，允许使用更大的运动矢量，这对摄像机运 动特别有利。 ( 2 ) 基于句法的算术编码模式使用算术编码代替霍夫曼编码，可在信噪比和重 建图像质量相同的情况下降低码率。 ( 3 ) 先进的预测模式允许一个宏块中4 个8 8 亮度块各对应一个运动矢量，从 而提高了预测精度；两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。 补偿时，使用重叠的块运动补偿，8 8 亮度块的每个像素的补偿值由3 个预测值加 权平均得到。使用该模式可以产生显著的编码增益，特别是采用重叠的块运动补 偿，会减少块效应，提高主观质量。 ( 4 ) p b 帧模式规定一个p b 帧包含作为一个单元进行编码的两帧图像。p b 帧 模式可在码率增加不多的情况下，使得帧率加倍。 2 1 4 2m p e g 系列编码标准 m p e g l ：m p e g 1 标准由5 个部分组成：系统、视频、音频、一致性及软 件。1 9 8 9 年1 0 月主观测试后开始了m p e g 1 视频的集中阶段，并导致了发布于 1 9 9 3 年的标准。m p e g 1 视频的图像格式为c 球，目标比特率约为1 ，5 m b p s ，帧率 从2 4 审s 到3 0 审s ，主要应用于多媒体视频存储，也被用于数字电视网络上的视频 传输，如非对称数字用户线路( a d s l ) 、教育网络等。 m p e g - 2 ：m p e g 乏的目标是产生4 8 m b p s 码率的电视质量图像和1 肚1 5 m b p s 码率的高质量图像。具有m p e g 1 系统的某些兼容性，有错误恢复能力，能以广 播质量有效地压缩隔行数字视频，分为“按帧编码”和“按场编码”两种模式， 又傲了一系列改进： ( 1 ) 支持多种格式：4 ：2 ：o ，4 ：2 ：2 ，4 ：4 ：4 等； ( 2 ) 码流结构可分级性：对重要信息如头部信息、运动矢量等给较高优先级； ( 3 ) 输出码率可变：为适应同步和异步需求，输出码率可以恒定也可以变化； ( 4 ) 在时间、空间分辨率的可分级性适用于不同解码图像要求，传输优先级也 第二章视频压缩编码与错误掩盖概述 9 有所不同。 m p e g _ 4 ：m p e g 4 标准的设计是为了在支持传统应用的同时，满足新一代高 度交互性多媒体应用系统的要求。这些多媒体应用系统除高效编码外，还要求先 进的功能，例如各个对象的交互性、内容的可分级性和高度的错误恢复能力。 m p e g 7 ：m p e g 7 是多媒体内容描述接口，用于信息表示，是基于语义的表 示，m p e g - 1 2 4 使音视频数据的交换成为可能，而m p e g 7 的目的是使搜索和浏 览这种数据成为可能，可用来提高以前的m p e g 标准的功能，但不会代替。 m p e g - 2 l ：m p e g 2 1 是一个支持通过异构网络和设备，使用户透明方便地使 用多媒体资源的标准，目的是建立一个交互的多媒体对象，实现多种业务模型， 包括版权和交易的自动管理，对内容使用者隐私的尊重等。 2 1 4 3h 2 6 4 a v c 视频编码标准 m p e g ( m o v 缸gp i c t i l r 弓e x p c r t sg r o u p ) 和v c e g ( v i d c oc o d i n ge x p 酏g r o u p ) 联 合开发了一个比早期研发的m p e g 和h 2 6 3 性能更好的视频压缩编码标准，这就 是被命名为a v c ( a d v 缸c e dv i d e oc o d i n g ) 的，也被称为i t u th 2 “建议和 m p e g _ 4 的第1 0 部分的标准，简称为h 2 6 4 ， v c 或h 2 6 4 【3 7 1 。这个国际标准已于 2 0 0 3 年3 月正式被i t u t 所通过并在国际上正式颁布。 2 2 1 误码的产生及影响 2 2 错误掩盖概述 视频传输中的误码主要由两种情况造成：随机比特错误和突发错误。随机比 特错误如比特跳转、比特插入及比特删除等，这主要是由于信道的物理缺陷而随 机产生的。另一类是突发错误，集中或连续地突发产生错误，例如分组交换网络 中的数据包丢失、存储媒体的物理损伤等。有时候，随机比特错误也会导致突发 错误。由于突发错误会造成连续的数据包丢失，它可能带来比随机比特错误更加 严重的影响。 根据编码方法或信息内容的不同，误码对视频重建质量的影响也不同。如果 发生误码的码流语法元素重要性很低，并没有参与其它码流语法元素的构成，那 么这时产生的误码就只影响本语法元素，而该语法元素以后的码流解码都能正确 进行。但问题是，几乎所有的视频编码标准都采用了运动估计和变长编码技术。 因此，误码不仅影响出错数据的解码，同时还会影响到其它与之相关的数据解码。 而因为运动估计建立了帧间依赖性，所以一个帧的错误将会扩散到后续帧。这样 l o基于h 2 6 4 的错误掩盖技术研究 势必使解码视频的画面质量急剧下降，但此时视频解码器仍然能继续解码。如果 传输误码造成同步丢失，那么情况更加糟糕。这时解码器不再能判断接收到的信 息属于视频图像的哪个部分，则后续的解码过程将不能继续进行。 2 2 2 错误掩盖技术 错误控制主要分为两个部分，一个就是错误检测，另一个就是错误掩盖，从 而可以构成一个错误控制体系。 错误检测是视频错误掩盖的前提，只有对视频信号在传输过程中发生的错误 正确检测才能进行下一步的有效处理。错误检测主要在两个层面进行，即视频传 输层和视频解码层。视频传输层检测就是指在信道传输环节进行错误检测，例如 在编码数据包中加入头信息和f e c 等；视频解码层检测是指在视频解码环节进行 错误检测，例如基于语法的错误检测方案、基于视频信号的自然特征的错误检测 方案和频域错误检测方案等。其中，基于语法的错误检测方案因为不会增加额外 的传输开销以及其实现简单而得到非常广泛的应用。 总体来说，按传输误码的设计机制【3 3 】分，目前的错误掩盖技术可分为三大类： 一类是前向错误掩盖技术，这一类技术以编码器为主，在编码端和信道编码中引 入添加冗余数据的方法，使比特流对可能的错误具有更强的恢复能力，解码端一 般做相应的配合即可，其错误掩盖效果较好；另一类是后向错误掩盖技术，这一 类技术主要依赖解码器，在解码端进行错误掩盖任务，不需要编码器的附加信息， 不会增加信道开销，网络适应性和平台一致性都较好，一般利用视频序列的空间 和时间相关性来恢复丢失信息，效果因序列而异；第三类是交互错误掩盖技术， 这一类技术通过编码端和解码器之间的交互，来使编码器根据解码器检测到的丢 失情况调整操作，对软硬件的要求较高，掩盖效果较好。 按照冗余信息的特性来分，错误掩盖技术主要又可以分为：空域错误掩盖技 术、时域错误掩盖技术以及频域错误掩盖技术等。 错误掩盖技术主要有两个研究方向：无损恢复和近似重构。无损恢复的目的 主要是无失真恢复数据，主要采取的技术有：前向纠错( f o 州a r de r m rc o r r e 嘶o n ， f e c ) 、错误控制编码( e r r o rc n o lc o d i n g ，e c c ) 和自动重传请求( a u t o m a t i c r e t r a n 啦i s s i o nr c q u c s t ，a r q ) ；而近似重构则致力于得到一个与原始信号最近似 的结果，也就是让解码得到的输出信号有最小的失真。近似重构的思想是视频传 输错误掩盖研究领域中的重点，大多数的错误掩盖算法都是侧重于该方向。本文 主要对解码端的错误掩盖进行研究，其基本思想是利用视频序列的空间及时间相 关性，对受损或丢失的数据进行近似恢复，从而使视频画面在解码端得到更好的 再现。 第二章视频压缩编码与错误掩盖概述 2 3 小结 随着多媒体、无线通信的发展，视频通信越来越重要，但是视频信息量巨大， 难以进行传输或存储，因而必须对视频进行压缩处理，同时，压缩的视频还必须 保证一定的视频质量。本章介绍了视频压缩编码的必要性、重要性以及视频编码 标准的发展，然后简述了误码的产生、影响，以及降低错误影响的有效方法，即 错误掩盖，并详细阐述了错误掩盖技术不同情况下的详细分类。 第三章h 2 “视频编码标准概述 第三章h 2 6 4 视频编码标准概述 3 1h 2 6 4 的主要发展过程 m p e g ( m o v i n gp i c t l l r ee x p e r t sg r o u p ) 和v c e g ( v i d c oc o d i n ge x p e r t sg r o u p ) 联 合开发了一个比早期研发的m p e g 和h 2 6 3 性能更好的视频压缩编码标准，这就 是被命名为 v c ( a d v a n c e d d 。oc o d i n g ) 的，也被称为i t u th 2 6 4 建议和 m p e g 4 的第l o 部分的标准，简称为h 2 6 钆w c 或h 2 6 4 。 在制订完最初的h 2 6 3 标准之后，n u t 的视频编码专家组( v c e g ) 开发工作 分为两个部分：一部分称为“短期( s h o r t t 锄) ”计划，目的是给h - 2 6 4 增加一些新 特性，这一计划开发出了h 2 6 3 + 和h 2 6 3 + + ；另外一部分被称为“长期( 1 0 n 酣e r i n ) ” 计划，其最初目标是制订一个比当时其它的视频编码标准效率提高一倍的新标准， 这一计划从1 9 9 7 年开始。 1 9 9 8 年1 月，v c e g 向全世界征集视频编码方案，同年1 1 月，v c e g 形成了 第一份正式的评价文献。1 9 9 9 年8 月，v c e g 完成了h 2 6 4 的第个草案 h 2 6 l ，以及其测试模型t m l l 。相比于i t u t 以前的标准，取得了显著的视频压 缩效果，展现了广阔的发展前景。 2 0 0 1 年7 月，运动图像专家组( m p e g ) 认为新的编码方式较之m p e g - 4 现有标 准有很大的优势，有必要吸收最新成果完善m p e g - 4 。为此，m p e g 与v c e g 组 成联合视频小组( j v t ) 共同进行h 2 6 4 标准的制订，其主要任务就是将h 2 6 l 所形 成的视频压缩模型发展成为国际标准。这个组织的目标是：“研究新的视频编码算 法，其目标是在性能上要比以往制定的最好的标准提高很多。”2 0 0 2 年5 月，j v t 形成委员会草案c d ( c o m m i t t e ed f 蠊) ，2 0 0 2 年7 月，n 玎形成了最终委员会草案 f c d 口i n a lc o 姗i t t c ed ，2 0 0 2 年1 2 月，n 呵形成了最终国际标准草案 f d i s ( f i n a ld r 世i n t 锄a t i o n a ls t a | 1 d a r d ) 。 这一标准正式成为国际标准是2 0 0 3 年3 月在泰国pa _ t t a y a 举行的j 、吓第7 次 会议上通过的。由于该标准是由两个不同的组织共同制定的，因此有两个不同的 名称：在r r u t 中，它的名字叫h ，2 6 4 ；而在i s 伽e c 中，它被称为m p e g _ 4 的 第1 0 部分。即高级视频编码( a v c ) 。 基于h 2 “的错误掩盖技术研究 3 2 1h 2 6 4 的目标 3 2h 2 6 4 的目标和基本框架 h 2 “的提出是为了满足应用中对运动图像日益增长的压缩需求。h 2 6 4 能使 编码的视频以灵活的方式应用，并极大地降低发送视频所需要的带宽。其主要目 标是：提高压缩编码效率和增强网络适应能力。 在压缩效率方面，相同的视频质量情况下，h 1 2 6 4 比h 2 6 3 节省5 0 左右的比 特率，即仅用一半的编码量就能得到同样清晰的画面。同时，不采用众多的选顼 就能获得比h 2 6 3 + + 好得多的压缩性能。在解码器端采用复杂度分级设计，在图像 质量和解码处理之间可分级，以适应多种复杂性应用。 在网络适应能力方面，h 2 6 4 标准引入了网络适配层( n 咖o r ka d a p tl a y 钌， n a u ，使得h 2 6 4 编码视频比特流可以在不同的网络上传输。其码流结构网络适 应性强，增加了错误恢复能力，加强了对误码和丢包的处理，提高了抗误码的能 力，能够很好地适应d 和无线网络的应用，因而具有良好的网络亲和性。 3 2 2h 2 6 4 的基本框架 3 2 2 1h 2 6 4 的编解码特点 h 2 6 4 对编码器的实现并没有进行明确的规定，它只是规定了编码视频比特流 的句法和该比特流的解码方法，各厂商的编解码器可以进行互通，具有一定的灵 活性，又有利于相互竞争。同时，各厂商的编解码器也必须要遵从h 2 6 4 标准的 基本框架。 图3 1 和3 2 分别是h 。2 6 4 的编码框图和解码框图。与以前的标准 如h 2 6 1 、 h 2 6 3 、m p e g 1 、m p e g 钔相比，h 2 “中编解码器功能块的组成上并没什么大的 区别，主要的不同点是在各个功能块的细节。因为视频内容是在不断变化的，有 时空间细节很多，有时大面积的平坦。这种内容的多变性就必须采用相应的自适 应的技术措施；由于信道在环境恶劣下也是多变的，例如互联网，有时畅通，有 时不畅，有时阻塞，又如无线网络，有时发生严重衰落，有时衰落很小，这就要 求采取相应的自适应方法来对抗这种信道畸变带来的不良影响。这两方面的多变 增加了自适应压缩技术的复杂性。h 2 6 4 就是利用实现的复杂性获得压缩性能的明 显改善。由于大规模集成电路技术和工艺的迅猛进步，今天己完全具备了实现的 可能性。 如图3 1 ，输入的帧或场f n 以宏块为单位被编码器处理【3 7 1 。首先，按帧内或 第三章h 2 6 4 视频编码标准概述 帧间预测编码的方法进行处理。如果采用帧间预测编码，其预测值p 砒m ( 图中用p 表示) 是由当前片中前面已编码的参考图像经运动补偿( m c ) 后得出，其中参考图像 用f h 1 表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或 未来已编码解码重建和滤波的帧中进行选择。预测值p i d 和当前块相减后，产 生一个残差块d n ，经过块变换、量化后产生一组量化后的变换系数x ，再经过熵 编码，与解码所需的一些信息( 如预测模式量化参数、运动矢量等) 一起组成一个压 缩后的码流，经网络自适应层( n a i ，) 供传输和存储用。 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功 能。因此必须使残差图像经反量化、反变换后得到的d n 与预测值p 相加，得到 l l f n 。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高 压缩图像性能，设置了一个环路滤波器，滤波后的输出f n ，即重建图像可用作参 考图像。 由图3 1 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流，由图 3 2 ，经熵解码得到量化后的一组变换系数x ，再经反量化、反变换，得到残差d n 。 利用从该比特流中解码出的头信息，解码器就产生一个预测块p r e d ，它和编码器 中的原始p i 也d 相同。当该解码器产生的p r e d 与残差d n 相加后，就产生u f n ， 再经滤波后，最后就得到滤波后的f n ，这个f n 就是最后的解码输出图像。 图3 1h 2 6 4 编码框图 图3 2h 2 6 4 解码框图 1 6基于h 2 “的错误掩盖技术研究 3 2 2 2 档次和级别 h 2 6 4 视频编码标准是为通用的应用场景设计的，适用于不同的应用、比特率、 分辨率、质量和业务。应用领域包括数字存储媒体、电视广播和实时通信等。h 2 6 4 视频编码标准规定的“档次”是指完整码流语法的一个子集。h 2 “规定了三种档 次，每个档次支持一组特定的编码功能，并支持一类特定的应用。 ( 1 ) 基本档次( b 鹊e l i n e p r o f i l c ) ：利用i 片和p 片支持帧内和帧间编码，支持利用 基于上下文的自适应的变长编码进行的熵编码。主要用于可视电话、会议电视、 无线通信等实时视频通信； ( 2 ) 主要档次( m a i np r o f i l e ) ：支持隔行视频，采用b 片的帧闻编码和采用加权预 测的帧内编码：支持利用基于上下文的自适应的算术编码。主要用于数字广播电 视与数字视频存储； ( 3 ) 扩展档次( e x t d c dp m f i l e ) ：支持码流之间有效的切换( s p 和s i 片) 、数据分 割，但不支持隔行视频和基于上下文的自适应的算术编码。 图3 3 为h 2 6 4 各个档次具有的不同功能，可见扩展档次包括了基本档次的所 有功能，而不能包括主要档次的。每一档次设置不同参数，得到编解码器性能不 同的级。 图3 3 档次结构图 第三章h ，2 “视频编码标准概述 1 7 3 3 1 分层编码结构 3 3h 2 6 4 中的关键技术 h 2 6 4 的算法在概念上分为两层：视频编码层( v i d c o d i n gl a y 盯，v c l ) 和网 络抽象层( n c t w 0 幢a b s 仃a c t i o nl 惯，n a l ) ，前者负责高效的视频内容表示，规定 了视频编码算法，后者负责以网络要求的方式对数据进行打包和传送，规定了网 络传输规范。这样，v c l 和n a l 分别完成高效编码和网络友好的任务。 视频编码层主要对视频进行高效编码，提供高质高压缩比、可分级的视频码 流。该层包含了核心压缩