（信号与信息处理专业论文）基于自适应信息隐藏技术的误码掩盖算法研究.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 h 2 6 4 a v c 高级视频编码标准比以往标准取得了很高的编码效率。但由于 h 2 6 4 所采用的编码技术，如熵编码，单个码字的传输错误不仅仅影响当前码流， 还会导致后续码流发生错误，这样就会引发接收到的视频序列质量严重下降。 本文研究了针对错误码流的错误恢复方法。先介绍了传统的基于解码端误码 掩盖算法，发现其弊端以后提出一种基于信息隐藏技术的误码掩盖方案，我们将 着重于帧间误码掩盖方案的讨论。在编码端，对于帧间编码模式的p 帧，运用基 于片的m b 交织技术，从m b 中提取出两种类型的重要数据自适应地嵌入到下一帧 中。在解码端，如果损坏m b 的重要数据被正确传输并正确提取出来了，那么就 用正确提取的信息对损坏她进行误码恢复；否则就采用常规的误码掩盖手段进 行误码恢复。另外，由于p 帧提取出了两类重要数据对其分别保护，使得误码掩 盖要可靠的多。 将结果与h 2 6 4 传统的误码掩盖算法以及文献【2 0 】的w k 算法进行比较， 其主客观质量都有了一定的提高。从本文仿真结果来看，本文算法能够对1 0 丢包率的视频帧质量起到较好的恢复作用。 a b s t r a c t t h en e wh 2 6 4 a v cv i d e oc o d i n gs t a n d a r dc a na c h i e v ec o n s i d e r a b l y h i g h e r c o d i n ge f f i c i e n c yc o m p a r e d t op r e v i o u ss t a n d a r d s b u tf o re n t r o p y 。c o d e dh 2 6 4 a v c v i d e of r a m e s ，at r a n s m i s s i o ne r r o ri nac o d e w o r dw i l ln o to n l ya f f e c tt h eu n d e r l y i n g c o d e w o r db u ta l s om a ya f f e c ts u b s e q u e n tc o d ew o r d s ，r e s u l t i n gi nag r e a td e g r a d a t i o n o ft h er e c e i v e dv i d e of r a m e s i nt h i st h e s i st h ee r r o rr e s i l i e n tm e t h o dt oe r r o rv i d e os t r e a m i n gw a ss t u d i e d f i r s t t r a d i t i o n a le r r o rc o n c e a l m e n tm e t h o da tt h ed e c o d e rw i l lb ei n t r o d u c e d t h e n ，1w i l l p u tf o r w a r dan e w e r r o rr e s i l i e n tc o d i n gs c h e m ef o rh 2 6 4 a v cv i d e ot r a n s m i s s i o n t h a ti s ，at e m p o r a le r r o rc o n c e a l m e n tc o d i n gs c h e m eb a s e do nd a t ae m b e d d i n g a tt h e e n c o d e r ，f o ra nh 2 6 4 a v ci n t e r - c o d e dpf l a m e ，t w ot y p e so fi m p o r t a n td a t aw i t h d i f f e r e n te r r o rr e c o v e r yc a p a b i l i t i e sf o re a c hm ba r ee x t r a c t e da n de m b e d d e di n t ot h e n e x tf r a m eb yt h ep r o p o s e dm b - i n t e r l e a v i n gs l i c e b a s e dd a t ae m b e d d i n gs c h e m ef o r pf r a m e a tt h ed e c o d e r ，i ft h ei m p o r t a n td a t af o rac o r r u p t e dm bc a nb ec o r r e c t l y e x t r a c t e d ，t h ee x t r a c t e di m p o r t a n td a t af o rt h ec o r r u p t e dm bw i l l f a c i l i t a t et h e e m p l o y e de r r o rc o n c e a l m e n ts c h e m et oc o n c e a lt h ec o r r u p t e dm b ；o t h e r w i s e ，t h e e m p l o y e de r r o rc o n c e a l m e n ts c h e m ei ss i m p l yu s e dt oc o n c e a lt h ec o r r u p t e dm b a d d i t i o n a l l y ，t w ot y p e so fi m p o r t a n td a t a 、 ，i t hd i f f e r e n tt r a n s m i s s i o ne r r o rr e c o v e r y c a p a b i l i t i e sf o re a c hm b i npf r a m e sc a np r o v i d em o r er e l i a b l ee r r o rr e s i l i e n c y a sc o m p a r e dw i t l lt r a d i t i o n a lh 2 6 4e r r o rr e s i l i e n ta p p r o a c h e sa n dw km e t h o d ， t h es u b j e c t i v ea n di m p e r s o n a lw e r ei m p r o v e dg r e a t l y b a s e do nt h es i m u l a t i o nr e s u l t s o b t a i n e di nt h i sp a p e r ，t h ep r o p o s e ds c h e m ec a nr e c o v e rh i 曲- q u a l i t yh 2 6 4 a v c v i d e of r a m e sf r o mt h ec o r r e s p o n d i n gc o r r u p t e dv i d e of l a m e su pt oav i d e op a c k e tl o s s r a t eo f10 n 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：雌日期：j 业 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签菇雌导师签名： 日期：兰1 2 生 南京邮电大学硕士研究生学位论文 关键词 关键词 h 2 6 4 a v c 视频流，错误恢复编码，误码掩盖，帧间误码掩盖，帧内误码掩盖， 传输错误，数据嵌入 h 2 6 4 a v cv i d e os t r e a m i n g ，e r r o rr e s i l i e n tc o d i n g ，e r r o rc o n c e a l m e n t ，t e m p o r a l c o n c e a l m e n t ，s p a c i a lc o n c e a l m e n t ，t r a n s m i s s i o ne r r o r ，d a t ae m b e d d i n g 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 1 - 1 视频流抗误码研究背景 随着网络技术和无线通信技术的发展，视频通信技术也成为了目前通信和网 络发展的大趋势。实时视频通信技术已经出现在i p 电话、i n t e r n e tt v 、视频会 议和手机电视等网络应用中，同时也成为第三代宽带移动通信系统的显著标志。 编解码技术在过去十年中不断改进。最新的编解码技术( h 2 6 4 a v c 与v c 一1 ) 代表着第三代视频压缩技术。数字视频产品需求近些年出现猛增。主流应用包括 视频通信、安全监控与工业自动化，而最热门的要算娱乐应用，如d v d 、h d t v 、 卫星电视机顶盒、因特网视频流、数码相机与h d 摄像机、视频光盘库( v i d e o j u k e b o x ) 、高端显示器( l c d 、等离子显示器、d l p ) 以及个人摄像机等。众多精 彩的新应用目前也处于设计或前期部署中，例如针对家庭与手持设备及地面卫 星标准( d v b - t 、d v b h 、d m b ) 的高清d v d ( 蓝光h d - d v d ) 和数字视频广播、 高清视频电话、数码相机以及i p 机顶盒。由于手持终端计算能力的提高以及电 池技术与高速无线连接的发展，最终产品的移动性与集成性也在不断提高。 然而，到目前为止，视频通信还不像语音通信那么普及，其原因是多方面的， 最最主要的原因是技术上的进步还没有达到用户所能接受的程度，例如带宽的限 制，视频终端设备的造价等。随着3 g 时代的即将到来，可能会解决带宽的瓶颈， 但是对视频压缩编解码技术的探索仍然还有很长的路要走。 视频压缩编码是多媒体和通信技术发展的必然产物，实际应用过程中又产生 新的要求，从而引起更深入研究。本文从应用的角度出发，对基于h 2 6 4 标准的 抗误码技术进行研究，并提出基于自适应信息隐藏技术的帧间误码掩盖方案。 网络视频通信和无线视频通信正在成为通信业务的主流业务，为了适应在有 限带宽上传输视频流，视频图象的压缩编码是关键技术。但是压缩过后的图象数 据对于误码是相当敏感的，例如典型的无线信道存在着r a y l e i g h 衰减和多用户 干扰，会在传输位流中产生突发性错误。有资料统计表明：对于不压缩的视频数 据，用户可以接受的误码率为1 0 ；而对于压缩编码视频通信，用户可以接受的 南京电大学硕士研究生学位论女 第一$ 绪论 误码率仪仅为1 06 ，且压缩倍数越高，对误码率的要求越高。同时，码流越高， 错误平均时间间隔越短。因为视频压缩标准部是基于宏块的压缩算法，通过运动 估计运动补偿( m e m c ) 消除统计冗余。通过这种方法，视频编码标准都获得了 极高的压缩效率但是由于压缩后的码流对信道比特误码非常敏感，而且由于多 径反射和衰落引入了大量的随机误码和突发误码，影响了码流的正常传输。尤其 是当采用了v l c 方案后，码流更加容易受到误码的影响，结果在解码端将失去与 编码端的同步，导致在遇到下一个同步码字之前无法对v l c 码字进行正确的解 码：同时预测编码技术会将错误扩散到整个视频序列中，极大的降低重建图象的 质量。因此，为了实现良好质量的视频传输，必须结合无线信道的传输特性，采 取一定的容错措旖。 有些网络即使没有相应的抗误码方案，也能够提供满意的视频质量。而象无 线网络，其信道误码率一般在1 0 以上，有时可高达1 0 。同样由于拥塞，超时 延迟引起包的丢弃，i n t e r n e t 网络无重传的丢包率可高达1 0 4 ，在这样的信道传 送视频信号，如果没有有效的容错措施，恢复的视频图象质量是无法接受的，如 下图ll 所示，当丢包率达到1 0 的时候，可以看出，视频图象质量基本上是 无法接受的。 ( a ) f b ) 图1 1 ( a ) 图为没有发生误码的图象嘞图为发生l o 丢包的误码图象 误码现象大致可以分为丢包误码现象和比特误码现象。其中丢包误码现象常 常产生于以包交换为基础的传输网络上。这种情况下，包的大小和当前视频序列 中的具体位置以及包内数据采用的编码算法都会严重影响误码的最终效果。根据 具体情况不同，当前数据包的丢失有的可能只影响到当前解码帧的部分空间信 南京邮电大学硕士研究生学位论文 第一章绪论 息，但是更多情况可能导致连续视频帧信息的丢失。若丢失的数据包比较小，丢 包的影响可以局限在当前有限区域内，使用空间或空间时间混合的误码掩盖方法 可以达到较好的恢复效果：若丢失的数据包很大，或者信道有连续的突发丢包现 象，则解码端只能选择当前显示帧的冻结功能，或者使用可能的帧间内插算法来 保持原有的帧率。 比特误码通常出现在面向比特传输的网络中。虽然这种网络能够提供传输层 或应用层上的误码检测手段，但是由于常规视频解码器的机理和v l c 码流的特 点，即使单个的比特误码，视频解码器也不能确定它的具体发生位置，所以通常 情况下比特误码将导致大量有用信息的丢失，从而使得解码帧在局部出现严重的 扭曲现象，图象视觉效果下降比较明显。 1 2 本文所做工作 基于编解码算法的、信道的特性，应采取提高面向视频传输的鲁棒性，尽量 减少解码端的误码扩散现象的抗误码算法。同时，为改善受损图象的视觉感受， 在解码端采取误码掩盖算法也是非常重要的。 本文对h 2 6 4 编解码器进行研究，论述了包括h 2 6 4 在内的h 2 6 x 标准和 m p e g 标准的发展历程、基本原理，编解码器的特征，以及采用h 2 6 4 编解码算 法所带来的问题。围绕这些问题提出一系列的抗误码措施，分析了传统的基于解 码端的误码掩盖算法的原理，以及参考文献所提出的一系列误码掩盖原理的优 劣。在此基础之上，提出自己的新算法基于自适应信息隐藏技术的误码掩盖 算法，并通过仿真验证算法的有效性。 该新算法在编码端，对于帧间编码模式的p 帧，我们在编码端以一帧中宏块 为单位提取出两类重要数据嵌入到d c t 系数中，第一类数据( i 型) 包括m v 、帧 间编码模式( 1 6 8 、8 1 6 、8 x 8 等) 、参考帧号。对第二类数据( i i 型) ， 在分析了视频图像的特性( 一般可将一帧图像分为平坦区域和细节区域、以及运 动区域和静止区域) 的基础上，根据宏块划分和平均绝对差值( m a e ) 准则，在 编码端针对每个宏块预估计出所需的误码掩盖方案，将这些预估计方案作为待嵌 入的第二类数据。 南京邮电大学硕上研究生学位论文 第一章绪论 数据嵌入方法是采用文献【2 0 】w k 算法一基于片的宏块( m b ) 交织技术， 根据帧间宏块分割和m a e 门限，确定所需i 、i i 型数据，自适应的嵌入。 在解码端，如果损坏m b 的重要数据被正确传输并正确提取出来了，那么就 用正确提取的信息对损坏m b 进行误码恢复；否则就采用h 2 6 4 常规的误码掩盖 手段进行误码恢复。由于p 帧提取出了两类重要数据对其分别保护，使得误码掩 盖要可靠的多。 将结果与h 2 6 4 传统的误码掩盖算法以及文献 2 0 l 的算法进行比较，其主 客观质量都有了一定的提高。从本文仿真结果来看，本文算法能够对有1 0 丢 包率的视频帧质量起到较好的恢复作用。 1 3 论文的结构安排 本文主要内容与章节安排： 第一章绪论部分，简单叙述了视频流抗误码的研究背景，和本文所做工作。 第二章总结现有视频编码标准，介绍了i t u 相关的国际标准和i s o 相关的国 际标准，并介绍了典型的抗误码应用环境。 第三章h 2 6 4 视频压缩标准简介和先进抗误码算法，介绍了h 2 6 4 编解码器 的特点和结构，h 2 6 4 特有的抗误码算法，如参数集，f m o 等。 第四章视频通信中的误码掩盖技术，详细地分析了h 2 6 4 常规的帧间、帧 内误码掩盖算法；进一步分析文献【11 】一【1 9 的基于解码端的改进算法。最 后提出传统型误码掩盖算法的缺点。 第五章基于自适应信息隐藏技术的帧问误码掩盖算法，在分析得出了基于 解码端误码掩盖算法的弊端基础上，分析文献【1 8 】基于编解码端的误码掩盖新 算法，并提出自己的新算法一即根视频图像的特点，自适应的嵌入重要信息。最 后通过实验论证了算法的可靠性，有效性。 第六章总结本文的工作，指出进一步的研究方向。 4 南京邮电大学硕士研究生学位论文 第二章视频编码标准以及抗误码环境简介 第二章视频编码标准以及抗误码环境简介 2 1 与i t u 相关的国际标准 图象压缩编码技术已经有5 0 多年的历史，不仅在理论研究上取得了重大进 步，在实际应用中也获得很大成果文献【1 】。近1 0 年来，图象编码技术得到了 迅速发展和广泛应用，并且日臻成熟。国际标准化组织( i s o ) 和国际电工委员 会( i e c ) 的活动图象编码标准m p e g - i 、m p e g - 2 、m p e g 一4 ( 2 ) 、m p e g - 4 ( 1 0 ) ，以 及国际电信联盟( i t u ) 制定的视频编码压缩标准h 2 6 x 系列。这些标准是不断 发展的，并且融合了各种性能优良的视频编码算法。以下按照发展的顺序对视频 压缩编码算法做一个简单介绍，主要包括：h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 4 a v c 、 h 2 6 5 压缩编码标准。 2 1 1h 2 6 1 标准 文献1 2 1 、1 3 1 从h 2 6 1 标准的制定初衷可以看出，1 4 2 6 1 是i t u - t 为特 定的应用和特定的传输网络量体裁衣而定做的，被用于量体的一个重要对象就是 i s d n 网络上的视频传输，被限制在p x6 4 k b i t s 比特率( p 取值较小时，只能传 清晰度不太好的图象，适合于面对面的电视电话：p 取值较大时，可以传输清晰 度较好的会议电视图象) 上，它不是针对具有多种不同应用和在不同网络环境进 行视频传输而制定的视频编码标准。因此从最初制定标准的思路上i t u t 与m p e g 是有所区别的。 h 2 6 1 标准的制定和颁布，在视频编码技术的历史发展过程中具有非常特别 的意义，因为它综合了图像编码过去几十年的研究成果，首次采用了d c t 加帧间 运动补偿预测的混合编码模式；h 2 6 1 标准规范的数据格式、编码器模块结构、 编码输出码流的层次结构、开放的编码控制与实现策略等技术，对后来制定的视 频编码标准产生了深远的影响。同时，h 2 6 1 标准的颁布为不同生产商的设备互 通打下了基础，促进了视频通信的产业化发展，使得数字视频通信在较短的时间 5 南京邮电大学硕士研究生学位论文 第二章视频编码标准以及抗误码环境简介 内得到了很大的普及。反过来会议电视系统在2 0 世纪9 0 年代世界各地的广泛应 用又进一步推动了视频通信的标准化研究步伐。 2 1 2h 2 6 3 标准 于是i t u - t 在h 2 6 1 的基础上于1 9 9 6 年5 月正式颁布h 2 6 3 国际标准，称 为“低比特率通信视频编码”。加上h 2 3 4 中的控制、复用、语言编码等标准， 可以实现在p s t n 网络的多媒体通信。 在进一步修改h 2 6 1 ，制定h 2 6 3 标准的过程中，i t u - t 曾采用m p e g 一2 标准 i s 0 i e c l 3 8 1 8 2 的视频编码思想，希望制定能在高比特率、高视频质量的领域 中得到应用的编码标准，称之为h 2 6 2 建议。然而，由于与m p e g - 2 的思想、方 法和应用重叠及其他原因，h 2 6 2 最后没有成为正式标准。 之后，在1 9 9 6 年i t u - t 决定继续改进h 2 6 3 标准，希望能获得更高的压缩 性能和支持没有o o s 保证的包交换网络的多媒体通信系统。这就是i t u - t 于1 9 9 8 年公布的h 2 6 3 第二个版本，后来被正式命名为h 2 6 3 + 标准，是第一个能同时 支持电路交换网络和包交换网络通信环境下的视频编码国际标准，在学术界和工 业界形成共识。h 2 6 3 + 包含了可以在误码突发环境下和不保证q o s 的网络下提高 视频传输质量的许多措施，使传输网络从p s t n 、i s d n 拓宽到无线网络、i n t e r n e t ， 应用范围可以不针对某个特定的领域。i t u - t 制定的出发点是准备将h 2 6 3 + 标准 作为在各种不同网络环境条件下和各种应用领域中视频通信的灵丹妙药。它涉及 到改善图像质量、提高编码效率、增加抗误码性能、降低码率等共1 2 个选项模 式，在实际应用中根据需要进行选择。 在2 0 0 0 年1 1 月i t u - t 又推出了h 2 6 3 的第三版本，称为h 2 6 3 + + ，新增加 3 个高级模式。至此，h 2 6 3 的性能在各个方面得到了提高，同时大大增加了复 杂度。尤其是在许多高级模式中，有些模式不能同时使用，有些模式需要结合起 来使用。为了方便使用者做出模式选择，i t u t 定义了9 个协议子集，极大方便 了设备的互连互通和减少实现这些设备的复杂性。 在修改h 2 6 3 的同时，i t u - t 根据长期的研究计划，于1 9 9 8 年着手开始征 集制定低比特率的视频通信新标准，即h 2 6 l 标准( l 表示长期l o n g 的意思) ， 6 南京邮电大学硕士研究生学位论文 第二章视频编码标准以及抗误码环境简介 它提供比先前i t u l 标准更为有效的视频压缩。并在1 9 9 9 年制定了h 2 6 l 的最 初测试模式t m i ( t e s tm o d e l ) 。 2 1 3h 2 6 4 标准 自2 0 0 1 年之后，i t u - t 的v c e g 与m p e g 联合成立j v t ，共同制定“a v c 标 准，以h 2 6 l 为基础。在2 0 0 3 年公布结果，i t u - t 称之为h 2 6 4 ，m p e g 称之为 m p e g - 4p a r t l o ，全称为h 2 6 4 m p e g - 4p a r t l o 。h 2 6 4 是i t u 的v c e g ( 视频编 码专家组) 和i s o i e c 的m p e g ( 活动图象专家组) 的联合视频组( j o i n tv i d e o t e a m ，j v d ) 开发的一个新的数字视频编码标准，它既是i t u 的h 2 6 4 又是i s o i e c 的m p e g - 4 的第1 0 部分。1 9 9 8 年1 月开始草案征集，1 9 9 9 年9 月完成第一个草 案，2 0 0 1 年5 月制定了其测试模式t m l 一8 ，2 0 0 2 年6 月的t 第5 次会议通过 了h 2 6 4 的f c d 版。2 0 0 3 年3 月正式发布。 文献【4 】中提到，h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合 编码模式。但它采用“回归基本 的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好的多的压缩性能；加强了对各种信道的适应能力，采用“网络有好”的结构和 语法，有利于对误码和丢包的处理；应用目标范围较宽，以适应不同速率、不同 解析度以及不同传输场合的需求：它的基本系统是开放的，使用无需版权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精度、 多模式的位移估计，基于4 x 4 块的整数变换，以及分层的编码语法等。这些措 施使得h 2 6 4 算法具有很高的编码效率，在相同的重建图象质量下，能够比h 2 6 3 节约5 0 左右的比特率。h 2 6 4 的码流结构对网络的适应性强，增加了差错恢复 能力，能够很好地适应i p 和无线网络地应用。 其发展过程如表2 1 所示： 7 南京邮电大学硕士研究生学位论文第二章视频编码标准以及抗误码环堡堕坐 表2 1i t u t 相关视频编码标准发展过程 标准简称标准全称制定专家组 批准时间 p x6 4 k b i t s 视听业 1 9 8 5 年开始，1 9 9 0 务的视频编码器 年1 2 月通过 h 2 6 1 c c i t t ( v i d e oc o d e cf o r a u d i o v is u a ls e r v i c e sa t p * 6 4 k b i t s ) 低比特率通信视频编码1 9 9 0 年7 月开始， ( v i d e oc o d i n gf o rl o w1 9 9 6 年5 月通过。 h 2 6 3 i t u - t b i tr a t ec o m m u n i c a t i o n ) 低比特率通信视频编码1 9 9 6 年7 月开始， ( v e r s i o n ：v i d e oc o d i n g 1 9 9 8 年5 月通过。 h 2 6 3 + i t u - t f o rl o wb i tr a t e c o m m u n i c a t i o n ) h 2 6 3 标准附录u ，v 和w1 9 9 8 年7 月开始， 2 0 0 0 年1 1 月通过。 h 2 6 3 + +“h 2 6 3 + + ”a n n e x e su ，v i t u - t a n dwt or e c o m m e n d a tio n h 2 6 3 高级视频编码1 9 9 8 年开始征集， 1 9 9 9 年制定了h 2 6 l h 2 6 l ( a d v a n c e dv id e o i t u - t 最初测试模型t m i 。 c o d i n g ) 高级视频编码 0 1 年t 旧e g - 4 第二版公布， i 2 6 l 作为m p e g 一4p a r t l 0 h 2 6 4 ( a d v a n c e dv i d e oj v t 的基础。2 0 0 3 年 c o d i n g ) h 2 6 4 m p e g - 4p a r t1 0 公布 8 南京邮电大学硕士研究生学位论文第二章视频编码标准以及抗误码环境简介 2 1 4h 2 6 5 标准 h 2 6 5 是由i t u - t 的视频编码专家组致力于研究的新一代视频压缩标准，计 划在2 0 0 8 2 0 1 0 年完成正式的标准的录制工作。 h 2 6 5 视频编码的一些特点： 改进视频编码的压缩效率； 在易于出错及容易信号丢失的环境中，增加鲁棒性( 如：在没有带宽限制的 网络或无线通讯中) ； 减少时延； 减少了获取通道和随机存取反应时间； 减少了算法的复杂性。 2 2 与i s o 相关的国际标准 i s o i e c ( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 是国际标准化组 织简称。成立于1 9 4 7 年2 月，最初目标是致力于“促进国际组织的对等和工业 标准的统一刀。另一个成立于1 9 0 6 年i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a l c o m m i s s i o n ) 是国际电工委员会的简称，是国际上最早的标准化机构，目标是制 定与电工、电子相关技术的国际标准。目前，i e c 负责有关通信及其设备音频、 视频记录系统和其他视听设备的国际标准。另外，由i s o 和i e c 联合成立的 i s o i e c 技术委员会j t c l ( j o i n tt e c h n i c a lc o m m i s s i o n ) 负责在信息技术中与计 算机相关的各种活动，实际上，在所有i s o 和i e c 制定的标准中大约有3 0 的来 自于j c t c l 。 、 j c t c l 下属的子委员会s c 2 4 负责有关计算机图形和图像处理活动，制定如 虚拟现实模型语言( v r m l ，v i r t u a lr e a l i t ym o d e ll a n g u a g e ) 等计算机图形标准。 子委员会s c 2 9 负责有关音频、图像、多媒体和超媒体编码的相关任务，这两个 子委员会都与多媒体通信有关。s c 2 9 子委员会下设许多工作组，如w g i ( w o r k 9 南京邮电大学硕士研究生学位论文第二章视频编码标准以及抗误码环境简介 g r o u p1 ) 、w g l l 、w g l 2 等，如图2 1 所示。图中阴影方框为所制定的国际标准， 其他方框为国际标准化组织或其下属的工作组名称。 i t u 司 一 图2 1 与m p e g - x 标准有关的标准化组织或工作组 实际上，m p e g 就是其中i s o 和i e c 所组成的j c t l 下的子委员会s c 2 9 的一 个工作组w g l l ，在正式文件上，称为i s o i e cj t c l s c 2 9 w g l l 。该工作组所制 定的一系列用于运动图片和声音的压缩、存储重放、处理和描述的国际标准， 在工业界获得巨大的成功。其中有用于v c d 存储播放的音视频压缩国际标准 i | i p e g 一1 ：有应用在数字电视和高清晰度电视广播上的、用于d v d 存储播放的音 视频压缩编码国际标准m p e g - 2 ；有基于音视频对象编码的最新标准m p e g - 4 。还 有两个分别与多媒体描述和通用的多媒体框架有关的m p e g - 7 和m p e g - 2 1 标准。 然而，m p e g 最出色的仍然是它对音频、视频压缩编码的贡献，尤其是m p e g - 2 已 经成为工业界最通用的标准，目前到处存在的数字电视广播、d v d 视频和m p e g 一2 第三层音频编码( m p 3 ) 便是m p e g 一2 成功的最有力证明。 2 2 1m p e g 相关标准发展过程 标准化过程是一个缓慢的过程，属归纳性的工作，通常是某种特定工业产品 在市场获得成功以后才着手订制必需的规范和标准。与此相反，m p e g 的标准在 1 0 笛 r 南京邮电大学硕士研究生学位论文 第二章视频编码标准以及抗误码环境简介 制定过程是演绎性的，标准的制定充分超前于市场需求。m p e g 标准在制定过程 相同，经历了广泛征集、收集评估、验证确认三个主要阶段，历时多年。如表 2 2 所示： 表2 2m p e g 相关标准发展过程 标准简称 标准全称制定专家组批准时间 用于高至1 5 m b i t s 的数字存储媒 体的活动图像和相应的音频解码1 9 8 9 年开始。1 9 9 2 年1 1 m p e g m p e g - 1( c o d i n go fm o v i n gp i c t u r e sa n d月通过，作为i s 0 i e c l l l 7 2 文 ( 第1 阶段) a s s o c i a t e da u d i of o rd i g i t a ls t o r a g e 件 h e d i aa tu pt oa b o u t1 5m b i t s 1 9 9 0 年7 月开始，1 9 9 4 年 运动图像和伴音信息的通用编码 m p e g 1 1 月通过，作为i s o i e c l 3 8 1 8 m p e g - 2( g e n e r i cc o d i n go fm o v i n gp i c t u r e s ( 第2 阶段) 文件，有些部分在1 9 9 5 年之后 a n da s s o c i a t ea u d i oi n f o r m a t i o n ) 公布。 基于音视频对象的编码( c o d i n go f1 9 9 3 年7 月开始，1 9 9 5 年5 m p e g p e g - 4a u d i o - v i s u a lo b j e c t s ) 视频码率：月通过，作为 ( 第三阶段) 5 k b p s 。5 m b p si s 0 i e c1 4 4 9 6 - 2 文件 多媒体内容描述接口( m u l t i m e d i a m p e g 1 9 9 7 年7 月开始，2 0 0 1 年 m p e g - 71 2 月通过，作为i s 0 i e c l 5 9 3 8 c o n t e n td e s c r i p ti o ni n t e r f a c e ) ( 第四阶段)号文件 1 9 9 0 年1 0 月开始形成多媒 m p e g 体框架提议，2 0 0 0 年5 月开始， m p e g - 2 1 多媒体框架( m u l t i m e d i af r a m e w o r k )正式名称为 ( 第五阶段)i s 0 i e c 2 1 0 0 0 2 0 0 2 年3 月为 第一版 南京邮电大学硕士研究生学位论文 第二章视频编码标准以及抗误码环境简介 2 3 视频流典型的抗误码应用环境 下面我们来了解几种典型的抗误码应用环境，这样可以使得我们清楚的意识 到研究抗误码的实际意义。 2 3 1in t e r n e t 实时多媒体传输系统 基于i n t e r n e t 的多媒体通信系统是现在最受关注的一个抗误码应用领域，它 的带宽范围很广，通常从l o 到3 0 0 0 k b i t s 左右，适合多种不同标准的视频流传输。 这种系统通常遵循两个标准：( 1 ) 面向i n t e r n e t 信道的传输标准r t p u d p i p ；( 2 ) 面向包交换的多媒体系统标准h 3 2 3 。 1 面向i n t e r n e t 信道的传输标准r t p u d p i p ( 1 ) 网络层协议：网络层协议提供一些最基本的网络服务，如寻址等。i p 协议是一个应用最广泛的网络协议，各种局域网，互联网，甚至很多无线网络都 基于i p 协议。 ( 2 ) 传输层协议：传输层协议为流媒体应用提供端到端的传输控制，包括 u d p t c p ，r t p 以及r t c p 等。u d p 和t c p 是同一级协议，它们一般建立于i pi p 协议 之上，为流媒体应用提供实时的管理和控制。 u d p 和t c p 协议提供流的复用，错误控制和流的控制等功能。u d p t c p 能够将 运行在同一机器上不同应用的具有同一个i p 地址的流复用成一个流。同时，它能 够用检查校验和的办法来检测比特错误。当u d p 发现某个数据报出现错误，它放 弃这个包，导致上层( 如r t p ) 将不会收到这个损坏的包。在网络质量令人不十分 满意的环境下，u d p 协议数据包丢失会比较严重，但是由于u d p 的特性：它不属于 连接型协议，因而具有资源消耗小，处理速度快的优点。而对于t c p ，它会要求 发送端重传该数据报以恢复数据，因此t c p 提供一个可靠的传输，但却引入了较 大的延时。因为流媒体需要实时通信，允许偶尔丢失一两个数据包，所以一般都 采用了u d p ，而将所有的错误控制放在了更高层，如r t p 或者应用层。 实时传输协议r t p ( r e a l - t i m et r a n s p o r tp r o t o c 0 1 ) 协议是专为实时应用而 设计的端到端的传输级协议。r t p 被定义为在一对一或一对多的传输情况下工作， 1 2 南京邮电大学硕士研究生学位论文第二章视频编码标准以及抗误码环境简介 其目的是提供时间信息和实现流同步。r t p 通常使用u d p 来传输数据，但r t p 也可 以在t c p 或a t m 等其他协议之上工作。但应用程序开始的一个r t p 会话时间将使用 两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传输数据包提供可 靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。通常 r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代码的一部分。 它提供媒体流的时戳信息以使不同流可能获得同步( 当然也需要应用层来实现) ， 同时r t p 数据报插入了包的序列号，在接受端才能根据包的序列号来重新生成连 续的码流。另外，r t p 包头里有负载类型信息，接收端可以根据负载类型信息做 相应处理，如负载类型为h 2 6 4 ，就将负载数据交给h 2 6 4 解码器处理。 实时传输控制协议r t c p ( r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 和r t p 一起提供流量控制和拥塞控制服务一个r t p 会晤里，会晤参与者经常周期性的发 送r t c p 报告包以提供一些信道信息，r t c p 一个主要的功能就是提供q o s 反馈，r t c p 给数据发送方提供关于数据分发质量的信息，发送方可以根据这个信息来动态调 整发送数据的比特率，这些信息通常包括丢包率，以及丢包总数，数据报的抖动 等等。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳 化，因而特别适合传送网上的实时数据。 2 多媒体系统标准h 3 2 3 h 3 2 3 为现有的分组网络p b n ( 如1 p 网络) 提供了多媒体通信标准。和其它的i p 技术如资源预留协议r s v p 相结合，实现i p 网络的多媒体通信。同时h 3 2 3 可提供 p b n 与别的网络之间进行多媒体通信的互连互通标准。h 3 2 3 协议规定，音频和视 频分组必须被封装在实时协议r t p 中，并通过发送端和接收端的一个l o p 的s o c k e t 对来进行承载。而实时控制协议r t c p 用来评估会话和连接质量，以及在通信方之 间提供反馈信息。相应的数据及其支持性的分组可以通过t c p 或l d p 进行操作。 这几个标准的规范下，可将传输环境表述为：传输媒介基于数据包结构：每个 数据包的大小为1 5 0 0 字节左右，其中包括几十个字节的包头：信道对于数据包内 部无误码，在数据包层上根据网络的拥挤情况可能有0 - 3 左右的丢包现象：同时 利用r t c p 的信息反馈机制，发送端能够在几秒内获得信道丢包率统计：接收端， 包丢失量能够简单地根据当前r t p 头的序列来获得。 南京邮电大学硕士研究生学位论文第二章视频编码标准以及抗误码环境简介 2 3 2 基于h 3 2 4 h 2 2 3 的无线网络多媒体传输系统 面向无线信道的多媒体是当前抗误码研究的又一热点。在l o - 3 0 0 k b i t l s 的典 型传输带宽上，几乎所有的无线信道由于受天线信道传输和衰落的影响，都表现 出较为严重的比特误码现象。相关研究表明，无线信道通常的突发误码长度在1 6 比特上下，平均比特误码率在1 0 。主! u l o 弓之间。因此，无线多媒体通常必须采用 较为复杂的抗误码算法来有效降低比特误码的影响。 通常无线多媒体系统采用面向比特误码信道的h 2 2 3 协议( 无线信道扩充) 作 为传输复用的标准。在h 2 2 3 协议下，编码端可以利用复用层的抗误码保护能力 在相应的码流冗余度上提供合适的传输质量，但h 2 2 3 并没有提供增强传输流质 量的能力，因而视频编解码器本身必须要有能力对付信道中的比特误码现象。而 且在信道出现误码的情况下，若比特误码导致h 2 2 3 复用层出错，当前的数据包 将整体丢失，基于h 2 2 3 无线信道传输的视频流将面对丢包错误。当然可以选择 合适的h 2 2 3 抗误码层，使这种复用层错误几乎不可见，同时h 2 2 3 采用的c r c 检错技术也使得视频编解码器有能力获得当前数据包比特误码的相关检测信息。 此外，要实现特定信道环境下的视频通信，首先必须了解信道的物理特性， 文献【2 4 】详细描述了3 g p p 3 g p p 2 无线信道。 1 4 南京邮电大学硕士研究生学位论文 第三章h 2 6 4 视频编码标准简介和先进抗误码算法 第三章h 2 6 4 视频压缩标准简介和先进抗误码算法 3 1 引言 这一章我们将简单介绍一下h 2 6 4 压缩编码标准，围绕我们要实现的算法， 主要介绍关于预测编码中的帧内、帧间编码、变换编码中的d c t 变化和它的一些 先进的抗误码算法。相对于以前的标准( h 2 6 3 、m p e g - 2 ) ，h