（信号与信息处理专业论文）视频多描述编码研究.pdf

南京邮电学院硕士学位论文 视频多描述编码研究 视频多描述编码研究 摘要 随着i n t e r n e t 带宽的不断增长，基于流媒体( s t r e a m i n gm e d i a ) 传输的视 频应用得到了迅速发展。在i n t e r n e t 上传输视频的相关技术也成为i n t e r n e t 研究和开发的热点。 在i n t e r n e t 上传输视频有许多困难，其根本原因在于i n t e r n e t 的无连接每 包转发机制主要是为突发性的数据传输而设计的，不适于对连续媒体流的传输。 为了在i n t e r n e t 上有效而高质量地传输视频流，需要多种技术的支持。本文主 要从压缩编码的角度分析了多描述编码方法是如何保证视频流高效稳定地传输。 本文改进并实现了一种基于二阶预测的多描述编码方法( e n _ m d m c ) ，并仿真 模拟了多描述视频在i n t e r n e t 上的传输，实验证明相比以往的基于二阶预测的 多描述编码方法( m d m c ) 及传统的单描述编码方法，e nm d m c 算法能获得更好、 更为稳定的图像质量，即使是在分组丢失率较高的环境下也能取得比较好的主客 观效果，具有一定的实用价值。 关键词：i n t e m e t ，差错复原，视频编码，多描述编码，二阶预测 南京邮电学院硕士学位论文 视频多描述编码研究 t h er e s e a r c ho f v i d e om u l t i p l ed e s c r l p t l 0 nc o d i n g a b s t r a c t w i t ht h eb a n d w i d t ho fh l t e m e tk e e p i n g i n c r e a s i n g t h ev i d e oa p p l i c a t i o n ss u c ha s s t r e a m i n g m e d i ah a v eb e e n d e v e l o p e d f a s t t h et e c h n i q u e sw h i c hc a nh e l pt ot r a n s m i t v i d e oo ni n t e m e th a v e b e e nah o t s p o ti nt h er e s e a r c ha n dd e v e l o p m e n to f i n t e r n e t w h e n t r a n s m i t t i n gv i d e oo ni n t e r n e t ，w ew i l lm e e tm a n y d i f f i c u l t i e sb e c a u s et h e p e r h o pm e c h a n i s m o fi n t e m e ti sd e s i g n e df o rb u r s t yd a t a ，n o tf o rc o n s e c u t i v ed a t a i n o r d e rt ot r a n s m i tv i d e os t r e a mo ni n t e m e te f f e c t i v e l y , w es h o u l dr e s o r tt om a n y o t h e r t e c h n i q u e s i nt h i sp a p e r , w ef o c u so u ra t t e n t i o no nc o m p r e s s i o ne n c o d i n gt e c h n i q u e a n ds t u d yt h em u l t i p l ed e s c r i p t i o nc o d i n g a ne n h a n c e da p p r o a c hf o rm u l t i p l ed e s c r i p t i o nv i d e oc o d i n gw h i c he m p l o y sa s e c o n d - o r d e rp r e d i c t o rf o rm o t i o n - c o m p e n s a t i o ni sp r o p o s e di nt h i sp a p e ra n dw e s i m u l a t et h em u l t i p l ev i d e ot r a n s m i s s i o no ni n t e m e t t h er e s u l to fo u rs i m u l a t i o n e x p e r i m e n ts h o w s t h a tt h ea p p r o a c hp r o v i d e di nt h i sp a p e rc a l lr e m a r k a b l yi m p r o v e t h es u b j e c t i v ea n d o b j e c t i v eq u a l i t yo f t h e r e c o n s t r u c t e di m a g e s k e yw o r d s ：i n t e r n e t ，e r r o rr e s i l i e n c e ，v i d e oc o d i n g ，m u l t i p l ed e s c r i p t i o n c o d i n g ，s e c o n d - o r d e r p r e d i c t o r 南京邮电学院学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：毯蒸日期：生：堑 南京邮电学院学位论文使用授权声明 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电学院研究生部办理。 研究生签名：j 泣导师签名：澎日期：生 南京邮电学院硕士学位论文 第一章引占 第一章引言 目前，基于i n t e r n e t 视频传输的流媒体应用在国内得到了迅速发展。网上 视频点播、可视会议、网上可视电子商务、网上政务等层出不穷的视频业务如雨 后春笋般地发展起来。而且，随着信息技术的发展和社会的进步，移动通信技术 有了迅猛的发展，与因特网结合，以数据和多媒体业务为主，在移动终端上向用 户提供不同服务质量和内容的个性化服务，正是3 0 b e y o n d 或4 g 等现代移动通信 技术的发展方向，如何在无线网络中高效地传输视频成为人们研究的热点。同时， 对于视频编码技术的研究一直在继续，视频编码的目标已由过去的面向存储转为 面向网络传输，低速率编码、容错性编码、多描述编码、可扩展编码等为视频编 码的热点课题。 i i 视频流式传输面临的问题 实时视频传输是多媒体业务的主要内容，在因特网和无线网络中有两种视频 传输方式：视频下载( d o w n l o a d a b l ev i d e o ) 和视频流式传输( s t r e a m i n gv i d e o ) 。 视频下载其实和文件下载没有本质区别，只是视频文件数据量一般非常大。下载 视频就是将整个视频文件下载到本地机器上，然后通过播放器播放。这种方式对 于传输机制的要求并不高，通常使用t c p 协议就可以了，然而它常常会带来无 法忍受的传输时延和占用大量的本地存储空间。相反，视频流式传输无需将整个 视频下载，在下载的同时可以播放观看，它的时延比较小，占用的本地存储空间 也不大。 虽然视频流式传输相对于下载方式有时延小、占用空间少的优势，但是视频 流式传输有服务质量的要求，服务质量受带宽、时延和误码率等的影响。无线信 道的可用带宽、传输速率具有时变特性，使得传输可靠性大为将低，信道误码率 很高。对于视频多播来说，由于网络结构多样，接收方情况复杂，高效灵活地实 现视频流传输也十分困难。 下面简要分析一下带宽、丢包、异构等因素对视频流式传输的影响。 1 带宽 南京邮电学院硕士学位论文 第一章引言 为得到可以接受的视频质量，视频流式传输有最小带宽的要求，然而当前因 特网只提供尽力而为的服务，并不支持带宽预留机制。众所周知，因特网流量是 随时间变换的，各个时刻的情况很不相同，因此可用带宽是不可预知、动态变化 的。 在无线网络中，视频流式传输不仅受带宽抖动的影响还受其他众多因素的影 响。无线信道的传输能力受多径衰弱、信道间相互干扰、噪声等的影响；当移动 终端从一个网络切换到另一个网络中( 例如从有线网络切换到无线网络) ，可用 带宽的变化十分剧烈；当有新的接入请求时，基站可能会没有足够的无线频谱资 源来满足新接入的移动终端的需要。无线信道的带宽随时间变化，更不可预知。 如果视频传输速率大于可用的带宽，就会发生拥塞，进而产生突发性丢包、 难以忍受的时延及视频质量的严重下降。反之，如果视频传输速率小于可用的带 宽，就不能充分利用带宽资源。因此，在视频流式传输中常用到拥塞控制机制， 使视频传输速率和可用带宽相匹配。 2 丢包和位错误 无论在无线环境中还是在因特网中，大部分的错误都是由丢包引起的。丢包 产生的影响与丢包类型有关，丢包类型有三种：单个包丢失、突发性丢包、暂时 的通信中断。 移动网络中的无线链接受到多径衰弱、信道之间的干扰、噪声的影响，位错 误率较高。位错误也可分为三种类型：单个位错误、突发性位错误、暂时的通信 中断。 无论是丢包还是位错误，都会发生错误蔓延，特别是对基于预测的视频编码 算法而言，错误蔓延更无法避免。传统的视频编码算法通过运动预测、运动补偿 来减少前后帧的时间相关达到高效压缩的目的。若运动矢量信息丢失，显然不能 准确恢复出原始图像。当受影响的区域又要作为后继帧的参考区域时，这个因丢 失引起的错误在时间和空间上就发生了蔓延。若纹理信息丢失，相应的区域将出 现重建误差，经过运动补偿之后，错误在时间和空间上也发生了蔓延。 因此为了在当前的网络环境中提高视频质量，需要使用差错复原技术。 3 异构 在讨论异构问题之前，先比较一下单播和多播。单播是点对点的传输，只涉 2 南京邮电学院硕士学位论文 第一章引言 及到一个发送方和一个接收方。而多播是一点对多点的传输，涉及到个发送方 和多个接收方。对于视频流传输，例如视频会议和网络电视，由于共享同一条线 路多播能够提高带宽的使用效率，与之对应的，单播不能充分地利用带宽。图 1 - 1 给出了一个例子，在( a ) 中，五条粗线代表五份内容在链路1 中传输，经过 一次路由后，剩下三份内容在链路2 中传输，而在( b ) 中只需一份内容就可满 足所有接收方的需要。但是多播没有单播灵活，单播服务中每个接收方可以独立 地设置服务参数，而在多播中，如( b ) 所示，所有的接收方都共享同一份内容， 服务参数也是相同的。 ( 曼，t j t c l m 、甜# o * * l r i i d u u “t 4 si * t a l l i p i t f 舢如- 协一p “i ，澍辩【l t 【i h b ) h v 蚺# 、幽od 溆n b d t ；n hu $ 啪p o i n i m 埒一眦a i p d 州啪蛳i i 鄹i o l 图1 1 单播和多播 在移动网络中，存在两种不同类型的异构：用户接收设备异构和用户对服务 质量、业务内容需求异构。手持无线终端( 手机、无线以及笔记本电脑等) 是无 线移动接入中使用的主要终端设备。这些终端设备在功率、显示能力以及内存、 硬件的支持等方面存在很大差异，每个用户的网络连接带宽也不尽相同。不同的 用户对服务质量、视频内容等的个性化需求，也有很大不同。 如何设计一个有效的多播机制，使之既能有效地利用带宽，又能满足多个接 收方的不同需求是个难题。 从上面的讨论可知，视频通信要解决的主要问题是如何既充分地利用带宽， 南京邮电学院硕士学位论文 第一章引言 又使视频质量根据接收方的不同需求尽可能的好。由于网络带宽及接收端处理能 力不相同，人们首先提出了分级编码的概念，将图像分为基本层和增强层，当网 络带宽不足时，仅传输基本层，保证基本的图像质量，当网络带宽较多时，基本 层和增强层都传输，图像质量较好。但分级编码带来的问题是，基本层必须收到， 若基本层没收到则即使收到增强层的数据也没什么作用。在分级编码中，为了保 证基本层数据一定收到，对传输可靠性提出了很高要求。而视频多描述编码则不 存在这个问题，多描述编码技术可以利用正确接收到的任何一个描述重构出有用 的原始信号，随着接收到的描述数量的增加，解码出的图像质量也逐步提高。采 用视频多描述编码算法，还可以利用其他描述中未受损害的帧来修复本描述中受 损的帧。这样，即便是两个描述都遭受了分组丢失，只要这两个描述遭受的分组 丢失不是同时发生，它们仍然可以维持有用的视频质量。正是由于多描述编码技 术具有较强的抗差错能力，它在视频通信中有着广泛的应用前景，多描述编码的 研究对于视频通信有着重要的意义。 1 2 论文所做的主要工作 本文研究了多描述编码的相关问题，实现了y a o w a i l g 等人提出的基于二阶 预测的视频多描述编码算法m d m c ( m u l t i p l ed e s c r i p t i o n m o t i o n c o m p e n s a t i o n ) 8 ，提出并实现了改进算法e n _ m d m c ( e n h a n c e dm u l t i p l ed e s c r i p l i o nm o t i o n c o m p e n s a t i o n ) 最后模拟了i n t e r n e t 的传输环境，并在模拟的环境中对e n _ _ m d m c 算法进行了测试。 1 3 论文安排 引言中简要介绍了当前视频通信中面临的常见问题，说明了多描述编码的产 生背景及研究多描述编码的必要性。 多描述编码属于差错复原技术的范畴，因此在第二章中首先介绍了视频差错 复原技术，然后重点介绍了多描述编码的模型及它和分级编码的区别。多描述编 码的应用很广泛，如音频的多描述编码、静止图像的多描述编码、视频的多描述 4 南京邮电学院硕士学位论文 第一章引言 编码等，在不同的应用领域提出了很多不同的算法思想。本文主要研究的是视频 多描述编码，因此在第二章中还介绍了常用的视频多描述编码算法思想。多描述 编码与多路径技术结合才能体现出它的优越性，最后简单介绍了多路径传输技术 及多描述视频流的传输框架。 第三章中首先详细描述了基于二阶预测的多描述编码原理，然后提出了 e nm d m c 算法并给出了编解码端完整的实现过程。 第四章模拟了多描述视频在i n t e r n e t 上的传输，分析了各种情况下 e nm d m c 算法的性能。 第五章对全文做了总结，指出今后工作的方向。 南京邮电学院硕十学位论文 第二章视频多描述编码与传输系统 第二章视频多描述编码与传输系统 多描述编码将单个视频信号编码成两个( 或两个以上) 独立的比特流，这些 独立的比特流称为描述。多描述编码有两个主要属性：( 1 ) 可以独立地对每个描 述进行解码并重构出可用的原始信号；( 2 ) 多个描述之间存在互补信息，随着正 确地接收到的描述数量的增加，解码出的图像质量也逐步提高。值得注意的是， 第一个属性不同于常规的可分级( 或可分层) 编码，常规的方法编码出的基本层 是至关重要的，如果失去基本层，剩下的其他层的比特流将毫无用处。然而，多 描述编码技术可以利用正确接收到的任何一个描述重构出有用的原始信号，随着 接收到的描述数量的增加，解码出的图像质量也逐步提高。采用多描述视频编码 算法，还可以利用其他描述中未受损害的帧来修复本描述中受损的帧。这样，即 便是两个描述都遭受了分组丢失，只要这两个描述遭受的分组丢失不是同时发 生，它们仍然可以维持有用的视频质量。多描述编码优越性还包括：多描述编码 系统可以获得较高的压缩效率，同常规的单描述压缩原理相比，它压缩所得的总 比特率只比后者略高。 采用多描述编码技术，在任意时间点上只要接收到至少一个描述，就可以有 效地再生出原始图像。因此，可以把多描述视频编码技术和多路径技术结合起来， 不同的网络路径传送不同的描述。由于不同路径的分组丢失现象是不相关的，因 此，多路径传输系统和多描述编码技术相结合，可大大提高多描述编码差错复原 的效率。 多描述编码属于差错复原技术的范畴，在介绍多描述编码技术之前，先介绍 一下常用的差错复原技术。 2 1 差错复原技术 受当前网络的限制，目前的视频通信面临着许多问题，最常见的就是分组丢 失，因此需要通过差错复原技术来提高图像的主客观质量。毒错复原技术涵盖的 内容非常地广泛，主要分为以下3 类：( 1 ) 在进行信源编码及信道编码时，采取 措施使比特流具备一定的错误恢复能力；( 2 ) 在解码端进行错误检测并进行错误 6 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 隐藏处理( e r r o r c o n c e a l m e n t ) ；( 3 ) 通过信源编码器和解码器之间的相互协作 编码器针对解码器所提供的传输信道特性等信息，自适应地调节编码参数。 2 1 1 差错复原编码技术 当前的视频编码标准都采用了同样的原理进行视频压缩，即采用运动预测和 运动补偿消除时间冗余，采用变换编码消除空间冗余，通过对色度空间的转换消 除色度空间的冗余。接着，对d c t 变换系数进行量化，对量化后的非零系数进 行变长编码和熵编码，以减少统计意义上的冗余，最后获得压缩后的比特流。 视频压缩技术在减少冗余信息的同时，也降低了视频流抗击错误的能力。不 管是面向比特流的传输( 如数字视频广播) ，还是面向分组的传输( 如基于p 网 络流媒体传输) ，压缩过的视频信号都不可避免地会遭受突发性的位错误( b i t e r r o r ) 或分组丢失( 在流媒体传输中，分组到达的时间超过一定期限一般也可视 为分组丢失) 等错误的攻击。因此，为了提高码流的差错复原能力，产生了许多 错误控制方法。 1 克服比特流同步丢失的编码方法 比特流同步丢失，是指错误导致解码器不能追踪到哪些比特位代表什么参 数，例如，当在可变长码字中出现1 比特错误时，不仅解码器不能对该码字正确 解码，同时因为码字的可变长特性，在下一个再同步点到来之前，解码器不能正 确理解比特流中接下来的比特位信息。因此，哪怕是单个的位错误( b i t e r r o r ) ， 也将导致丢失一连串的信息。克服比特流同步丢失问题的关键在于提供这样一套 机制：在错误发生的时候，解码器能够快速地把问题隔离开，并及时实旄“再同 步”。下面讨论两种使比特流获得再同步的方法。 再同步标记技术：使用再同步标记( r e s y n cm a r k e r s ) 是使比特流实现再同 步的最简单的方法，其基本原理如下：在比特流里设置唯一的而且容易找到的一 个入口点( e n t r y p o i n t ) ，一旦解码器失去同步，它能快速地找到下一个同步点并 从该点继续开始解码。 数据分割技术：解码靠近再同步标记的数据往往比解码远离它的数据更加精 确，这就促使我们把最重要的数据( 如运动矢量、d c t 的直流系数、m p e g 一4 中的形状信息等) 放置在紧靠再同步标记之后，接着再放置其他不太重要的数据 7 亘塞唑里兰堕堡主兰竺笙苎 丝三童望塑兰塑鲨堕塑复堡塑墨竺 ( 如d c t 的交流系数) 。这一方法在m p e g 一4 中被称作为数据分割( d a t a p a r t i t i o n i n g ) 。 2 空间域内的差错复原编码技术 当某帧内的某空间位置出现“位错误”时，可阻采用不同的方法恢复受损视频 片( v i d e os e g m e n t ) 内其他空间位置上未受损的信息。最常用的方法是采用鲁棒 熵编码技术( r o b u s te n t r o p y c o d i n g t e c h n i q u e s ) ，该技术具有比常规变长编码( v l c ) 更好的同步及错误定位性能。这些方法包括可逆的变长编码( r v l c ，r e v e r s i b l e v a r i a b l el e n 舀hc o d e ) 、定长编码( f l c f i x e d l e n g t hc o d e ) 等。 可逆的变长编码：h u f f m a n 编码等常规的变长编码( v l c ，v a r i a b l el e n g t h c o d e ) 只能进行前向解码，而可逆的变长编码( r v l c ，r e v e r s i b l e v a r i a b l el e n g t h c o d e ) 则具备后向解码的特性，在恢复丢失的数据的时候，这一特性十分有用。 例如：使用常规的变长编码时，若检测到比特流中的错误，解码器往往会跳到下 一个再同步标记；如果使用r v l c ，解码器并不丢失从错误位到下一个再同步标 记之间的数据，而是从再同步标记位开始，向后解码，直到下一个己被确定的错 误处，这样就可以恢复部分数据，而不是全部丢弃。不过，r v l c 的编码效率要 低于v l c 。 定长编码：v l c 中，输入的是固定长度的码字( c o d e w o r d ) ，输出的则是长 度可变的符号。与此相反，f l c 则是把可变长度的输入码字映射成固定长度的块 编码( b l o c kc o d e ) 。f l c 同v l c 相比，因为f l c 的每个码字的开始位置和结束 位置是己知的，丢失信息的情况将被限制在单个码字里，因此f l c 有着良好的 同步能力。不过，虽然f l c 提供了码字同步，可是它不保证码字之间在空间上 的同步，因此仍然需要同步码字( s y n cc o d e w o r d ) 。例如，如果一个代表d c t 信 息的f l c 码字受损，该码字会变成该帧内表示另一个空间位置的码字，也就是 说变成了另外的d c t 块，接下来解码出的数据会出现在错误的空间位置上，直 到检测到下一个同步码字恢复同步。此外，f l c 压缩编码效率比v l c 低，妨碍 了f l c 的广泛应用。 3 时间域内的差错复原编码技术 如果有错误发生，即使对比特流实施再同步，仍然会出现另一个至关重要的 问题：解码器表示出的状态同编码器的状态不相同，尤其是当采用运动预测和补 南京邮电学院硕士学位论文 第= 章视频多描述编码与传输系统 偿技术的时候，这种不匹配，会导致预测错误以至出现显著的错误蔓延，严重损 害后续的很多帧。下面讨论时间域内的差错复原编码技术。 ( 1 ) 帧内编码 限制错误蔓延最简单的方法是只采用帧内编码帧( 即i 帧) 。由于i 帧没有采 用任何的时域预测，因此避免了错误的蔓延，然而它的压缩效率却十分低。另 一个方法就是周期性地采用i 帧，如m p e g 视频流层次结构中就采用了图组 ( g o p ) 结构，每个g o p 的起始帧就是i 帧，这种周期性地重新初始化预测环 的方式，可以把错误蔓延的范围限制在最多一个g o p 的范围内。然而，周期性 地使用i 帧限制了压缩效率的提高，在比特率很低的视频应用场合，如无线信道 上的视频传输或因特网上的视频传输，这种方式不合适。因此，可以对每一帧采 用局部的帧内编码，即只对独立的宏块而不是整个帧实施帧内编码，其中最简单 的方法就是对不同位置的的宏块实施周期性的帧内编码，也可以根据宏块的内 容、信道丢失模型以及对易于丢失的宏块的估算，决定最优化的帧内编码模式。 采用帧内编码来减少错误蔓延，存在许多优点和缺点。优点有：由于周期性 地重新初始化预测环，帧内编码成功地限制了错误的蔓延；只是使编码器变得复 杂，解码器依然相对简单。缺点有：采用帧内编码使得数据量较大。 ( 2 ) 参考帧选择 在编码器和解码器端都存储有多个前面已编码解码的帧，当出现分组丢失时， 解码器就通知编码器，它在什么时候已经正确地或错误地接收到哪些帧，于是 由编码器决定哪一帧应当作为下一次预测编码用的参考帧。h 2 6 3v 2 采用的“参 考帧选择”方法( r p s ，r e f e r e n c ep i c t u r es e l e c t i o n ) 和m p e g - 4v 2 中的n e w p r e d 方法就是基于这一原理。具有实时编码能力，同时r t t 十分短暂，又具备可靠 的反向信道，这样的点对点通信系统采用r p s 能够十分有效地克服分组丢失问 题。然而，当r t t 增大时，r p s 有效性也随之降低。 4 可伸缩编码 可伸缩编码方法是将视频信号编码成一个基本层和一个( 或多个) 增强层。 可伸缩性( 也叫可分级性) 的形式很多，包括时域的、空域的和s n r ( 质量的) 可伸缩性以及目标可伸缩性( o b j e c ts c a l a b i l i t y ) 、精细粒度可伸缩性( f i n e g r a i n s c a l a b i l i t y ) 等。可伸缩编码的基本原理是把视频数据区分成不同的优先级，根 9 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 据优先级可以对某些数据进行智能丢弃( 例如，在实际应用中，即使丢失增强型 的数据，接收端仍然可以保持可观看的视频质量) 。由于视频数据的优先级不同， 利用这个特点，就可以采用非均等保护的方式( u e p ，u n e q u a l o f p r o t e c t i o n ) ， 或者按优先级进行传递等方式对视频数据进行可靠传递。因此，可伸缩编码可以 很好地同支持差分服务( d i f f s e r v ) 等不同q o s 方式的网络匹配。 5 多描述编码 有关多描述编码的详细介绍在2 1 4 节中。 2 1 2 差错掩盖 即使在视频通信中采取了种种差错复原的措施后，仍有分组丢失和误码现象 发生。此时解码端可采用差错掩盖( e r r o rc o n c e a l m e n t ) 技术进一步减小差错对重 建图像质量的影响。差错掩盖技术是在数据丢失的情况下，由接收端采取的一种 “后处理”技术。差错掩盖技术本身并不能更正误码并恢复其原始数据，而只是 利用视频图像在时间和空间上的相关性，寻找另外一些相关的数据来代替出错的 数据，设法使发生的差错在视觉上尽量不被察觉出来，从而达到差错掩盖的目的。 由人眼的视觉特性可知，当视频出现一定程度的失真时人眼是察觉不出的，所以 可以利用人眼的这一特性在视频码流发生错误后对错误解码的图像进行掩盖。相 对于其它的方法而言，差错掩盖技术不需要增加额外的码率，仅是在解码端增加 了很小的时延和计算的复杂度。 对于采用基于块的混和编码方式的编码器而言，在受损的宏块中有三种类型 的信息需要去估计：纹理信息，包括像素或d c t 系数值；运动信息，包括p 模 式和b 模式下中的运动矢量；宏块的编码模式。由于自然图像含有大量的低频 成分，若除去边角地带，时间和空间相邻的像素的值非常平滑。所有用来恢复纹 理信息的技术都是利用了图像视频信号的平滑特性，并且主要采用了时域空域 掩盖的方法。 1 纹理信息的恢复 目前人们已经提出了许多差错掩盖方法来减少由于误码造成的不良影响。主 要可以分为时域掩盏和空域掩盖，分别适用于不同的情况，比如在运动量大的场 t o 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 合下，图像的空间相关性大于时间相关性，适宜采用空域掩盖，目前还提出了一 种自适应差错掩盖的方法，可以根据不同的情况选择不同的掩盖方法。 2 编码模式和运动矢量的恢复 上面的纹理部分的差错掩盖算法依赖于编码模式和运动矢量，因此讨论这二 者的恢复问题是非常有意义的。为了方便解码器进行差错掩盖，编码器可以进行 数据分割，将编码模式和运动矢量打包成独立的部分并对其采用更有效的差错保 护方式( 在h 2 6 3 和m p e g 一4 标准中都有使用) ，但是编码模式和运动矢量仍有 可能会丢失。对编码模式估计的方法是通过搜集邻近宏块的编码模式的统计特 性，并找到和受损宏块周边的宏块的模式最相象的一个。对于p 帧，在宏块数据 出错时，运动矢量通常也会丢失或解码有错，因此需要用周围宏块的运动矢量进 行估计，搜索最适合的块进行替代。 2 1 3 交互反馈的差错控制 若编码器到解码器之间有反馈信道时，解码器可以通知编码器哪一个部分由 于传输差错而受损，编码器就可以相应地进千亍调整以减少差错带来的影响。如果 传输网络支持a r q 协议，最直接的方法就是重传丢失的分组。如果判断重传后 的分组时延能够低于该应用所限制的时延的最大阂值，就可重传。然而对于有些 实时应用来说，重传带来的时延是不可接受的，只要差错持续的时间不是很长， 有一些差错是可以接受的，因此即使不能对差错进行纠正，限制了差错传播的范 围也是很重要的。因此提出了一种基于反馈的差错控制技术，解码器利用反向信 道向编码器表明数据流中的那一部分被正确接收，或那一部分无法解码需要重 传。该反馈信息是通过传送a c k 或n a c k 信号实现，这些信息一般不作为视频 数据的一部分而是在控制信息交换的协议层实现。 与以前的差错掩盖方法相比，反馈方法的差错掩盖性能有很大提高。反馈差 错掩盖法能有效地隔离误码，阻止误码在时间域上的扩散。从而大大减少了误码 对图像质量的损伤，这是以前一般的差错掩盖方法所不及的。但不足之处在于它 需要占用一定量的反向传输信道，在实际系统中很多情况下是难以实现的。下面 对重传机制和一些根据解码器反馈信息调整编码器操作的技术进行介绍。 南京邮电学院硕士学位论文 第二苹视频多描述编码与传输系统 1 重传 重传技术在非实时的数据通信中的应用十分成功。目前常用的重传机制是自 动重传请求a r q 。重传机制的主要思想是根据包的预定调度播放时间、当前时 间、估算的单程时延或往返时延r w 来决定是否重传或请求重传。其实现方式可 以是基于源端控制，基于接收端控制也可以是源端和接收端的混合控制。传统观 点一般认为它不适合于实时视频传输，因为视频应用对实时性要求非常高。但是 这种观点正在发生变化。即使是洲际交互式业务，一次重传也仅仅增加7 0 ms 。 另外有观点认为重传会加大信道负载，进而增加重传请求，造成恶性循环。针对 这些问题，人们提出了时延受限的重传和根据丢失数据包的重要性程度有选择地 重传等多种改进方法，因此重传技术在视频传输中的应用越来越广泛。 2 差错跟踪( e r r o rt r a c k i n g ) 技术 差错跟踪方法的基本思想是通过编码器跟踪到的解码端受到损坏的宏块的 情况，对该宏块采用帧内模式编码以停止差错在时间上的传播。该方法中编码器 对每一帧的宏块解码过程进行跟踪，如果某个宏块丢失或严重受损，通过反馈信 道编码器便会收到该宏块数据损坏的n a c k 信号，于是对该宏块区域立刻停止帧 间编码，而采用帧内编码。如果多个宏块被严重破坏，则这些宏块区域都将采用 帧内编码。该方法有效抑制了由于帧间编码而引起的差错帧间传播和由于运动补 偿预测引起的差错空间扩散。但是，这种处理仅限于在那些遭到严重影响的图像 区域内使用，如果差错掩盖处理做得较好，该宏块的差错很小，编码器仍会继续 使用帧间编码。 不同于a r q 等重传技术，差错跟踪不需要重新传输被损坏的数据，所以在 编解码器之间不会引起更多的时延，差错延迟时间仅为系统固有的环路时延，即 从解码器送f l j n a c k ，到帧内编码后的宏块收到为止。因此，这种方法特别适合 于时延较小的应用。差错跟踪技术特别吸引人的另一个方面是不需要对比特流的 语法等作任何修改，可以完全兼容h 2 6 3 和m p e g 。4 等标准。i t u t 已将前帧掩盖 技术和差错跟踪技术作为h 2 6 3 + 的基本内容，并在h 2 4 5 扩展中采用了n a c k 方式。 1 2 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 2 1 4 多描述编码 多描述编码起源于多用户信息论的发展，最早由贝尔实验室在2 0 世纪7 0 年代的时候应用于电话网的语音传输中。当时为了提供无中断的语音服务，人们 通常使用备用链路。但是只有在线路情况恶劣的情况下，这些链路才发挥作用， 因此大多数时候，这些链路是不发挥作用的，这种方法占用了资源，提高了费用。 人们就开始想是否有这样一种办法，既不使用备用链路又能提高传输可靠性。当 时提出的方法就是将信号源拆分成两股信号，通过不同的链路传输，正常情况下， 接收端混合这两股信号，以达到原有的语音效果，若其中一链路发生问题，接收 端仍能通过另一链路恢复出语音信号，只是这时的语音质量要差一些。这可以看 作是多描述编码的萌芽，此后多描述编码引起了人们的关注，有关多描述编码的 研究也开展起来。 多描述编码可以描述成这样个问题：在发端，一个信息源有多种描述形式， 这些描述构成一个集合，接收端如何从集合的子集中尽可能精确地恢复出信息 源，这与多用户信息论中的多址接入问题十分相似。实际上常把多描述编码抽象 成多用户信息论的问题，很多多描述编码的理论结果直接来源于多用户信息论， 或是用其中的方法、结论加上特定的条件推导得到。多描述编码的模型见下图： 信源 图2 - 1 多描述编码模型 信源通过多描述编码器得到5 。、s ：s 。多个描述，各描述通过独立的信道传 送到解码端，解码器最少接收0 个描述，最多接收n 个描述，总共有2 8 种接收 南京邮电学院硕士学位论文第二章视频多描述编码与传输系统 情况。显然接收到的描述数目不同，解码器能恢复的信源程度也不同，当所有描 述都收到时，能最大限度地恢复信源，收到的描述少，恢复的效果要差一些。有 关收到描述与信源失真之间的关系一直是多描述编码的难点，在理论上它等价于 多用户的信息率失真问题，但在应用中不完全由理论指导实践，还要考虑算法复 杂度、算法效率等实际问题。目前对于两描述的情况，已经在理论上取得了一些 结论。以下图为例： 竺匮匪爵# 囤 笔 h 隅翱码后 l 叫解码器3 卜_ + 图2 2 两描述编码的框图 r 。、r ：表示信道1 、2 的速率，d ，、d 。、d ：分别表示解码器1 、2 、3 带来 的失真。若信源是无记忆的高斯信源，其均方差为盯2 ，那么( r ，胄：，d 。，d 1 ， d ：) 满足如下条件： d ；盯2 2 。2 ，i = l ，2 d 。盯2 2 2 。+ 。2 + 如( 墨，r 2 ，d i ，d 2 ) 如果d 。+ d 2 盯2 + d 0 ，则y d = 1 ，否则 1 2 i 1 而面d 示蜀d 刁乖d i 2 丽。 。“ 一( ( 1 1 ) ( 1 2 ) 一d l 2 _ 2 焉+ 尥) 2 这只是最简单的高斯无记忆信源时的情况，实际的信源比这要复杂得多，有 关多描述编码的理论研究工作一直在进行中。 在实时视频传输中，多描述编码作为保证传输可靠性的一种有效方法得到了 应用。其基本思想是对同一视频内容采用多个描述，每个描述分别在独立的信道 上传送，并且接收端根据每个描述都可以获得可接受的视频质量，同一视频的多 1 4 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 个描述结合起来可以使视频质量得到增强，如图2 - 2 所示( 给出的是两描述的情 况) 。该方法的前提条件是在发送端和接收端之间存在多个独立的并行信道，各 信道的误码情况都是相互独立的，即所有信道同时发生误码的概率很小。进行 m d c 编码的意义在于，如果一幅图像是通过多个独立的描述的叠加合成的，那 么，丢失其中的一个描述只是降低重建图像的质量，而不会终止整个解码过程。 例如，通过下采样把一幅图像分成若干个子图像并进行独立压缩编码传输的情 况，很显然，如果丢失其中的一个或几个子图像，仍然可以通过没有丢失的子图 像重建该图像，只是其质量较原图像差一些。 为了保证从任一描述中都可以恢复出一定质量的视频，每个描述都必须包含 足够多的视频信息，这意味着多描述编码方案要比一般的编码方案的效率低。但 是由于同一视频内容的所有描述在传输过程中同时被破坏的概率非常小，因此与 一般编码方法相比，这种编码方法虽然会降低压缩效率，但在传输时提高了可靠 性。 另外一种和多描述编码有类似之处的提高传输可靠性的方法是分级编码。传 统的分级编码将视频信息分成几个重要性不同的层进行传输，每一层依赖于它下 面的所有层，其中基本层包含了视频最重要的基本信息，可以保证最基本的图像 质量；增强层的作用是在基本层的基础上进一步提高图像质量，接收端根据接收 到的层信息进行解码得到对应于不同质量的视频图像，如图2 3 所示。分级编码 通过对基本层和增强层采取不同的保护机制使得基本层发生丢包或误码的概率 比增强层小，从而保证了在出现传输差错的情况下，重建图像仍然有一个可以令 人接受的质量。 图2 3 采用分级编码的视频传输系统 南京邮电学院硕上学位论文 第二章视频多描述编码与传输系统 分级编码要求基本层必须收到，增强层是基于基本层的，若没收到基本层， 增强层也不能解码。因此分级编码要求基本层在无差错的信道中传输，通常要和 前向纠错码( f e c ) 或自动要求重发机制( a r q ) 联合使用。f e c 要求带宽比较 多，而且f e c 的设计和网络状态密切相关，而网络状态恰恰是最难估量的。采 用a r q 带来的问题是丢失包重新收到的时延比较长，因此，在实时视频传输中， 这种方法有一定的局限性。多描述编码相对分级编码的一个显著特点就是它对传 输的要求降低，不要求一定要存在一条准确无误的传输链路。 2 1 5 总结 2 1 节中比较系统地介绍了视频差错复原技术，每种差错复原技术都有其特 定的应用范围，在实际应用中可以将多种技术结合起来以提高图像质量。采用差 错复原技术的代价是增加了一些比特开销，增加了一定的时延和实现的复杂度， 因此在具体应用时需要根据实际情况折衷考虑。相对其他的差错复原技术而言， 多描述编码技术是比较晚才出现的技术，对于多描述编码技术的研究并不充分， 但是它所显示出来的优越性，特别是在错误率较高的环境中表现出来的的良好性 能，表明它具有较强的研究价值。 2 2 视频多描述编码系统 在视频多描述编码系统中，视频被编码成多个可以独立解码的描述，每个描 述都有自己的预测过程和状态信息，如下图所示。如果某个描述被破坏了，而其 他的描述是正确的，这些正确接收的描述可以进行解码，而且可以利用这些描述 恢复出被破坏的描述。 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 、哥量外 h 翘h eb a c kc h a n n e l 图2 - 4 视频多描述编码系统 1 编码端或者是两个独立的传统编码器或者是一个具有多个参考帧的编码器， 这样做的目的是为了保证编码的每个描述都有自己的预测过程和状态信息。最简 单的一种编码方法就是将输入的视频按照奇偶帧编码成两个描述，这时的编码过 程与传统编码过程没有任何不同，只是输入端的数据不同。但是因为各个帧之间 的时间间隔变大，相关性减弱，使得编码效率降低。 与编码端类似，解码端或者是两个独立的传统解码器或者是一个存储了多个 参考帧的解码器。多描述方法有利于差错掩盖和状态恢复。如下图所示： c o n v e n t i o n a la p p r o a c h p 咛咚r ，_ n c o d e d ： i tp 2p 3p 4 p 5p 6p 7p e oq 1 里i s p j a y e o123 1 01 1 f 。4 。8 ： ，1 厂、一一 f r e e z ef r a m e ( o r 。f h 日re o n c g a l m e n t ) m u l t i p l es t a t ea p p r o a c h 洲刮r p r r r 乳 ( t w os t r e a m s ) = ， r r r r q p 旦_ s p l a y e d ：123 46 81 0 、_ 、厂 r e d u c e df r a m er a t e 图2 5 差错掩盖和状态恢复 传统方法中若某帧丢失，只能用利用丢失帧的前一帧进行恢复，而在多描述 方法中，可以得到丢失帧的前后帧，利用这两帧显然可以更好地恢复出丢失帧， 而且，使用多描述方法可以估计状态恢复的质量。已知用正确接收到的流可以再 1 7 o o ； 乜芑己；scou中叱 coil西竺3eeoj 南京邮电学院硕士学位论文 第二章视频多描述编码与传输系统 生出被破坏的流，类似地，再用再生出的流来估计那些已经被正确接收的流，这 个估计出来的流与正确接收的流之间的匹配程度就反映了状态恢复的质量。而在 传统的单描述方法中，要估计差错复原的质量是非常困难的，因为解码端得不到 任何本应正确接收的帧的信息。差错复原的质量对于解码端采取什么样的措施具 有指导意义，如果复原质量在可以接受的范围内，则可以继续使用原来的方法， 如果复原质量非常的差，这时可以丢弃被破坏的帧，等待下一个同步。 状态恢复的问题和运动补偿内插( m c i ) 的问题有类似之处，它也是利用前 后帧来预测当前帧。运动补偿内插的许多算法和思想都可以用到状态恢复中来。 但他们的目的是不相同的，m c i 是为了让观看效果更好，而状态恢复是为了产 生被破坏帧的精确估计，作为后继帧的参考帧。因此预测精度而不是视觉效果对 状态恢复来说更为重要的。 2 3 常用的多描