（信号与信息处理专业论文）移动视频传输容错技术的研究.pdf

硕七学位论文 摘要 近年来，通信技术特别是第三代无线移动通信的高速发展，视频通信逐渐成为通信 的主要业务之一。但是由于无线信道易错、时变、带限的特点，以及多径现象导致的慢 衰落和快衰落现象，使得无线信道的误码率要比有线环境大得多。同时由于带宽限制， 视频信号在传输前必须进行高效的压缩编码，也使视频码流对信道误码十分敏感，少量 的码元错误就可能导致大批码元无法正确解码。由于传输效率、实时性等要求，在许多 应用场合，过强的纠错编码、重传机制等差错控制方法并不适于视频传输，因而必须寻 找更适于视频传输的差错控制方法。 通过系统的分析目前国际视频编码标准，以及视频通信系统中各部分的抗误码、纠 错、容错等抗误码算法和编码模式方法，总结出一套适于移动信道视频传输的新方法。 该方法将联合信道率失真算法引入到系统当中，利用全局的率失真模型，结合移动信道 特性，合理地分配信源和信道码率，并基于h 2 6 4 视频编码标准和实时传输协议r t p ，对 原有容错编码方法中的随机帧内编码宏块刷新方法、灵活宏块排序方法和基于丢包反馈 的自适应数据分割选择模式进行了改进。经试验证明，在低带宽高误码的无线信道环境 下，所提出的方法提高了视频图像的质量。 最后，在借鉴传统移动视频通信系统错误隐藏技术的基础上，利用视频信号在空间 域和时间域存在的相关性，基于残差恢复的m c 隐藏算法，实现了更为准确的错误隐藏。 该算法实现简单，复杂度低，利于移动信道传输；与运动补偿错误隐藏相比，该方法能 有效的提高移动信道视频图像传输质量以及视频质量。 关键词：多径现象；衰落；联合信道率失真算法；残差恢复；帧内编码；错误隐藏 移动视频传输容错技术的研究 a b s t r a c t i nr e c e n ty e a r s , w i t ht h ed e v e l o p m e n to ft h i r dg e n e r a t i o nc e l l u l a ra n dt h ep r o m i s eo f w i d e b a n dw i r e l e s sc o n n e c t i v i t yt e c h n o l o g y , t h ev i d e oc o m m u n i c a t i o ng r a d u a l l yb e c a m e i m p o r t a n tp a r to fc o m m u n i c a t i o n h o w e v e r , t h ee r r o rb i tr a t eo fw i r e l e s sc h a n n e li sh i g h e r t h a nt h a to fw i r ec h a n n e l ，b e c a u s et h ee r r o rp r o n e n e s s ，t h et i m e - v a r y i n ga n dt h eb a n d w i d t h l i m i to fw i r e l e s sc h a n n e l a sw e l la st h ef a s tf a d i n ga n dt h es l o wf a d i n gf o rt h em u l t i - p a t h p h e n o m e n a a tt h es a m et i m e a s ar e s u l to fb a n d w i d t hl i m i t , t h ev i d e om u s tb eh i g h c o m p r e s s e db e f o r et r a n s m i t t e d ，s ot h eh i g hc o m p r e s s e dv i d e o i ss e n s i t i v et ot r a n s p o r te r r o r , a l i t t l eo fc o d e se r r o rm a y b er e s u l ti nm a n yc o d e su n d e c o d e dc o r r e c t l y d u et ot r a n s m i s s i o n e f f i c i e n c y , r e a l t i m e e ta l ，i nm a n ya p p l i c a t i o ns i t u a t i o n ，s o m ee r r o rc o n t r o la r en o tf i tt o v i d e ot r a n s m i s s i o n ，s u c h 勰e r r o rc o r r e c tc o d ea n dr e p e a tt r a n s m i s s i o n ，t h u s ，w en e e dt of i n d m o r ee f f i c i e n te r r o rc o n t r o lm e t h o df o rv i d e ot r a n s m i s s i o n b ys y s t e m i ca n a l y s i so fc u r r e n ti n t e r n a t i o n a lv i d e oc o d es t a n d a r da n d e r r o rr e s i l i e n c e ， e r r o rc o r r e c t , e r r o rc o n c e a l m e n ta l g o r i t h ma n de n c o d em e t h o di nt h ev i d e oc o m m u n i c a t i o n s y s t e m ，an e wm e t h o dt h a ta d a p tt om o b i l ev i d e ot r a n s m i s s i o na r es u m m a r i z e d t h ej o i n t c h a n n e lr a t e d i s t o r t i o na l g o r i t h mh a sb e e nu s e di nt r a n s m i s s i o ns y s t e m t h i sm e t h o du s e r a t e d i s t o r t i o nm o d e ia n dc o n s i d e rt h em o b i l ec h a n n e lc h a r a c t e r i s t i cw h i c hb a s e do nt h e h 2 6 4c o d e ca n dr e a l t i m et r a n s m i s s i o np r o t o c 0 1 a n di m p r o v e do nt h er a n d o mm a c r o b l o c k r e f r e s hw a yi ni n t r af r a m ec o d i n g ，t h ef l e x i b l em a c r o b l o c ko r d e r i n gm a p p i n gt e c h n i q u ea n d t h ea d a p t i v ep a c k e t s - l o s tf e e d b a c k b p e r i m e n t a lr e s u l t ss h o wt h a ti tc a no b t a i ng o o dv i d e o q u a l i t yu n d e rt h el o wb a n d w i d t ha n dh i g he r r o rw i r e l e s sc h a n n e lc o n d i t i o n s c o n s i d e r i n gt h em o d e lo ft r a d i t i o n a lm o b i l ev i d e oc o m m u n i c a t i o ns y s t e mf o r e r r o r c o n c e a l m e n t an o v e le r r o rc o n c e a l m e n ta l g o r i t h mi sp r o p o s e db yu s i n gt h er e l a t i v i t yo fv i d e o i ns p a t i a la n dt e m p o r a l ，a n db yr e s i d u er e s t o r a t i o nb a s e do nm cc o n c e a l m e n ta l g o r i t h m t h i s m e t h o di su n c o m p l i c a t e d , s i m p l yr e a l i z e da n df i tt om o b i l ec h a n n e lt r a n s m i s s i o n i t 啪 e f f e c t i v e l yi m p r o v em o b i l ec h a n n e lv i d e op r o p e r t i e sc o m p a r e dw i t hm o t i o nc o m p e n s a t i o n e r r o rc o n c e a l m e n ta l g o r i t h m k e y w o r d ：m u l t i - p a t hp h e n o m e n a ；f a d i n g ；j o i n tc h a n n e lr a t e d i s t o r t i o na l g o r i t h m ；r e s i d u e r e s t o r a t i o n ；i n t r af l a m ec o d i n g ；e r r o rc o n c e a l m e n t 硕士学位论文 插图索引 图2 1 使用r v l c 的错误检测l o 图2 2 肝e g 一4 数据分割语法l o 图2 3h 2 6 3 + + 数据分割语法l l 图2 4 分层视频编码框架1 2 图2 5 多路描述编解码框图1 4 图2 6p o c s 方法1 5 图2 7h 2 6 3 中的参考帧选择模式1 7 图3 1 平滑表面反射2 3 图3 2 两径传播模型2 4 图3 3 入射角a 2 6 图3 4 脉冲展宽3 0 图3 5 典型的时延谱3 0 图3 6 多径环境示意图3 2 图3 7 多普勒频移功率谱3 4 图3 8 二阶m a r k o v 无线信道模型3 6 图4 1h 2 6 4 无线通信传输结构4 2 图5 1 宏块边界像素4 7 图5 2 边界残差恢复方向4 8 图5 3 点插值滤波4 8 图5 4f o r e m a n 第8 6 帧隐藏效果的对比4 9 m 移动视频传输容错技术的研究 附表索引 表2 1i v i p e g 一2 中不同尺度模式比较1 3 表4 1 两种模式相同p s n r 时的比特率比较4 3 表4 2 两种模式丢包情况下的p s n r 比较4 3 表5 1 残差恢复与肘c 隐藏算法的p s n r 的比较5 0 l v 兰州理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成 果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表 或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律后果由本人承担。 名；土牖 日期悯年j 月哆日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向 国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权兰 州理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影 印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密囤。 ( 请在以上相应方框内打“4 ”) 作者签名： 导师签名： 多菇 网 l 印秋l o _ i _ _ - d 日期：) 内年 f t 期：砷年 月杉日 j 月哆日 硕士学位论文 1 1 研究背景 第1 章绪论 随着科学技术的进步，人类社会进入了崭新的信息时代，人们对于通信的要求也越 来越高。人们要求能够实现任何时间( w h e n e v e r ) 任何地点( w h e r e v e r ) 与任何人( w h o e v e r ) 之间进行任何业务( w h a t e v e r ) 的通信，并且充分地利用有限的、宝贵的信道资源。现有 的各种通信业务己远远不能满足人类对通信的需求，为了提供更具有人性化的交流环 境，进一步发展视频通信是很自然的趋势。因此，移动多媒体通信，特别是高质量的移 动视频通信的研究越来越得到重视。 移动网络由于传输信道中存在多径现象与随机干扰，因此数字信号传播不可避免的 会出现差错，这种差错既有随机错误又有长突发错误。 数字化的视频信息数据量极大，为了能使其在现有的网络中进行传输，必须对视频 信息进行高效的压缩，高效压缩的视频由于采用了可变长编码和运动补偿技术等，对传 输中的错误十分敏感，一旦传输中出现了误码，不仅影响该误码的恢复，还会影响与之 相关的其他数据的恢复，造成“误码扩散”c l , 2 严重降低视频业务的服务质量。 例如，由于带宽的限制，在进行无线信道编码时，类似q c i f ( 1 7 6 x1 4 4 象素) 序列的 一帧图像被分成2 - 3 个包。因此，一个包丢失导致的突发错误可以引起一帧中的数据宏 块的丢失。1 。对于压缩的视频序列，突发错误不仅破坏当前帧的解码，还会影响以此为 参考的后继帧的解码。 显然提高视频编码的抗误码能力是保证视频传输鲁棒性( r o b u s t n e s s ) 的一个重要 方面，也是提高视频传输质量的关键。抗误码技术( e r r o rr e s i l i e n c e ) 啪，其实质在于 无论何时何处检测到误码，都使因此而丢弃的数据量为最少，或者说使误码造成的伤害 为最小。抗误码方法可以粗略的分成三个部分：信源与信道的抗误码算法、错误隐藏算 法、编解码器交互式算法。 1 2 信源与信道的抗误码算法 信源编码器和信道编码器是视频信号发送端的两个重要环节，近年来研究设计信源 信道的抗误码技术得到了人们的广泛重视，主要的方法有前向纠错编码、分层编码和 分级传输、多描述编码、信源信道联合编码等。 移动视频传输容错技术的研究 1 2 1 前向纠错编码 前向纠错编码是通过信道编码器在数据流中加入一定数量的冗余码字，接收方通过 冗余码字对错误数据进行检错或纠错。例如：在h 2 6 1 中，每4 9 3 比特数据要添加1 8 比特 的前向纠错码。 前向纠错编码是保证信号正确传输的有效方法，也是视频容错技术发挥作用的基 础。但是，为了将这一传统的抗误码方法应用于移动视频信道，需要加入大量的冗余信 息，降低了编码效率；对于移动信道中的突发错误，f e c 纠错更加困难，需要采用交错 技术使突发错误变为随机比特错误。袁东风等对r s ( r e e d - s o l o m o n ) 码4 1 卷机码( 2 ，1 ，3 ) ， ( 2 ，1 ，5 ) 旧，b c h 码”1 等在移动信道中纠错性能进行了研究，但是所做的仿真实验最高传 速率为4 8 0 0 b i f f s ，不能满足视频传输的要求。 1 2 2 分层编码 为了保证正确传输并且提高编码效率，一种最为有效的编码方案是分层编码与分级 传输( 1 a y e r e dc o d i n gw i t ht r a n s p o r tp r i o r i t i z a t i o n ) 3 。在分层编码中，视频信号 被分为两层以上的结构，即基本层和增强层。基本层包含视频信号中最重要的信息，并 可获得基本的图像质量。而增强层包含视频信号的细节信息，它可以提高视频的恢复质 量。为了抵抗信道干扰，分层码流结合分级传输，可以保障基本层码流受损程度低，甚 至不受损，从而保证接收端总可以得到一定质量的视频信号。不同的网络可以使用不同 的分级传输机制。在功率受限的无线环境下，可以利用不同的功率传送不同层次的码流。 此外，这种优先级也可以表现为不同的误码控制方案，如基本层码流传输可以附加更强 的前向纠错编码机制和检错重发机制，而增强层码流传输中采用较弱的纠错编码机制 等。 在m p e g 一2 中，分层编码也称可扩展编码，并分为四种类型：空域分级扩展、时域分 级扩展、信噪比( s n r ) 分级扩展和数据分割扩展“。在空域分级扩展中，基层对亚采样 后的视频信号进行编码，增强层则包含用于得到高空间分辨率的附加信息。在时域分级 可扩展编码中，基层包含一个具有较低帧率的比特流，而增强层则包含可得到高帧率的 增强信息。在s n r 分级可扩展中，基层用较粗的量化器对视频信号进行编码，而细节信 息则用增强层来编码。至于数据分割可扩展，将最重要的信息，如头、运动矢量、d c 系 数放到基层；而不太重要的部分，如d c t 系数则放到增强层。 分层编码的缺点是增加了编解码器的复杂程度。对于无线传输来说，误码率很高， 2 硕七学位论文 基本层的信息仍然需要使用很多的冗余码字加以保护；而增强层的信息由于较弱的保 护，难以正确传输，解码端很难获得有用的增强层信息。因此，分层编码在移动视频通 信中的编码效率提高的同时，高质量的视频难以实施。 1 2 3 多描述编码 分层编码与分级传输方案下，要求基本层码流数据基本无误传输，而一旦基层数据 遭到破坏，则会导致图像质量的严重恶化，因此需要通过很强的前向纠错和重发机制， 使基本层码流能够基本上无误码地传输。但是对于某些应用，特别是无线传输来说，由 于带宽有限，不能加入太多的冗余码字对基层数据加以保护，在这种情况下，比较适合 的方法就是使用多描述编码( m u l t i d e s c r i p t i o nc o d i n g ) 。这种方法假设在发送端和接 收端之间有多个独立的并行信道，每个信道同时发生误码的概率较小。这些信道在物理 上可能有不同的路径，如无线多径网络或者包交换网络。即使仅存在一条物理信道，该 路径也可以划分成多个虚拟信道，如通过时间交织、频率复用等技术。 采用多描述编码，发送端将视频信号编成几个子数据流( 被称为“描述”) ，然后将 这些子数据流在不同的信道上传送，接收端根据得到的正确的子数据流的不同情况用不 同的方案进行解码。编解码器必须使得当任何一个子数据流正确收到时，都能得到一个 可以接受的图像质量，而接收到正确的子数据流越多，则图像质量越好。 为了保证每个数据流都必须拥有足够的用于重建图像的信息，这就意味着不同的子 数据流具有重叠的信息，从而使编码效率降低，但是这种损失换来的是对高误码环境下 的抗误码能力，因此多描述编码还是一种比较切实可行的方案。 1 2 4 信源信道联合编码 从广义角度讲，分层编码与多描述编码方案都是信源信道联合编码的实现方案。 但是，这种联合是在较高层次上完成的。 一般地，信源信道联合编码( j o i n ts o u r c ea n dc h a n n e lc o d i n g ) 是这样完成的： 以一定信道误码统计特征为条件，通过设计量化器和嫡编码器，最小化传输误码的影响。 对基于p c m 的信源编码器，当信道噪声非常严重时，相对粗糙的量化器可以得到更好的 恢复效果。在深入研究量化器优化问题的基础上，人们探索了针对信道误码特征的码字 分配方法“1 1 。 上述研究是针对一般信源的，对于图像信号，m o d e s t i n o 等首先考虑了在d p c m 信源 编码器后面使用卷积码来对抗信道误码，他们的方法后来被扩展到了基于d c t 的变换编 3 移动视频传输容错技术的研究 码器中“。v a i s h a m p a y a n 等”针对特定信道误码特征，研究了自适应的d c t 系数的比特 分配方法，采用定长编码方案，得出的基本结论是：信道噪声越大，高频系数分配的比 特数应该越少，低频系数分配的比特数应该越多。 信源信道联合优化编码的范围已经越来越广泛，信源信道编码器编码模式的选 择、各种编码参数的调整等，都可以依据信源属性和信道的统计特征自适应地调整。 1 3 错误隐藏的主要算法 1 3 1 基于时间的错误隐藏 基于时间的错误隐藏是利用时间上连续的相邻帧之间的相关性，最简单方法是把前 一帧中相应空间位置的图像块直接拿来填补当前帧中受到损伤的图像块。显然，当画面 存在较大运动时，会出现非常明显的马赛克( m o s a i c ) 块。当运动矢量被正确传输时，使 用运动补偿块代替同样位置的图像块，可以有效弥补上述缺点。 事实上，在m p e g - 2 标准中，即使是采用帧内编码模式的图像块，也允许传输相应的 运动矢量，其目的就是为了有效恢复受损图像块。据研究，在丢包率达l 1 0 。2 时，使用 基于运动补偿的误码隐藏技术，m p e g 一2 重建图像的质量大约可以提高l d b “”。这种方法 的局限性在于必须保证运动矢量的正确传输。在通常的情况下，当图像块受到损伤时， 运动矢量也同时受损，则运动矢量的恢复成为基于时间错误隐藏的关键。基于视频信号 的平滑属性，运动矢量也可以用类似的插值方法加以恢复，k w o n 等人深入研究了运动矢 量受损情况下，利用空域插值及时域插值方法的有效程度，总结常用的运动矢量恢复方 法有n 5 1 。 1 直接将受损运动矢量置零，这适用于运动较少的视频信号。 2 用上一帧对应图像块的运动矢量代替。 3 使用空间相邻图像块的运动矢量的平均值代替。 近来，j u n e - s o kl e e 等人提出一种在突发错误情形下的运动矢量恢复方法，以及通 过边界变形匹配( s i d em a t c hd i s t o r t i o n ) 方法选取最优运动矢量，取得了不错的效果。 1 3 2 基于空间的错误隐藏 基于空间的错误隐藏的立足点是视频图像空间变化的平滑性。典型的方法是使被恢 复块的边界象素与周围块边界象素的方差值最小。简单插值会模糊图像中的边界，增加 其他约束可以改善高频特性，但也增加了复杂性，并且还与图像本身的相关性有关。 4 硕十学位论文 视频信号的平滑特征还意味着受损图像块中数比较接近。如果受损块只是损失了个 别系数，而该系数与相邻图像块中的系数对应，则可以利用四个相邻块系数的插值估计 这些受损系数，如果受损块的所有系数都己丢失，这种频域插值的方法相当于用相邻块 对应像素的插值估计受损块的像素值，而不是利用空间距离最近的像素做插值。由于 四个方向上用来做插值的像素点与被插值的像素点相距8 个点，它们之间的相关性较小， 因此估计精度较差。为此，人们提出了一种新的插值方法：利用受损块周围四条像素宽 的边界线做插值。有两种具体实现方法：一是使用距离最近的两条边界上的像素做插值， 一是使用四条边界上的对应像素做插值。 在频域，自然图像的平滑特征仅表现在低频系数部分，高频系数的相关性不强，因 此频域的插值往往只需要对低频部分有限的几个系数进行，其余高频系数往往强制设为 零。s u nh u i f a n g 等提出凸集投影法( p r o j e c t i o no n t oc o n v e xs e t s ) “”，不仅利用了空 间平滑性，还增加了方向性约束，来改善高频部分，经过5 - 1 0 次迭代可取得较好的效果。 s h i r a n i 等提出了基于自适应马尔科夫随机场( m r f ，m a r k o vr a n d o mf i e l d ) 的误码隐藏技 术“”。为了控制马尔科夫随机场模型的阶数，需要根据受损图像块周围图像块的统计 特征选择模型参数。这种方法不仅能很好地恢复低频系数，而且能较好地恢复高频系数， 这样就较好地恢复了原始图像中的边缘信息。 1 3 3 基于码流结构改变的错误隐藏 从错误隐藏的角度对码流结构做少量的修改，可以改善错误隐藏的效果。常用的策 略是减少每一片中的宏块数，对开始码进行纠错编码保护等。 一种有效的策略是在码流中定期插入唯一的同步码，使两个同步码之间的数据在保 证一定编码效率的前提下尽可能的少，使误码扩散限定在尽可能小的范围之内。在 i “p e g - 4 中，同步码字包含了两个同步码字间的距离信息。”。同步码字如果太短，当码流 中发生误码时，就容易检测出假同步码字；同步码字如果太长，又会影响编码的效率， 因此在实际设计中这是一个需要综合考虑的问题。数据分割技术( d a t ap a r t i t i o n i n g ) 在添加自同步码字的同时，还根据一定原则对码流进行分割，这样既可以对其中较为重 要的信息作特别的保护，也有利于检测误码是否发生嘲，数据分割技术已被广泛应用在 m p e g - 4 m 州以及h 2 6 3 。”等编码标准中。 采用普通的变长编码方法，从误码发生的位置开始，一直到下一个同步标志位置的 码流都将被丢弃，即使后面的码流被正确接收。另外一种策略是利用可逆交长编码 ( r e v e r s i b l ev l c ，r v l c ) 具有可双向解码的特点，在差错发生后，解码器可分别由两个 5 移动视频传输容错技术的研究 重同步点进行解码，恢复部分本应丢弃的数据。这种方法一方而可以更多的利用正确 码流，另一方面也是种误码检测的方法。如果正反两个方向的译码结果不一致，就可以 断定此段码流中发生了误码m p e g - 4 和h 2 6 3 中均定义了可逆变长编码方案。 应用这些方法，重建图像的质量均得到了明显的改善，但由于改变了码流结构，使 这些算法的应用范围受到限制”1 。 1 4 交互式抗误码技术 如果编解码器之间存在一条可靠的反馈通道，就可以应用交互式抗误码技术。通过 反馈通道，解码器能够提供受损图像块的位置信息，编码器可以立即采用帧内编码模式 对相应位置的图像块编码，这样误码对图像造成的损害可以有效地控制在有限的i 帧之 内。但是这种简单使用帧内编码方式的策略，会明显降低图像压缩比。为此，提出了经 过改进的编码策略嘲。 传统观点认为重传会加大信道负载，进而增加重传请求，造成恶性循环。事实上， 当发生重传时，只要信源编码器适当降低输出比特率，就可以缓解信道负载。重传技术 在视频传输中的应用已经越来越广泛，尤其是在高误码率的环境下，如无线环境和因特 网环境等。h ，3 2 3 和h 3 2 4 中都定义了重传机制。 1 5 本文的研究内容和论文的结构 人们针对一些纠错编码在高误码率、具有突发错误的移动信道中的应用进行了一些 研究，但是这些纠错编码系统面对的是具有较低传输率的信道，面向需要较高传信率的 视频信道时，究竟采用什么样的容错编码系统，使得在保证一定的编码效率的基础上， 提高视频信号传输的正确率，并且降低编码器的复杂程度，这是需要进一步探讨的问题。 上面一些错误隐藏方法成功的用来减少传输中的错误引起的视频质量的降低，但是 这些方法并没有特别针对具有突发错误的移动信道，有些方法因为不能满足图像质量1 或者在突发环境下较多的计算资源的开销而不适用于无线传输m 1 ，解决突发环境下的低 复杂度的错误隐藏方法是需要进一步研究的。 要实现无线视频传输，首先需要了解无线信道的传输特性，并对提出的方法进行计 算机系统仿真。 论文共分五章，各章的内容安排如下： 绪论部分介绍了本文的研究背景、信源与信道的抗误码算法以及错误隐藏的主要算 6 硕十学位论文 法。第2 章系统的分析了目j ；i 视频通信中各部分中的抗误码、纠错、容错等方法，并总 结了国际视频编码标准中的抗误码算法和编码模式，通过研究发现抗误码技术中需要解 决和今后应重点研究的问题。第3 章研究移动信道的特性，着重介绍多径传播的基本特 性及其对数字传输的影响。第4 章对移动信道抗误码进行研究，基于h 2 6 4 视频编码标准 和实时传输协议r t p ，结合移动信道特性，采用了一种带有反馈的无线信道视频传输系 统结构。利用联合信道率失真算法，并对原有容错编码方法中的随机帧内编码宏块刷新 方法、灵活宏块排序方法和基于丢包反馈的自适应数据分割选择模式进行了改进。第5 章将残差重建的错误隐藏算法，应用于移动视频传输系统，并进行计算机模拟：最后对 全文进行了总结，并讨论有待完善的地方。 7 移动视频传输容错技术的研究 第2 章视频通信中的容错技术综述 2 1 差错检验方法与容错技术的性能指标 在视频通信中进行容错之前，必须进行差错检验和定位。差错检验的主要方法有： 1 视频数据包的序列号是否连续”； 2 f e c 效验嘲； 3 根据视频信号的时空相关性，比较重建视频块或象素是否突变来进行差错检 验“1 ： 4 比特流所包含的语法和逻辑； 由于压缩视频的特性，例如编码算法使用了v l c ，这使得解码器通过语法和语义方 法对视频流检测出的差错位置往往并不是差错发生的位置，从而产生定位错误。因此需 要在视频发送端引入一定的策略，使得差错定位更为准确。例如插入重同步标识和可逆 变长编码( r v l c ) 等( 将在下面介绍) 。但这仅能给出差错的范围，同时也会在发送端增加 冗余量。如何在视频发送端加入很少更少的冗余，使得接收端更容易进行差错检验和定 位也是一个有待进一步研究的问题。 视频通信中的同步技术的性能表现在四个方面。 1 重建视频质量，这是最重要的方面。 2 处理复杂度。 3 对压缩码流带来的负载，这主要是针对在发送端加容错冗余的技术。 4 时延。 值得指出的是，这四个性能指标对不同的应用的重要性是不同的。例如多点视频会 议对时延的要求就高于单路视频传输如视频点播。另外，一些容错技术的适用面很窄( 如 a r q ) ，而另一些技术则适用于任何应用( 如错误隐藏) 。 因此，在进行视频通信时，应该从具体应用出发，针对应用的特点，选用合适的容 错技术。 2 2 容错技术介绍 依据编码器、解码器和网络层在处理中的应用，视频通信中的容错技术可分为三 大类。 硕士学位论文 2 2 i 在信源和信道编码端应用的容错技术 这类容错方法作用在编码端。编码端的处理使得编码后的比特流中的差错不会对 解码器解码产生不利影响，因此不会导致重建视频质量出现严重恶化。与优化编码效率 的编码器相比，容错编码器在无差错传输时，获得同样视频质量要使用更多的比特，因 此编码效率下降。这些额外比特称为冗余。引入冗余的目的是，当比特流出现差错时提 高视频质量，容错编码器的设计目的在于用最少的冗余量获得最好的容错效果。如果编 码端能较准确的得到信道的信息( 如误码率，丢包率等) ，它就可动态决定是否添加冗余 以及冗余量的大小，这是最优的方法。 在码流中引入冗余的方法很多：一些技术用来防止错误传播；另一些则使得解码 器在检测到错误时更好的进行错误隐藏；还有的方法则保证基本质量级，当出现传输差 错时，视频质量下降不大。 2 2 i 1 强健的熵编码 压缩视频流对传输噪声敏感的主要原因是视频编码器使用v l c 来表示不同符号。 码字中比特出错和丢失不仅使得本码字不可解码，而且使得后续码字也不可解码。即使 这些码字是正确的。 插入重同步标识是一种简单有效的容错方法，但这会降低编码效率。插入重同步 标识越多越频繁，编码效率下降越严重。因此，实际视频编码系统中使用了相对长的同 步码。当错误发生时，解码器将丢弃所有比特直到找到重同步表示。这样会浪费很多被 正确接收的比特。h 2 6 1 和h 2 6 3 1 编码器将帧分为块组( g o b ) ，以g o b 的起始码作为重 同步码。但重同步码间隔不等，在图像运动剧烈部分，同步码间隔较大，受差错影响的 码字数量较多，不利于解码端进行进一步的容错。i p e c , - 4 汹1 中定义了新的基于视频包重 同步策略。这种策略使得同步码间隔基本相等。h 2 6 3 + 啪1 提出的条带( m i c e ) 模式也具 有相同的作用。 为了对差错发生的位置进行更精确的定位，研究者提出了可逆变长编码( r v l c ) 技 术。使用此技术，解码器不仅可对下一个同步码之后的比特解码，而且可对下一个同步 码之前的比特进行逆向解码。这样，丢弃的正确接收的比特更少，传输错误影响的区域 更小。r v l c 复杂度适度增长的条件下提供了对前向和后向解码器的输出之间进行交错检 测的能力。它可帮助解码器检测到用非可逆v l c 时检测不到的错误，或提供了更多关于 出错位置的信息，因此可减少本不需要丢弃的数据量( 图2 1 ) ，r v l c 和插入重同步标识 9 移动视频传输容错技术的研究 技术都破采用作为h 2 6 3 + + “”和m p e g - 4 协议标准的一部分。由于传统的r v l c 在编码效 率方面损失较大，研究者提出了一种新型的r v l c ，它不但具有传统r v l c 的特点，而且 在编码效率方面和v l c 十分接近。 一般视频压缩编码中，各个宏块的运动矢量和变换系数的编码是排列在一起的， 在发生差错时，解码端可通过差错检测，重同步等将差错定位在两个同步点之间，但由 于无法确定差错发生的具体位置，解码器只能将全部数据丢弃，为了避免这种情况，可 采用某个特定的码字来标识，这样使编码器在检测差错时就可以判断出错是发生在运动 矢量部分，还是变换系数部分，从而只需丢弃相应部分的数据。 o 捡测到黼挪一十标识 。 ， 重同步运动模 运动)出错 、纹理信息 重同步 标识 头 式信息 标识 、，( r v l c ) 标识 。1 八f o 前向解码 o o 脚码 错误定位 丢弃对应比特 图2 1 使用r v l c 的错误检测 在m p e g - 4 的数据分割模式中，视频包中的数据被标识符分隔为运动部分和纹理部 分，语法参见图2 2 。 视频码流中的某些头信息( 如图像格式、时间戳) 对解码和重建视频的播放起着决 定性的作用，因此必须加以保护。而图2 2 中的h e c ( h e a d e re x t e n s i o n c o d e ) 域就是为 了保护这些关键信息而设的。h e c 域长为l b i t ，如果该位被置位，则视频包中就包含有 视频帧的头信息。 r e s y n e o m t m o t i o n & t e x t u 托t e x t u r er c s y n c h e ch e a d e r m a r k e rn u m b e rs c a l ei n f o l n f oi n f om a r l c c r 图2 2m p e g - - 4 数据分割语法 在h 2 6 3 + + 中，新定义了数据分割条带模式。在该模式下，图像首先被分割为视频 图像片断，且该分段中的宏块数据被重新排列，分为宏块头信息、运动矢量和d c t 系数 1 0 硕十学竹论文 三个部分，并且三个部分之1 日j 由标识符分割( 图2 3 ) 。 图2 3h 2 6 3 抖数据分割语法 在m p e g 一4 的数据分割模式中，仅在纹理部分采用r v l c ；而h 2 3 6 + + 贝1 j 将r v l c 应 用在头信息和运动矢量的编码中。从这一点来看，h 2 6 3 + + 的数据分割模式由着更强的 差错恢复能力。 数据分割往往与不等错误保护( u e p ) 结合起来，例如视频码流中的某些头信息( 图 像格式、时间戳) 对解码和重建图像的播放起决定作用。宏块的运动矢量也比变换系数 更为重要，这些部分需要额外保护。广义的数据分割还包括对整个图像进行区域分割， 对不同区域进行不等错误保护。 2 2 1 2 容错预测 压缩视频流对传输噪声敏感的另一主要原因是使用了时间预测，一旦发生差错， 解码器的重建帧就会与编码器的不同；然后，解码器使用的参考帧就会与编码器的不同， 后续的重建帧出错。对d c 系数和m v 使用空间预测也会引起错误传播，但错误传播限定 在同一帧内。在大多数视频编码标准中，这种空间预测及引起错误传播将进一步限定在 一帧中的子区域内( g o b 或分割条带) 。 插入帧内块或帧内帧：阻止错误在时间域上传播的一种方法是周期性的插入帧或 帧内宏块。在需要对视频进行实时传输的应用中，由于对视频延迟的限制，周期性的使 用帧内帧是不现实的。但是，使用足够多的帧内宏块则是可行的，这种方法为容错提供 了一个适应性很强的工具。进行差错控制时，必须确定帧内宏块的数目以及空间位置。 显然所需帧内宏块的数目依赖于通信连接的质量。许多实际应用系统可提供关于网络质 量的带外信息和可获得此类信息的启发式方法。这些例子包括在无线系统中天线信号的 强度和在互联网通信中使用的r t c p 协议。h a s e k e l l “”曾对帧内宏块数目的确定给出了 详细的讨论。l i a o “2 1 和w o r a l l “”给出了更为合理的选择。值得指出的是，实际的视频通 移动视频传输容错技术的研究 信信道都是带限信道，如果使用了过多的帧内宏块，为了使输出比特牢f 带宽相符，必 须进行粗糙量化，这样，阻止了误差在时间上的传播，但加大了量化噪声。文献 3 6 利 用动态规划法来选择编码宏块的类型。至于帧内宏块的空间位置的选择，目前提出了几 种方法。随机设置以及由平均w 量确定将帧内宏块置于高运动区域都是有效的方法。 另一种方法也额外考虑了给定宏块的上一次的帧内更新时间。但没有一种方法性能更 优。当前，为了容错目的选择帧内宏块的正确数目和位置的最好方法是使用在已知信道 差错率条件下差错优化技术。 独立段预测：限制错误传输的另一个方法使将数据域分成几段，仅在同一段中进 行的时空预测。使用这种方法，一个段中的错误不会影响其他段。例如h 2 6 3 + 中的g o b 域或条带( s l i c e ) 编码。更为严格的限定是一个区域仅可通过以前帧的相同区域进行预 测，这在h 2 6 3 中称之为独立段解码( i s d ) 。独立段预测技术虽然可限制错误传输，但 由于限制了预测范围，重建视频质量有所下降。 2 2 1 3 不等错误保护的分层编码 分层编码( l c ) 或尺度编码是将编码数据分成几层，每层对应于分辨率从低到高的 不同信息。这里所说的分辨率可以指时间分辨率、空间分辨率和s n r 等。分层编码技术 很好的解决了视频传输中的网络带宽异构问题。 对具有不同带宽能力或解码能力的用户，使用l c 可获得不同质量级的相同内容的 视频( 图2 4 ) 。对数字视频进行分层编码的方法有很多种，其中主要有：空间分层、时 间分层、s n r 分层、数据流混合分层m 1 。作为一种容错工具，l c 必须与传输系统种的不 等错误保护工具( u e p ) 结合使用，使基本层具有更好的保护。例如给以更可靠的子信道， 使用性能更好的f e c 编码，或允许更多的重传请求。但是由于技术和经济的原因，目前 提到的网络和协议环境都不支持网络级的u e p ，而使用应用级的u e p 则是可行的。例如， 使用基于包的f e c 。 在标准的基于块的复合视频编码器中，存在许多方法将视频信号分成两个或更多 层。例如，对视频进行时间采样，基本层包括低帧率视频的比特流，增强层则包含有原 始视频与对低帧率视频进行采样信号的差值。同样的方法可应用于空间分辨率，此时基 本层包含小幅面的视频。基本同样可仅包含用粗糙量化器对每块的d c t 系数进行量化后 的码流。而更为精细的部分( 原始值与粗糙量化值之差) 则包含在增强层中。m p e g 一4 和 h 2 6 3 + 标准术语中，前三个方法称之为时间、空间和s n r 尺度化。a r a v i n d t “1 对几种尺 度模式进行了比较( 表2 1 ) ，发现空间尺度具有最好的容错能力，但编码效率比较低。 1 2 硕十学位论文 一1 分 j二： 层 视 频 编 一 码 器 2 2 1 4 多重描述编码 图2 4 分层视频编码框架 表2 1m p e g - - 2 中不同尺度模式比较 基本层所占最大允许丢 编码模式 比特比率包率 一层 l o 5 数据分割 6 0 1 0 - 4 s n r 尺度 乜o 1 0 3 空间尺度2 0 1 0 - 3 一l 睨 分层编码需要基本层无误传输，在一些应用中，这是很难做到的，例如在无线通 信领域。在这种情况下，基本层中数据错误会导致解码视频质量的严重恶化。因此提出 了多重描述编码策略。多重描述编码( m d c