（通信与信息系统专业论文）视频传输中的错误隐藏.pdf

独创性( 或创新性) 声明 本人声明所竿交的论文是本人在导师指导 进行的研究f 作及取得的研究成果。尽我所 知，除了文中特别加以标注和致游中所罗列的内容以外，论文中不包含其他人已经发表域撰 1 j 过的研究成果，也不包含为获得北京邮电火学或其他教育机构的学位或证书而使用过的材 料。与我一同作的同。占对本研究所做的任何贡献均己在论文中作了明确的说明井表示了谢 意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：当瘤鸵日期：垒璺鲨二旦二垒一 i 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位肩北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学拉论文。( 保密的学位论文在解密后遵守此规定) 摘要 随着信息技术的飞速发展，越来越多的视频业务在网络上开展。由于视频 的数据量非常大，因此在注入网络之前必须先进行压缩。然而，压缩后的码流 对误码非常敏感。通常情况下，一个比特的错误不仅会影晌当前帧的解码质量， 而且会影响其后继帧的解码质量。a r o 可以去除误码的影响，但它要消耗额外 的带宽，同时对于实时业务也不太适合。错误隐藏技术被认为是解决误码问题 的主要途径之一。错误隐藏可以分为两大类：时域错误隐藏喝空域错误隐藏。 本文主要针对视频传输中出现误码后的错误隐藏算法进行了深入的研究和探 讨，同时也提出了一些效果较好的隐藏算法。本文的主要贡献有以下几点： 1 基于边缘检测的错误隐藏算法：首先利用r a d o n 变换检测丢失块中可能存 在的边缘，然后按主要边缘将丢失块内容分成几个部分，分别进行内插。 与其它检测边缘的方法相比，使用r a d o n r 变换的好处是可以同时检测到多个 边缘，这样便于更精细地恢复丢失块内容，本算法同时也提供了一种对于多 个边缘情况的恢复框架，恢复的图像具有很好的主观效果。 2 自适应内插的错误隐藏算法：本方法主要分两个步骤：首先利用丢失块周围 一层的像素，先粗略估计出丢失块可能的边缘：在门限的选择上，根据人眼 特性自适应地选择门限。然后，在内插的同时自动细化重建的边缘方向，最 终达到准确恢复边缘的目的。 3 基于像素跨度的错误隐藏算法：在以往的空间错误隐藏算法中，绝大多数都 遵循先找到丢失块中存在的边缘，然后按照边缘方向进行内插的原则。本方 法跳出了这个框架，+ 首先提出了一个像素跨度的概念，然后在像素跨度的基 础上将丢失块像素分为有争议像素和无争议像素分别进行恢复。虽然没有进 行边缘检测，但对边缘的恢复仍然相当准确。 4 基于随机像素位移模型的时域错误隐藏算法：本方法首先建立了一个像素随 机位移模型，然后通过这个模型直接在像素域对丢失块进行恢复，同时这个 模型也充分挖掘了运动矢量场的内在联系，取得了非常好的恢复效果。在本 章中也提出了一种评价时域错误隐藏算法恢复代价的方法，并在这个代价函 数的基础上对两者进行了比较。 5 基于m a r k o v 随机场的串行错误隐臧方法：本方法通过使用马尔可夫随机场 来对图像建立模型，并通过将其简化来获得了一个恢复模型，然后使用串行 恢复方法( 即恢复后面的像素需要使用到己恢复像索、) 对丢失块进行恢复。 为了得到更好的恢复效果，本方法又提出了一种按螺旋式顺序恢复的串行策 略。 6 基于错误隐藏的帧内编码刷新策略：尽管目前有很多优秀的帧内编码模式选 择策略，但它们般都比较复杂，同时没有将各种错误隐藏策略考虑进去。 本方法将错误隐藏以及错误传播考虑进编码要求，并通过分析找到了一个近 似的最佳的解决方案来选择帧内编码的宏块位鼍；同时根据错误隐藏的特 性，提出了一种三角状的刷新块数目分配策略，试验证明本方法比传统的刷 新策略要好。 7 基于h 2 6 4 i n 仃a 帧的错误隐减方法：在h 2 6 4 中，添加了些与以往编码标 准不同的新特性，这些新特性可能提供了新的冗余度。本方法首先分析了相 邻子块帧内预测模式间的可能关系，并得到了相邻子块预测模式之间关系表 达式；然后通过这个关系，利用相邻子块的预测模式来对目前要恢复子块的 预测模式进行恢复，最终根据这个预测模式，按照原标准规定的方法最终恢 复丢失块的内容。 到目前为止，错误隐藏还没有大规模的应用于视频产品中，然而随着数字电 视( d t v ) ，p t v 以及移动电视等视频业务的开展，错误隐藏将会有一个很 好的明天。 关键词：错误隐藏，抗误码，视频编码，马尔可夫随机场，帧内编码 h 2 6 4 标准 e r r o rc o n c e a l m e n ti nv i d e ot r a n s m i s s i o n a b s t r a c t w i t h 山ed e v e l o p m e n to ft h ei n f 0 肌a t i o nt e c h n o l o g y m o r ea n dm o r ev l d e os e r v l c e sh a v e b e e np u to nt h en e t w o r k ，s u c ha si pa n dw i r e l e s sn e t w o r k u s u a l ly ，m ev l d e od a t aw i l lb e c o m p r e s s e db e f o r e 订a n s m i s s i o n ，a i l dt h ec o m p r e s s e ds 仃e a m sa r ev e r ys e n s i t i v e t ot h ec h a n n e l e r m ro rn e t w o r kc o n g e s t i o n o n eb i te r m rr r m yd e t e r i o r a t et h eq u a l i t yo fb o 吐lm ec u r r e m 靠a m e a n dt h es u c c e s s i v ef r a m e si nt h es 锄eg o pa r qc a np a r t l ys o l v et h ep r o b l e m ，b u ti tc o n s u m e s m ee x t r ab a n d w i d t ha n di sn o ts u i t a b l ef o rf 1 1 er e a l t l r r l e 订a f 丘c e i t o rc o n c e a l m e n ti sr e g a r d e da s o n eo f m el n o s te 丘b c t i v ew a y st oc o m b a t t h eu n r e l i a b l ev i d e ot r a n s 蚵s s i o n e r m rc o n c e a l m e 眦( e c ) c a nb ed i v i d e di n t ot w oc a t e g o r i e s ：t e m p o m le c 舭ds p a t i a le ci nt h i sd i s s e n a t i o n ，w ed i v ei n t o t h er e s e a r c ho fm ee r r o rc o n c e a l m e n ta 1 1 dp r o p o s e ds o m eu s e f l l la l g 嘶t h m sb a s e do nb l o c kb a s e d ， m o t l o nc o f n p e n s a t e d ，d c tt e m p o r a lp r e d i c t i o nt r a n s f o m lc o d e c s t h em a i nc o n t r i b u t i o n sa r e l i s t e db e l o 1 a na l g o n l h mb yu s j n gr a d o nt r a n s f o m lt od e t e c tt h ep o t e n t i a le d g e so fm ec o r m p t e db l o c k i sp r o p o s e dt h e nad i r e c t i o n a l i n t e l _ p o l a t i o ni s 印p l i e dt or e c o n s t n l c tt 1 1 ec o m 叩t e db l o c kt t c a i la l s oh a n d l e 山em u l t i e d g ec a s ec o m p a r i n gt ot l l e 州i t i o n a ld i r c c t i o n a l i n t e l 0 1 a t i o n 2 a na d ，l p t i v es p a d a le r r o rc o n c e a l m e n ta l g o r i t h mi sp ”s e n t e d f i r s t ly ，i tc o a r s e l ye s t i m a t e s t h ee d g ed i r e c t i o nb yu s i n gm eo u t e rp i x e l so f t h ec o m l p t e db l o c k i nt h ej u d g i n gp r o c e s s ，1 t c a na d a p i i v e l yc h o o s em et h r e s h o l db a s e do nt h es e n s i t i v 时o f h u m a l lv i s i o ns y s t e m t h e n ar e n 面n gp r o c e d u r ei sc o n d u c t e dt o a c c u r a t e l yr e c o t l s t i u c t t l l el o s ta r e aw i t he d g e s f a i m f u l l yp r e s e r ”d 3 a s p a t l a le cb a s e do np i x e l s p a ni sp r o p o s e d m o s to f 山es p a t i a le ca l g o r i t h m sw o r k e di n 血ef o l l o w i n gm a n n e 毛e s t i m a t i n gt h ee d g ea i l dc o n d u c t i n g 吐l ed i r e c 0 n a li n t e i p o l a t i o n o u r m e 血o di st o t a l l yd i 恐r e mf m mt h ei r a d i t i o n a ld i r e c t i o n a li n t e r p 0 1 a t i o nm e 也o d s f i r s t l y ，a p i x e ls p a nf u n c d o ni sp r o p o s e dt od e s c r i b e 血er e l a t i o no f 锕op i x e l s t l e n ，ap a i ro f p i x e l s i ss e l e c t e dt or e c o v e rap i x e lo ft 1 1 e1 0 s tb l o c kb a s e do nm ep r i n c i p l eo fm i n i m u mp i x e l s p a n 4 ar e c o v e r ym o d e l ( s t o c h 髓t i cd i s p l a c e m e mm o d e l ) i se s t a b l i s h e d ，o nw h i c han o v e l t e m p o r a le r r o rc o n c e a l m e n tm e m o di sp r o p o s e da i i db 蕊e d u s u a l ly ，m et e n l p o r a l e r r o r c o n c e a l m e n tm e m o d s 盯em o s t l yr e c o v e r y - o f 1 0 s t - m vb a s e d ( r l m v - l i c ) h o w e v e r ，n o m o 石0 nv e c t o r sn e e dt ob ee s 蛐i a t e dw i mo u rn 坤t h o d t h em e 出o dh a st w oa d v a n t a g e so v e r t h er l m 、l e cm e t l l o d s 粥。f 0 1 1 0 w s f i r s t l y ，a l m o s tn 0m o t i o nv e c t o r sn e e db ee s t i m a t e dt o r e c o w rt i l el o s tb l o c ks e c o n d ly l e s se r r o re n e 唱yo ft h ep r e v i o u s 丘a m ei sp r o p a g a 钯dt o t h es u c c e s s i v ef h m e s m e a l l w h i l e ，ac o s tr n o d e li sa l s op r e s e n t e dt oe v a l u a t et h er e c o v e r v c o s ta i l ds h o wt h e 眦t u r e w h yt h ep r o p o s e dm e m o dc 缸o u t p e r f b r n lt h er l m ! c m e t h o d s 5 as i m p l i n e dg a u s s i a nm a r k o vr a n d o mf i l c d ( g m r f ) i se m p l o ”da s4p d ，f i m a g e m o d e l a n dar e c o n s 讯l c t i o ne q u a t i o ni se s t a b l i s h e db e t w e e nt h ep i x e lt o | b er e c o v e r e d 柚d i t sn e i g h b o r h o o d t ok e e pb e t t e rp i x e ln d e l i t y t h er e c o v e r yp r o c e s si sc o r l d u c t e di nas p l r a l m a n n e r 6a j le r m r - c o n c e a l m e n t ( e c ) b a s e dm o d l f i e dc 衄d i t i o m lr e p l e n i s t l 】n e n tm e t h o dl nl o s s y 订a n s m i s s i o ni sp r e s e n t e d 、i nw 上i i c he 船”c o n c e a l m e n ti s 婶p l i e d 证e n c o d e rs i d et os i m u l 毗 t h ep o s s i b l eo p e r a t i o n so ft h ed e c o d e ld u et o 也eu n l 口l o 、v ns i t u a t i o no ft h ed e c o d e la s o l u t l o nl sf o u n dt oa p p r o x l m a t et 1 1 er e a lc o n d i t i o no f 如ed e c o d e ff u n l l e n t l o 璋，a t r i a n 9 1 e l l k ei n t r a “p d a t es 廿a t e g yi sa l s op m p o s e dt oi m p m v et h em b u s t n e s so ft h es t r e a 札 m o r e o v e lv a r i o u se 伸o rc o n c e a l m e n tm e 廿1 0 出a r e1 m d l e m e n i e db a s e do nt h ed r o 口o s e d m e t h o da n ds i m u l a t i o l l sp m v et h a ta v e r a g em ve ca n dm e d i 锄m ve cc a nb ec h o s e na s g o o dt r a d e o f rb e t w e e np e r f b m l a n c ea n dc o m p u t a h 蛐a l l o a d 7 h 2 6 4i sar e c o m l e n d a t i o np m p o s e db y ua 1 1 di s oj o i n t l ys o m en e wf e a t u r e sa r e i n i f o d u c e db a s e do n l 2 6 3 ，s u c ha sv a r i a b l e s i z eb l o c km o t i o nc o i n p e n s a t i o n ，p r e d i c t i o ni n i n t r a - c o d e df h m ee t c an e we n o rc o n c e a l i i l e mm e t l l o db a s e do ni r 血- a c o d e d 丹a m ei s p r o p o s e d ，w h i c hu s e sn l ep r e d i c t i o nm o d eo ft h es u r r o u n d i n gs u b _ b l o c k st oi n f e rt h e p r e d i c l i o nm o d eo f 廿1 em i s s i n gb l o c kt h c nt h em i s s i n gb l o c ki sr e c o n s t r u c t e dw i t ht h e m f e r r e dp r e d i c t i o nm o d e e x p e r i m e n t ss h o wt h a tt h ep r e d i c 石0 nm o d eo f 吐1 em i s s i n gb l o c k c a l lb ew e nr e c o v e r e dw i i ht h ep r d p o s e dm e t h o da n dg o o dr e s u l t sc a nb ea c h i e v e do n l n l a g e so fv a “o u sc o n t e l l tt y p e s a si sk n o w n ，e r r o rc o n c e a l m e n th a sn o tb e e nw i d e l yi m p l e m e n t e di n 也e 、，i d e op r o d u c t su n t i l n o w h o w e v e lw i 血t h es p e e d yd e v e l o p m e l l to ft h ev a r i o u sv i d e os e r v i c e s ，s u c ha sd l g j t a lt 、 i p t vm 0 b i l et va 1 1 dt vp h 佣e 吼c ，e r i d fc o n c e a l m e n lw i l lh a v eab r i l l i a n tf u t u r e ! k e yw o r d s ：e n _ o rc o n c e 硅l n l e n ， m a r k o vm n d 咖lf i e l d e n d rr e s i l e m ，、啊d e oc o d i n g ， h l 仃au p d a t e ，h 2 6 4r e c o m m e n d 砒i o n 6 1 1 引言 第一章绪论 随着信息技术的发展和社会的进步，人类对信息的要求越来越丰富，人们 希望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像以及视频等 多种媒体进行通信。在多媒体通信中，掘统计，人类依靠视觉获取的信息占全部 获取信息的6 0 左右。由于图像能给人更多的信息量，因此图像视频的传输受 到了人们更广泛地关注【1 1 【2 1 ( 3 】。 视频虽然给人们带来了巨大的信息量，但同时它也带来了海量的数据。要在 实际应用中直接将这些数据注入网络，需要的带宽是难以承受的。然而，随着视 频压缩技术的成熟，超大规模集成电路( v l s i ) 的发展以及大容量存储设备的 出现，数字视频信号可以用较少的比特来表示并能实时进行编解码处理；同时随 着光纤骨干网的建立以及无线宽带技术的推广，视频实时业务已经可以应用于目 前的网络环境中。第三代移动通信系统( 3 g ) 追求的主要目标之一就是实现多媒体 业务，此外一些与日常生活相关的数字视频业务如可视电话、会议电视、电视购 物、高清晰电视、视频点播和远程医疗等也让人们对视频业务的普及充满了期待。 为了使视频码流能适合现有的网络带宽，国际标准化组织( i s o ) 和国际电 信联盟( i t u t ) 制订了一系列的视频编码标准来对数字视频信号进行压缩，如 h 2 6 x 6j 、m p e g x 【7 $ 州等。这些编码器都是通过使用运动铃偿、基于块的d c t 变换、量化以及熵编码来去除视频信号中存在的时间、空间以及统计冗余度，从 而达到压缩的目的。然而，编码器在降低视频信号冗余度的同时，也使输出码流 的容错性降低。经常地，一个分组甚至个比特的丢失将会使解码器失去同步， 最终使得失真在一个图像组( g o p ) 都可见。为了研究分组丢失或比特出错所造 成的影响以及可能做出的应对办法，本文使用m p e g 2 编解码器作为典型编解码 器进行讨论。本章主要分四部分，首先介绍了当前编码器的编码框架及图像分级 结构，然后对误码在时域和空域的传播做了简单介绍，接着介绍了码流中各种字 段的优先级，最终概括了本论文的组织结构和主要贡献。 1 2 混和编码器的编码框架 视频信号是一个数字图像序列，每一幅图像我们称之为帧。视频信号中， 除了每一帧图像具有空间冗余度之外，图像之间也具有很强的时阃冗余度。一。般 况来，相邻帧之间差别极小，通常只有一小部分信息代表正在发生的运动。因此， 若使用当前帧的前一帧( 或前几帧) 来预测当前帧内容，则只需将这部分变化的 信息传送到接收端，这就是帧间编码的基本原理。 目前的视频编码标准都采用了混和编码方案，在这里我们称之为混和编码 器。它主要包含以下几个步骤：首先对当前帧进行运动补偿来去除时间冗余度， 并得到预测误差，然后通过变换编码( 主要采用了离散余弦变换d c t ) 来去除 空间冗余度，最后对变换后的系数进行量化和可变长编码( v i _ c ) 来去除统计冗 余度，从而得到最终视频码流。 ，l q 在编码过程中，图像序列被分成一个个图像组( c u po fp i c t u r e s ，记为 g o p ) ，设每个图像组包含n 帧图像。g o p 是视频序列中最小的信息自包含单位， 在编解码过程中它不依赖本g o p 之外帧的时间、空问信息。每个g o p 以一个i 帧起始，编码时这个帧无需参考其它的帧，其余的帧则通过参考已经编码的帧来 达到压缩的目的，其中包括前向预测帧( p 帧) 和双向预测帧( b 帧) 。p 帧和前 一个i 帧或p 帧之间的帧个数称为预测跨度，记为m 。如图1 1 所示，该g o p 中n = 9 ，m = 3 ，p o 使用i o 进行预测，而b o ，b l 则使用i o ，p o 进行双向预测。 最终的发送顺序则按照编码顺序i o p o b o b l 。 弓娟产了钠 1iy i； x 八一 一n = 3 j 卜一 g o p 刮 m = 9 图1 1m p e g 2 g o p 示例 对于每一帧图像，编码的分级结构如图1 2 所示，图像编码时首先被分成条 ( 。s l i c e ) 或者块组( g r o u po fb 1 0 c k ，记为g o b ) ，g o b 包括一组连续的宏块， 一般来说，g o b ( 或者s l i c e ) 都从图像的左边界开始而止于图像右边界。宏块 是一个1 6 x 1 6 像素的块，它是帧内编码( h l 打a ) 和帧间运动补偿的基本单位( 注： 在h 2 6 3 及h 2 6 4 中有所不同) 。然后宏块再分成8 8 的d c t 块，这个d c t 块 可能是帧内编码块也可能是运动估计后的预测残差块。d c t 变换的使用是为了 去除图像中的空间相关性。最后将得到的d c t 系数进行游程编码和熵编码，同 时将运动矢量一并编码发送到信道上。编码器的结构框图如图1 3 所示。 一 帧 宏块 幽12 图像编码的分级结构 1 3 视频码流中的错误传播 i 帧或p 帧 时间传播 图1 4 空间及时间错误传播示意幽，在左图i 帧或p 帧中花纹部分表示错 误的数据，灰色部分表示误蔫在空间的传播；右图p 帧或b 帧中的灰色部 分表示由于前面i 帧缄p 帧出错而导致的时间误差传播【1 0 】 图1 4 显示了出现比特错误或分组丢失时误差传播的示意图。由于使用了变 长编码，同时由于编码效率很高，码字之间的间距一般不大，所以当出现错误时 很可能导致连续的解码错误，直到下一个同步点到达为止。在m p e g 2 中，一般 都以s l i c e 为同步单位，因此一个比特的错误将导致从出错点至本s l i c e 结束的数 据不可用，如图1 4 中左图所示。同时，由于在现行编码标准中引入了运动补偿， 因此前一帧出错将会导致后面使用该帧进行参考的帧也出现错误，即便残差数据 被正确接收。由于g o p 是最小的信息自包含单位，因此解码中的错误将传递到 g o p 的最后一帧( 不考虑出错块刚好被帧内编码刷新的特例) 。图1 4 右图显示 了误差随时间传播的示意图。 1 4 编码字段的优先级 编码器的空域和时域错误传播特性决定了输出码流中各字段具有不同的解 码优先级。图1 5 显示了码流中不同字段的优先级。图1 5 a 显示了码流中各字段 的重要性排序，最顶端的重要性最差，最底端的则最重要。一般来说，个别d c t 系数的出错只会影响当前d c t 以及后面帧中参考到此块的部分，而一个g o b 头数据出错则影响本帧整个g o b ，同时影响后面参考本g o b 的帧，显然它的误 差传播范围更广。同理图像头、g o p 头数据则影响整帧及整个g o p 的图像。而 序列头数据则可能使这个序列无法解码，因此必须重传或者等到码流的下一个序 列头才能重新解码。图1 5 b 显示了不同类型以及序号帧的重要性。由于b 帧不 被用来做参考，因此即使丢失也对序列影响不大；由于i 帧是一个g o p 的起始 帧，其后的帧都直接或间接地参考该帧，因此此帧的一个错误将会传至本g o p 的每一帧，因此最为重要。 ( a ) 一 ( b ) 图1 5 ( a ) 显示了输出码流中不同字段的熏要性；( b ) 显示了不同类型帧的重要性 ( 重要性由上至下递增) 在了解各字段重要性的基础上，可以采取不同的策略来应对误码环境下的视 频传输，比如不对等错误保护、数据分离、插入同步头等方法，其中部分方法将 在后面简单涉及到。 1 5 论文的组织与贡献 目前视频业务正如火如荼地开展，然而由于信道的不稳定( 如i p 网的网络 阻塞或无线网的多径衰落等) 误码将不可避免地产生；同时由于目前视频编码所 采用框架的原因，码流对误码非常敏感。一块局部区域的错误将不仅影响本帧内 容，甚至可能影响其后继帧全帧的内容，因此如何在这种网络环境下尽可能地提 高接收端的视频接收质量是一个亟需解决的问题。错误隐藏被认为是克服这种情 况的有效途径，本文就错误隐藏的方法进行了深入的研究，提出了一些具体算法 并取得了良好的效果。本论文的主要创新点和贡献如下： 1 基于边缘检测的错误隐藏算法：首先利用r a d o n 变换检测丢失块中可能存在 的边缘，然后按主要边缘将丢失块内容分成几个部分，分别进行内插。与其 它检测边缘的方法相比，使用r a d o n 变换的好处是可以同时检测到多个边缘， 这样便于更精细地恢复丢失块内容，本算法同时也提供了一种对于多个边缘 情况的恢复框架，恢复的图像具有很好的主观效果。 2 自适应内插的错误隐藏算法：本方法主要分两个步骤：首先利用丢失块周围 一层的像素，先粗略估计出丢失块可能的边缘；在门限的选择上，根据人眼 特性自适应地选择门限。然后，在内插的同时自动细化重建的边缘方向，最 终达到准确恢复边缘的目的。 3 基于像素跨度的错误隐藏算法：在以往的空间错误隐藏算法中，绝大多数都 遵循先找到丢失块中存在的边缘，然后按照边缘方向进行内插的原则。本方 法跳出了这个框架，首先提出了一个像素跨度的概念，然后在像素跨度的基 础上将丢失块像素分为有争议像素和无争议像素分别进行恢复。虽然没有进 行边缘检测，但对边缘的恢复仍然相当准确。 4 基于随机像素位移模型的时域错误隐藏算法：本方法首先建立了一个像素随 机位移模型，然后通过这个模型直接在像素域对丢失块进行恢复，同时这个 模型也充分挖掘了运动矢量场的内在联系，取得了非常好的恢复效果。在本 章中也提出了一种评价时域错误隐藏算法恢复代价的方法，并在这个代价函 数的基础上对两者进行了比较。与传统的基于运动矢量重构方法相比本方法 有三个优点：第一，无需重构运动矢量：第二，能够取得更平滑的恢复效果， 主观质量更好；第三，误差能量向后继帧传播的更小。 5 基于m a r k o v 随机场的串行错误隐藏方法：本方法通过使用马尔可夫随机场 来对图像建立模型，并通过将其简化来获得了一个恢复模型，然后使用串行 恢复方法( 即恢复后面的像素需要使用到已恢复像素) 对丢失块进行恢复。 为了得到更好的恢复效果，本方法又提出了一种按螺旋式顺序恢复的串行策 略。 6 基于错误隐藏的帧内编码刷新策略：尽管目前有很多优秀的帧内编码模式选 择策略，但它们一般都比较复杂，同时没有将各种错误隐藏策略考虑进去。 本方法将错误隐藏以及错误传播考虑进编码要求，并通过分析找到了一个近 似最佳的解决方案来选择帧内编码的宏块位置；同时根据错误隐藏的特性， 提出了一种三角状的刷新块数目分配策略，试验证明本方法比传统的刷新策 略要好。 、 。 7 基于 l 2 6 4i n 订a 帧的错误隐藏方法：在h 2 6 4 中，添加了一些与以往编码标 准不同的新特性，这些新特性可能提供了新的冗余度。本方法首先介绍了帧 内编码预测的新特性，分析了相邻子块帧内预测模式间的可能关系，并得到 了相邻子块预测模式之间关系表达式：然后通过这个关系，利用相邻子块的 预测模式( 这个预测模式可能是被_ i _ f 确接收的，也可能是被恢复的) 来对目 盼要恢复子块的预测模式进行恢复，最终根据这个预测模式，按照原标准规 定的方法最终恢复丢失块的内容。 本文共包括8 章。第一章主要介绍了视频编码标准的一些基本知识，并对误 码的空域和时域传播进行了简单示意，同时也对码流中各字段的优先级进行了介 1 4 绍，这些都是将来在进行错误控制和错误隐藏时可能使用到的。第二章主要介绍 了前人在这个领域已经做出的努力，同时也对这方面工作进行了一个总结性介 绍。第三章主要提出了一种基于r a d o n 变换的空域错误隐藏方法，能够恢复多条 边缘。第四章提出了两种错误隐藏方法自适应的内插方法和基于像素跨度的 错误隐藏方法。第五章提出了基于随机像素位移模型的时域错误隐藏算法，同时 给出了一种对目前时域错误隐藏进行评价的一种方法；第六章提出一种基于马尔 可夫随机场的串行错误隐减方法，同时也提出了一种基于错误隐藏的帧内编码刷 新策略。第七章提出了基于h 2 6 4h t r a 帧的错误隐藏算法。最后，在第八章，我 们对本文的主要内容进行了总结，同时也提出了下一步可以继续研究的问题。 1 6 本章总结 在本章主要介绍了基于运动补偿、变换编码及熵编码框架编码器的基本结构； 同时，对于错误的空间及时间传播机理也进行了简要介绍；另外根据其传播机理， 对码流中各编码字段的优先级进行了讨论，从而在实际传输过程中可以根据其重 要性的不同进行不同的对待，最后部分介绍了本论文的主要创新点以及论文组织 框架。 参考文献 1 蔡安妮，孙景鳌编著，多媒体通信技术基础，2 0 0 0 2 沈兰荪，图像编码与异步传输，人民邮电出版社，1 9 9 8 3 沈兰荪，卓力等编著，视频编码与低速率传输，电子工业出版社，2 0 0 1 4 “v i d e o c o d e c f o r a u d i o v i s u a ls e r v i c e sa t p x 6 4 k b 让s 兀u t r 七c o m m e n d a t i o n h2 6 1 ，v e r s i o n 1 ，”兀u t ，i t u tr e c o m m e n d a t i o nh 2 6 1v e r s i o n1 1 9 9 0 【5 r v i d e oc o d i n gf o rl 0 wb i tr a t ec o r 岫u n i c a l i o n ，”i t u t ，盯u - tr e c o m m e n d a t i o n ，h2 6 3 v e r s i o n1 ，1 9 9 5 6 】 “d r a f ti t u - tr e c o m m e n d 砒i o na n d6 m ld r a ri i l t e m 蚶o i l a ls t a n d a r do fi o i n tv i d e o s p e c i n c a t i o n ( i t u tr e c h 2 “i s o i e c1 44 9 6 1 0a v c ，”i nj o i n tv i d e ot e a m ( j v t ) o f i s o i e cm p e ga n di t u tv c e g j v t g 0 5 0 2 0 0 3 、 【7 “g e n e cc o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i of o rd i g n a ls t o r a g em e d i au pt o ls m b i “s ”，i s o i e c ln 7 2 - 2 ，1 9 9 2 8 “g e n e cc o d i l l go fm o v i n gp i c n j r e sa n da s s o c i a t e da u d i oi n f o 玎n a 石o n - p a f t2 ：v i d e o ，” 1 t u - ta i l di s o ，i e cj t c1 ，r r u 玎r e c o r h m e n d a t i o nh 2 6 2a n di s o ，i e c1 3 8 1 8 2 ( m p e g 2 ) ， 1 9 9 4 【9 】“c o d i n go fa u d i o v i s u a lo b j e c t s _ p a n2 ：v i s u a l ，”i ni s o ，i e c1 44 9 6 2 ，( m p e g 4v l s u a l v e r s i o n1 ) ，a p r 1 9 9 吼 10 d a v i dlr o b i e ，e 啪rc o r r c c t i o na n dc o n c e a l m e n to fb l o c kb 懿e d ，m o t i o n c o m p e n s a t e d t e n l p o r a lp r e d i c t i o n ，t r a l l s f b mc o d e dv i d e o ，f e b 2 0 0 4 2 1 引言 第二章错误隐藏概述 现有的视频编码标准基本都采用了基于运动补偿、变换编码及熵编码的编 码框架，比如h 2 6 x 和m p e g x 等标准。这些编码器通过运动估计、运动补偿、 离散余弦变换( d c t ) 、块量化( b l o c kq u a n t i z a t i o n ) 以及变长编码( v l c ) 来 最大限度地降低视频信号中存在的空间和时间冗余度。然而在效率增加的同时， 与原始未压缩信号相比它对错误的抗干扰能力却非常脆弱。从第一章可以看到， 一个比特的错误或丢失可能使的后面的很多比特无法解码，直到到达下一个同 步点；并且这些错误还很可能传播到其后的帧直到这个g o p 结束。因此，当考 虑在容易出错的信道上传输压缩视频码流时，解码器端的错误处理能力也必须 考虑进去，因此编码器端需要采取一定的措施使得在出现误码的情况下解码器 能够尽快得到同步。在本文中使用的背景网络环境主要是基于分组交换的网络。 在分组交换网( 如i n t e m e t 网) 上进行视频传输时，数据丢失的原因可能有 多种，如分组丢失、分组出错以及分组到达时间超过播放时间等，这些一般是 由网络拥塞导致的。对于那些对实时性要求不高的业务，自动请求重传( a r q ) 可以很好的保证数据的完整性：而对于实时性业务如视频会议等，a r q 并不适 用，由于显示时间的限制，即使一些丢失数据重传成功，也很可能过了显示时 | 1 自= j 而被丢弃，这反而浪费了带宽。因此如何加强视频码流的鲁棒性( r o b u s 协e s s ) 成为一个非常值得研究的问题。这旱的“加强鲁棒性”包括的范围很广，一切 能在解码端提高接收质量的措施都可以被称为“加强鲁棒性”方法，如能更容 易地进行错误检测、更容易同步、能更好地进行差错隐藏、能更好地减轻错误 的向后传播等。加强视频码流的“鲁棒性”只是一个方面，当码流出现错误又 无法改正的情况下，如何将错误隐藏起来( 即错误隐藏) 也是本章将要重点介 绍一个方面。本章主要包括以下几个方面的内容：前向错误隐藏，主要是为了 增强码流在不可靠传输环境下的抗误码能力；误码检测与改正，主要是检测误 码发生的位置，为下一步的差错隐藏做准备；解码端后处理式差错隐藏，主要 将误码带来的影响通过一定的先验知识掩盖起来，在视觉上不那么敏感；交互 式错误隐藏，采用这种方法需要一定的网络条件使得编码端和解码端能及时联 系，从而可以在编码端做出相应的调整来降低误码的影响。 2 2 前向错误隐藏( f o r w a r de r r o rc o n c e a l m e n t ) 从前面章节可以看到，最好的压缩办法是尽可能的去除帧间以及帧内的相 关冗余度，然而在提高编码效率的同时像素制及帧间的依赖性也大大加强。 根据编码理论，编码的有效性和可靠性永远是一对矛盾。在容易出错的网络环 境中，由于像素间及i 喷间依赖性很强，一个比特的错误也有可能引起很大的误 差。因此，为了在容易出错的信道上使解码端能够更容易地进行错误检测和隐 藏，要加上一些冗余信息，这些冗余信息可能加在编码器输出码流中，也可能 加在传输层中，在w a l l 2 】中将这种在编码器端( 或者说发送端) 添加冗余信 息的方法称为前向差错隐藏，很多文献也将其称为抗误码编码( e h o rr e s i l i e m c o d i n g ) 。为了与后面的后处理差错隐藏相区别，本论文中还是称其为抗误码编 码方案。一般说来，几乎所有的编码器都是通过增加冗余度来提高其抗误码能 力，当然编码效率也随之降低。现有的一些应用都是在编码效率与抗误码能力 之间寻求一种平衡，使其输出码流能更适应目前的网络状况。抗误码能力一般 以达到以下目的来进行设计： 1 尽量碱小错误在空间的扩散范围 2 尽量减小错误在帧间传播 3 尽量使接收节目质量随误码率( 或丢包率) 的升高以优雅的方式下降 4 尽可能少为错误检测添加额外的数据 5 尽可能的保证图像质量 以达到上述目的为原则，当前的抗误码方法大致可以分为以下几类： 1 限制预测误差的传播 2 尽量减小失步序列长度 3 使用数据交织使相邻块不同时出错 4 在区分服务网络上使用分级编码结构 5 使用前向纠锗码( f e c ) 6 在传输层添加额外信息 在下面部分将对这些方法进行简单介绍。 2 2 1 限