（电路与系统专业论文）基于h264视频通信的误码掩盖技术研究.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：工学电路与系统 研究方向：智能信息丕统墨应届 作者：逝级研究生赵恩东 指导教师：王厘太教授 题 目：基于h 2 6 4 视频通信的误码掩盖技术研究 i!l!l!lflllllllll1111llllllllljlllllll t17 5 5 0 0 5 英文题目：r e s e a r c ho ne r r o rc o n c e a l m e n ti nv i d e ot r a n s m i s s i o nb a s e d o i lh 2 6 4 南京邮电大学硕士研究生学位论文摘要 摘要 随着互联网的普及和无线网络的应用，误码掩盖的问题越来越重要。误码掩盖技术是 利用视频信号的时域或空域相关性，对损坏或者丢失的视频信号进行恢复的一种技术。误 码掩盖是在检测到误码后对其通过一定的方法尽量降低对人的视觉影响，并不是真正的消 除误码，而是尽可能弥补误码带来的视觉损伤。误码掩盖的方法有空域误码掩盖、时域误 码掩盖和频域误码掩盖三种。本文主要对空域和时域误码掩盖两个方面进行研究，工作如 下： ( 1 ) 本文提出了一种改进的空域自适应误码掩盖算法( a s e c ) ，该算法主要包括“改进的 基于p r e w i t t 理论的边缘检测算法一、“帧内预测模式一和“自适应切换算法一三个方面。 首先建立一个统计模型来描述三种不同类型的宏块，然后使用改进的p r e w i t t 边缘算子，提 取边缘方向，把丢失宏块分成两类：一是边缘宏块，二是平滑宏块和纹理宏块。然后利用 h 2 6 4 的帧内预测模式不同类型的数目来区分平滑宏块和纹理宏块。最后分别对三种宏块 采用不同的掩盖方法：边缘宏块：方向插值；平滑宏块：加权插值；纹理宏块：区域匹配。 ( 2 ) 本文对已提出的时域自适应误码掩盖算法( a t e c ) 进行实现，算法分为三步：1 利 用重叠边界匹配算法( o v e r l a p p i n gb m a ，o a m a 瞄计丢失宏块的运动矢量；2 把损坏宏块 分成八个三角形区域，然后使用在第一步中估计的运动矢量来计算每个区域的映射模型； 3 比较每个区域映射模型的匹配误差和o b m a 匹配误差，然后自适应的选择不同的方法 进行误码掩盖。 本文算法在j m 8 6 仿真平台上进行实验，仿真结果表明本文提出的方法能取得较高的 峰值信噪比( p s n r ) 和较好的主观质量。 关键词：h 2 6 4 标准，误码掩盖，自适应，边缘检测，边界匹配 【 南京邮电大学硕士研究生学位论文 a b s t r a c t w i t ht h eu b i q u i t o u sa p p l i c a t i o no fi n t e m e ta n dw i r e l e s sn e t w o r k s ，e r r o rc o n c e a l m e n th a s b e e nb e c a m em o r ea n dm o r ei m p o r t a n c ei nh 2 6 4 a v c e r r o rc o n c e a l m e n t ( e c ) i sj u s t 觚 a p p r o a c ht ou t i l i z et h es p a t i a la n dt e m p o r a lc o r r e l a t i o n st oc o n c e a lt h ec o r r u p t e dr e g i o n t h i s t e c h n ol o g ye m p l o y sc e r t a i nm e t h o d st ow e a k e nt h ei m p a c to fe r r o ro nh u m a nv i e wb u tn o tr e a l l y t oe l i m i n a t et h ee r r o ri nt r a n s m i s s i o nw h e n d e t e c t i n ge r r o r s e r r o rc o n c e a l m e n tt e c h n i q u e st i l l lb e c l a s s i f i e d 够t h r e ec a t e g o r i e s ：t h es p a t i a ld o m a i ne r r o rc o n c e a l m e n t ( s e c ) ，t h et e m p o r a ld o m a i n e r r o rc o n c e a l m e n tf r e c ) a n dt h ef r e q u e n c yd o m a i nc o n c e a l m e n t ( f e c ) t h i st h e s i sd o e st h e r e s e a r c hm a i n l yf r o mt h ea s p e c to fs e ca n dt e c t h ec o n t r i b u t i o n sa r e ： ( 1f 豳t h e s i sp r o p o s e s1 1 1 1i m p r o v e da d a p t i v e l ys p a t i a le r r o rc o n c e a l m e n ta l g o r i t h m ( a s e c ) i n c l u d in gt h r e ep a r t s ：“e d g ed e t e c t i o na l g o r i t h mb a s e di m p r o v e dp r e w i t t ”，一i n t r a - p r e d i e t i o n m o d e a n d ”a d a p t i v es w i t c h i n ga l g o r i t h m t h i st h e s i sd e v e l o p sas t a t i s t i c a lm o d e lt od e s c r i b e t h r e ek i n d so f m b s f o rc r i t e r i o no fc h o i c e , b o t he d g es t a t i s t i c sm e a s u r e m e n ta n di n t r ap r e d i c t i o n m o d cf o rh 2 6 4 戤t a k e ni n t oe o m i d e r a t i o n a t t e r w a r d s ，d i f f e r e n te l t o rc o n c e a l m e n tm e t h o d s m 8 p p l i e dt oe a c ht y p eo f m b b i i su s e df o rs m b ，d ii su s e df o re m b ，a n db n mi sf o rt m b ( z ) t h i st h e s i sa t t e m p t st ot e s t 锄di l c h i e v l ：t h ep r o p o s e da d a p t i v e l yt e m l , o r a la 【玎茸 c o n c e a l m e n ta l g o r i t h m s ( a t e c ) a t e cp r o e e 鼹co n s i s t so f s t e p s f i r s t , i te s t i m a t e st h e m o t i o nv e c t o ro fac o r r u p t e dm a e r o b l o e ku s i n gt h es a m em e t h o da s tm o d e le x c e p tf o r e x p l o i t i n go v e r l a p p i n gb m a ( o b m a ) c o s ti n s t e a do fb m ac o s t ；s e e o n d a t e cd i v i d e sa c o r r u p t e dm a e r o b l o e ki n t oe i g h tt r i a n g u l a rr e g i o l l sa n dt h e nc a l c u l a t e sa na f f a n em o d e lf o re a c h r e g i o nu s i n gt h ee s t i m a t e dm o t i o nv e c t o ri nt h ef i r s ts t e p 弱w e l l 勰n e i g h b o r i n gm o t i o nv e c t o r s ； i nt h ef i n a ls t e p ，a t e cc o m p a r e st h ea f l i n ec o s ta n do b m ac o s tf o re a c hr e g i o n , a n da p p l i e so n e o f t h et w oc o n c e a l m e n tm e t h o d sa d a p t i v e l ya c c o r d i n gt ot h er e s u l t s s i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dy i e l d sb e t t e rp s n ra n dv i d e oq u a l i f i e s t h a no t h e rc o n v e n t i o n a la p p r o a c h e s k e y w o r d s ：h 2 6 4s t a n d a r d ，e r r o rc o n c e a l m e n t , a d a p t i v e ，e d g ed e t e c t i o n ，b o u n d a r ym a t c h 南京邮电大学硕士研究生学位论文目录 目录 摘要i a b s t r a c t i i 目j 畏1 i i 第一章绪论1 1 1 研究背景l 1 2 本文主要的工作及创新点3 1 3 本文的组织结构4 第二章h 2 6 4 介绍5 2 1h 2 6 4 制定过程和发展历程5 2 2h 2 6 4 关键技术介绍5 第三章 3 1 2 2 1 预测编码5 2 2 2 整数变换与量化6 2 2 3 基于上下文自适应的可变长编码7 2 2 4 去方块效应滤波器( d e b l o c k i n g ) 7 2 2 5 多参考帧的运动补偿一8 误码掩盖方法研究综述1 0 误码掩盖流程1 0 3 1 1 误码检测。11 3 1 2 重f 司步一l l 3 1 3 误码定位1 2 3 2 误码掩盖技术介绍1 3 321空域误码掩盖(seo一。13 3 2 2 时域误码掩盖( t e e - 3 1 9 3 2 3 频域误码掩盖( f e e ) 2 3 3 2 4t e c 、s e c 和f e c 的比较2 3 3 2 5 视频图像质量的评定一。2 4 第四章空域的自适应误码掩盖算法2 6 4 1 改进的思路。2 6 4 2 算法的具体实现2 7 4 2 1 建立基于宏块类型的边缘统计模型2 8 4 2 2 基于帧内预测模式的s m b r r m b 划分。3 2 4 2 3 自适应算法。3 3 4 3 实验结果与分析3 3 4 3 1 测试条件3 3 4 3 2 测试方案3 4 4 3 3 测试结果3 4 4 4 算法小结3 8 第五章时域误码掩盖算法3 9 5 1 改进的思路3 9 5 2 算法的具体实现3 9 5 2 1 估计运动矢量3 9 5 2 2 丢失宏块的区域划分。4 0 5 2 3 计算代价函数4 l 5 3 实验结果与分析4 2 5 3 1 测试条件4 2 i i i 南京邮i 乜大学硕士研究生学位论文目录 5 3 2 测试方案4 2 5 3 3 测试结果4 3 5 4 算法小结：4 7 第六章总结与展望4 8 致谢4 9 参考文献5 0 作者在硕士研究生期间发表论文情况5 3 南京邮电大学硕士研究生学位论文第一章绪论 1 1 研究背景 第一章绪论 从1 9 4 8 年提出电视信号可以数字化以来，图像压缩编码技术已有5 0 多年的历史，不 仅在理论研究上取得重大进步，而且在实际应用中也获得了很大成果。近十年来，图像编 码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志是多个关于图像编码的国际标 准的制定，即国际标准化组织( i s o ) 和国际电工委员会( i e c ) 关于静止图像的编码标准 j p e g j p e g 2 0 0 0 ，关于活动图像的编码标准m p e g - 1 、m p e g - 2 、m p e g - - 4 ( 2 ) 、m p e g - 4 ( 1 等，以及国际电信联盟( 1 1 u ) 制定的视频编码标准h 2 6 x 系列。这些标准融合了各种性能 优良的图像编码算法，代表了目前图像编码技术的发展水平。 从h 2 6 1 视频编码建议，到h 2 6 2 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + ，以及m p e g - 1 、m p e g - 2 、 m p e g 一4 ( 2 ) 等视频编码标准都有一个共同的不断追求的目标，即在尽可能低的码率下获得 尽可能好的图像质量。而且，随着市场对图像传输需求的增加，如何适应不同信道传输特 性的问题也日益显现出来。为了解决这些问题，i s o i e c 和n u 两大国际标准化组织联手 制定了视频新标准一h 2 6 4 h 2 6 4 a v c 是目前最新的国际视频压缩标准在提高编码效率方面，通过1 4 像素精 度运动估计补偿，多种可选编码模式，更高效的熵编码技术等，使得在保持相同的重建 图像质量下，码率与之前的视频编码标准h 2 6 3 和m p e g - 4 相比节省了约5 0 0 , 4 ，并具有更 好的网络友好性。它面向从高质量到低比特率，从有线到无线的各种应用，在追求更高的 编码效率和简洁的表达形式的同时也提供了非常好的视频质量，是当前最高效的视频压缩 编码标准。 h 2 6 4 的优异压缩性能将在数字电视广播、视频实时通信、网络视频流媒体传递以及 多媒体短信等各个方面发挥重要作用。当视频压缩码流在具有较大噪声干扰的窄带信道或 是在分组丢失信道上传输时，容易发生误码。由于压缩编码去掉了视频图像大量的时间和 空间相关性，并且采用v l c 进行编码，使得编码端输出的图像具有比原始图像较少的冗 余信息，从而造成压缩后的图像对于信道误码十分敏感，易受到信道误码的影响。码流数 据的任何一位的丢失或错误，有可能导致数据不能同步，而基于运动补偿的预测编码技术 会使得出现的差错迅速扩散导致重建图像严重受损。对任何通信系统，由于信道噪声的影 响，信息在传输过程中都可能被修改或丢失。这种因信息的丢失对压缩视频的传输的影响 l 雨京邮电大学硕士研究生学位论文第一苹绪论 具有很大的破坏性，因为，对压缩视频流，任何一点破坏，都可能在解码端导致令人讨厌 的视觉失真。因此，错误恢复机制对于码流在信道的传输是十分必要的。 目前的视频压缩编码标准对信息的处理都采用了帧间预测和变长编码的方式，压缩后 的视频对传输错误十分敏感，码流的任何一位的错误都可能导致大批码元无法正确解码， 同时错误的图像还会扩散影响后续数帧。另外，视频数据流在信道上传输会不可避免的产 生错误，尤其是无线信道。因此，视频误码掩盖机制的研究己经成为目前多媒体通信领域 的研究热点。 所谓误码掩盖技术是利用视频信号的时域或空域相关性，对损坏或者丢失的视频信号 进行恢复的一种技术。解码端的误码掩盖流程是：解码端从信道上接收来的视频码流首先 送到码流语法分析单元，对其进行相应的码流语法分析。如果信道没有误码，则可以送交 视频解码单元，正确解码后的图像数据再送到帧存储器，经过它的缓冲后再送到显示器显 示解码图像；如果信道有误码，则语法分析程序给出出错指示，并将带有误码的数据送到 误码定位单元，得到和误码对应的位置信息，并将此位置信息送到误码掩盖单元，开始误 码掩盖的过程。因此误码掩盖分为四个阶段：误码检测，误码重同步，误码定位，误码掩 盖。误码掩盖首先从帧的边界开始，然后逐列向帧内部移动，在同一列上逐行向帧内部移 动。误码掩盖的方法有空域、时域和频域三种，将这三种结合，可得到混合法以及自适应误 码掩盖。 空域误码掩盖主要利用单帧图像中的冗余度来对丢失内容进行恢复【。空域误码掩盖 的主要原则是：保证丢失块与其邻块之间的平滑性。方法有：双线性内插法【2 1 ，方向性内 插法i ”，凸集上的投影法( p o c s ) m ，基于自适应马尔科夫场的误码掩盖技术网等。h 2 6 4 视频码流的帧内编码帧由于不存在运动矢量，因而只能使用空域错误掩盖。 时域误码掩盖技术【 3 】主要利用帧间冗余信息来对丢失块内容进行恢复。在这个过程 中，运动矢量起着非常重要的作用，通过它可以在参考帧找到与当前块内容相似的块。因 此在进行时域误码掩盖时，运动矢量的恢复是至关重要的，运动矢量的恢复方法主要有以 下几种：零运动矢量，使用前一帧对应块的运动矢量，使用丢失块周围可用运动矢量的平 均值，使用丢失块周围可用运动矢量的中值。 频域误码掩盖技术【1 4 】只需要利用受损区域周围相关性最重要的频谱系数，如直流分量 ( d c ) 和其它低频系数。损坏块的每个频域系数用周围块中相对应的系数插值恢复。频域掩 盖策咯就是在d c t 域做估值，与在空域插值估值相比，在d c t 域的运算量更少。因为， 毕竟在空域必须逐像素进行插值，而在d c t 域是根据前面正确解码宏块的d c 系数，利用 相邻块d c t 系数插值加边界平滑约束条件的d c t 系数恢复计算。这种方法损失了大量的 2 南京邮电大学硕士研究生学位论文第一章绪论 a c ( 交流) 系数，也就是高频分量，图像将变得非常模糊，甚至出现块效应。此时，还可以 采用部分重建a c 系数，尤其是频率低的a c 系数，可以获得更好的图像质量，但代价就 是算法的复杂度和消耗的运算时间。 空域误码掩盖的缺点是对于细节恢复的不够，而时域误码掩盖的缺点则是当运动剧烈 时恢复效果不佳，但当静止或运动比较平稳时效果非常好，因此两者可以结合使用。当局 部运动程度低于空间复杂度是采用时域误码掩盖方法，否则采用空域误码掩盖方法。 1 2 本文主要的工作及创新点 本文在分析和总结国内外相关研究工作的基础上，针对m 参考软件中误码掩盖的不 足，提出了两种自适应误码掩盖算法，并通过实验与一些现有的方法进行了比较。实验结 果表明，本文算法能取得较好的峰值信噪比性能( p s n r ) 和主观质量。 本文的主要工作如下： ( 1 ) 本文提出了一种改进的空域自适应误码掩盖算法( a s e c ) ，该算法主要包括“改 进的基于p r 髑r i _ 出1 5 1 理论的边缘检测算法久“帧内预测模式一和“自适应切换算法”三个 方面首先建立一个统计模型来描述三种不同类型的宏块，然后使用改进的p r o w i t t 边缘算 子，提取边缘方向，把丢失宏块分成两类：一是边缘宏块，二是平滑宏块和纹理宏块。然 后利用h 2 6 4 的帧内预测模式不同类型的数目，即1 6 x 1 6 模式的数目啊积坫大于4 4 模式的 数目，则认为目标宏块是平滑宏块( s m b ) ，否则是纹理宏块( t m b ) 。最后分别对三种宏 块采用不同的掩盖方法：边缘宏块：方向插值；平滑宏块：加权插值；纹理宏块：区域匹 配。 ( 2 ) 本文对已提出的时域自适应误码掩盖算法( a t e c ) 进行实现，算法分为三步：1 利 用重叠边界匹配算法( o v e r l a p p i n gb m a ，o b m a ) 估计丢失宏块的运动矢量；2 把损坏宏块 分成八个三角形区域，然后使用在第一步中估计的运动矢量来计算每个区域的映射模型； 3 比较每个区域映射模型的匹配误差和o b m a 匹配误差，然后自适应的选择不同的方法 进行误码掩盖。 本文的创新点可以归结为以下两点： ( 1 ) 本文根据自然图像中存在的三种不同类型块，将丢失宏块分成三种类型：边缘宏块， 平滑宏块，纹理宏块，这样就能够更细致的描述宏块类型，以便应用不同的方法恢复丢失 的宏块；利用改进的p r c w i t t 边缘算子提取边缘，可以更好的避免噪声干扰；利用边缘检测 和帧内预测模式实现自适应误码掩盖。 3 南京邮电大学硕士研究生学位论文 第一章绪论 ( 2 ) 本文对已提出的自适应时域误码掩盖算法进行实现，使之能更好的应用于视频传 输。本算法是基于重叠边界匹配算法的( o b m a ) 的，。把丢失宏块分成三角区域，利用映射 模型和o b m a 的代价函数实现自适应算法。 1 3 本文的组织结构 本文共分六章，其组织结构如下： 第一章为绪论，主要介绍了本文的研究背景与基本的误码掩盖算法以及本文的主要工 作和创新点。 第二章为h 2 6 4 介绍，主要介绍了h 2 6 4 的制定过程和发展历程，以及h 2 6 4 所具有 的预测编码、整数变换与量化、基于上下文自适应的可变长编码( c a v l c ) ，去方块效应滤 波器( d e b l o c k i n g ) ，采用多参考帧的运动补偿方式等一些特点。 第三章为误码掩盖研究技术综述。 第四章为改进的空域自适应误码掩盖算法，先介绍了具体的算法流程，然后进行了仿 真实验 第五章对已提出的时域自适应误码掩盖算法进行实现，先介绍了具体的算法流程，然 后进行了仿真实验 第六章为总结与展望，对全文进行了总结，并对进一步的研究工作进行了展望。 4 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 介绍 第二章h 2 6 4 介绍 本章主要介绍了h 2 6 4 的制定过程和发展历程【1 6 】，以及h 2 6 4 所具有的预测编码、整 数变换与量化、基于上下文自适应的可变长编码( c a v l c ) 、去方块效应滤波器( d e b l o c k i n g ) 、 采用多参考帧的运动补偿方式等一些特点。 2 1h 2 6 4 制定过程和发展历程 1 9 9 5 年，在完成h 2 6 3 标准基本版本后，r r u t 下属的视频编码专家组( v i d e oc o d i n g e x p e r tg r o u p ，v c e g ) 就开始对极低码率视频编码标准的长期目标进行研究，希望能够形 成一个在性能方面与现有标准有较大区别的高压缩比视频编码标准，主要针对“会话”服 务( 视频会议、可视电话) 和“非会话一服务( 视频的存储、广播以及流媒体) 提供更加合适网 络传输的解决方案。在标准制定初期，v c e g 形成的相关标准草案被定名为h 2 6 l 。1 9 9 9 年8 月，v c e g 完成了第一个草案文档和第一个测试模型t m l - 1 ，测试结构显示其软件编 码的质量远优于当时基于m p e g - 4 标准的软件编码的视频流质量。这时m p e g 也启动了在 a v c ( a d v a n c ev i d e oc o d i n g ) 方面的研究。在充分意识到h 2 6 l 的良好发展前景之后， i s o i e c 的m p e g 和r 1 1 m 的v c e g 再次合作，组建了联合视频专家组j v t o o i n tv i d e o t e a m ) ，其目的就是在h 2 6 l 的技术体系上进一步完善，共同研究并推动新的视频编码国 际标准。2 0 0 2 年5 月，n ，i 形成委员会草案，并于同年1 2 月完成最终国际标准草案。2 0 0 3 年3 月，这个草案正式被批准，官方名字分别为n u - th 2 6 4 和i s o i e cm p e g - 4p a r t1 0 或i s o 正cm p e g - 4a v c 。 2 2h 2 6 4 关键技术介绍 2 2 1 预测编码 预测法是最简单和实用的视频压缩编码方法，这时压缩编码后传输的并不是像素本身 的取样幅值，而是该取样的预测值和实际值之差。 为什么取像素预测值与实际值之差作为传输的信号? 因为大量统计表明，同一幅图像 的邻近像素之间有着相关性，或者说这些像素值相似。邻近像素之间发生突变或“很不相 似一概率很小。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。人们 可以利用这些性质进行视频压缩编码。预测编码框图，如图2 1 所示。这种预测编码也称 s 南京邮电大学硕士研究生学位论文第二章h 2 6 4 介绍 为差分脉冲编码( d p c m ) 。 d ( n ) ( a ) 2 2 2 整数变换与量化 c o ) 图2 - 1 预测编码( a ) 编码端解码端 为了进一步节省图像传输码率，需要对图像信号进行压缩，一般方法为去除图像信号 中的相关性及减小图像编码的动态范围，通常采用变换编码及量化。变换编码将图像时域 信号变换成频域信号，在频域中图像信号能量大部分集中在低频区域，相对时域信号，码 率有较大的下降。h 2 6 4 对图像和预测残差采用了4 x4 整数离散余弦变换技术，避免了以 往标准中使用的通用8 x 8 离散余弦变换逆变换经常出现的失配问题。量化过程根据图像的 动态范围大小确定量化参数，既保留图像必要的细节，又减少码流。 在图像编码中，变换编码和量化从原理上讲是两个独立的过程。但在h 2 6 4 中，将两 个过程中的乘法合二为一，并进一步采用整数运算，减少编解码的运算量，提高图像压缩 的实时性，这些措施对峰值信噪l 七( p s n r ) 的影响很小，一般低于0 0 2 d b ，可不计。 6 南京邮t 乜大学硕士研究生学位论文第二章h 2 6 4 介绍 2 2 3 基于上下文自适应的可变长编码 在h 2 6 4 的c a v l c ( 基于上下文自适应的可变长编码) 中，通过根据已编码句法元素的 情况动态调整编码中使用的码表，取得了极高的压缩比。 c a v l c 用于亮度和色度残差数据的编码。残差经过变换量化后的数据表现出如下特 性：4x 4 块数据经过预测、变换、量化后，非零系数主要集中在低频部分，而高频系数大 部分是零；量化后的数据经过z i g - z a g 扫描，d c 系数附近的非零系数值较大，而高频位置 上的非：零系数值大部分是+ l 和1 ；相邻的4 4 块的非零系数的数目是相关的。c a v l c 充 分利用残差经过整数变换、量化后数据的特性进行压缩，进一步减少数据中的冗余信息， 为h 2 6 4 卓越的编码效率奠定了基础。 c a v l c 代替h 2 6 4 早期草案中提出的u v l c ( 统一的可变长编码) 对残差数据进行熵编 码。c a v l c 提出的原因可总结为以下的方面： 1 基于上下文的自适应编码方法可全面的提高编码的质量。 2 应用z i gz a g 扫描方法，将非零系数值( l e v e l ) 和零行程( r u n ) 分开编码可提高编码的 自适应性，有助于提高编码的效率 3 将非零系数值( l e v e l ) 和零行程( r u n ) 分开编码可降低对存储数据的复杂度。 c a v i c 与u v l c 相比在编码方法上有如下的改进： 1 可以很容易的观察到，量化后的数据经过z i gz a g 扫描，高频位置上的非零系数值 。 只可能是+ l 或- 1 ，这些值为+ 1 、l 的非零系数被称为拖尾系数( t r a i l i n go n e s ) 。在 c a v l c 拖尾系数的编码中，只对拖尾系数的数目以及各个系数的符号进行编码。 2 除了拖尾系数外，其它的非零系数( l e v e l ) 是一维参数，使用的是结构化的v l c 编 码，不需要查表。 3 在编码零行程( r u n ) 时，输入系数的总数目和其中非零系数的数目是已知，这限制 了零行程的范围。c a v l c 利用了此特性将零行程分为最后一个非零系数前零的数 目( t o t a lz e r o s ) 和每个非零系数前零的个数( r u nb e f o r e ) ，并在码表的安排上进行了 进一步的优化。 2 2 4 去方块效应滤波器( d e b l o c k i n g ) 图2 - 2 ( a ) 显示不采用去方块滤波器的编解码器的效果图。基于上述原因，图中在d c t 变换边界上有明显的痕迹，呈现出方块形状。图2 - 2 ( b ) 贝t j 是采用去方块滤波器的编解码器 7 南京邮电大学硕士研究生学位论文第二章h 2 6 4 介绍 对同一幅图像的处理效果图。图( a ) a e 的方块已不明显了。 显然，去方块滤波器的作用是去除h 2 6 4 编解码算法带来的方块效应。但是，如果在 d c t 边界上，正好是图像的边界，如家具边等，若不加以判断而误认为是方块效应，则可 能造成新的误差。为此，在滤波方块效应时，应该先判断该边界是图像真实边界还是方块 效应所形成的边界( 假边界) 。对真实边界不进行滤波处理，而对假边界则要根据周围图像 块的性质和编码方法采用不同强度的滤波。 ( a ) 不采用去方块滤波器( b ) 采用去方块滤波器 图2 - 2 不采用( a ) 和采用( b 法方块滤波器的h 2 6 4 编解码器的效果 2 2 5 多参考帧的运动补偿 h 2 6 4 标准扩展了h 2 6 3 的增强参考帧选择技术，编码器可从多个参考帧中选择最佳 匹配块，并且允许使用不同参考帧宏块的线性组合来预测当前帧，即在作运动补偿的预测 时，可以有多于一幅的已编码图像作为参考图像，如图2 3 所示。这在很多自然场景的周 期变换以及镜头在两个场景中交替转换等情况下可以提高编码效率。在这种模式下，对某 一个块进行运动估计时，编码器会从过去的一个或几个刚刚编码过的参考帧中选定一帧作 为参考帧，以获得更好的预测效果。这种方法大大提高了运动补偿的效率。在双向预测中 也进行了同样的扩展，以往标准最多允许使用两个参考帧，一个前向帧( i 帧或p 帧) 和一个 后向帧( i 帧或p 帧) ，h 2 6 4 的双向预测也允许从多个参考帧中进行选择。多参考帧运动估 计不但能降低码率，同时也能提高视频数据的鲁棒性。在编解码有交互的系统中，解码器 向编码器发送错误帧信息时，编码器不再采用出错帧作为参考，从而有效地防止误码扩散。 解码器根据语法流中指定的内存管理控制操作标志管理多帧图像缓冲区。除非该缓冲 区被设置为一帧图像的存储容量，否则缓冲区中的每个参考图像的索引号都必须被编码传 送。另一方面，由于具有多个参考图像，需要更多的空间来存储参考图像，这给参考图像 的管理增加了难度，而且编解码器对内存的需要以及编码端运动估计的复杂度也都会增 8 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 介绍 加。包括两大部分，一是抗误码技术或者弹性误码技术( e r t 0 rr e s i l i e n t ，e r ) ；二是基于图、 像局部时间和空间相关性的误码掩盖技术( e r r o rc o n c e a l m e n t ，e c ) 。 五个参考帧 图2 - 3 多参考帧运动补偿 9 当前帧 南京邮电大学硕士研究生学位论文第三章误码掩盖方法研究综述 第三章误码掩盖方法研究综述 误码掩盖【2 - 1 4 1 ( e c ) 指的是如何恢复视频流在传输中出现的错误。所谓“掩盖 ，可以看 出它只是将错误利用一定的方法掩盖起来，而并非重现出错前的原状。在自然界中，通常 图像或视频主要包含的是低频成分，也就是说其相邻像素( 在时间域表现为相邻帧的对应像 素之间，在空间域表现为位置相邻的像素之间) 的过度是平滑的。几乎所有的误码掩盖技术 ，都是基于图像视频的这种平滑特性，然后进行空间或时间域的内插的。误码掩盖主要分成 三类：时间域误码掩盖、空间域误码掩盖和频域误码掩盖。时间域误码掩盖主要利用视频 图像相邻帧之间的冗余度来进行掩盖。在目前的编码标准中，图像被分成n 个块，然后对 每个块寻找其在前一帧可能的位置，这个位置关系用运动矢量( m v ) 来表示，同时将两者之 差编码与运动矢量一起传输。因此当某个块丢失后，只要能找到相应的运动矢量，就可以 在前一帧中找到与其相似的块，并代替之。可以看出，对这个运动矢量的估计是个关键的 闯题。空间域误码掩盖主要利用了图像在空间的冗余度( 比如平滑，纹理特征等) 来估计丢 失的像素，简单的双线性内插对于平坦区域很有效，但对于纹理区域或存在边缘的区域则 容易带来模糊，而方向性内插法则能得到相当不错的恢复效果。频域误码掩盖技术只需要 利用受损区域周围相关性最重要的频谱系数，如直流分量( d c ) 和其它低频系数。损坏块的 每个频域系数用周围块中相对应的系数插值恢复频域掩盖策略就是在d c t 域做估值， 与在空域插值估值相比，在d c t 域的运算量更少。因为，毕竟在空域必须逐像素进行插 值，而在d c t 域是根据前面正确解码宏块的d c 系数，利用相邻块d c t 系数插值加边界 平滑约束条件的d c t 系数恢复计算。 3 1 误码掩盖流程 解码端从信道上接收到的压缩视频码流首先送到码流语法分析单元，对其进行相应的 码流语法分析。如果信道没有误码，则可以送交视频解码单元，正确解码后的图像数据再 送到帧存储器，经过它的缓冲后再送到显示器去显示解码图像；如果信道有误码，则语法 分析程序给出出错指示，并将带有误码的数据送到误码定位单元，得到和误码对应的位置 信息，并将此位置信息送到误码掩盖单元，开始误码掩盖的过程。因此，误码掩盖的流程 7 j 分为四个阶段：误码检测，误码重同步，误码定位，误码掩盖。 1 0 南京邮f 毡大学硕士研究生学位论文第三章误码掩盖方法研究综述 3 1 1 误码检测 比特流误码按发生误码的形式可以分为两类：突发误码( b r u s he r r o r ) ，比如网络传输中 的数据包丢失；随机比特误码( r a n d o m b i tm o o 。 数据包丢失可以很容易被解码器检测到。对于随机比特误码，它会导致v l c 解码器 同步丢失，它有两种错误表现形式能被解码器检测到： ( 1 ) 误码直接使得码字映射为一个非法码字，解码器就可以立即检测到该误码； ( 2 ) 误码使得码字映射为另一个码字，或者映射为某合法的码字序列，那么解码器就 不可能立即检测出误码的存在，但由于误码扩散的缘故，后面解码所得的码字都 是错误的，解码器可以在随后的某个位置检测到误码映射成为一个非法码字。 针对上述的误码表现方式，通常利用已知的码流特征来检出误码。在视频数据解码过 程中最常采用的方法是利用v l c 解码器和视频解码器的语法结构来检验误码，检测步骤 可分为两步： 第一步：解码器检查读入的比特流是否包含在v l c 的变长编码的码表中。 第二步：分析解码后的码字是否在预定义的范围内，即是否符合编码逻辑。比如： 1 在个b l o c k 块内解码的d c t 系数个数是否超过6 4 ； z 在帧内编码帧中宏块地址增加是否等于l ； 3 在一个g o b 中解码的宏块个数是否超过规定的数目； 4 非受限方式下运动矢量是否指向图像之外； 5 m b 宏块未编码，但是在重建帧中当前宏块与上一帧宏块的平均差值较大； 6 在帧内帧中出现非帧内编码宏块模式等。 3 1 2 重同步 当发生误码后解码器就失去了与编码器的同步，由于视频编码采用了v l c 变长编码， 因此解码器与编码器的不同步会造成严重的误码扩散，如图3 1 所示。又由于差值预测编 码的采用，使得接收端很容易产生误差积累。在视频编码标准中为了减小误差积累，规定 了每隔1 3 2 帧，帧间编码必须强制进行帧内编码。当检测到误码时，解码器已处于失去同 步的状态，此时解码器应该停止正常的解码过程，转向实现解码器的重同步。通常在出现 错误的同步点和重建的同步点之间的数据都将被丢失，如果重同步方法能够有效地定位编 码器所丢失的数据，那么将增强误码掩盖的效果。 南京邮电大学硕士研究生学位论文 第三章误码掩盖方法研究综述 b i te 舯r 原始压缩序列 图3 - 1 解码不同步和错误传播示意图 可以采取三种解码器同步方法： 1 g o b 头重同步：如果编码器采用了组块g o b 层语法，则可以通过搜索下一个g o b 同步头，来实现解码器的重同步。g o b 重同步方法是基于空间的重同步，也就是说一旦编 码过程! 达到一个特殊的宏块位置，就插入一个同步标志，这种方法的一个潜在问题是因为 编码处理产生码流是可变码率的，所以这些同步标志在码流中就不是均匀分布的，这样在 场景的某些区域如运动剧烈区域就更容易受错误影响，这些错误所导致的效果也更难去 除； 2 宏块重同步：g o b 头重同步是通过搜索一块组起始码字g b s c 来实现解码器的重 同步的。而宏块重同步以宏块为搜索单位，通过获得一重同步宏块来实现解码器的重同步。 它的工作过程如下：检查从误码比特或码字的下一个比特到下一块组头之间的码流句法。 检查的基本单位为宏块，包括c o d 、m c b p c 、m o d b 、c b p c 、c b p y 、d q u a n t 、m v d 、 d c 系数、a c 系数等字段，如果没有检测到句法错误，则解码器在该比特上获得了重同步。 否则，后移一个比特，继续重算以上过程，直至获得重同步宏块； 3 图像头重同步：最后一种同步方法是利用图像起始码0 0 0 0 0 0 0 0 ，0 0 0 0 0 0 0 ，1 ，0 0 0 0 0 来实现重同步，但是这种重同步的方法将丢弃从发现误码开始到下一帧图像起始处的大量 数据。 。 3 1 3 误码定位 误码掩盖算法在发现误码时往往不是误码真正开始的位置。因此，在检测到误码并 完成了解码器重同步之后，接着要进行误码定位工作，就是找出误码真正开始的位置。 介绍一种