（信号与信息处理专业论文）基于ldpca的分布式视频编码算法研究.pdf

基于l d p c a 的分布式视频编码算法研究摘要无线监控，视频传感器网络以及移动相机等新应用的出现，使得低复杂度视频编码方法的研究变得非常迫切，适应这些需求，分布式视频编码得到重视。分布式视频编码是一种全新的视频编码模式，它基于s l e p i a n w 6 l f 的无损编码定理以及w y n e r - z i v 的有损编码理论这两个重要的信息论理论。其中一个特殊情形：w y n e r - z i v 视频编码，即只在解码器端利用视频帧间的冗余，即边信息的有损编码。从而编码器可以对视频帧进行独立编码，而在解码器端进行联合解码。这样即实现了将编码复杂度转移到解码端的目的，满足了新应用的要求。本文主要研究了分布式视频编码中的码率控制和边信息的生成方法。首先简介了分布式视频编码的发展历程，然后研究了w y n e r - z i v视频编码技术背景和理论基础，主要完成了以下三方面工作：首先，在对几种变速率码对比的基础上重点研究了低密度奇偶校验累积码l d p c a 的原理及设计方案，并对其性能进行了仿真。其次，针对边信息估计问题进行了大量的研究，为了提高分布式视频编码的边信息重建质量，从而优化其率失真性能，在介绍最基本的边信息内插算法基础上，研究了对边信息帧进行重建优化的改进策略，并提出了一种新的提高边信息性能的方法，然后通过不同的视频测试序列对边信息生成方法的性能进行了验证。最后，将l d p c a 码用于像素域的w y n e r - z i v 视频编码方案，通过采用多级编码，并对解码后信息进行重建，获得了高质量的图像，并取得了良好的视频压缩效果。关键词：分布式视频编码w y n e r - z i vs l e p i a n w o l fl d p c a 边信息r e s e a r c ho na l g o r i t h mo fd i s t i u b u t e dd e oc o d i n gb a s e do nl d p c aa b s t r a c te m e r g i n ga p p l i c a t i o n ss u c ha sw i r e l e s ss u r v e i l l a n c es y s t e m s ，v i d e os e n s o rn e t w o r k sa n dm o b i l ec a m e r a sa m o n go t h e r s ，l e a dt ou r g e n tn e e do ft h el o wc o m p l e x i t yv i d e oc o d i n gs t u d y a d a p t i n gt ot h e s er e q u i r e m e n t s ，d i s t r i b u t e dv i d e oc o d i n g ( d v c ) a t t r a c t sm a n yr e s e a r c he f f o r t s d v ci san e wc o d i n gp a r a d i g mb a s e do nt w om a j o ri n f o r m a t i o nt h e o r yr e s u l t s ：t h ed i s t r i b u t e dl o s s l e s sc o d i n go fs l e p i a n - w o l fa n dl o s s yc o d i n gw i t hd e c o d e rs i d ei n f o r m a t i o no fw y n e r - z i vt h e o r e m s ap a r t i c u l a rc a s eo fd i s t r i b u t e dv i d e oc o d i n gi st h ew y n e r - z i vv i d e oc o d i n g ，a sl o s s yc o d i n gw i t hd e c o d e rs i d ei n f o r m a t i o n ，m a k i n ge x p l o i t i n gt h er e d u n d a n c ye x i s t i n gi nav i d e os e q u e n c ea tt h ed e c o d e rc o m e st r u e t h u s ，i n d e p e n d e n te n c o d i n gc a np r o c e e di ne n c o d e r c o m b i n e dd e c o d i n gi nd e c o d e r s oc o m p l e x i t yt r a n s f e r r i n gf r o me n c o d e rt od e c o d e rb e i n gt r u es a t i s f i e dt h en e wa p p l i c a t i o n s t h i st h e s i sm a i n l yr e s e a r c h st h ec o d er a t ec o n t r o la n ds i d ei n f o r m a t i o ne s t i m a t i o no fd i s t r i b u t e dv i d e oc o d i n g f i r s t ，t h ew h o l ed e v e l o p i n gh i s t o r yo fd v ci si n t r o d u c e di nt h i st h e s i s t h e nt h eb a c k g r o u n da n db a s i ct h e o r i e so fw y n e r - z i vi ss t u d i e d ，a n di th a sm a i n l yc o m p l e t e dt h r e ea s p e c t so ft h ew o r ka sf o l l o w s ：f i r s t l y , t h ep r i n c i p l ea n dp r o j e c td e s i g no fl o w d e n s i t y p a r i t y - c h e c ka c c u m u l a t ec o d e s ( l d p c a )a r ei n t r o d u c e dw i t hc o m p a r i n gt os o m eo t h e rr a t e - a d a p t i v es c h e m e s t h ep e r f o r m a n c ev e r i f i e db ys i m u l a t i o ni sa l s oi n c l u d e di nt h i st h e s i s s e c o n d l y , al o to fr e s e a r c h e sh a v e b e e nd o n et oa i ma tt h es i d ei n f o r m a t i o ne s t i m a t i o n i no r d e rt oo p t i m i z et h er dp e r f o r m a n c eo fd v cb yi m p r o v i n gt h eq u a l i t yo fs i d ei n f o r m a t i o n ，b a s e do nt h ei n t r o d u c t i o no fb a s i cw a yt oi n t e r p o l a t i o nt h es i d ei n f o r m a t i o n ，i m p r o v e ds t r a t e g i e sh a sb e e nr e s e a r c h e dt oo p t i m i z et h es i d ei n f o r m a t i o n ，a n do n es t r a t e g yi si ip r o p o s e dt oi m p r o v et h ep e r f o r m a n c e t h eq u a l i t yv e r i f i e db ys i m u l a t i o nt h r o u g hd i f f e r e n tv i d e os e q u e n c e s f i n a l l y , l d p c ac o d i n ga p p l i e di nap i x e ld o m a i nw y n e r - z i vc o d e c t h r o u g hu s i n gm u l t i l e v e lc o d i n gm e t h o da n dr e b u i l d i n gt h ed e c o d e rs i d ei n f o r m a t i o n ，t h eq u a l i t yo ft h ep i c t u r e sh a sb e e ni m p r o v e d ，a n dt h ev i d e oc o m p r e s s i o nh a sa c h i e v e dag o o dr e s u l t k e yw o r d s ：d i s t r i b u t e dv i d e oc o d i n gw y n e r - z i vs l e p i a n - w o l fs i d ei n f o r m a t i o ni i i独创性( 或创新性) 声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：蕴惫翌日期：刍趋：三! 鱼关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：望醴日期：丝丑垒：丝导师签名：盈盗蛆日期：迹3 ：! 里北京邮电大学硕士学位论文第一章绪论第一章绪论1 1 分布式视频编码技术的研究背景国际标准化组织( i s o i e c ) 和国际电信联盟( i t o t ) 分别引导和制定了两个视频压缩编码标准：m p e g 系列和h 2 6 x 系列，它们被广泛应用于视频压缩各个领域。这些视频编码技术基于混合编码框架，编码端应用运动估计、运动补偿等技术，充分挖掘视频信号的冗余信息，非常适合于视频信号的一次编码而多次解码的应用场合，如视频广播、视频点播、视频光盘存储等。在这种情况下，编码端复杂度是解码段复杂度的5 1 0 倍。然而，一些视频应用场合恰恰相反，它们需要低复杂度的编码器，解码端可以具有较高复杂度，比如计算能力、内存容量、耗电量都受限的无线视频终端：无线视频监控、无线p c 相机、移动视频电话等。尤其在无线传感网络中，视频传感节点( v s n ：v i d e os e n s o rn o d e ) 有两个基本要求：( 1 ) 要求编码器功耗低、复杂度低；( 2 ) f l d 于速度限制，要求编码器具有较高的压缩效率。传统的视频编码技术不再适用于上述应用场合，必须寻找到新的视频压缩技术。针对这些情况，一种新的视频编码框架一分布式视频编码( d v c ：d i s t r i b u t e dv i d e oc o d i n g ) 开始受到关注，这种视频编码具有编码简单，解码较复杂，并且能够实现较为高效的压缩，抗误码性能好的特点。1 2 分布式视频编码的研究进展m p e g 和h 2 6 x 等传统的视频编码标准在编码器端主要包括变换，量化，熵编码，相应的解码过程，以及运动估计和运动补偿等步骤。在分布式视频编码技术中同样蕴涵了这些视频编码的要素，但是具体实现的方法和结构则差别极大。图1 1 是一个典型的分布式视频编解码结构图。w y n e r - z i v 编码器由一个量化器和s l e p i a n w o l f c o d e c 连接而成，s l e p i a n w o l f c o d e c 负责对量化后的符号进行编码和解码，这类似于传统编码技术中的熵编码的作用。辅助信息y 被传送到解码端，与已经解码的信息一起辅助当前帧解码工作的进行，根据使用的方法可能需要进行插值，运动估计和运动补偿等工作。对于量化器的输入可能是信源的原始信号，也可以是变换后的系数。作为一种新兴的技术，分布式视频编码技术的各个环节都在快速发展中。北京邮电大学硕士学位论文第一章绪论图l 1 分布式视频编解码结构图目前关于分布式视频编码的研究，主要的编解码算法有：b e r n dg i r o d 等提出的w y n e r - z i v 视频编码【1 卅；r a m c h a n d r a n 等提出的p r i s m 视频编码【7 9 1 ；z i x i a n gx i o n g 提出的分级w y n e r - z i v 视频编码【i o 1 2 】；基于小波编码的分布式视频编码方案【1 3 之1 】；s e h g a l 等提出的“s t a t e f r e e 分布式视频编码方案【2 2 1 。这些分布式视频编码都是在编码端，把各帧图像看成“独立信源”，各帧之间进行独立编码，编码方式类似于传统的帧内编码。在解码端，利用时域相邻帧的高度相关性，通过对已解码重建帧运动估计，进行时域内插求取边信息，最后边信息用于s l e p i a n w o l f解码和当前解码帧的重构。由于在分布式视频编码系统中的解码端，需要运动估计开发时域相邻帧的相关信息，所以系统中编码器可以较为简单，而把计算量较大的帧间预测( 如运动估计) 转移至解码端，因此分布式编码具有编码构造简单，解码端构造复杂的特点。可见，分布式视频编码方案与传统视频编码相比具有明显的区别【2 3 】：基于运动估计的混合编码框架视频编码( 如m p e g 、h 2 6 x ) 在编码端，各帧之间通过运动估计，联合编码，解码端通过运动补偿，联合解码；而基于帧内编码的视频编码( 如m o t i o n j p e g ) 每帧基本上都是各自独立的进行编码和解码。随着无线网络技术的发展，分布式视频编码技术开始受到重视，基于s l e p i a n w o l f 及w y n e r - z i v 提出的信息理论而建立的分布式视频编码技术正在快速发展中。一反传统视频编码的机制，分布式视频编码的编码器较为简单，运动补偿等统计特性的利用被放置到解码端进行，这就为移动视频设备更有效地集成到现有的网络中提供了条件。虽然分布式视频编码技术的表现不一定超越运动补偿的传统编码方式，但它提供了一种新的选择。由于分布式编码具有与传统编码体制完全不同的架构和特点而激发了人们同益高涨的研究兴趣，有人预言其将成为下一代视频编码标准框架。目前分布式视频编码的研究已经获得到了很多较有意义的成果，然而距离实用还有不少的距离，还存在一些需要作进一步研究的问题，主要集中：边信息估计、解码重建、当前分布式帧和边信息的概率统计模型、反馈重传机制、分布式编码的抗误码和可分级特性等方面。2北京邮电人学硕七学位论文第一章绪论( 1 ) 边信息估计【z 4 州j分布式视频编码的一个突出难点是如何准确的估计边信息。最简单的边信息生成方法是直接利用前一解码的关键帧。它的好处是简单，但只单纯利用前一解码关键帧，无法得到当前帧的很好近似，因此编码效率低。另一种也很简单的方法是直接把前一解码关键帧和后一解码关键帧进行平均。这种方法在运动不是很剧烈时可以取得复杂度低且效率好的结果。但要使得生成的边信息可以很好近似当前解码图象，必须采用复杂的帧间外插或帧间内插技术。另外，利用编码端传递少量信息的方法也可用于解码器的边信息估计，这即是所谓的基于哈希码的边信息估计。( 2 ) 解码重建在解码重建函数中，需要考虑在发生误码的情况下( 如边信息估值错误或当前帧传输出错) ，如何实现解码的最佳重建。对于采用什么方式的运动估计算法得出更为精确的边信息，如何构建更佳的解码重建函数，目前只有一些具体改进的算法提出，如文献【3 2 3 4 】，然而这些算法缺乏较为详细的实验数据和理论分析。( 3 ) 当前w y n e r - z i v 帧和边信息的概率统计模型基于t u r b o ，l d p c 或者s y n d r o m e 的分布式编码都是典型的信道编码。分布式视频编码把每帧图像都看成彼此相关的信源，这样就把分布式信道编码概念引入视频编码领域。通常认为边信息和当前w y n e r - z i v 帧的概率分布近似满足l a p l a c i a n 分布或者高斯分布，然而这两概率模型并不能精确描述所有的视频运动模式。实验表明，当前解码帧和边信息的概率模型对解码重建的鲁棒性有非常重要的影响，文献【35 j 对其概率模型做了初步的探索，但尚待进一步深入研究。( 4 ) 编码的复杂度和压缩效率的权衡分布式视频编码是由于无线视频通信的需求而被提出的，并逐渐引起关注。注意到应用于无线环境下的分布式视频编码系统对编码器的要求较为苛刻，然而编码复杂度和编码压缩效率是密切相关的。如何权衡编码复杂度和编码的压缩性能是设计实用视频编码系统的一个重要课题。文献【3 6 】在p r i s m 分布式编码方案中分析研究了该问题，同时指出需要研究更为精确的数学模型来解决该问题。( 5 ) 分布式编码的可分级性视频编码的可分级性是编码器提供的一种码流表示，它能够解决视频传输网络或终端的异质问题，其中分级编码的码流包括一个提供基本视频质量的基本层和一个或多个增强层。文献【z u 】提出的把基于l d p c 编码的w y n e r - z i v 视频编码作为增强层，h 2 6 x 作为基本层可以有和m p e g 4 h 2 6 x 的f g s 编码近似的效果。文献【3 1 7 】提出的基于m p e g 4 的w y n e r - z i v 可分级预测编码和m p e g 4f g s 的编码效率相比有明显的提高。可见分布式编码的编码独立性和解码的鲁棒性使得分北京邮电大学硕士学位论文第一章绪论布式编码有可能成为分级编码的理想实现方法之一。1 3 分布式视频编码的典型应用分布式视频编码是种全新的视频压缩技术，具有编码复杂度低、解码复杂度高的特点，该特点使得分布式视频编码特别适用于编码端计算能力差、内存容量低及耗电量受限的场合。分布式视频编码的典型应用场合为视频监控、移动视频通信及视频无线传感器网络。1 3 1 视频监控视频监控无处不在。一般用多个摄像头从不同角度监控同一事件，每个摄像头将拍摄到的视频进行编码，然后传输给监控中心，监控中心用一个解码器对所有视频进行解码。为了节约成本，可以选用廉价的摄像头，用w y n e r - z i v 对捕获的视频进行低复杂度编码，监控中心的主机选择较好的配置，由于相邻摄像头拍摄到的画面差别不大，解码端可以通过去除视频序列之间的相关性达到解码的目的。用w y n e r - z i v 进行编码的另一个好处是消除了i n t e r 帧的带来的误差传播，能够避免传统视频编码算法在编码突然出现的物体时带来的画面模糊及抖动情况。1 3 2 移动视频电话分布式视频编码非常适用于点对点的移动视频通信。移动电话的计算能力、内存容量、耗电量有限，若能在手机终端实现低复杂度的编码和解码，则能突破这种限制。但是，w y n e r - z i v 编码的特点是编码复杂度低、解码复杂度高，为了实现在手机终端进行低复杂度解码，可以在基站安放一个视频转码器，该转码器负责接收w y n e r - z i v 视频流，并将接收到的视频流进行转换编码，生成m p e g x 或者h 2 6 x 视频流，然后传给接收端，接收端收m p e g x 或者h 2 6 x 视频流后，按照传统方式对其进行解码，最终得到想要的视频信息。图1 2 显示了该通信的过程。公b i t m m mm 了ab图l - 2 移动视频电话场合4北京邮电人学硕士学位论文第一章绪论1 3 3 视频无线传感网络随着微电子技术和网络技术的发展，无线传感网络成了一个新的研究热点，其主要功能是在给定的环境中，通过成千上万个传感器互相协作完成指定的任务。对于具有视频处理能力的无线传感网络，视频传感节点( v i d e os e n s o rn u d e ,v s m ) 应满足两个基本要求：( 1 ) 编码器功耗低、复杂度低；( 2 ) 编码器具有较高的压缩效率【3 8 1 。传统的视频编码技术不再适用于该场合，而分布式视频编码则能很好的解决上述问题。1 4 本论文完成的工作本文对当前通用视频编码协议和系列的若干技术要点进行了分析总结，回顾了d v c 的理论基础、发展现状和各部分组成及运行原理，对提出的两种通过运动估计提高边信息质量的方案进行了详细的叙述，并列出实验仿真结果来验证系统性能的提高。本论文的章节安排如下：第一章：绪论，概括地介绍了分布式编码的研究背景和研究进展，以及分布式视频编码技术的典型应用。第二章：对分布式视频编码的理论基础和典型方案进行了详细的探讨，并分析了分布式视频编码的关键技术。第三章：针对分布式视频编码的关键技术，对其中的码率控制进行了分析，并分析研究了现有的一种编码方案l d p c a 来更好的实现变速率。第四章：在充分考虑分析传统视频编码标准中的运动估计和运动补偿技术的基础上，实现d v c 的边信息生成。通过对现有几种改进算法的研究，提出一种更好的提高性能的边信息生成方法。第五章：将多级编码以及其中的重建方法运用到l d p c a 框架中，并利用前面生成的边信息进行解码并验证性能。第六章：总结，对本论文的主要工作进行了总结。北京邮电人学硕士学位论文第二章分布式视频编码及关键技术分析第二章分布式视频编码及关键技术分析2 1 分布式视频编码的理论基础分布式视频编码的思想最早分别由s l e p i a n 和w o l f 3 9 1 ，w y n e r 和z i v t 4 0 1 以信息编码理论的方式提出，并且加以论证。设x 和y 为两个统计相关的独立同分布随机序列，对x 和y 分别进行源编码和解码时，其无失真信息传输率分别满足r x h ( x ) 及r y 日( y ) ，其中r 、h ( x ) 、r ，和h ( y ) 分别为x 和y 的信息传输率和熵。当对x 和y 进行联合编码时可获得更好的效果，即尺r + r ，h ( x ，y ) ，这是因为联合编码可利用x 和y 之间的统计相关性。s l e p i a nw o l f 理论指出，当对长序列进行编码时，若允许存在一个任意小( 但通常不为零) 的解码错误概率，则对x 和y 分别进行编码、然后进行联合解码，可获得与联合编码相同的信息传输率。这种方式即为分布式信源编码( d i s t r i b u t e ds o u r c ec o d i n g ：d s c ) ，它相当于只在解码端利用x 和y 的统计相关性。s l e p i a n w o l f理论确定了无损分布式信源编码中信息传输率的下界：r r h ( xiy )式( 2 1 )r y h ( y l x )式( 2 1 )尺x + 尺y h ( x ，y )式( 2 - 3 )可见，虽然没有联合编码，只是联合解码，但其总的信息传输率如+ 毋与联合编码时的情况相同。s l e p i a n w o l f 理论通常也用如母平面上的信息传输率边界图表示，如图2 1 所示。h ( y )h ( y i x )h ( x i y )h ( x )毋图2 1 两个统计相关独立同分布随机序列x 、y 进行分布式编码时可达到的信息传输率下界6北京邮电大学硕：l 学位论文第二章分布式视频编码及关键技术分析s l e p i a n w o l f 的无损分布式信源编码理论提出不久，w y n e r 和z i v 便将其扩展到有损情况，建立了解码端使用边信息( s i d ei n f o r m a t i o n ) 的有损分布式信源编码率失真理论。设x 和y 为两个统计相关独立同分布的随机序列的样本，分别代表信源数据和边信息，取自有可能是无限的样本空间x 、y 。信源x 在编码时不能使用边信息y ，但解码时可使用y 。解码后得到在样本空间x 上的重建值j ，失真度为d = 研d ( x ，碧) 】。w y n e r z i v 率失真函数定义为尺焉( d ) ，表示失真度为d 时分布式编码所能达到的比特率下界。另外，定义r m ( d ) 为编码端也能使用边信息时的率失真函数。w ”e r z i v 率失真理论指出，当编码端无法使用边信息时，只嚣( d ) r 柑( d ) ；另外，在高斯无记忆信源和均方误差失真情况下，尺冤) = r x l ，( j d ) ，即在这种情况下，只在解码端使用边信息可获得与编解码端同时使用边信息时相同的率失真性能。s l 印i 锄一w o l f 的无损分布式信源编码通常可借助于信道编码方法来实现，如图2 2 所示。图中x 和y 为两个统计相关的独立同分布随机序列，x 为信源，y为边信息，y 只在解码端出现。编码端对x 进行信道编码，得到校验比特序列p ，将p 传送到解码端。在解码端，对收到的校验比特p 和边信息y 进行信道解码，得到x 的逼近值x 。这里实际上存在一个假想的虚拟相关信道，其输入为x ，输出为y 。如果x 和y 非常相似，则只需传送少量的校验比特，由此可实现大的压缩比。；一一一一一一一一一一一一一一j：s l e p i a n w o l f解码器图2 - 2s l e p i a n - w o l f 损分布式信源编码系统w y n e r z i v 的有损分布式信源编码通常可由一个量化器和一个s l 印i a n w o l f 编码器实现，如图2 3 所示。在编码端，量化器对输入信号进行量化，得到量化值q ，对o 进行s l e p i a n w b l f 编码；在解码端，经s l e p i a n w o l f 解码后得到q 的逼近值q ，由q 和y 得到x 的重建值岩。丢北京邮电大学硕士学位论文第二章分布式视频编码及关键技术分析图2 - 3w y n e r - z i v 有损分布式信源编码系统在分布式信源编码中使用了虚拟相关信道的概念，即利用信源x 和y 间的相关性构造一个虚拟相关信道。可将x 看成是虚拟信道的输入，将边信息y 看成是虚拟信道的输出，二者间的差别可看成是由虚拟信道的干扰造成的误码，如图2 - 4 所示( 图中的速率r 表示所需传递的x 的校验位的比特数与信源x 的比特数之比) 。因此，针对该虚拟信道的特性可设计或选择合适的信道编码方案，从而在解码端由边信息y 和校验位p 恢复x 数据。举一勰篡矧獬篡：虚拟相关信道：t；一一一一= = = = = = = = 二二一一一一一+ 统计相关性信源x图2 - 4 非对称信源编码结构图早先研究分布式编码的工作主要体现在信道编码领域：j g a r c f a f r f a s 和z h a o 、b a j c s y 和m i t r a n 、a a r o n 和g i r o d 论述了使用t u r b o 编码的压缩效率可以接近s l e p i a n w o l f 编码效率。l i v e r i s 等人论述了l d p c ( l o w d e n s i t yp a r i t y - c h e c k )编码和t u r b o 编码有类似的编码效果。随后基于视频信号的分布式编码的研究也陆续开始。2 2 分布式视频编码的典型方案在众多的分布式视频编码方案中，s t a n f o r d 大学的a a a r o n 等提出的w y n e r - z i v 编码器得到了广泛关注，并且很多应用都是在此基础上进行设计的。接下来对两种w y n e r - z i v 编码器进行介绍。2 2 1 像素域w y n e r - z i v 视频编码基于像素域的w y n e r - z i v 视频编码器4 1 结构见图2 - 5 。8北京邮电大学硕一 ：学位论文第二章分布式视频编码及关键技术分析图2 - 5 基于像素域的w y n e r - z i v 视频编码器在编码器端，视频帧被分成两种类型：关键帧k 和w y n e r - z i v 帧s 。对于关键帧k ，系统使用传统的帧内编码方式对其进行编码处理；对于s 帧，系统采用帧内编码、帧间解码的技术对其进行处理。编码s 帧的过程为：首先对帧中的每个像素进行均匀量化，量化电平为2 肘，将量化后的值按照重要性进行划分排列，形成符号流q ，然后将该符号流送入s i m i a n w o l f 编码器中进行处理，其中，s i m i a n w b l f 编码器主要由码率兼容的凿孔t u r b o 码( r a t e - c o m p a t i b l ep u n c t u r et u r b oc o d e ，r c p t ) 构成，这样在编码器中会产生奇偶校验码p ，系统将这些校验码暂时存到缓冲器中，在以后的解码过程中，缓冲器会根据需求来传送部分校验码到解码器。在解码端，对于k 帧，只需要进行传统的帧内解码即可得到解码后的关键帧k ；对于s 帧，解码器利用相邻已解码的k 帧或者f 帧，通过运动补偿插值( 内插或外插) ，形成插值帧s ，s 即为初步估计得到的s 帧，也称其为边信息。t u r b o 解码器使用编码器发送过来的奇偶校验码p ，对边信息s 进行“纠错”解码，得到符号流g 。如果g 失真太大，t u r b o 解码器会通过反馈通道请求更多的附加奇偶校验码p ，“解码请求”过程一直重复下去，直到q 在指定的差错概率之内。得到g 后，解码器中的重构模块根据q 和s 重构每个像素的值，重构函数为：s = e ( s 旧，s ) ，这样就可得到原始帧s 的重构帧f 。需要指明的是，在解码的过程中，解码器假设x 。和j 。统计相关。2 2 2 频率w y n e r - z i v 视频编码基于像素域的w y n e r - z i v 视频编码器去除了帧间的时间相关性，但是没有考虑w y n e r - z i v 帧的空间相关性，在像素域的w y l l e r - z i v 视频编码器的基础之上，a a a r o n 等提出了基于转换域的w y n e r - z i v 视频编码器【5 】【4 1 】( 图2 6 ) ，实验结果表明与基于像素域的w y n e r - z i v 视频编码器相比，转换域的w y n e r - z i v 视频编码器获得了更高的压缩比和更好的图像质型5 1 。9北京邮电大学硕士学位论文第二章分布式视频编码及关键技术分析图2 - 6 基于转换域的w y n e r - z i v 视频编码器与2 2 1 介绍的相同，编码器端视频帧被分成两种类型：关键帧k 和w y n e r - z i v 帧w 。关键帧k 使用传统的帧内编解码方式对其进行处理；两个关键帧间的w 帧则采用帧内编码、帧间解码的技术对其进行处理。具体过程如下：编码时，先对w 帧进行4 x 4 d c t 变换得到x ，按照x 在每个4 x 4 块中的位置，将其划分成1 6 个频段x 。，其中x 。为d c 频段，置一x 。为a c 频段。然后对每个频段进行编码：先对x 。中的每个系数进行均匀量化，量化电平为2 肘，将量化后的值g 。按照重要性进行划分并提取b i t p l a n e ，形成m 组b i t p l a n e ，然后将这些b i t p l a n e 送入基于r c p t 的s l e p i a n w o l f 编码器中进行处理，在编码器中会产生奇偶校验码p ，系统将这些校验码暂时存到缓冲器中，在以后的解码过程中，缓冲器会根据需求来传送部分校验码到解码器。解码时，对于w 帧，解码器利用相邻已解码的k 帧或者形帧，通过运动补偿插值( 内插或外插) ，得到边信息。对形进行4 x 4 的d c t 变换，得到j ，将j 进行频段划分得到1 6 个频段j r ( 解码器假设x 。和j r 统计相关) 。t u r b o解码器通过j r 和编码器发送过来的奇偶校验码p 依次对b i t p l a n e r 进行解码，得到比特流以。如果b k 失真太大，t u r b o 解码器会通过反馈通道请求更多的附加奇偶校验码p ，上述“解码请求”过程一直重复下去，直到反在指定的差错概率之内。m 个b i t p l a n e 解码完毕后，对m 组b k 进行重组得到g 。，解码器中的重构模块根据g i 和j k 重构频段x i ，重构函数为：x t = e ( x 。ig 。，x 。) ，这样就可得到重构频段置。得到所有的重构频段后，通过i d c t 变换，即可得到解码后的w y n e r - z i v 帧驴。2 3 分布式视频编码的关键技术1 0北京邮电人学硕士学位论文第二章分布式视频编码及关键技术分析2 3 。1 量化器的设计对于视频编码来说，图像的失真基本上是由量化器决定的，故量化器的设计是非常关键的一个环节。均匀标量量化是最直接、最简单、最普遍的方法【2 5 】【7 】【9 】【4 2 彤】。对于像素域的分布式视频编码，直接对帧中的每个像素进行均匀量化【2 】【4 1 ，量化电平为2 m ( m = l 8 ) 。对于转换域的分布式视频编码，采用均匀量化时，d c 系数的量化步长视d c 系数的幅度而定，d c 系数的最大量化值不大于疗，。n 为d c t 变换的块尺寸，l 。，指量化电平数【4 5 1 。a c 系数的量化步长形= 2iyi 嘲2 肘一l ，其中v 指的是a c 系数值，iyl 一指a c 系数的最大幅值，2 肼指量化电平数，量化级数g = v w 。对a c 系数进行量化后，所得的结果为g ，故g 即为量化后生成的符号流。除了均匀量化外，不少文献也提出了其它量化方法。1 4 6 中使用的是一个基于t r e l l i s 编码的量化器。文酬4 1 7 】利用l l o y d 算法实现了固定码率下局部最优矢量量化器的设计，由于矢量量化器的维数与熵编码的块长度是一致的，因此这种量化器要么性能较差，要么复杂度太高。文献【4 8 】提出了一种基于l l o y d 算法的量化器，该量化器引入了一个码率控制机制，使量化器的维数与熵编码器所需编码的块长度分离开来，从而降低了系统的复杂度。2 3 2 边信息的产生方法边信息用于接收端的信道解码和重建。边信息是对当前w z 帧的预测，相当于传统编码中对p 帧或b 帧的预测，只不过这罩的预测是在解码端进行的。预测精度越高，说明边信息与w z 帧越接近，相当于虚拟信道的误码越少，经过信道解码后误码率就越低。另外，信道解码后得到的只是w z 帧的量化版本，还需经过重建过程才能得到w z 帧图像。重建过程通常也要用到边信息，且边信息的预测精度越高，则重建后的效果越好。边信息的产生方法有很多种，有些方式完全利用解码端数据来产生边信息，还有一些方法需从编码端传送某些数据，以辅助解码端产生边信息。最简单的边信息产生方法是在解码端直接将w z 帧的前一帧数据作为边信息。显然，当画面内容变化较大时，这种方法产生的边信息与w z 帧数据相差也较大。有文献提出在解码端利用平均值内插方法和运动补偿内插方法产生边信息。平均值内插是指将w z 帧的前后相邻两帧同位置处的像素值进行平均，作为该位置处的边信息值；而运动补偿内插是指将w z 帧的前后两帧作为参考帧，进行运动补偿预测，得到边信息。为了提高边信息的准确性，本论文将采用运动补偿内插方法。另外北京邮电大学硕士学位论文第二章分布式视频编码及关键技术分析将对几种改进方法进行仿真，并试图寻求更好的提高性能的改进方法。在w y n e r - z i v 编码器中，边信息主要通过对相邻关健帧只一。和c + 。进行运动补偿内插( m o t i o nc o m p e n s a t i o ni n t e r p o l a t i o n , m c i ) 来重建。在m c i 算法中，假设内插帧的前向运动矢量和后向运动矢量是对称的，边信息帧的内插利用类似于传统b 帧运动补偿的方法来实现，如下式：巧( p ) = 【正一i ( p + m v ) + 互+ i ( p 一聊，) 】2式( 2 - 4 )其中，p = ( x ，y ) 为边信息帧中像素的坐标。对边信息帧运动矢量的估计是m c i 算法的关键部分，宏块的运动矢量越接近实际运动场，内插重建的质量越高。2 3 3 码率控制方法在分布式视频编码中，有三个方面的因素会影响到压缩信号的码率。首先是k 帧与w z 帧的比例，相当于传统编码中i 帧与p 帧或b 帧的比例。由于k 帧采用传统的帧内编码，因此k 帧比例大会导致压缩信号码率高。不过k 帧比例大有利于在解码端产生预测精度高的边信息。另一个因素是k 帧的码率，这取决于k 帧量化步长的选择，与传统视频编码情况完全相同。第三个因素是w z帧的码率，这取决于w z 帧的量化步长及传输的校验位数量。w z 帧的量化步长会影响信道编码产生的校验位总数，同时也会影响解码端重建图像的质量。当量化步长确定后，校验位总数也随之确定，此时，传输的校验位数量将取决于虚拟相关信道的统计特性，即w z 帧和边信息之间的统计相关性。但由于边信息是在解码端得到的，因此在编码端很难确定要传输多少校验位才能在解码端成功地完成信道解码。在上述三个因素中，对k 帧与w z 帧的比例以及对k 帧码率的控制可借鉴或使用传统视频编码中的方法，但对w z 帧码率的控制则是一个新课题，也是分布式视频编码中的一个研究重点。本次论文中的视频序列x 由奇数帧和偶数帧组成，综合考虑信号的压缩量和边信息的准确度，本次试验采用奇数帧为关键帧，偶数帧为w y n e r - z i v 帧。下面将重点考虑w z 帧的码率。主要采用多级编码的方法和变速率编码l d p c a ( l o w d e n s i t yp a r i t y c h e c k a c c u m u l a t ec o d e s ) 来实现。2 3 4 鲁棒的视频传输s l 印i a l l w 6 l f 编码与信道编码是紧密相关的4 9 1 ，可以通过w y n e r - z i v 编码来实现鲁棒的视频传输【6 】【5 0 彤】。一个典型的基于w y n e r - z i v 的鲁棒视频传输系统结构【4 8 1 见图2 - 7 。输入的视北京邮电大学硕j 二学位论文第二章分布式视频编码及关键技术分析频序列同时进行m p e g 编码和w y n e r - z i v 编码( w y n e r - z i v 编码器结构同【2 】) 。通过不可靠传输信道后，接收端对m p e g 比特流进行m p e g 解码和误差修复，得到解码帧s ；对w y n e r - z i v 比特流进行w y n e r - z i v 解码，得到解码帧s 。若传输可靠，w y n e r - z i v 比特流提供的完全是冗余信息；若传输过程中错误严重，对m p e g比特流进行误差修复后，解码帧中还是存在大面积错误，这时，可以将s 用作w y n e r - z i v 解码器端的边信息对w y n e r - z i v 进行解码，这样就能够得到较高质量的解码帧s 。，同时可以将w y n e r - z i v 帧反馈给m p e g 解码器，m p e g 解码器存储该w y n e r - z i v 帧，并将该帧作为参考帧来解码后续的m e p g 帧。对误码率较高的信道来说，该方法非常有效。视频序m p e gm p e g解码帧：视频编码视频解码- 1 误差修复l不可靠传输_ 一信边信息1rw y m r - z i v道w y n e r - z i v编码解码解码帧s 一图2 7 基于w y n e r - z i v 的鲁棒视频传输系统结构文酬5 7 】提出通过w y n e r - z i v 编码来防止i n t e r 帧带来的误差传播，编码时，从视频序列中挑出一部分帧进行w y n e r - z i v 编码，称为“p e g 帧”，其它的帧按照传统方式编码，这样帧间误差最多漂移至p e g 帧就会停止。除了基于t u r b o 码的w y n e r - z i v 编码器外，很多文献提出用其它编码方式来构造w y n e r - z i v 编码器。如文献【5 2 】提出用r s ( r e e ds o l o m o n ) 码取代t u r b o 码；as e h g a l 等人提出利用基于l d p c ( l o wd e n s i t yp a r i t yc h e c kc o d e ) 的w y n e r - z i v编码方式来对传统编码中的传输错误进行纠正，其纠错性能优于基于t u r b o 码的方法【州。还有学者指出，通过分级w y n e r - z i v 视频编码( l a y e r e dw y n e r - z i vv i d e oc o d i n 曲可以实现鲁棒视频传输【l 。在该方案中，基本层采用h 2 6 l 编码，增强层采用基于l d p c 码的w y n e r - z i v 编码，基