（信号与信息处理专业论文）基于框架扩展的多描述方法研究.pdf

摘要 摘要 多描述编码是一种具有很强的错误隐藏和错误恢复能力的图像、视频编码方 案，它可以克服互联网和无线通信网络传输信道的不可靠性导致的数据错误及分 组丢失等问题。本文综述了多描述编码的发展现状，针对多描述编码中的基于框 架扩展的问题进行了深入的研究，着重分析了基于框架扩展的多描述编码方法， 并结合量子测量中知识，提出了基于量子测量理论的紧框架构造方法。 首先，本文讨论了过完备扩展中的系数量化对重建过程的影响。文中研究了 两种类型的过完备扩展：固定的框架扩展和对特定的源样本自适应的扩展，分析 了这两种情况下进行最优重建的均方误差大小，并将量化框架系统与常规系统进 行了比较，说明了在有损信道中传输时量子框架系统的抗误差性能的优势。 然后，引入量子测量的基本知识，再利用量子测量与框架之间存在的紧密联 系，即量子测量系统所依赖的子空间中的规范紧框架正好是该空闯中的一阶广义 测量，推导出了基于量子测量理论的紧框架的构造方法。通过设计出具体的实例， 并将其与传统的框架构造方法进行比较。实验结果表明，在同等条件下，该文提 出的方法在抗误差性能及计算复杂度等方面更优。 关键词：多描述编码框架框架扩展量子测量奇异值分解广义测量 a b s 仃a c t a b s t m c 建 m u l t i p l ed e s c r i p t i o nc o d i n g ( m d c ) o f f e r s a l li m a g ea n dv i d e oc o d i n gf r a m e w o r k w i t hv e r ys t r o n ge r r o rr e s i l i e n ta n de r r o rc o n c e a l m e n ta b i l i t y i tc a nw e l lc o n q u e rt h e d a t ae r r o ro rp a c k e tl o s sp r o b l e md u et ot h ei n t e r n e to rw i r e l e s sn e t w o r kc h a n n e l f a i l u r e t h i st h e s i sf i r s tr e v i e w st h ed e v e l o p m e n to fm d c ，c o n c e n t r a t e si t ss t u d yo n f r a m ee x p a n s i o ni nm d c ，a n da n a l y z e ss i g n i f i c a n t l yt h em e t h o do fm d cb a s e do n f r a m ee x p a n s i o n ，a n dp r o p o s e st h ef r a m ec o n s t r u c t i o nb a s e do nt h e o r yo fq u a n t u m m e a s u r e m e n t 、i mt h ek n o w l e d g eo fq u a n t u mm e a s u r e m e n t f i r s to fa l l ，t h ee f f e c t so fc o e f f i c i e n t sq u a n t i z a t i o ni no v e r - c o m p l e t ee x p a n s i o nw a s d i s c u s s e d t w oc l a s s e so fo v e r c o m p l e t ee x p a n s i o nw e r ec o n s i d e r e d ：f i x e d ( f r a m e ) e x p a n s i o n sa n de x p a n s i o n st h a ta r ea d a p t e dt oe a c hp a r t i c u l a rs o u r c es a m p l e t h e m s eo ft h eo p t i m a lr e c o n s t r u c t i o n si nb o t ho ft h ec o n d i t i o n sw e r ec o n s i d e r e d i n c o n t r a s tt oc o n v e n t i o n a ls y s t e m ，q u a n t u mf r a m es y s t e ms h o w e dt h ea d v a n t a g eo f a n t i e r r o rp e r f o r m a n c ei nt h el o s s yc h a n n e l t h e n ，s o m eb a s i ck n o w l e d g eo ff r a m e si sd e s c r i b e di nt h ep a p e r , a n dt h e ns o m e c o n c e p t so fq u a n t u m m e a s u r e m e n ta r ei n t r o d u c e d u s i n gt h ec o m p a c t r e l a t i o n s h i p b e t w e e nq u a n t u mm e a s u r e m e n ta n df r a m e s ，t h a ti s ，t h ef a m i l yo fn o r m a l i z e dt i g h t f r a m e sf o rt h es p a c ei nw h i c haq u a n t u m - m e c h a n i c a ls y s t e ml i e si sp r e c i s e l yt h e f a m i l yo f r a n k - o n eg e n e r a l i z e dq u a n t u mm e a s u r e m e n t so nt h a ts p a c e ，w eg e tt h et i g h t f r a m ec o n s t r u c t i o nb a s e do nt h e o r yo fq u a n t u mm e a s u r e m e n t t h ec o n c r e t ee x a m p l e s h o w st h a tc o m p a r e d 丽mt h et r a d i t i o n a lc o n s t r u c t i o nm e t h o d s ，f r a m ec o n s t r u c t i o n b a s e do nt h e o r yo fq u a n t u mm e a s l l r e m e n th a sal o to fa d v a n t a g e si na n t i - e r r o r p e r f o r m a n c ea n dc o m p u t a t i o n a lc o m p l e x i t y k e yw o r d s ：m u l t i p l ed e s c r i p t i o nc o d i n g ，f r a m e ，f r a m ee x p a n s i o n ，q u a n t u m m e 栅e m e n t ，s i n g u l a rv a l u ed e c o m p o s i t i o n ，g e n e r a l i z e dm e a s u r e m e n t i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：三啦 签字日期：色煎鱼：墨 ， 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫接等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相致。 保密的学位论文在解密后也遵守此规定。 日公开口保密(年) 作者签名：盔查l 叠 签字日期；霉乒兰l 导师签名：1 量丝 签字日期：函啤：曼：生 第1 章引言 1 1 问题的提出 第1 章引言 随着科学技术及经济文化的发展，人们对多媒体信号在互联网和无线移动信 道中传输的需求日益增大，特别是对图像和视频实时传输的需求。网络带宽和计 算机处理能力的迅速提高为这一需求提供了前提条件。网上图像和视频传输拥有 极广泛的应用范围，涵盖了交互式视频服务、视频会议、电子商务、远程教学以 及远程医疗等领域。人们对图像和视频服务的需求之大，应用之广，给图像和视 频编码技术提出了更高的要求：不但要设计高效的编码方案，更要让它适应于互 联网和无线网络的传输特性。 然而，互联网和无线通信网络的传输信道并不十分可靠。在互联网视频传输 过程中，信道干扰、网络拥塞和路由选择延迟等问题将导致数据错误及分组丢失 等现象，使视频的重建质量严重下降。无线通信网络信道的随机比特错误和长突 发性差错等问题是信道状况进一步恶化，导致所传输视频数据的大量字段丢失或 失效。另外，丢失分组重传机制加大了延时，不适合图像和视频信号的实时要求。 因此，由于互联网和无线通信网络传输中的数据错误、丢失和过度延时等现象产 生的视频解码错误不但严重影响业务的质量，甚至会导致整个视频通信完全失 效，成了限制网络实时视频技术发展的瓶颈，也是国内外信息科学的研究热点和 学科前沿。 1 1 1 本课题的研究背景和意义 随着科学技术日新月异的发展，信息在人们的生活和工作中所起的作用也越 来越大。在人们进行信息交互的过程中，就必然涉及到信号( 语言、图像等) 的 传输问题，编码问题是信号传输中的一个重要的环节，如何选择一个好的编码方 式对保证信号传输的质量至关重要。多描述编码假设在信源和信宿之间有多个信 道，各个信道同时出错的概率非常低，通过生成多个同等重要、可独立解码的关 于编码的描述，从而保证在其中一些描述丢失的时候，仍可以得到可接受的图像 质量，而随着描述的增加，图像质量也随之提高。由于使用部分的信息就可以重 建出一个质量可接受的图像，因此多描述编码在基于包的网络、无优先保护机制 的i n t e m e t 、分集通信系统( 多天线的无线信道) 、语音编码、图像编码、视频编 码、多分布的存储系统以及低延时的系统中将有着非常重要的应用。框架是基的 第1 章引言 推广形式，它有很多良好的特性，如在信号表示中，它对加性噪声和量化误差都 有很强的灵活性，重建的稳健性好，而且能更灵活的获得重要信号的特征，所以 框架的应用范围相当的广泛。在信号的传输过程中，使用框架来对信号进行编码 的话，得到的信号要比传统的编码方式得到的信号的鲁棒性好很多。在信号的表 示中使用框架的优势很明显，那么如何选择一个性能较优的框架将有很重要的意 义，传统的框架发展已经达到瓶颈，亟需使用新的方法来构造新型框架，量子测 量中的理论为这些提供了依据，我们可以通过量子测量作为突破口。 1 1 2 国内外研究现状及分析 多描述编码是一种具有很强的错误隐藏和错误恢复能力的图像、视频编码方 案，它可以克服互联网和无线通信网络传输信道的不可靠性导致的数据错误及分 组丢失等问题。自从2 0 世纪7 0 年代提出多描述编码的概念后，经过多年的发展， 人们提出了多种多描述编码的方法，多描述编码的理论知识越来越成熟，基于框 架扩展的多描述方法最早是由g a y a l 、k o v a c e v i c 等人提出。传统的方法构造的框 架在多描述中的应用已经很难满足高性能的要求，这需要使用新的理论知识来在 这方面寻求突破。 量子测量理论是量子理论的基础支柱。它联系着理论计算和实验测量，是两 者之间的必经桥梁。按现在文献情况可以说，不熟悉量子测量理论就难以很好地 理解许多近代重要的实验工作。更何况，量子测量理论本身就蕴含着量子理论几 乎全部的未解决重大基本问题。这些问题都如此基本，以致于它们的解答必定会 从根本上纠正我们现有的时空观念和某些基本概念，导致我们对世界有一个崭新 的再认识。 量子测量理论的发展不仅仅是在量子理论领域中有着重大的作用，而且渐渐 渗透到其他交叉学科中去。利用量子测量理论中的一些重要思想，再结合相关学 科的一些理论知识，这就可能衍生出更多的更新的技术，在实际应用中将会得到 很好的应用。 在量子力学中，测量是一个基本问题( 公设之) ，它沟通了经典世界和量子世 界，我们可以通过测量来窥探微观世界。量子测量作为量子力学的一个重要组成 部分，其理论部分逐渐丰富，已经开始向实际应用中发展。近些年来，随着量子 信息的发展，量子测量的研究得到进一步的重视。量子信息的研究是以量子力学 原理为基础，充分利用量子相干性的独特特性，探索以全新的方式进行计算、编 码和信息传输。一些人通过对框架的构造的研究，并结合其他一些相关技术的新 发展，针对量子测量与紧框架之间的密切联系，提出了利用量子测量的方法来构 造多描述编码中所需要的紧框架。人们通过对框架的进一步研究，将框架进行了 2 第1 章引言 分类，提出了具有不同性质的框架的概念，这些框架在信号传输等方面的应用越 来越广泛。 1 2 本文的主要研究内容 多描述编码作为一种很好的抗干扰、抗分组丢失的编码方法，已经收到了广 泛的关注。本文就是在多描述框架的大前提下，针对基于框架扩展的多描述编码 方法，研究了过完备扩展的特性，并引入量子测量方面的理论知识，为编码传输 构造设计出特殊性能的框架。本文的主要研究内容有： 1 ) 分析了过完备扩展中的系数量化对信号重建过程的影响。在框架扩展部 分研究了两种类型的过完备扩展：固定的框架扩展和对特定的源样本有适应性的 扩展，分析了两种类型的框架扩展的实现过程，并推导出了进行最优重建的均方 误差m s e 的性能。接着以适应性框架扩展中的匹配追踪算法为例进行分析，说 明了以这种方式进行多描述编码传输在数据压缩、抗误差性能等方面的优点。 2 ) 通过对紧框架的分析，给出了不同数量分组丢失情况下的由紧框架系数 重建均方误差m s e 性能。文中提到两种编码方法：常规系统和框架扩展系统， 分别说明了两种方法在编码中的实现过程，并给出了各自的率失真性能。 3 ) 从量子测量的基本知识入手，然后利用框架与量子测量之间的联系，即 即量子测量系统所依赖的子空间中的规范紧框架正好是该空间中的一阶广义测 量，通过类比的方法将量子测量中的一些概念转移到框架上，构造出基于量子测 量的最优紧框架，并通过实验的方法构造出紧框架，将这种方法与传统的框架构 造方法进行了对比分析。 1 3 本文结构安排 引言部分概要介绍了问题的提出背景、研究意义及国内外的研究现状。 第二章从介绍多描述编码的起源、优势及常用多描述的方法开始，逐渐引 入了框架扩展的多描述方法，分析了当前已有的基于框架扩展的多描述方法的发 展情况。 第三章先从分析两类框架扩展的方法( 即，固定框架扩展和可变可适应框 架扩展) 的实现开始，导出过完备扩展中的系数量化对重建信号性能的影响：再 讨论总结出由紧框架系数进行重建时，不同数量的系数丢失的均方误差性能；最 后对常规系统和量化框架系统中的编码方法进行了研究，推导出两种方法下的率 失真性能。 第四章先引入量子测量理论中的基本知识，然后利用p o v m 与紧框架之间 第1 章引言 的联系，即量子测量系统所依赖的子空间中的规范紧框架正好是该空间中的一阶 广义测量，推导构造出基于量子测量的框架，并分析了这种方法构造出的框架的 性能。 第五章对全文进行了总结并对未来的工作进行了展望。 4 第2 章多描述编码方法介绍 第2 章多描述编码方法介绍 为了解决传统编码算法在遭受误码或丢包引起的严重的接收质量下降问题， 多描述编码( m u r i p l ed e s c r i p t i o nc o d i n g ，m d c ) 在近年来越来越受到研究人员 的关注，多描述编码将单个信源信号编码成两个( 或连个以上) 独立的比特流， 这些独立的比特流被称为描述，而且这些描述具有同等的重要性。接收端接收到 其中一个描述可以恢复出粗糙但可以接受的重建图像，接收到多个描述可以提高 重建图像质量。 2 1 多描述的引入 多描述编码起源于多用户信息论的发展，最早由美国贝尔实验室在2 0 世纪 7 0 年代的时候应用于电话网的语音传输中。多描述的概念是将单信号源表示为 多个数据块( 称为描述) ，并且使各个描述与源信号相近。这样，即使一个分组 丢失，信源依然可以继续恢复出来，从而防止信号重建质量的停滞。这一概念给 了我们一个启发：对于信源编码，不要简单地用压缩率指标来衡量其优劣，而要 用该编码方法传输的信源到达接收端的数据有多大用处来衡量。从此，多描述编 码( m u l t i p l ed e s c r i p t i o nc o d i n g ，m d c ) 方法从最早的一维音频领域陆续发展应 用到了二维图像和三维视频编码领域，并以其良好的抗干扰、抗传输差错的性能， 在解决差错信道下图像视频的传输等问题方面取得了很好的效果。 2 2 多描述编码的定义 在不可靠分组网络和无线信道中，多描述编码( m d c ) 是一种抗分组丢失， 减小传输错误的有效编码方法。它的基本思想是( 1 ) 将信源分解成两个或多个 具有同等重要性的码流，每个码流都看成是一个描述；( 2 ) 在描述间引入相关， 每个描述既包含自身的重要信息，又包含可用来重建其他描述的部分冗余信息； ( 3 ) 各个描述分别通过相互独立的信道传送到接收端；( 4 ) 接收端采用不同的 解码器：若能完整地接收到所有的描述，信号通过中心解码器解码，并根据各描 述的重要信息获得高质量的重建效果；若只能接收到一部分的描述，信号则通过 边解码器来解码，从接收到的描述所携带的冗余信息中恢复出丢失的部分信息， 获得可接受的重建质量。 多描述编码中每个描述具有如下特点：( 1 ) 都有自己的一组编码、解码函数， 第2 章多描述编码方法介绍 可以独立编解码；( 2 ) 都包含一些别的描述所没有的信息，可以相互增强。因此， 只要接收到一部分描述的信息，解码端就可以通过这些信息对信源进行一定质量 的重建。由于每个描述都含有其他描述所没有的信息，所以重建的效果会随着接 收到的描述数的增多而得到改善。若所有的描述都能被准确地接收到，则解码端 就可以得到高质量的重建信号。 讨论将多描述编码应用到网络传输时需要说明几个前提：( 1 ) 传输不同描述 的信道应该是不同的物理途径，例如专用无线网或因特网之类的分组交换网络。 即使信源与信宿间只存在一个物理路径，该路径也可以用时间交织、频分复用等 划分成若干虚拟的信道。( 2 ) 各个描述直接之间有关联，而且数据单元要在一个 发送端和一个或多个接收端之间传输。( 3 ) 接收端可能会出现接收不到所有描述 的情况，即在点对点的通信中有时候描述会有所丢失，例如在广播或多播时有些 用户无法得到正确的描述。相反，如果所有用户总是能够确定地接收到所有的描 述，那就没有必要担心信源编码的鲁棒性问题，只需追求编码效率即可。( 4 ) 在 网络传输过程中，每个信道误码或信息丢失的发生概率是相互独立的，即使遇到 信道的暂时中断或遭到长的突发误码，由于所有信道同时发生误码或丢失信息的 概率很小，因此，绝大多数情况下，总会有一个或多个描述能到达接收端。 图2 1 多描述编码框图 信源通过多描述编码器得到s l 、s 2 s n 多个描述，各描述通过独立的信道传 送到解码端，解码端最少接收到0 个描述，最多接收到n 个描述，所以总共有 2 n 种可能的接收情况。显然解码器接收到的描述数目不同，能恢复的信源程度也 不同，当所有描述都接收到时，就能最大限度地恢复信源，接收到的描述少，恢 复的效果要差一些。有关收到的描述与信源失真之间的关系一直是多描述编码的 难点，在理论上它等价于多用户的信息率失真问题，但在应用中不完全由理论指 导实践，同时还要考虑算法复杂度、算法效率等实际问题。 下面以两个描述为例来阐述模型的数学原理。 6 第2 章多描述编码方法介绍 图2 2 两描述编码的框图 r l ，r 2 表示信道1 、信道2 的速率，d l ，d o ，d 2 分别表示解码器1 ，2 和中 心解码器带来的失真。若信源是无记忆的高斯信源，其均方差为盯2 ，那么( r l ， r 2 ，d o ，d l ，d 2 ) 满足如下条件： d ，2 2 - 2 r ；i = i ，2 ；d 0 盯2 2 - 2 曷+ 焉( r l ，足，d l ，砬) 如果d l + d 2 仃2 + 岛，贝, uy d = 1 ，否则 1 胪瓦而丽面孓而示丽 q - l 一( ( 1 一d 1 ) ( 1 一皿) 一d l 砬一2 叫即尥) 2 这只是最简单的高斯无记忆信源时的情况，实际的信源情况比这要复杂得 多。 2 3 多描述编码较其他编码方式的优越性 多描述编码从本质来说是一种差错复原的技术【l 】。多描述编码有两个主要属 性：( 1 ) 可以独立对每个描述进行解码并重构出可用的原始信号；( 2 ) 多个描述 之间存在互补信息，随着接收到的描述数目的增加，解码出的图像质量也逐步提 高。 值得注意的是，第一个属性不同于常规的可分级( 或可分层) 编码，常规的 方法编码出的基本层是至关重要的，如果失去基本层，剩下的其他层的比特流将 毫无用处，无法由他们来恢复出原始信号。然而，多描述编码技术可以利用正确 接收到的任何一个描述重构出有用的原始信号，随着正确接收到的描述数量的增 加，解码出的图像质量也逐步提高。采用多描述视频编码算法，还可以利用其他 描述中未受损的帧来修复本描述中受损的帧。这样，即便是两个描述都遭受了分 组丢失，只要这两个描述遭受的分组丢失不是同时发生，那么它们仍然可以维持 有用的视频质量。多描述编码优越性还包括：多描述编码系统可以获得较高的压 缩效率：同常规的单描述压缩原理相比，它压缩所得的总比特率只比后者略高。 采用多描述编码技术，在任意时间点上只要接收到至少一个描述，就可以有 7 第2 章多描述编码方法介绍 效地再生出原始图像。因此，可以把多描述视频编码技术和多路径技术结合起来， 使用不同的网络路径来传送不同的描述。由于不同路径的分组丢失现象是不相关 的，因此，将多路径传输系统和多描述编码技术相结合，可大大提高多描述编码 差错复原的效率。 2 4 常用的多描述编码方法 到目前为止，已提出了不少多描述编码算法【2 1 。在实际应用中主要是从编码 效率、编码质量、编码复杂度、丢包复原能力、主观效果等方面考察算法的优劣。 2 4 1 基于量化的多描述编码 多描述量化编码又可分为多描述标量量化( m d s q ) 及多描述矢量量化 ( m d v q ) 。1 9 9 3 年，v a i s h a m p a y a n 使用带有渐进特性的多描述标量器构造出了 第一个实用的多描述编码器【3 j ，即m d s q ，它的设计分为索引分配的选择以及针 对给定的索引分配对量化器的结构进行优化。在上述的m d s q 中，v a i s h a m p a y a n 对编码器的输出采用定长码进行编码，为提高系统的性能，v a i s h a m p a y a n 对 m d s q 编码器的输出采用变长码进行编码，并将该多描述编码器称为受熵约束 的m d s q 4 1 。上面的研究针对的是无记忆高斯信源，后来b a t l l o 和v a i s h a m p a y a n 对平方误差失真度量下有记忆信源的多描述量化器的渐进性能进行了分析【5 】。由 于多描述量化器的失真的出的结果与多描述率失真界有3 0 7 d b 的差距，文献【6 1 设计了一个量化器来减小这个差距。 j a f a r k h a n i 和t a r o k h 提出了一种算法用于构造多描述编码网格编码量化器 【7 1 ，量化器从网格的张量积中得到，文中使用v i t e r b i 算法来选择编码的最优路径， 并提出一种算法来优化设计参数。f l e m i n g 和e f f r o s 提出了一种算法来设计多描 述矢量量化器【3 】，它是由树形矢量量化( t s v q ) 的方法得到。另一个基于t s v q 的方法是由c a r d i n a l 提出的，每个解码器的码书以二元树的形式组织【9 j 。 v a i s h a m p a y a n 、s l o a n e 和s e r v e t t o 针对对称信道提出了多描述基于格子矢量量化 器【1 0 1 ，为常见格子的矢量索引分配的构造提出了一个优化方法。d i g g a v i 、s l o a n e 和v a i s h a m p a y a n 使用不同的子格子和相似的索引分配技术将上述方法扩展到非 对称信道【i ，而k e l n e r 、g o y a l 等人则将上述工作扩展到两个描述以上f 1 2 1 。 由于m d s q 是多描述编码中使用的最早的一种方法，所以后来很多的方法 都是基于m d s q 而提出的。b a t l l o 和v a i s h a m p a y a n 最先将多描述和变换编码相 结合，当时他们只是简单地将m d s q 应用于块变换的输出，并对多描述标量量 化与正交变换的先后关系以及多描述标量量化与正交变换的联合优化进行了仔 8 第2 章多描述编码方法介绍 细的分析。s e r v e t t o 、r a m c h a n d r a n 和v a i s h a m p a y a n 针对的是对称信道( r i = r e ) ， 将m d s q 和小波图像压缩技术相结合，并对其进行了优化【l3 1 。s r i g i v a s a n 和 c h e l l a p a 将子带编码与m d s q 结合起来，并使用贪婪算法来对不同类的子带分 配不同的码率和冗余【m l 。s h e r w o o d 、t i a i l 和z e g e r 等人采用s p i h t 压缩算法来 实现能调整冗余分配的m d s q s p i h t 算法，但是没有提及如何来适应不同的信 道情况【1 5 】。 2 4 2 基于变换的多描述编码 在压缩编码中，变换的作用是为了去除相关。但是在基于变换的多描述编码 中【1 6 】，将信源编码成多个描述，若想要从其他描述中恢复出丢失的描述就需要 这些描述之间具有一定的相关性，因此这里的变换是为了使各个描述之间产生相 关性。 阡 k ，一 y ( 2 2 ) 式中：p 是正实数，五，x 2 是两个相互独立的高斯随机变量，方差分别为砰， 2 。毛，而在经过变换后就得到变量乃，儿。e y l y 2 = - 0 2 砰+ ( 2 口) 2 一，只要 0 4 ( 4 砰) - 1 吒2 ，那么变量m ，y 2 就相关，变量乃，咒就称为x 的两个描述。当 只收到其中一个描述时，可按下面的公式预测出x 。 ，一赤 2 咒 铲k 赤 2 7 咒 变换矩阵t 控制着变量的相关程度，也控制着变量之间的冗余度。t 要求是 可逆的，一般t 需要通过多次试验才可能求得效果较好的值。 2 4 3 基于运动矢量的多描述编码 基于运动矢量的多描述编码中【1 7 1 ，将运动矢量信息分配在不同的描述之中， 主要的问题是当其中某个描述丢失后，如何从已收到的描述中恢复出丢失的运动 矢量。常用的是类似下图的梅花形抽样： 9 第2 章多描述编码方法介绍 o oo o o o oo o o o o o oo o o oo o oo oo o v ： t 图2 4 梅花形抽样 将空心圆和实心圆所代表的运动矢量放在两个描述中，用k 1 和分别来 表示两个不同的描述。 当接收端只收到一个描述的情况时，如下图所示： 图2 5 只收到一个描述的情况 实心圆所在的宏块的运动矢量丢失，如何恢复出运动矢量? 根据最近原则， 将每个宏块都分割成若干部分，每个部分的运动矢量由离它最近的空心圆所在的 宏块的运动矢量来决定。 当相邻的宏块相关性比较强时，该方法能够取得比较好的效果，但若相邻宏 块的运动矢量相关性较弱时，这种方法会使得预测图像质量下降，并会产生明显 的人工雕塑的痕迹。 为了克服上述的不足，又提出了改进算法o b m c ( o v e r l a p p e db l o c km o t i o n c o m p e n s a t i o n ) u 7 j ，该算法使用了具有重叠区域的加权窗口。因此，块中的每个 像素都是由前一帧图像中多个像素进行加权和求和得到的，这些像素由本宏块和 相邻宏块的运动矢量来决定。两个描述都收到时使用中央预测器，只收到一个描 述时则使用边预测器。 2 4 4 基于运动补偿的多描述编码 基于运动补偿的多描述编码算法通常是通过高阶预测来增强描述之间的相 1 0 第2 章多描述编码方法介绍 关性，然后将编码得到的分量贴上奇帧或是偶帧的标记，平均地分配到不同的描 述中。m d p c ( m u l t i p l ed e s c r i p t i o np r e d i c t i v ec o d i n g ) 、m d m c ( m u l t i p l ed e s c r i p t i o n m o t i o nc o m p e n s a t i o n ) 都是基于运动补偿的多描述编码算法【1 8 】。 图2 6 使用运动补偿预测的多描述视频编码器框架 r e i b m a n 等人提出了使用运动补偿预测的多描述视频编码删1 9 1 。它将边缘信 息和运动向量分配到两个信道中去，而对原始块和预测错误块的信息进行多描述 变换编码，并建立3 个独立的预测环。其编码框架如图2 6 所示。其中，3 个帧 缓冲区分别存储之前从两个描述和两个从单描述重建的帧。x 为输入信息， p ( f _ 0 ，1 ，2 ) 是基于重建的运动向量和前帧产生的预测信息。只为中央预测，z ， 只为边缘预测。中央预测环中，将预测错误f = x 一只进行多描述变换( e m d c ) 编码成丘，丘。丘，定分别是由多描述变换解码得到的。边缘预测环中，对边 缘预测错误g = x 只一声进行编码，以降低编码器与解码器之间的失配。在解 码端，该方案还模拟了三种可能的情形，即一种收到两描述和两种收到单描述的 情形。它在大冗余的情况下能取得可接受的视频质量。 2 4 5 基于空间亚采样的多描述编码 通过空间亚采用来得到多幅子图像，然后对这多幅子图像进行独立的预测编 码，是最简单直接的多描述视频编码方案。然而，直接亚采样的方案无法有效取 出图像相邻像素之间的相关性，并且亚采样之后的运动补偿效率也大为下降。但 这并不意味着态图像空间领域不存在高效的多描述编码实现方案。基于棋盘分割 插值的多描述编码，借助一些成熟的图像修复技术，并输入图像按照棋盘模式分 割并插值成两路相同分辨率的近似图像，并对这两路近似图像进行独立的运动预 测、补偿和编码i z 。 第2 章多描述编码方法介绍 2 4 6 基于框架扩展的多描述编码 基于框架扩展的多描述编码技术 2 1 j 将原始信号( 假定为有限维的信号) 分 解到一个过完备的框架基上去，利用框架系数之间存在的线性相关，来从任意描 述中重建出原始信号。基于框架扩展的多描述最早是由g a y a l 、k o v a c e v i c 等人 提出田2 3 l 。g o y a l 等人将来自不同d c t 系数块的长度为8 的一个矢量进行1 0 8 的框架扩展，从而与j p e g 编码结合起来。d r a g o t t i 等人使用框架扩展( 可以通 过滤波器组实现) 将有限维理论扩展到无限维信号【2 4 】。c h o u 、m e h r o t r a 和w a n g 基于p o c s 算法来提出了一个方法以从框架系数的一个子集中重建信掣2 5 1 。 m e h r o t r a 和c h o u 对给定对角协方差矩阵的零均值高斯信号的最优过完备框架扩 展和高码率下的比特分配问题进行了研列2 6 1 。m i g u e l 提出了一种过完备的小波 变换算法并将其应用于多描述编码【z 丌。 基于空间扩展的多描述编码是对原始信号进行某种变换，使其在空间上进行 扩展、引入描述见的相关性，形成多个描述。目前，框架扩展的多描述编码、重 叠正交变换多描述编码、基于d c t 变换补零的多描述编码可划归在此类中。 2 4 6 1 框架扩展的多描述编码 1 9 9 8 年，g o y a l 等人提出框架扩展的多描述编码方法【2 2 之3 1 ，它通过线性交换 将原始矢量x 从n 维扩展为m 维矢量y ( m n ) ，再进行标量量化，最后所得矢 量中的m 个分量作为x 的不同描述传送。当接收端获得小于n 的k 个描述时， 则将n - k 个未知描述估计为0 ，再根据线性规则重建矢量。该方案较适合于丢失 描述不易被预测的情况，但计算量较大。 2 4 6 2 重叠正交变换多描述编码 1 9 9 9 年，c h u n g 和w a n g 实现了重叠正交变换的多描述编码f 2 羽。它通过对信 号进行重叠正交变换( l o t ) 来引入系数间的相关性，并对变换后的信号进行下 采样，从而形成多描述。假设，将2 n x 2 n 的样本块变换为长度为n x n 的系数 块，l o t 的矩阵丁= 【44 】。：，其中4 和4 是大小为n x n 的矩阵，它们满足 如下正交条件： 4 2 厶+ 4 1 4 = 4 4 1 + 4 4 1 = 。 ，) ( 2 5 ) 4 。4 - - = 4 。4 = 4 4 1 = 4 4 1 = 0 ( _ 。 ， ( 2 6 ) 另外，用f ( k ，1 ) 来表示第( k ，1 ) 个2 n x 2 n 像素块。正交变换如式2 7 所示。其 中，c ( k ，1 ) 是f ( k ，1 ) 正交变换后得到的n x n 的l o t 系数块。由于信号为重叠采 1 2 第2 章多描述编码方法介绍 样，如图2 7 所示，f ( k ，1 ) 与f ( k 1 ，1 1 ) ，f ( k ，1 1 ) ，f ( k l ，1 ) 有重叠，因而 c ( k + i ，l 斗j ) ，i j = - l ，0 ，l 都包含f ( k ，1 ) 的信息。 c ( k ，) = t f ( k ，i ) t r ( 2 7 ) f ( k l ，- 1 ) f ( k l ) 1 f ( kk l + 1 ) ： ：； ：! ：； f ( k 。i l 卜 t ： j1 j 。1 4 - 1 ) f ( k ，r 7 、 l ，一n f o- l ，) f(k+l，+1)f ( k _ 图2 7 重叠采样 在解码端，如果接收到全部描述，即所有的系数块，则使用l o t 变换重建信 号。如果丢失了部分系数块，则利用邻近l o t 系数块和普通图像信号光滑属性 之间的约束，将重建问题转化为能量最小化问题。该方案可以灵活处理各种系数 块丢失的情况、恢复出光滑的图像。 2 4 6 3 基于d c t 变换补零的多描述编码 2 0 0 1 年，s h i r a n i ，g a l l a n t 和k o s s e n t i n i 提出了d c t 变换补零的多描述编码方 案【2 9 】。它利用上采样为原始图像数据添加冗余，然后将上采样后的图像按奇偶 采样划分成多个子图像，形成多描述，再进行编码。其中，上采样图像时，使用 了d c t 变换补零的方法，如图2 8 所示：首先对输入的图像进行两维d c t 变换， 然后在d c t 系数的高频方向补零，如将n x n 的系数矩阵补零成为m x m 的矩 阵( m n ) ，再进行反d c t 变换得到上采样图像。如果某个描述丢失，则可将 重建问题转化为最小化代价函数问题来取得很好的性能。 【一【_ j 【j 图2 8 上采样过程 2 0 0 2 年，n i c o l a 等人对上一方法进行了改进1 3 0 】：在d c t 变换后补入适当数 量的零，控制所引入的相关性，以得到尽可能好的重建图像质量。它通过式2 8 得到最优补零数量p r ，以最小化中央失真和边缘失真。其中，p s n r 是两变 第2 章多描述编码方法介绍 量函数，i 为接收到描述的情况，m 为补零数量。d ( i ) 为传送n 个包、丢失n i 个包的可能性。 r = a r g m a x p s n r ( i ，膨) d ( ，) ) ( 2 8 ) 2 0 0 3 年，o l m o ，t i l l o 根据前面提强的两种方法，提出了基于d c t 补零的方 向多描述方案【3 1 1 ，更好地开发了空间数据结构，改善了对丢失描述的估计。在 编码端，对图像按最好的相关性方向进行扩展，即d c t 变换、补零、反d c t 变 换，然后按奇偶行生成两个描述。在解码端，如果只收到一个描述( 如图2 9 ) ， 则进行上采样，并估计丢失信息，然后按被扩展的方向进行d c t 变换，并补零 为原图的两倍，再进行反d c t 变换，最后对奇偶行取均值、获得恢复图像。 上采样厂一 估测器 d c ti d c t 取平均 也，。：_ 。： 辱，。，、岛 图2 9 方向多描述方案( 只收到一个描述的情况) 1 4 第3 章基于框架扩展的多描述编码分析 第3 章基于框架扩展的多描述编码分析 3 1 量化框架扩展 3 1 1 引言 线性变换和扩展是信号传输中的基本数学工具，线性变换在进行系数量化处 理时有着重要的特性。当信号表示中出现冗余、过完备扩展、向量组表示等术语 时，充分理解这些特性将有着非常重要的意义。本节将研究在进行过完备的有限 线性扩展【3 2 4 1 】中，量化误差对信号重建的影响，其中包括使用固定基扩展和自适 应基扩展方法。使用自适应基扩展的方法是将输入的向量表示为表达组中的分量 的线性组合，但它实际上却是一个非线性的映射。 下面我们来考虑图3 1 所示的扩展一量化一重建的情况。用一个n 阶的矩阵 f c 肌来左乘向量x c 将得到y c 肘。用来进行变换的源向量y 是经过标 量量化过的，也就是说，使用量化器对y 的每一个分量进行量化而得到夕。这种 形式的表示就类似于简单的a d 转换，相当于将模拟量( y ) 转换成数字量( 夕) 。 一般地，当粗糙测量很容易得到，而不易进行精细测量时，这种形式的表示就能 取得令人很满意的效果。下面我们要考虑的问题有：如何从夕中最优的估测出x ? 还有估测出来的值叠的效果与框架矩阵f 的特性的关系，特别是f 的行数m 与 它有何种联系? 下面将在一个实体框架中来考虑这些问题，首先回顾了框架的基本特性，同 时也给出了任意框架紧支性的一些结论。量化过程的确定性，特别是量化噪声的 有界特性可以用来改善重建的质量( 只考虑与信源无关的加性白噪声的影响) 。 最后也分析了框架冗余度与最小可能重建误差之间的关系。 如果不使用复杂的编码方法，使用非适应性过完备扩展将是一种效率很低的 表示方法。在图3 1 中，如果通过对多编码来表示x 就是一种效率很低的方法。 是不是可以选择夕的部分分量来高效率的表示x 呢? 这就是后面将要讨论的自适 应性扩展技术。 基量笪竺m 压竺1 一里一_ = l i 一j 1 一i 一 图3 1 由量化框架扩展进行重建的结构框图 下面来考虑一个有限维度的希尔伯特空间h = r 或c 。对于任意的 第3 章基于框架扩展的多描述编码分析 x ，少h ，我们用内积表达式( x ，少 = x r y 和范数忙i i ：( x ，x ) 来刻画它们。用