（信息与通信工程专业论文）无线信道中的视频编码与传输技术研究.pdf

摘要 摘要 当前，在无线信道或网络中提供对多媒体( 包括话音、图像和数据等) 业务 的支持已成为一个研究热点。无线视频传输的实现必须要解决两大问题，其一是 对视频数据进行高效的压缩以充分利用有限的信道带宽；其二是对压缩后的码流 进行错误保护以抗击信道或网络所带来的误码或数据丢失。随着技术的进步，视 频应用的平台由计算机和机顶盒扩展到手持设备，如个人数字助理和智能手机等， 这对视频编解码的v l s i 实现提出了新的要求( 低功耗和低成本) 。本文从视频编 解码和无线传输过程中的多个角度出发，对无线信道中的视频编解码与差错控制 技术进行了深入细致的研究。 本文的主要工作及取得的研究成果如下： 1 提出了一种基于p s n r 的h 2 6 4 基本单元码率控制方法。通过对h 2 6 4 码 率控制原理的分析，提出一种基于峰值信躁比( p s n r ) 的图像复杂度估计方法，与 平均绝对差值( m a d ) 联合估计基本单元编码复杂度，使基本单元目标比特分配 更为精确。进一步考虑到m a d 线性预测模型计算复杂度高的缺点，利用图像的空 间和时间相关性，提出一种加权预测模型的基本单元m a d 预测方法。该加权模型 通过省略参数更新过程以减少计算量，且与线性模型预测精度基本相当。 2 提出了一种应用在h 2 6 4 中的多参考帧快速整像素运动估计算法。该算法 通过有效地预测多参考帧中的搜索起始点和将菱形算法扩展到多参考帧情形，能 在很大程度上降低多参考帧运动搜索的计算量。同以往快速算法相比，该算法在 搜索速度和图像编码质量之间取得了更好的折衷，因而其整体性能更优，并且该 算法易于硬件实现。 3 提出了一种h 2 6 4 中基于上下文的自适应二进制算术编码( c a b a c ) 解码 器的硬件设计方法。在采用并行结构的基础上，给出了一种高效的v l s i 实现方案。 采用两级有限状态机结构控制宏块解码过程，并通过对残差系数存储器的定时清 零解决了数据存储耗时的问题，大大降低了解码控制的复杂度，从而提高解码速 度，达到每时钟解出1 至2 比特。仿真结果表明，该方案能满足h 2 6 4 m a i n p r o f i l e 4 c i f3 0 f p s 码流实时解码的要求。 4 提出了一种针对分级视频流的无线信道传输自适应不等丢包保护方案。在 估计当前网络可用带宽及丢包率的基础上，对视频流各层数据进行不等f e c 保护 及选择适当的传输层数以控制发送速率。为抑制传输误码扩散，提出基本层的f e c 包分配算法，利用g o p 中各帧之间的不同重要性对各基本层数据进行不等丢包保 西安电子科技大学博士学位论文 2 无线信道中的视频编码与传输技术研究 护，使解码端的失真度达到最小。实验结果表明该方案可大大增强分级视频数据 的抗误码能力，明显改善视频流媒体的传输质量。 针对提出的所有算法，论文都通过大量的软件仿真、测试及与传统算法的比 较来验证其有效性和先进性。 关键词：h 2 6 4 码率控制多参考帧运动估计c a b a c 不等重保护 西安电子科技大学博士学位论文 a b s t r a c t3 a b s t r a c t t o d a y , t h es u p p o r to f m u l t i m e d i a ( i n c l u d i n gs p e e c h , i m a g ea n dv i d e oe t c ) s e r v i c e s i nw i r e l e s sc h a n n e lo rn e t w o r kh a sb e c o m eap r o s p e r o u sr e s e a r c hf i e l d h o w e v e r , t h e r e e x i s tt w oc h a l l e n g i n gp r o b l e m si nw i r e l e s sv i d e o d e l i v e r y o n ei sh i g he f f i c i e n t c o m p r e s s i o no fs o n r c ef o rf u l l yu t i l i z a t i o no fc h a n n e lb a n d w i d t h ；t h eo t h e ri sp r o t e c t i o n o fc o m p r e s s e di n f o r m a t i o nf r o me i t o r so rp a c k e tl o s s w i t ht h ei m p r o v e m e n to f t e c h n o l o g y , t h e r ei sa no n g o i n gg l o b a lw e n dt os h i f tm u l t i m e d i aa p p l i c a t i o n sf r o m t r a d i t i o n a lp l a t f o r m s ，s u c ha sd e s l a o pp c sa n ds e t - t o pb o x e s ，t oh a n d - h o l dd e v i c e s ( e g p d a sa n ds m a r t - p h o n e s ) ，w h i c hr e s u l t si ns o m en e wc o n s t r a i n t s ( e g p o w e re f f i c i e n t a n dc o s te f f i c i e n t ) f o rv l s ii m p l e m e n t a t i o no fv i d e oc o d e c i nt h i st h e s i s ，w ef o c u s0 1 1 v i d e oc o m p r e s s i o na l g o r i t h m ，v l s ii m p l e m e n t a t i o na n de r r o rc o n t r o lf o rs t r e a m i n g v i d e oi nw i r e l e s sc h a n n e l t h em a i nc o n t r i b u t i o n sa n di n n o v a t i o np o i n t so f t h et h e s i s 玳a sf o l l o w s ： 1 ap s n r - b a s e db a s i cu n i tr a wc o n t r o lm e t h o df o rh 2 6 4i sp r o p o s e d t h r o u g h a n a l y s i sa n ds t u d yo ft h er a t ec o n t r o li nh 2 6 4 ，ap e a ks i g n a ln o i s er a t i o nb a s e d 口s n r - b a s e d ) c o m p l e x i t ye s t i m a t i o ni sp r o p o s e d ，b ya d d i n gt h em e a na b s o l u t e d i f f e r e n c eb a s e d ( m a d - b a s e d ) c o m p l e x i 够e s t i m a t i o n , t op r e d i c tt h eb a s i cu n i t c o m p l e x i t y , b yt h i sm e a n sm o r ea c c u r a t et a r g e tb i t sa l l o c a t i o nc a n b ea c h i e v e d t h eh i g h c o m p u t a t i o n a lc o m p l e x i t yo f t h el i n e a rm o d e lf o rm a dp r e d i c t i o ni sad r a w b a c k , u s i n g t h es p a c ea n dt e m p o r a lc o r r e l a t i o na m o n gt h es e q u e n c e s ，w ep r e s e n ta na l g o r i t h m n a m e dt h ew e i g h t e dm o d e lt 0p r e d i c tt h em a d so ft h eb a s i cu n i t , w h i c ha v o i d st h e p r o c e s so fu p d a t i n gt h ep a r a m e t e r sa n dr i ，d u c e st h ec o m p u t a t i o n a lc o m p l e x i t y t h e p r e c i s i o no f t h ew e i g h t e dm o d e li sc o m p a r a b l et ot h a to f t h el i n e a rm o d e l 2 an o v e lf a s tm u l t i - f l a m em o t i o ne s t i m a t i o n a l g o r i t h mb a s e do nh 2 6 4i s p r o p o s e d t h ep r o p o s e da l g o r i t h m c a nr e d u c et h e c o m p u t a t i o n a lc o m p l e x i t yb y d e v e l o p i n gt h ea l g o r i t h mo ft h ei n i t i a ls e a r c hp o i n tp r e d i c t i o no ft h er e f e r e n c ef l a m e s a n de x t e n d i n gt h ed i a m o n ds e a r c ht om u l t i p l er e f e r e n c ef i a m e s t h ep r o p o s e da l g o r i t h m c a na c h i e v ea ne 丘b c t i v ei n t e f a t e dt r a d e - o f fa n a l y s i st or e a c ht h eo p t i m a lp e r f o r m a n c e c o m p a r e dw i t hp r e v i o u sm e t h o d s t h e r e f o r e ，i ti ss u i t a b l ef o rh a r d w a r ei m p l e m e n t a t i o n 3 a ne f f i c i e n th a r d w a r ei m p l e m e n t a t i o no fc o n t e x t - b a s e da d a p 曲eb i n a r y a r i t h m e t i cc o d i n g ( c a b a c ) d e c o d e rf o rh 2 6 4i sp r e s e n t e d b a s e do nt h ef u l lu s eo f p a r a l l e la r c h i t e c t u r e ，a ne f f i c i e n ts o l u t i o nf o rv l s ii m p l e m e n t a t i o ni sd e s c r i b e d b y 西安电子科技大学博士学位论文 4 无线信道中的视频编码与传输技术研究 d e v e l o p i n gt h et w 0 4 e v e lf i n i t e s t a t em a c h i n e st oc o n t r o lt h ed e c o d i n gp r o c c s sa n d a d o p t i n gm e m o r yc l e a rs c h e d u l et os o l v et h ep r o b l e mo fc o e f f i c i e n t s t i m e - c o n s u m i n g s t o r a g e , w ec a nr e d u c et h ec o m p l e x i t y o fc a b a c - d c c o d e ri m p l e m e n t a t i o na n di n h e r e t h es p e e ds oa st og e n e r a t eo n et ot w ob i tw i t h i no n ec y c l e s i m u l a t i o nr e s u l t st e s t i f y t h a to u rd e s i g nc a nm e e tt h en e e d so fd e c o d i n gh 2 6 4m a i np r o f i l e4 c i fb i ts t r e a ma t 3 0 f p s i nr e a lt i m e 4 a na d a p t i v eu n e q u a ll o s sp r o t t i o n ) s c h e m ef o rs c a l a b l ev i d e o s t r e a m i n go v e l w i r e l e s sc h a n n e li sp r o p o s e d b a s e do nt h ea v a i l a b l en e t w o r kb a n d w i d t h a n dt h ep a c k e tl o s sr a t ee s t i m a t i o n ，u n e q u a la m o u n t so ff e cp r o t e c t i o na r ea s s i g n e dt o e a c hl a y e ra n dt h es e n d i n gr a t ei sd e t e r m i n e db yd y n a m i c a l l ys e l e c t i n gt h en u m b e ro f l a y e r st ot r a n s m i t t or e s w a i nt h ev i d e ot r a n s m i s s i o ne r r o rp r o p a g a t i o n , t h ef e c a s s i g n m e n ta l g o r i t h m f o rt h eb a s el a y e ri sd e v e l o p e db ye x p l o r i n gt h eu n e q u a l i m p o r t a n c ee x i s t i n gi nd i f f e r e n t 觚船o fag r o u po fp i c m r e s ( o o p ) ，a n du n e q u a l a m o u n t so fp r o t e c t i o na r ea l l o c a t e dt od i f f e r e n tb a s el a y e r so fag o pi no r d e rt o m i n i m i z et h ed e c o d e rd i s t o r t i o n t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e ds c h e m e c a nl a r g e l yi m p r o v et h eo n o rr e s i l i e n c eo ft h es c a l a b l ev i d e ob i ts t r e a ma n dt h e p e r f o r m a n c eo f v i d c os t r e a m i n gn e t w o r kt r a n s m i s s i o ns y s t e m a l lo ft h ep r o p o s e da l g o r i t h m si nt h i st h e s i sa r cs i m l l l a t e da n de x a m i n e d , t h e n c o m p a r e dw i t hc o n v e n t i o n a ls c h e m e si no r d e rt op r o v et h e i rv a l i d i f i e sa n da d v a n t a g e s k e y w o r d ：h 2 6 4 r a t ec o n t r o lm u l t i - f r a m em o t i o ne s t i m a t i o nc a b a c 西安电子科技大学博士学位论文 缩略语表 5 西安电子科技大学博士学位论文 6无线信道中的视频编码与传输技术研究 西安电子科技大学博士学位论文 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知， 除了文中特别加以标注和致谢中所罗列的内容外，论文不包含其他人已经发表或撰写过的研 究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或 使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件， 允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。( 保密的论文在解密后遵守此规定) 本人签名： 导师签名 日期 日期 第一章绪论 第一章绪论 【摘要】简要介绍了视频压缩编码及网络传输的研究背景及主要问题，然后分别 详细介绍了视频编码技术的发展历程和研究进展，及视频传输的差错控制技术， 最后介绍了论文的选题背景、研究内容和主要贡献。 1 1 引言 科学技术的发展使人类社会进入了信息时代。信息技术的发展，使人们的学 习和交流打破了过去的时空界限，为人类能力提高和发挥带来了新的空间。视觉 是人类获取外部信息最为重要的途径，外部世界丰富多彩的信息大部分是通过视 觉感知的。人们生活中，大约有8 0 的信息来源于图像【1 】。图像可以携带非常丰 富的信息，对信息表述准确、直观 2 】。由一幅幅连续的图像序列组成的视频包涵 了更加丰富生动的信息。图像是人们生活中信息交流最为重要的载体之一，同时 也是蕴含信息量最大的媒体。随着通信技术的发展，人们对信息传递的需求逐渐 从语音、文字，发展到图像和视频【3 】。然而图像和视频具有庞大的数据量，具有 数据海量性的特点，它给信息的存储和传输带来很大的困难，成为阻碍人类有效 获取和使用信息的瓶颈问题之一。因而处于其核心地位的多媒体信息尤其是图像、 视频等信息的处理、编码以及通信，已经成为信息与通信工程学科的前沿领域和 热门课题f 4 】。 近年来，图像视频的处理编码技术经历了从起步到成熟，从理论到实践的过 程。这表现在两个方面，一是各种新的编码技术的不断提出及对原有算法的改进， 二是不断推出各种新的编码标准。编码标准与编码技术之间是一种良性互动的关 系，新的编码技术不断被采纳到新的编码标准里，而新的编码标准促进了新的编 码技术的涌现与推广。所有这些使得图像视频编码效率越来越高，同时还引入了 新的功能，例如可伸缩性，容错性等，使得码流更适合存储与传输。 近年来，网络技术、无线通信技术、信息处理理论和多媒体技术的迅速发展 为网络相互之间的融合及提供有q o s 保证的多媒体业务奠定了基础，网络多媒体 的广泛应用已称为网络发展的必然趋势。在网络上传输多媒体信息时，人们常用 下载( d o w n l o a d ) 和流式( s t r e a m i n g ) 两种传输方案。音频、视频数据文件一般 都比较大，由于网络带宽的限制，下载需要很长的时间，需要的存储容量很大， 为了解决这些问题，一种遵守特定网络协议的流媒体技术应允而生。在流媒体中， 视频流( v i d e os t r e a m i n g ) 技术是最为重要的，它可以广泛应用于视频点播、网上 购物、电视会议、远程教育、远程医疗、安防监控以及实况转播等领域 5 ，6 】。所谓 西安电子科技大学博士学位论文 2 无线信道中的视频编码与传输技术研究 网络视频流传输，站在服务器的角度来看是一个动态的概念，即连续发送视频数 据经过网络信道到达用户端，这一连续的随时间变化的码流数据被称为流 ( s t r e a m i n g ) ：从客户端的角度来看，并不需要下载或者接收全部码流，只需经过 几秒的启动延时即可进行观看。当音频、视频等媒体在客户端播放时，剩余部分 继续下载，用户不需要存储流文件就可以边下载边连续、不中断地播放。这样， 流式传输不仅可以大大缩短时延，而且不需要太大的缓存容量。网络视频流需在 任意带宽和误码性的骨干网、移动网和异构网络上以p 包格式实时传输，视频信 息具有连续性传输、数据量大、对实时性和可靠性要求高等特点，而网络由于异 构性、信道带宽的波动性和信道的误码等因素的存在，使得原来面向存储的压缩 算法，如m p e g 一1 2 1 7 ，8 】等，面向窄带速率恒定信道的h 2 6 1 3 1 9 ，l o 标准很难满足 信道带宽的波动性大和信道的误码高的无线信道上的视频流的实时传输，也难满 足带宽无保证、丢包率高的分组网络( 如i n t e m e t ) 上视频的实时传输要求。因此， 视频编码的高效性和传输的鲁棒性之间达到最佳一直使学术界和工业界研究和关 注的焦点。即尽可能提高视频压缩效率的同时尽可能的提高视频传输的效率和鲁 棒性，为用户提供有q o s 保证的视频业务。 随着因特网技术的不断发展，可以预见，未来的无线视频将会在一个开放的、 分层的、因特网式的网络上进行传输。无线视频传输需要面临三个主要问题：带 宽有限、可靠性差和功耗受限【1 1 】。由于通常无线信道带宽要远低于有线信道，而 视频数据具有海量性质，因而对于无线视频传输一个需要突出考虑的问题是视频 数据的压缩。同时由于无线信道的可靠性比有线信道差，误码率高，因而差错控 制也是无线视频传输中一个非常重要的问题。此外由于移动设备的便携特性，对 传输和处理的功耗有要求，因而如何实现视频处理、编码的算法优化，降低功耗 是无线视频传输中的又一个重要问题。 视频编解码器的实现主要取决于v l s i ( v e r yl a r g es c a l ei n t e g r a t e dc i r c u i t s ) 技术 1 2 】。集成电路设计和制造技术的发展使得以前不能实时实现的算法得以实 现，因为成本原因不能普及的应用得以普及。芯片技术的进步使得产品的成本不 断下降，功能不断增强，进一步促进了视频技术的普及和推广。 本文主要研究无线信道中的视频编码与传输技术，重点对视频编码的快速实 现算法和视频网络传输的差错控制技术进行了研究。主要研究内容包括h 2 6 4 视 频编码中的关键算法：码速率控制算法和运动估计算法的快速实现、h 2 6 4 视频 解码器的v l s i 实现以及分级视频流无线信道传输中的差错控制等。 西安电子科技大学博士学位论文 第一章绪论 3 1 2 国内外研究现状与技术背景 1 2 1 视频编码技术研究进展 研究视频数据可以发现其中存在大量的冗余，减少图像的冗余度就可以极大 地减少图像的数据量。这些冗余主要表现在空间冗余度、时间冗余度两个方面， 其它还包括信息熵冗余、视觉冗余、结构冗余、知识冗余、纹理统计冗余等等。 s h a n n o n 的信源编码定理告诉我们：一个具有率失真函数r ( d ) 的信源，若有平均 失真d ，并有两个任意小的正数占与占，则必定存在一种信源编译码方法使其信息 比特率r r ( d ) + 占，而平均失真d d + 万，也就是说码率在某个界限内的压缩 编码是有可能的。这为视频压缩及信道编码奠定了理论基础 1 3 1 。 视频压缩编码已经历了五十多年的历史，不仅在理论上取得了重大进步，而 且在实际应用中也获得了巨大成功。1 9 4 8 年，s h a n n o n 和他的两个学生o l i v e r 与 p i e r c e 联合发表了对电视信号进行脉冲编码调制( p c m ) 的论文，标志着数字视频 压缩编码技术的开端【1 4 】。1 9 6 6 年，n e a l 对比分析了d p c m 和p c m 并提出了用 于电视的实验数据。1 9 6 9 年在美国举行的首届“图像编码会议( p i c t u r ec o d i n g s y m p o s i u m ) ”表明图像和视频编码以独立的学科跻身于学术界。半个世纪以来， 视频压缩编码技术早已走出实验室，广泛应用于现代社会的各个领域。视频编码 方法种类繁多，从信息保持的角度可以分为无损压缩和有损压缩两大类。无损压 缩利用数据的统计冗余( 数据之间的相关性、可预测性) 进行压缩，以预测编码 和熵编码为基础，可完全恢复原始数据而不引入任何失真，但其压缩率受到数据 统计冗余度的理论限制，一般为2 ：1 到5 ：1 。此类方法广泛用于文本数据、程序和 特殊应用场合的图像数据( 如指纹图像、医学图像等) 压缩。鉴于压缩比的限制， 仅使用无损压缩方法不可能解决图像和数字视频在存储和传输应用中的问题。因 此，视频有损压缩方法也得到了长足的进步和发展，它除了利用统计冗余进行压 缩编码外，还利用了视频数据的视觉冗余特性，即利用人类视觉系统( h v s ) 对 视频信息中某些频率成分不敏感的特性，允许压缩过程中损失一定的信息，这虽 然不能在解码端完全恢复原始数据，但所损失的部分信息对理解原始图像的影响 相对较小( 即视觉无明显失真) ，同时却换来了相当大的压缩率。有损压缩以变换 编码、矢量量化、模型基编码、分形编码和熵编码为基础。1 9 8 5 年，瑞士学者k u n t 提出了第一代、第二代编码的概念 1 5 】，他把早期的以去除冗余为基础的编码方法 称为第一代编码，如：空间域的p c m 、d p c m 、m 、亚抽样编码方法，变换域 的d f t 、d c t 、w a t s h - - h a d a m a r d 变换编码等方法以及以此为基础的混和编码方 法；第二代编码方法通常是指8 0 年代以后提出的新方法，如金字塔编码【16 、矢 西安电子科技大学博士学位论文 4 无线信道中的视频编码与传输技术研究 量量化 1 7 】、分形编码 1 8 2 0 、基于神经网络的编码、小波变换和子带编码 2 1 和 模型基编码【2 2 】等。 图像视频编码技术真正走向实用化、产业化并得到飞速发展的重要标志之一 就是一系列图像视频编码国际标准的制订。在国际标准化组织( i s o ) 、国际电工 委员会( m c ) 和国际电信联盟( h u 坷) 等组织的协调下，对不同时期图像编码 的研究成果进行了整理和加工，制订了几类通用的压缩编码国际标准( 图1 1 和表 1 1 总结了视频编码标准的发展历史及各自的设计目标和应用场合) 。这些标准代 表了不同时期图像编码的发展水平，不仅极大地推动了数据压缩编码技术的实用 化、产业化，同时也在一定意义上刺激了信源理论研究的进一步拓展。 綦 画 攫 藻 准 图1 1 图俐视频压缩编码国际标准的发展历史 联合二值图像组( j b i g ) 【2 3 $ i j 订了用于二值图像或低精度灰度图像编码的适 合渐进传输的无损压缩国际标准t b i g 。联合图像专家组( j p e g ) 【2 4 】主要负责灰 度和彩色静止图像编码的标准化工作。在2 0 0 0 年，j p e g 专家组又制订了最新的 国际标准j p e g - 2 0 0 0 1 2 5 】。活动图像专家组( m p e g ) 则负责制订用于数字存储的 活动图像及伴音的编码标准。1 9 9 3 制订了在c d - r o m 、硬盘等媒介上存储c i f 格 式视频的m p e g 1 标准，其比特率小于1 5 m b p s 7 1 。1 9 9 5 年制订了m p e g - 2 标准 【8 】，将比特率扩大到1 0 2 0 m b p s 并支持h d t v 格式。近年来又制订了应用范围 更加宽广的基于视频对象编码的m p e g - 4 标准 2 6 】，以及用于数字图书馆的基于内 容检索的m p e g 7 标准【2 7 】。为了适应可视电话和会议电视的需要，r r u t 的可视 电话专家组于1 9 9 3 年制订了面向i s d n 传输的h 2 6 1 标准( p 6 4 k b p s ) 9 1 ，在 1 9 9 6 年和1 9 9 8 年又分别推出了适合低码率传输的h 2 6 3 1 0 及其改进版本h 2 6 3 + 标准【2 8 】。前进的步伐不会停止，各种新的编码算法不断推陈出新，图像编码仍在 朝着编码效率高、网络适应性好、抗误码能力强的方向不断发展，标志之一是2 0 0 3 年推出的h 2 6 4 视频编码标准 2 9 1 。 国内关于视频通信的研究近些年来迅速发展起来。2 0 0 2 年，中国信息产业部 成立的音视频技术标准( a v s ) 工作组宣布准备针对移动多媒体、广播、d v d 等 应用编写一份国家标准。该视频标准称为a v s 3 0 。3 1 ，由两个相关部分组成：针 西安电子科技大学博士学位论文 第一章绪论 5 表1 1 图像视频压缩编码国际标准 鏊巍；麓i 基黼逡；乏；鑫基漱蓊茹。霆薹五；五；黻占；五剡塑煮；二懑笺壅舄拯念二蠹 j b i g p r o g r e s s i v eb i - l e v e li m a g e j p e g传真、打印等 c o m p r e s s i o n c o 击n go f c o n t i n u o u s - t o n e ” 编辑等 琵溢越黼溢& 麓瀛镒浚黼滋澎澎毓菱越委薹瑟巍澎i 自囊邈女漱戳l 漱激# i 滚藏谶l 藩溢蠢黼；蠢盏蘸缝，畿嚣黼菇然潮 j p e g 2 0 0 0j p e g 2 0 0 0i m a g ec o d i n g j p e g传真、电子商务、卫 s y s t e m星通信、遥感图像编 码、口网图像监控等 鏊浚黼l 女燃瓣浏蹴蕊嬲感缴燃怨凝燃滋漱i 黼越翰憋黝型燃鑫曩潮 h 2 6 3v i d e oc o d m gf o rl o wb i ti t u - t桌面可视电话、移动 r a t ec o m m u n i c a t i 0 1 1 视频通信等 m p e g - 1 c o d i n go f m o v i n g p i c t u r e sm p e g 光盘存储、家用视频 a n d a s s o c i a t c d a u d i of o r摄像、视频监控等 d i g 眦s t o r a g em e d i au pt o 1 5 m b i t s 罄 ” ，p i c t u r e sa n d a s s o c i a t e d 一 。一淆颊度魄褫、”有线电l 爹；”，。，”a u d i o”搅及歪星壤视、视频i 琵巍缎辘i 滋蕊鑫馥l 瓣畿潼澎i 巍勰l 蕊浚虢溉蕊氨澎缀漱蘸鑫盛漱i 矗藏浚澎翁痣藕笺i 漱女i 蠹霪 m p e g - 4 c o d m go f a u d i o - v i s u a lm p e g 口网络视频会议、交 o b j e c t s互式视频通信、便携 式视频通信终端、专 业视频等 嚣( i h j 曩r c c 。i l 2 6 4 i s o f l e cm p e g通信、包基溺络的视 ” 3 “1 4 4 9 6 1 0 a v c )a n d 频流传输、礤视频会 ” 。 一 。h一。i t u - t 议系统，光盘存储、 高质量视频编解码系 酝一一。一。翩二一一，。，。+ 一。一。一。篪、多嫘体都彳譬等麓 西安电子科技大学博士学位论文 6 无线信道中的视频编码与传输技术研究 对移动视频应用的a v s m 和针对广播与d v d 的a v s l 0 。a v s 是基于我国创新技 术和部分公开技术的自主标准，编码效率比m p e g - 2 高2 - 3 倍，与h 2 6 4 相当，而 且技术方案简洁，芯片实现复杂度低，达到了第二代标准的最高水平；在获得高 编码效率的同时，a v s 视频标准尽可能保持了低的计算实现复杂度。当编码高清 视频信号时，a v s 视频获得了与h 2 6 4 主要档次( m a i n p r o f i l e ) 相当的编码效率，但 解码器的实现复杂度只有其6 0 - - 7 0 。在专利许可方面，a v s 通过简洁的站 式许可政策，解决了h 2 6 4 被专利许可问题缠身难以产业化的弊端，并且专利许 可费用大大低于国际同类标准，可以预见a v s 的制定和标准化将对我国的信息产 业产生巨大的推动作用。 视频压缩技术的不断发展，归纳起来具有以下特点：1 ) 支持的算法和工具不 断增加，灵活性和容错能力越来越强；2 ) 编码效率越来越高，图像质量越来越好； 3 ) 算法涉及的计算复杂度越来越高；4 ) 编码标准不断更新。 视频编码标准对视频技术的推广应用起着至关重要的作用。标准使得不同地 域、不同厂家的设备能够互通互联，这种兼容性促进了视频产业的繁荣发展。随 着新的应用领域和新的业务类型的不断出现，原有的标准会表现出一定程度的不 适应和缺陷。同时，为了兼顾绝大多数图像视频处理领域的需求，视频编码标准 规定了编码基本框架，解码流程以及档次和级别，严格定义了码流和文件的格式 【3 2 ，而对一些关键算法的实现方式却没有详细的规定，因此就为研究更有效、更 高编码效率的视频压缩算法提供了可能性和发展空间。这些开放的关键算法性能 直接影响了视频压缩效率和图像质量，它们实现的方式在很大程度上决定着产品 的性能，成为产品的核心竞争力。在当前的国际视频编码标准中，这些开放的关 键算法主要包括运动估计和码速率控制等 3 3 1 。 视频压缩编解码过程是数据密集和计算密集的数字处理过程。该过程涉及众 多的算法和工具集，通用的处理器难于实现高分辨率视频的实时处理。视频压缩 编解码系统也是一个复杂的数字信号处理系统。为满足视频压缩编解码实时处理 的需求，要求系统具有强大的数据吞吐和计算能力。早期的视频压缩编码系统受 芯片处理性能的限制，大多采用的是多芯片的p c b ( p r i n t e d c i r c u i t b o a r d ) 板级系统， 需要多颗专用芯片才能实现视频压缩编解码处理，芯片的处理能力在很大程度上 制约了视频压缩编码算法的设计和应用 3 2 】。 随着集成电路设计水平和集成电路制造技术不断提高，目前集成电路的工艺 水平已经进入超深亚微米( v d s m ：v e r yd e e ps u b - m i c r o n ) 时代。在集成度上，单片 芯片上可以集成几千万，甚至几亿数量的晶体管，集成电路设计已经进入 s o c ( s y s t e mo nc h i p ) 甚至n o c ( n e t w o r k o i lc h i p ) 阶段。微电子技术的高速发展使得 西安电子科技大学博士学位论文 第一章绪论 7 视频编解码和音视频编解码的单芯片实现成为可能。高性能音视频压缩编解码专 用芯片是音视频相关产品的核心。正如i n t e l 的c p u 芯片推动计算机的更新换代一 样，音视频压缩编解码专用芯片也是推动音视频产业的主要动力之一。视频压缩 编解码技术及其芯片在通信、消费电子等领域占有重要地位，对国民经济有深远 影响。据信息产业部电子信息产品“十五”投资指南预测，2 0 0 8 年音视频产业 年产值将超过通信产业成为信息产业中的第一大产业，2 0 1 0 年年产值将达到1 5 万亿，将成为国民经济第一大支柱产业。随着科技的进步，数字化技术已经全面 进入音视频产品领域，数字音视频产品已经占据该产业的主流。 图1 2i n t o , m e t 网络的异质特性 当前通过无线信道接入因特网( 例如无线局域网) 获得了广泛的重视。由于 网络异质特性的存在( 图1 2 ) ，即便是对于一个高效压缩编码后的视频流数据，当 多个用户试图通过不同的通信链路( 具有不同的可利用带宽资源) 同时接入相同 的视频时，仍会出现相当的困难。例如，某个用户可以在通过高速链路( 例如a d s l 调制解调器) 连接到服务器的终端上实时下载以1 5 m b p s 编码的m p e g 1 视频并 重放，但仅有5 6 k b p s 调制解调器连接的用户将不能实时接收足够的比特进行重放。 这样，视频码流的可分级性概念就应运而生了，它是指通过仅解码一部分压缩的 比特流就可物理地恢复有意义的图像或视频信息的能力。如上面所说的网络传输 视频流业务，如果数据是可分级的，那么具有高带宽接入的用户可以下载或接收 整个比特流以观看高质量的视频，而具有5 6 k b p s 低带宽接入的用户则可以只下载 或接收视频数据流的一部分，观看一个低质量的演播。为了适应网络异质和带宽 西安电子科技大学博士学位论文 8无线信道中的视频编码与传输技术研究 波动的传输环境，人们提出了可分级编码的思想。 采用可分级编码可以适应网络带宽的变化，它的意义在于：视频压缩不仅 是高效的，而且是码率可调整的，从而仅用一个码率可调整的码流就可以支持 所有的用户【3 4 】。目前最具有代表意义的可分层视频编码算法就是m p e g - 4 标准 中的精细可分层编码技术( f i n eg n m u l a rs c a l a b l e ，f g s ) 3 5 】。f g s 编码产生基本 层和增强层两个子码流，基本层提供一个基本质量，增强层则用于实现连续的 速率控制。它的最大特点就是增强层码流能够被任意截取，参与解码的增强层码 流的多少决定了重建图像质量的高低。 1 2 2 视频传输的差错控制技术 在无线、因特网等易发生误码的网络环境中，视频传输面临着巨大的挑战 3 6 1 ， 这是由于： 1 高度压缩后的码流存在很强的相关性，对传输误码非常敏感；现有的视频 编码标准( 如m p e g 2 4 ，h 2 6 3 4 等) 主要采用预测编码技术和变长编码技术， 一旦传输中发生误码，往往造成解码端失去同步，这样后续码流即使正确接收， 也无法正确解码，会造成误码在时域、空域的“扩散”。误码扩散使恢复出来的 信号面目全非，造成视频重建质量的严重下降。 2 无线、因特网等传输信道或网络都具有时变的特点，因此难以根据信源、 信道的统计模型得到最优的传输方案。 为了保证解码器输出重构视频信息的视觉质量，满足用户的要求，必须根据 视频业务的特殊属性和网络的具体特点采用传输差错控制方法。传输差错控制技 术又称为抗误码( e r r o rr e s i l i e n c e ) 技术，主要用于对传输过程中可能出现的误码 进行控制，使误码不发生或尽可能少发生，或者在已经发生误码的情况下对误码 进行恢复，以最大程度地降低误码造成的视觉损伤。 一传输层的差错控制技术 传输层差错控制是最重要的差错控制技术之一，用于保证视频数据在信道中 的可靠传输。常用的传输层差错控制方法主要有3 种： 前向纠错( f e c ) ：发送端发送能纠正错误的编码，在接收端根据接收到的码 和编码规则，能自动纠正传输中的错误。其特点是不需要反馈信道，实时性好。 但是随着纠错能力的提高，编译码设备相对复杂，并且由于f e c 增加了传输开销， 从而降低了有效载荷数据的可用带宽，在带宽有限但可以容忍一定程度损失的视 频业务中，必须谨慎使用。 西安电子科技大学博士学位论文 第一章绪论 9 自动重传请求( a r q ) ：在接收端根据编码规则进行检查，如果发现规则被 破坏，则通过反向信道要求发送端重新发送，直到接收端检查无误为止。a r q 系 统需要反馈信道，效率较低，但是能达到很好的性能。 混合纠错( h e c ) ：结合前向纠错和a r q 的系统。在纠错能力范围内，自动 纠正错误，超出纠错范围则要求发送端重新发送。h e c 克服了f e c 方式译码设备 复杂和a r q 方式实时性差的缺点，具有很强的纠错能力和适应性，因此得到广泛 的应用。 二信源编码端差错控制技术 信源编码端差错控制主要包括：鲁棒熵编码( r