（信号与信息处理专业论文）基于上下文的自适应可变长编码（cavlc）研究.pdf

南泉j | i f f i u 人学坝i j f 究仁学位论文 摘盐 摘要 随着多媒体技术、嘲络技术及无线移动通信技术的不断发腱以及相互融合，圈像、桃 频等大数据最的多媒体内铎的传播需求卜1 益增k 。i h j ：例络及无线环境带宽的| ：| 5 5 制，多媒 体技术的应川的天键在于视频压缩挫术。 1 2 6 4 a v c 魁j7 r u t 的v c e g ( 视频编码专家组) 厢jl s o i i ! c 的m 胜( ：( j 功幽像编忙5p 凉t j j ) 的联合刨必约i ( j v j ：j 0 lv i d c ot e d l l l ) ” 发的适应于低码率的新一代的数字视频编码标准，其目的赴为了歌得更好的图像压缩效果 和更好地适应不同的网络环境。 本文分析了h 2 6 4 a v c 视频编码标准。p 的熵编码方案之一：基于上下文的自适应可 变长编码( c o n t e x t b a s e da d a p t i v ev a r i a b l e le n g t hc o d i n g ) ，简称c a v l c 。本文详继 描述了c a v l c 编码过程中的几个主要步骤：( 1 ) 对非零系数数日和拖尾系数数目进行编 码：( 2 ) 对非零系数编码：( 3 ) 对最后个非零系数前零的个数和零游程进行编码。通过 分析，得出c a v l c 获得较好的压缩效果是因为以下三点：( 1 ) 根掘上下文的自适应编码 方法；( 2 ) 应用之字形扫描方法将非零系数和零行程分丌：( 3 ) 降低了存储数据的复杂度。 本文还通过标准测试软件对c a v l c 的性能进行了分析，并将c a v l c 和i t 2 6 4 早期提 出的u v l c 进行了比较，然后得出结论，c a v l c 的压缩特性比u v l c 更出色。最后，本文 还对c a v l c 的编码部分进行了软件实现，最后采用对c a v l c 的解n 马燃范年f i 解码句法做了简 要介绍。 关键词：基于上下文，可变长编码，熵编码，h 2 6 4 a v c m 糸邮, t t 人学馈i n j | 究乍学位论史 摘螋 a b s t i 认c t w i t h t h ei n c r e a s e dd e v e o p m e n ta n df u s i o no l m u i t i m e d i al e c h n o l o g y ，i n t e r n e t l e n c h n o o g ya n dw i r e l e s sm o b i l ec o m m u n i c a t i o nt e c h n o l o g y ，t h e r eisa ni n c f e a s e i nt h er e q u i r e m e n tb yw h i c ht h ec o n t e nle l m u l t i m e d i aw i t hah u g ed a t as u c ha s i m a g ea n ds oo nc a nb et r a n s m i t t e d r r h e1 1 2 6 4 a v c i sn e w e s tv i d e oc o d i n gs t a n d a r d o ft h el t u tv c e c ( v i d e oc o d i n ge x p e r t s ( ；c o u p ) a n di s o e cm p e g ( m o v i n gp i c l u r e e x p e r t sg r o u p ) t h em a i ng o a l so f t h eh 2 6 4 a v cs t a n d a r d i z a t i o na r ee n h a n c e d c o m p r e s s i o np e r f o r m a n c e a n d p r o v is i o i l o fa “n e t w o r k f r i e n d l y ”v i d e o r e p r e s e n t a t i o n i nt h i sp a p e r ，w es p e c i f yo n eo ft h ee n t r o p yc o d i n g i nt h eh 2 6 4 a v c ： c o n t e x t b a s e da d a p t iv ev a r i a b l el e n g t hc u d i n g ， s oc a l l e dc a v l c 7 t h ec o d i n g p r o c e s so fc a v l cisd e t a i ls p e c i f l e d ，w h i c hc o n s is to fs e v e r a l e t e m e n t a r ys t e p s ： ( 1 ) w r i t ev l cc o d e f o rn u m c o e f fa n dt r a i l i n g o n e s ： ( 2 ) w r i t ev l c c o d ef l o rl e v e l ： ( 3 ) w r i t ev l cc o d e f o rt o t a l z e r o sa n dr u n h e f o r e a f t e ra n a l y s i s ， c a v l c a c h i e v e sg o o dc o m p r e s s i o np e r f o r m a n c et h r o u g h ：( 1 ) c o d i n g f o re a c h s y n t a x te l e m e n ta c c o r d in g t ot h ee l e m e n t sc o n t e x t ：( 2 ) d i v i d i n g1 e v e l a n dr u nw i t ht h em e t h o do fz i g z a gs c a n n i n g ( 3 ) f a c i l i t a t i n gt h ep r o c e s so fd e p o s i t o fd a t a w eu s et h ej m 8 6t oa n a l y s et h ep e r f o r m a n c eo fc a v l c b yt h ew a y ，a n o t h e r e n t r o p yc o d in gm e t h o do fh 2 6 4 a v c ：u v l c ( u i v e r s a lv a r i a b l o l e n g t hc o d i n g ) j s s p e ci 1 1 ie d t w e e n t r o p yc o d i n g m o d e sa r e c o m p a r e dt h r o u g h e x p er i m e n ls e x p e r i m e n t a lr e s u 【t sh a v es h o w nt h a tt h ec o l l l p r o s s i o np e r o r m i l n c e ( j i 、 c a v i ciss u p e rt h a nu v l c s f in a iy ，w ef _ in i s ht h es o f t w a r ei m p le m e n t a t j o nf o rt h ec o n t e x t b a s e da d a p t iv e v a r i ；l b lc1 e n g t hc o d in g a t1 a sl w e in r u d u c eb r i e f l yt h ed e c o d in go lc a v i c k e yw o r d s ：c o n t e xl b a s e d ，v a r i a h le1e n g t hc o d i n g ，e n t r o p yc o d in g ，1 1 2 6 4 a v c 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 作老1 ：2 0 0 3 级研究生越指导老师：篓建苤 题目：基于上下文的自适应可变长编码( c a v l c ) 研究 英文题叭t h er e s e a r c ho fc o n t e x t b a s e da d a p t i v ev a r i a b l el e n g f l l c o d i n g 关键字：基于上下文可变长编码熵编码h 2 6 4 a v c k e yw o r d s ：c o n t e x t - b a s e d v a r i a b l el e n g t hc o d i n g e n t r o p yc o d i n g h 2 6 4 a v c 南京l l l 1i 魍大学学位论文独创性声明 xb s o s 5 4 本人声叫所j 正交的4 # 他沧文是我个人往导帅指导下进行的研究 工作及取得的研；j p ；j j t i c 果。，尽我所知，除了文i 05 + t lj j l l 以标注和致洲的 地方外，论文巾不包禽其他人已经发表或撰写过c j j i t j l - 5 + s 戊果，叱不包 含为狱得南京邮j u 大学或) t - 它教育机构r i g - f - f f ：z 或证二刚随用过的材 料。与我f i i - r j l i l , j 同志对本研究所做的f t 何贡献均已在论文中作了 明确的说明并表示j 埘意。 纠_ 一声越叫：一继_ i j 院化蝴_ 一z 型一叫：一觋唑 南京邮电大学学位论文使用授权声叨 南京i l l b 电大学、。卜国科：学技术信息研究所、国家图二1 5 馆有权保留 本人j 圻送交学位沧文的复 ：p 4 - b + i l 电子文档，可以采用影印、缩印或其 他复制手段保存沦文。本人f 乜子文档的内容+ + i f l c # j r 论文的内容相一 致。除在保密期内f r , j 保密沦文外，允m 沦文漩焱阅和供阅，可以公布 ( 包括刊登) 论文的全部或部分i 容。沧文f r , 3 公以i ( 包括刊登) 授权 南京邮电大学研究生部办， 妣超删瞅衄嗍：越 m j j i l l lj ：l u 凡，f l ! j ! i 川宄牛平似涂文 地涂 1 1 研究背景 第一章绪论 随着信息技术和互联刚的e 速发展，消费类电予、通信、i 乜视电影广播、计算机技术 日益紧密地结合起来，计算机与通信、娱乐融合的趋势不可逆转，使得基于互联网的多媒 体产业成为本世纪初发展最快、剧模最火的产业。 多媒体信息已成为人类获取信息的最主要载体，同时也成为电子信息领域技术开发和 研究的热点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优 点，但同时也伴随着海量数据的产生，这对信息存储设备及通信网络提出了很高的要求， 从而成为阻碍人们有效获取和使用信息的重大瓶颈。 人类_ 扶取的信息中7 0 来自于视觉，视频信息在多媒体信息中d i 有重要地位，但是 数字化了的视频信号的数据量之大是惊人的，如： 用于可视电话q c i f ( 1 4 公用中m 格式) ：1 7 6 x 1 4 4 x3 2 x 8 x3 0 9 i m b p s ； 用于视频会议c i f ( 公用中附格式) ： 3 5 2 2 8 8 x3 2 x 8 3 0 3 7 m b p s ； 用于v c d ( 数字激光视盘) 、w w w ( 万维网) 、m p e g l ( m p e g ：运动图像专家组) 中等质 量视频流s i f ( 源输入格式) ： 3 5 2 x 2 4 0 2 8 8 x 3 2 8 x 3 0 2 5 3 0 m b p s ； 用于d v d ( 高密度数字通用光盘) 、s d t v ( 数字标准商清晰度电视) 、m p e g 一2 ( 4 8 m b p s ) 高质量视频流： 7 2 0 4 8 0 5 7 6 3 2 8 x 6 0 5 0 1 2 4 m b p s ： 而用于传输通信的网络带宽是非常有限的： p s n ( 公荚交换电信网) ：3 3 6 k b p s ，5 6 k b p s ； i ) d n ( 数据传输刚) ：( 1 3 i ) x 6 4 k b p s ，2 0 4 8 k b p s ( i ：l 和t 1 ) ； i s i ) n ( 综合h k 务数，叫) ：( 2 b + i ) ) 1 4 4 k b p s ； a i ) s i x i ) 6 1 ( 1 i ：对稍：数j i j ，1 、小k 箍数yj l jj 1j = l ：口 ) ：1 1 m b p s 1 j ) i ) h ； l a n ( i 4 域j 圳) ：l o l o o m b p s ； ( ：洲g s c d m a ( 全球移动通信系统通j l | j 无线分纠l 业务码分 多址) ：9 6 k b p s ( 9 0 6 1 3 d 1 5 6 2 l 4 ) k b p s ( 6 4 1 4 43 8 4 ) k b p s ： 用f 存储信息的存储媒质容量也是非常有限的： c i ) r o m ( 只读光盘) ：7 5 0 1 b ；u 箍：5 1 2 m b ； l a r d d is k ( 硬盘) ：4 0 8 0 g b4 0 g4 4 分f o r l 2 4 m b p s ；4 0 g8 2 分钟f o r b 6 4 m b p s 侄这种情况下，数据压缩就变得非常必要了。m 且山j 二视频信息j 何很强的相关性， 堕皇! ! ! ! ! ! 坐查兰塑：! ：坐塑皇兰篁笙塞堑堡 存在着空间冗余、时间冗余、视觉冗余、知识冗余、结构冗余等，使得视频信息压缩成为 可能。 以压缩解压后与压缩f 讨原始数据是否完全一致作为循量标准，可将数掘压缩划分为 无失真压缩( 即无拟编码) 和有失真压缩( u l j 宵损编码) 曲类。虽然无损编码u j - 以无失真 的恢复原始数据，但其压缩效率十分有限。因此，在视频压缩中都是将无损编码和有损编 码结合使用。视频编码中主要压缩技术有以下几种。 ( 1 ) 预测编码 预测编码不是对一个像素直接编码，而是用同一帧( 帧内预测编码) 或相邻帧( 帧问 预测编码) 中的像素值来进行预测，然后对预测残差进行量化和编码。显然预测编码实际 是利用了图像数据中的空间和时间冗余。线性预测编码又称为差分脉冲编码调制 d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ，由于算法简单，易于硬件实现，已被各种 视频编码标准采纳。 帧间预测编码的主要方法有帧重复法、帧内插法和运动补偿法等。其中运动补偿法在 视频编码中使用的最为广泛。运动补偿预测通常可以采用单向预测( 一个参考帧) ，双向 预测( 两个参考帧) 和插值预测( 取两个参考帧预测值的平均) 来实现。由于运动补偿预 测可以有效的减少视频序列的时域冗余，因此成为构成当前主要视频编码标准最基本的技 术之一。 ( 2 ) 变换编码 变换编码是构成当前主要视频编码标准的另_ 项最基本技术，用来消除图像的频域 ( 变换域) 冗余。 正交变换编码通常是将空域相关的像素点映射到另一个正交矢量空间，使得变换后的 系数之间相关性降低。常见的正交变换有k l ( k a r h u n e n l o e v e ) 变换、离散傅立叶变换 d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、离散余弦变换d c t ( d i s e r e t ec o s i n et r a n s f o r m ) 、 沃尔仆哈达玛( w a l s h - - h a d a m a r d ) 变换和哈尔( h a r r ) 变换。k l 变换是均方误差准则下的 最优变换，但实现困难。在现行视频编码标准中几乎都采用了性能最接近k l 变换的d c t 变换。实际上当白相关系数为1 时，k l 变换就退化为d c t 变换。i ) c t 变换足1 9 7 4 年 a h m e d 提出的，它具有一组固定的基函数( 和图敦内容无关) ，以及很好的能量压缩和去相 关特性。d c r i 变换和d f t 变换密切柏关，nxnd c t 刈。以山它的偶对称扩展2 nx2 nd f t 变换表达出来，这样利用d f l 、变换的可分级特性以及若干f f t 变换算法中的一个，可以 实现d c t 变换的快速算法。出于d c t 变换采用实数计算，加上有效的快速算法出现，使 得硬件实现成为可能，因此被广泛的采用。 ， 堕生! ! ! ! ! l ! ! ：= ! 三竺! ：型! 壅竺三兰丝堡兰 竺堡 变换编码除了采川证交变换编伫5 外，还钉予带编码利小波编。i ljn t i 交变换编n 7 撇 得i 划像的能量集中在低频区域，表示图象巾缓慢变化的内容，巾图像的边缘、细微的纹理 等细节部分集 j 在变换域的高频区。为了实现压缩，通常采川川个城化器进行量化，这 样就牺牲了图像的细节秫分，造成删码图像模糊。在高压缩比时，雎川火的限交变换编鹏 还会产生块效应( b l o c keg r e c t ) 和振铃效应( r j n ge l i r e c t ) ，降低图像质最。而子带编码 则足将图像分裂成几个不同频段的子带( s u b b a n d ) ，对不川的子带设计不同的编码参数， 捉高图像质量。小波变换编码充分的利片j 了小波分析在时域和频域川时具有良好的局部化 特一m 与人眼视觉特性相符的多分辨率能力，分解系数分斫i 平稳，自然分级的金字塔式数 据结构等优点，在视频压缩领域引起广泛的关注。它利用与正交分解完全彳i 同的小波分解， 以原始幽像( 彳i 是原始图像。i l 的块) 为初值，爿i 断的将上一级图像分解为4 个子带：上一级 图像巾的低频信息、垂直方向、水、f 订i f i j l j x , j 角线方i 曲的边缘信息。从多分辨率分析出发， 一般每次只对上一级的低频子带图像进行分解。将整个图像丽非其中的块作为整体进行传 送，因此不会产生块效应。由于小波变换的金字塔式数据结构的每层都包含整个图像的 信息，只是其中的分辨率不同，因此可以选择传送部分或全部，简单、自然的实现可分级 视频编码。 ( 3 ) 统计编码 根据香农信息论的观点，信源冗余度来自信源本身的相关性和信源内部事件概率分布 的不均匀性。统计编码主要有基于概率分御特性的霍大曼编码和算术编码，以及基于相关 性的游程长度编码三类。 霍夫曼编码( 1 l u f f m a nc o d i n g ) 足一种变长编码v l ，c ( v a r i a b el e n g t h c o d i n g ) 。霍丈 曼编码将信源符号按概率大小重新排序，通过二义树算法，依次将两个概率最小的节点合 并，直至根结点。完成树的构造后，给所有的树枝分配0 和1 ，这样就可以给高概率符 号分i ! i i 己短码，而概率小的符号则分配较k f r , j 码字，去除符1 0 7m 的统计冗余。在已知信源符 号概率时，可以给极好的编码性能。似霍火曼编码严垂依赖信源的统汁特性，编码前必 须有信源j c 率分和的先验知i 谚 。对j 二复杂的视频来说，烈能川对大量数 ：l l ：统训。后获得的近 似分砸i 来代替，j ；s l i l e 实际应川时厄法达剑最佳性能。皿然v l c 提高了编码效率，但不利 j 二硬件实现。 算术编码( a r i t h m e t jcc o d in g ) 址2 0 世纪8 0 ，1 i 代发腱起米的，理沦上，算术编码 和霍夫曼编码都是最佳的但在信源概率分川i 末知的情况卜，算术编码优于霍夫曼编码。 算术编码的基本原理是用 0 ，1 之m f | 勺个概率区叫来表示数据序列。将信源x 的一个 给定状念与 0 ，1 问的个人 i | ：c 二簪i ，4 1 1z 概率q 眦定的概率f 【基问斗 i 联系，区| u j 的k ： 塑皇业! ! 尘兰! 坐：! ：! ! ! 壅竺堂焦堡兰 望丝 度等f 序列的概率p ( x ) 。编码器从n = i 丌始，逐位的处理输入的符号流。每输入一位， 更新当时符号的条件概率，并以此渊整l ，删q 限定的概率子区间。随着n 的增加，和 输入符号序列相联系的概率子区间就变得越柬越小，最后用这个表示概率子区问的4 、数给 符号序列编码。 游程长度编码r l c ( r u n - l e n g t hc o d i n g ) 是将符号值相同的连续符号串用一个游程长 度( 符号数) 和一个代表值( 值) 描述。这样可以用更紧密的序列代替原有的相同值符号串。 在视频压缩中，量化后的数据常常出现大量的连零系数，利用游程长度编码可以有效的降 低表示零码的比特数。 2 0 世纪8 0 年代后期，相关学科的迅速发展及新兴学科的不断出现为视频编码的发 展注入了崭新的活力，同时关于人类视觉生理心理特性的研究也大大拓宽了人们的视野。 在此背景下，新一代数据压缩技术随之诞生并且不断成熟，其编码思想由基于像素和像素 块转变为基于内容( c o nl e n l b a s e d ) 。与此同时，说频编码相关标准的制定也日臻完善。 视频编码标准主要由i t u r l 和i s o i e c 开发。i t u t 发布的视频标准有h 2 6 1 、h 2 6 2 、 1 1 2 6 3 、j 1 2 6 3 + 、i i 2 6 3 + + ，i s o i e c 公粕的m p e g 系列标准有m p e 6 1 、m p e g 一2 、m p e g 一4 、 m p e g 一7 、m p e g 一2 l 。最近，已成为研究热点的i t uh 2 6 4 a v c 标准是由运动图像专家组 ( m p e g ) 与视频编码专家组( v c e g ) 共同制定的新一代图像压缩标准，它有一系列优于h 2 6 3 和m p e g 一4p a r t 2 的新特性，可适应更高图像质量和低码率应用的要求。该标准同时也 作为i s o1 4 4 9 6 - 1 0 m p e g - 4a v c 标准。 1 2 研究方案 h 2 6 4 作为新一代运动图像压缩标准，能提供比m p e g 一4p a r t 2 和h 2 6 3 更高的压 缩性能，使图像的数据量减少5 0 ，有利于用有限的空州存储更多的图像数掘；对网络 传输具有更好的支持，引入面向数掘包编码，有利于将数据打包在网络中传输，支持流媒 体服务应用；具有较强的抗误码特性，以适应在噪声干扰大、丢包率商的无线信道中传输； 对不同应用的时延要求具有灵活的适应性；编码和解码复杂度具有可扩展性，支持编码和 解码复杂度的小等分配和扩展。h 2 6 4 a v c 中引入了一些新的压缩方法，以提高压缩效率， 它具有如下特点： 增强的运动补偿性能。采用树状结构的运动补偿和1 4 像素精度的运动向量预测术使 预测帧更接近原始帧，减少相互间的差异，去除时问上的数据冗余，提高编码的压缩率； 采用更小块进行变换编码。以往8x 8d c t 逆变换会引起系数失真，使重构帧与原始 4 塑皇! ! ! ! ! ! ! 叁兰塑：! 坐壅竺兰垡笙苎 堕堡 帧问存在误差。h 2 6 4 采用4x4 整型变换，保证逆变换系数不失真，并降低了运算复杂 度： 采用块滤波器提高性能。由于编码是有损的，会引起重构以后块曲j 亮度落差大、图像 出现马赛克等现象，影响人们的视觉感受。在块间使用滤波器以平滑块间的亮度落差，可 使重构后的图像更贴近原始图像； 高性能的熵编码。山于块问的d c r r 系数相关性火，m2 6 4 使用内容自适应变k 熵编码， 减少了块间的相关性冗余，提高了编码效率； 采用s p 和s i 帧支持视频流间的切换。h 2 6 4 引入切换帧s p 和s i 的概念。解码 器可以根据当前网络的状况使用切换帧，在不同质量的视频流间进行有效切换，解决切换 过程中预测帧因缺乏参考帧而引起的解码错误。 本论文研究的重点是h 2 6 4 a v c 视频编码的这些关键技术，并用软件予以实现，在此 基础上分析h 2 6 4 a v c 的性能提高，并提出改进方案。本论文的结构如下： 第一部分是绪论，通过对视频编码的研究背景及发展趋势作简要介绍，进而提出论 文的研究方向和研究重点。 第二部分是视频编码及相关标准，指出视频编码技术是数字视频的核心技术，并简要 介绍了m p e g 系列标准的概况及应用； 第三部分足i i 2 6 4 a v c 标准概述及其关键投术，这址水论文的核心。首先介绍了 h 2 6 4 a v c 标准的制定背景、核心思想、基本组成、涵盖功能，然后对其具有网络友好性 的分层结构、i | l ! j 内预测、多种模式的帧i l 白j 预测、1 4 和l 8 像素精度的运动估计、多参考 帧、整数变换及量化、c a b a c 熵编码、环路去块效应滤波器等关键技术进行了详细阐述； 第四部分是软件实现，采用c 语言在v c + + 6 0 的环境下列c a v l c 的编码进行了实现， 并分析了其性提高的原因，还用测试软件对c a v l c 和u v l c 进行了比较，最后得出结论。 第五部分是结束语，对全文作出了总结，并对下一步工作进行了展望。 带隶m i u 人学埘j 1 圳宄生学位论女视频缩 土术概论 第二章视频压缩技术概论 近年来，随着计算机技术、微电子技术和信息处理技术的发肥，人类社会j f 在进入一 个信息化的全新时代。那些约束图像通信发展的幽素正在逐渐消失，图像通信必将成为未 来信息应用的个热点。 2 1 视频压缩编码的必要性 。 当今，人们对通过计算机来获取和处理信息的依赖性越来越大。而通过数字化的媒体 信息也越柬越多，这些数字化信息在具有很多优越性的同时，电存在个很大的问题，那 就是其数据量的急剧增加对它的存贮和传输带来的极大不便。 数字化视频数据的海量性与当今的计算机硬件技术所能提供的网络传输带宽和存储 资源之间都有很大的差距：因而埘视频信息的传输和存储造成了很大的困难，成为了妨碍 人们快速有效的利用媒体信息的一个瓶颈问题。而对于这类问题的解决，只是靠单纯的扩 大存储器容量，增大通信干线的传输速率的办法是不现实的，进行数据压缩处理才是一个 切实可行的有效方法。研究发现，视频图像的表示中存在大量的冗余信息。而通过去除 冗余信息就可以极大的减少原始视频图像的数据量从而达到解决海量数据问题的目的， 因此对视频图像进行压缩处理是非常必要和可行的。视频图像的冗余信息主要包括以下几 个方面： 空问冗余：空间冗余主要由图像色彩的连贯性产生。比如一幅图像记录了耐面上可见 的物体的颜色，而同一景物在颜色的分布上往往都具有很大的空蚓连贯性；但是基于离散 采样而获得的图像数据通常是没有充分的利用物体表面颜色的这利一空间连贯胜而州数据 量进行压缩处理。例如：图像中有一块颜色很均匀的部分，在此区域中所有的像素点的光 强和色彩以及饱平u 度都是一样的，则此图像中，就叫以只用一个像素值通过1 - 定的手段来 有效的表示周田的像素值。这种冗余是由在同一图像中画面的空问相似性形成的，所以称 为空1 列冗余。 时问冗余：这是动态视频图像通常包含的冗余信息。动态视频图像通常为位于一时 闻轴区间内的一系列的连续画向，其中相连的一帧或几帧画面往往会包含i 司样的背景或物 体，他们之f b j 的差别只是位置上有所不同；所以后一帧图像与它的前一帧图像有许多共同 的地方，而这种北同性是由于柑邻帧记录了相邻时刻的同一场景画面，故称为时间冗余。 视觉冗余：事实和研究表明，人们对于图像场的敏感性是非均匀和非线性的。比如： 视觉冗余：事实和研究表明，人们对于图像场的敏感性是非均匀和非线性的。比如： 6 南京| | l | j i u 人学坝j j 圳究i i 学位论文 祧频j f 稽k 技术概论 第二章视频压缩技术概论 近年来，随着计算机技术、微电子技术和信息处理技术的发展，人类社会f 在进入一 个信息化的全新时代。那些约束图像通信发展的因素正在逐渐消失，图像通信必将成为未 来信息应用的一个热点。 2 1 视频压缩编码的必要性 当今，人们对通过计算机来获取和处理信息的依赖性越来越大。而通过数字化的媒体 信息也越来越多，这些数字化信息在具有很多优越性的同时，也存在一个很大的问题，那 就是其数据量的急剧增加对它的存贮和传输带来的极大不便。 数字化视频数据的海量性与当今的计算机硬件技术所能提供的网络传输带宽和存储 资源之间都有很大的差距：因而对视频信息的传输和存储造成了很大的困难，成为了妨碍 人们快速有效的利用媒体信息的一个瓶颈问题。而对于这类问题的解决，只是靠单纯的扩 大存储器容量，增大通信干线的传输速率的办法是不现实的，进行数据压缩处理才是一个 切实可行的有效方法。研究发现，视频图像的表示中存在大量的冗余信息。而通过去除 冗余信息就可以极大的减少原始视频图像的数据量，从而达到解决海量数据问题的目的， 因此对视频图像进行压缩处理是非常必要和可行的。视频图像的冗余信息主要包括以下几 个方面： 空问冗余：空间冗余主要由图像色彩的连贯性产生。比如一幅图像记录了画面上可见 的物体的颜色，而同一景物在颜色的分布上往往都具有很大的空问连贯性；但是基于离散 采样而获得的图像数据通常是没有充分的利用物体表面颜色的这种空问连贯性而划数据 量进行压缩处理。例血：图像中有一块颜色很均匀的部分，在此区域中所有的像素点的光 强和色彩以及饱平度都是一样的，则此图像。p ，就l ；l j 以只用一个像素值通过一定的手段来 有效的表示周围的像素值。这种冗余是由在同一图像中画面的空间相似性形成的，所以称 为空1 列冗余。 时问冗余：这是动态视频图像通常包含的冗余信息。动念视频图像通常为位于一时 间轴区间内的一系列的连续画面，其中相连的一帧或几帧画面往往会包含同样的背景或物 体。他们之间的差别只是位置上有所不同；所以后一帧图像与它的前一帧图像有许多共同 的地方，而这种拭同性是由于相邻帧记录了相邻时刻的同一场景画面，故称为时间冗余。 视觉冗余：事实和研究表明，人们对于图像场的敏感性是非均匀和非线性的。比如： 6 堕窭业! ! 查兰塑l 型 壅生兰垡堡兰型塑坐型些查塑堡 视觉系统对图像的亮度和色彩度的敏感。e k 4 l l 羞很大，对亮度的敏感度远远火f 对色度的敏 感皮。山于人叭的辨别能力与物体周l l t l 的背景亮度成反比，在亮艘的增加过程小，人们的 视觉系统刈：l i 化跌经的敏感皮降低。但足，摄影机在也录蟛i 始的图像数埘f r , j l i 、l 1 【芡，通常郝 足似定视觉系统对蚓像的敏感程度是均匀的和线性的，对于人l i 艮的敏感i k 和不敏感区都同 等对待，从而导致了视觉冗余。 图像区域的相同性冗余：这种冗余是指在图像的两个或者多个区域对应的像素值相同 或者相近，而产生的数据重复性冗余。 另外，根据不同的情况，在原始的视频图像中还可能存在别的冗余，比如结构冗余、 知识冗余、纹理统计冗余等。对于不同的冗余信息，可以通过不同的方法来达到较好的冗 余去除效果。 从以上的讨论可以看出，对于视频的传输和存储米说，我们面临的最大困难就是其数 据量的处理问题。而数字视频图像数据通常都具有以下的特征： 1 数据量庞大，使得视频数据的处理变得困难； 2 数据中存在大量的冗余信息，而这些冗余信息都可以通过一定的编码方式去除。 这两个特征为视频压缩编码处理提供了必要性剩可能性。庞大的视频数据经过压缩处理 后，就可以只对编码后的少量的数据进行存储或传输，在视频的接收端只对收到的数据进 行解码就可以得到原始视频图像了。这样，当前的网络资源和存储资源就可以在一定的程 度上满足用户的需求。因此，只要在编码过程中采用适当的方式来去掉其视频图像的冗余 信息，让保存的数据都尽可能的含有最大的信息量，那么视频的数据量就可以大大地减少。 2 2 视频压缩编码原理 视频编码的基本原理就是采用一系列的变换技术减少视频中的冗余信息，在一定的需 求和应用条件下，尽量用最少量的数据来获得好质量的视频图像。 山前面的内容闻知，原始视频数据含有不同类型的冗余信息，这些冗余信息包括空间 兀余、时m ) 余和视觉j c 余等。刈。j 二伞| 1 i j 儿余，- 叮以袱州川邻像崇问的川似性，l l i 棚邻的 像素米编码当| i 】i 像素，这样就i u 以充分f 内剧，h 相邻像素之n u 的相关性而达到消除或者减少 其空间冗余的目的；这种消除空间冗余的图像压缩编码方式通常用于静态图像的编码或者 动念视频的帧内编码图像q j 。 时间冗余通常都是出现在动态的视频图像中剐于时问冗余信息，我们可以用预测的方 式柬予以消除。比如在一段动态视频中，有一个物体的作平移运动，他在一系列的动态图 7 塑生! ! ! ! ! ! ! 尘堂塑! ：业壅! ! 兰丝笙兰 型丝生墅些查塑堡 像中只是位置发生了变化，在别的方面基本上没有变化，那么这时我们只需将其在前一帧 的信息直接搬迁到后一帧的相应位置就町以了。这样图像的信息并没有任何的损失，但是 在视频的数据表示上面就减少了很多数据量。这种利用帧问预测来消除视频到像时叫兀余 的方法是动态视频编码的基本方法。 视觉冗余的产生主要来源于人眼和机器视频捕获设备之间的差别。机器视频捕获设备 对于进入其“视觉”范田的所有图像信息都一视同仁，不存在蚶那个物体或区域更感兴趣 的题。1 “i 人吸是有差别的埘图像进行处理，u 以只注意其感兴趣的物体或区域，对j ：视 觉冗余的消除，可以通过正交变换将图像从空间域转换到频率域，然后根据人限对于不同 频率的不同敏感程度对其进行不同的处理，从而减少视觉冗余。对于视觉冗余的消除，现 在很多的图像压缩编码都用到了，主要的正交变换有离散余弦变换( d c t ) 和小波变换 ( w a v e l e t ) 等。 视频编码的基本结构可以用图2 一l 表示如下： 图2 1视频编码流程示意图 其中，图像预处理包括图像的格式转换和图像分割，这一过程首先将获得的视频图像 格式转换为亮度、色度分离的分量形式，并根据具体编码和应用情况对色度信息进行适当 的简化，再将一幅完整的大图像分成多个易于编码的小图像块。预测编码可以是多幅图像 问进行的帧i n 预测，也可以是一幅图像内部的帧内预测，主要用于消除图像的时间冗余和 空问冗余。正交变换用来将图像山空间域转换成频率域，它通常与量化一起使用以减少图 像的视觉冗余，量化足图像失真的主要来源。熵编码是将量化后的系数按变长编码( v l c ) 方式编成串码流后输出，这一过程可以极大的减少视频图像的信息表示量。 编码后的视频数据发送给接收端，接收端在收到数据流后进行解码，然后卜屏显示。 解码过程基本上就是编码过程的逆过程，就是将编码的图像块经过编码的逆处理后组合成 8 南京| j | 5 u 人学坝j ：研究生学位论艾 说频h 、缩技术概论 一帧完整的图像。 另外，从信息论观点来看，幽像作为一个信源，描述信源的数据是信息量( 信源熵) 与信息冗余量之和。信息冗余量就包括我们刚讲到的空问冗余、时州冗余视觉冗余等。可 见减少冗余量可以达到减少数据量的目的而不减少信源的信息量，它刑于视频图像的质量 是无损的。从数学上讲，可以把图像看作一个多维函数，压缩就是减少描述这个函数的数 据量，而其实质是减少其相关性。另外很多情况下，我们都允许视频图像有一定的失真， 即允许在一定条件下的图像质量降低。而这并不妨碍视频的实际应用，这样视频数据量的 压缩空间就更大了。 2 3 视频压缩标准介绍 因为视频业务的数据量大，可压缩的冗余信息多少是判别多媒体服务质量好坏的主要 囚索，视频编码技术是多媒休应用的核心。 ! ! l ! 频的编码技术将足今后多媒体视频通信中的 核心技术之一，图像编码理论和数字技术的逐渐成熟促进了视频通信的发展。学术和应用 领域都致力于视频技术的研究，并且制定了一系列国际标准。在视频应用中，编码方法的 选择不但要考虑到压缩比、信噪比，还要考虑到算法的复杂性。太复杂的编码算法可能会 产生较高的压缩比，但也会带来较大的计算开销，软件实现时会影响通信的实时性。目前， 在众多视频编码算法中，影响最大并被广泛应用的是t s o i i e c 的m p e g 系列和i t u t 的h 2 6 x 系列标准。如：i t u th 2 6 1 ，h 2 6 3 * 1 i s o i e c 的m p e g 一1 和m p e g - 2 等。这些标准覆盖了很大 的视频速率范围和应用领域，支持不周速率、不同的图像质量要求等条件的视频业务，能 够满足包括电视会议、视频电子邮件、可视电话、广播级视频应用等不同要求的服务。随 着视频应用需求的不断发展，视频压缩技术也有了很大的提高，新出现的压缩标准有了更 高的胍缩效率( 在相同的图像质量下需要更低的传送码率或在相同的传输速率提供质量更 好的图像) ，同时支持不同的传输速率以适应不同的传送网络。下面分别介绍相关的图像 编码标准。 2 3 1j p e g 在1 9 8 6 年，i s o 与c c i t t 联合成立“联合图片专家组( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p j p e g ) ”，研究制定“静止图像数字压缩编码标准( d i g i t a lc o m p r e s s i o ba n dc o d i n go f c o n t i f i u o u s t o n es t i l li m a g e s ) ”。1 9 8 7 年1 1 月，i e c 也参加合作，斟此，j p e g 是三者 9 塑皇m 型! 查兰堡! ：业塑生堂丝堡兰 型塑生堕丝查壁堡 联合的结果。经过多次国际会议讨论和修改后，于1 9 9 1 年3 月提交、 p e g 建议草案，1 9 9 2 年7 月通过正式标准。j p e g 用于连续变化的静止图缘，包括耿度等级和颜色两方面的连续变化。 j p e g 有两孙操作模式，一是以d c r 为基础的有损压缩方法：二是以熵编码为技术的无损压缩 方法。随着通信技术( 尤其是移动通信) 、图像压缩技术和集成电路技术的发展，个人视频 通信正成为现实，个人视频通信的显著特点是交互性和极低的通信码率，极低码率通常指 编码后的码率低于6 4 k b s 。因此，极低码率数字视频压缩编码是国际上的研究热点，h 2 6 3 和m p e g 4 是这方面的两个比较成功的标准但是这两个标准还不能完全满足在有限的带宽中 传输高质量的图像序列，目前图像专家正致力于有更高压缩特性的编码标准h 2 6 4 。 2 3 2 印旺系歹4 标准 ( 1 ) m p e g l m p e g 一2 运动图像专家小组的活动始于1 9 8 8 年，1 9 9 0 年提出和建立了m p e g 标准草案。1 9 9 2 作 为i s o i e c ii1 7 2 号建议难式通过成为m p e g l 国际标准。m p e g i 视频是面向比特率大 约为1 5 m b i t s 的视频信号的压缩。m p e g l 视频具有：随机存取、快速正向逆向搜索、 逆向重播、视听尉步、容错性好、编码解码时延小等特点。其中，随机存取时间大约可 达0 5 s ，编码解码时延不超过1 s 。 1 9 9 3 年正式通过了关于m p e g 一2 标准的建议，这个建议包括四个部分：系统( i s o i e c “1 7 2 一1 ) 、视频( i s o i e cj 11 7 2 2 ) 、音频( i s o i e c1 11 7 2 3 ) 和一致测试描述( i s o i e c 1 1 1 7 2 4 ) 。m p e g 一2 是m p e g 一1 的发展，它有以下特性- 随机访问、快进快退、反向播放、 a v 同步、抗差错性好、编码解码时延小、可编辑性、格式可变性和性能价格折衷等。 ( 2 ) m p e g - 4 标准 1 9 9 6 年2 月在德国m u n i c h 举行的m p e g 第3 3 次会议上正式定义了第一个m p e g 一4 的视频验征模型v m ( v e r i f ic a t i o n m o d e l ) ，这是m p e g 一4 视频标准发展的个重要驰程 碑。1 9 9 8 年1 1 月公撕j 的幽际标准草案f d i s ( f ih a ld r a f ti n t e r n a t t o n a ls t a n d a r d ) ，后 来成为萨式标准1 s o i l i e c1 4 4 9 6 的第一：版。m p e g 一4 标准第- - j r 是对第一版的扩充，增加 了物体伸缩编码，提高了编码效率、白适应性和灵活性。这个国际标准包含有纹理和视频 编码、任意形状的视频列蒙编码和视频流的纠错编码等比较成熟的技术。 ( 3 ) m p e g 一7 标准 塑生! ! ! ! ! ! ! 生堂! 璺! 坐篁：! 堂丝堡兰型塑! 皇堑壁! 查塑堡 准确说，m p e b