（通信与信息系统专业论文）基于三维小波变换的视频编码系统的研究与实现.pdf

基于三维小波变换的视频编码系统的设计与实现 摘要 随着数字技术的飞速发展，数字图像和数字视频应用越来越多 的出现在我们的日常生活中，从低分辨率网络图像到高分辨率的数 字电影，从用于移动终端的极低码率应用到h d t v 和d v d 。这一 切都离不丌数字图像技术和信息理论的发展。数字图像技术的核心 之一便是图像信源的压缩编码。 基于三维小波变换的视频压缩方法在目前流行的视频传输中都 有良好的应用前景，越来越多的人开始关注基于小波变换的视频编 码方法。目前，基于三维小波变换的视频编解码方法的实现还处于 初步阶段，i n t e m e t 应用和各种数字化设备中对这种方法的支持也相 对较少，在这个背景下研究基于三维小波变换的编解码器的实现将 有很好的理论和实际意义。 带运动预测的三维小波编码( m c 3 d s b c ) 是在时域上沿着运 动轨迹进行小波分解，大大降低了时域高通子带的能量，在时域低 通了带也减少了大的系数，显著提高了压缩编码效率。 本论文主要研究了基于三维小波变换的视频编解码压缩算法及 实现方案。具体包括以f 内容： ( 1 ) 进行了小波视频压缩技术的研究。小波视频压缩技术是 m c e b c o t 的理论基础，首先讨论了小波变换的基本理论，然后研 究了小波编码在视频压缩中的应用。 ( 2 ) 详细研究了m c e b c o t 的编码算法，包括小波运动预测 m c t f 的相关理论和小波时域子带帧的编码算法，并对其中的关键 技术逐一加以说明，如运动预测块大小的选择和策略，g o p 的长度 选择等，这部分是后面编码系统实现的理论基础。 ( 3 ) 用v c + + 实现了m c e b c o t 编码系统，该系统利用软件和 硬件结合的方式，实现了基于三维小波变换的视频编码，文中对编 码系统的设计方案和系统实现均有详细介绍，并对该系统的压缩性 能进行了评估。 ( 4 ) 对整个论文的工作进行r 总结，】司时提出了存在的问题， 以及今后的研究方向和改进思路。 关键词：小波视频压缩三维小波变换分级编码m c t f e b c o t a d v 2 0 2 t h ed e s i g na n di m p l e m e n t a t i o no ft h e3 d w a v e l e t - b a s e dv i d e oc o d i n gs y s t e m a b s t r a c t w i t ht h er a p i dd e v e l o p i n go fd i g i t a lt e c h n o l o g y , t h ea p p l i c a t i o no f d i g i t a li m a g ea n dd i g i t a lv i d e oi se m e r g i n gi n o l l rd a i l yl i f e f r o mt h e n e t w o r ki m a g ew i t hl o wr e s o l u t i o nt od i g i t a lm o v i ew i t hh i g hr e s o l u t i o n ， f r o mt h ea p p l i c a t i o no f m o b i l et e r m i n a lw i t hl o wr a t et ot h ea p p l i c a t i o n o fh d t va n dd v dw i t hh i g hr a t e ，a l lo ft h ea b o v eh a se x t r e m e l y r e l a t i o n s h i p w i t ht h ed e v e l o p m e n to fd i g i t a l i m a g et e c h n o l o g ya n d i n f o r m a t i o nt h e o r y o n eo ft h ek e yt e c h n o l o g yo fd i g i t a li m a g ei st h e c o m p r e s s i o nc o d i n go f t h ei m a g e t h em e t h o do fv i d e oc o m p r e s s i o ns y s t e mw i t h3 dw a v e l e t t r a n s l = b r mh a s g r e a t f u t u r ei nt h ec u r r e n tp o p u l a rf i e l do fv i d e o t r a n s m i s s i o n ，a n dm o r ea n dm o r ep e o p l eb e g i nt of o c u so nt h er e s e a r c h 0 1 2i t a tp r e s e n t ，t h ei m p l e m e n t a t i o no ft h em e t h o di ss t i l li nt h e b e g i n n i n gs t a g e t h es u p p o r to ft h em e t h o di nt h ei n t e r n e ta p p l i c a t i o n a n dk i n d so f d i g i a l i s e dd e v i c ei sr e l a t i v e l yn o ts om u c h s or e s e a r c ho n t h em e t h o dw i l lh a v eaw e l ls i g n i f i c a n c eo fb o t ht h o e r ya n dp r a c t i c e a p p l i c a t i o n si nt h i sb a c k g r o u n d t h e3 dw a v e l e tc o d i n gw i t hm o t i o nc o m p e n s a t i o ni sd o i n gw a v e l e t r e s o l u t i o na l o n gw i t ht h em o t i o nc o n t r a i li nt h et i m ef i e l d i th i g h l y r e d u c e st h ee n e r g yo ft h eh i g hf r e q u e n c ys u b b a n da n dd e c r e a s e st h e c o e f f i c i e n to f t h ei o wf r e q u e n c ys u b b a n di nt h et i m ef i e l d a sar e s u l t i t i m p r o v e st h ee f f i c i e n c yo f t h ec o m p r e s s i o nc o d i n g t h e p r e s e n t t h e s i s m a i n l y r e s e a r c ho nt h e a l g o r i t h m a n d i m p l e m e n t a t i o n s c h e m eo ft h e3 dw a v e l e t b a s e dv i d e o c o d i n g i t i n c l u d e s ： ( 1 ) r e s e a r c ho nt h ew a v e l e tv i d e oc o m p r e s s i o nt e c h n o l o g y t h e w a v e l e tv i d e oc o m p r e s s i o nt e c h n o l o g yi st h et h e o r yf o u n d a t i o no f m c e b c o t f i r s t ，i ti n t r o d u c e st h eb a s i ct h e o r yo fw a v e l e tt r a n s f o r m t h e n ，i td o e sr e s e a r c ho nt h ea p p l i c a t i o no fw a v e l e tc o d i n gi nt h ev i d e o c o m p r e s s i o n ( 2 ) r e s e a r c ho nt h ee n c o d i n ga l g o r i t h mo fm c e b c o t i nd e t a i li t i n c l u d e s ：w a v e l e tm o t i o nc o m p e n s a t i o n , a l g o r i t h mo fm c t fa n d e n c o d i n ga l g o r i t h m o fw a v e l e tt i m e s u b b a n d s i l l u m i n a t et h ek e y t e c h n o l o g yo ft h c m ，e g s i z eo ft h em o t i o ne s t i n m t i o nb l o c k ，s i z eo f g o rt h i sp a r ti st h et h e o r yf o u n d a t i o no f t h ef o l l o w i n gi m p l e m e n t a t i o n o ft h ec o d i n gs y s t e m ( 3 ) i m p l e m e n tt h em c e b c o tc o d i n gs y s t e mu s i n gv c + + ，a n d e v a l u a t et h ec o m p r e s s i o np e r f o r m a n c eo f t h es y s t e m ( 4 ) m a k ec o n c l u s i o n s o ft h e w h o l ew o r k a tt h es a m et i m e ， p r o p o s e t h e p r o b l e m s e x i s t e da n dt h e a n t i c i p a t i o n s f o rf u r t h e r i m p r o v e m e n t s 。 k e y w o r d s ：w a v e l e tv i d e oc o m p r e s s i o n3 dw a v e l e tt r a n s f o r m s c a l a b l ec o d i n gm c t fe b c o ta d v 2 0 2 独创性( 或创新性) 声明 本人卢明所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包古为获得北京邮电大学 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：王邀。 日期： z 璺缱三虚固 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定， 即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被 查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、 缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此 规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文4 i 属于保密范围，适用本授权节。 本人签名 导师签名 日期：丝! 主三旦宣 日期：缁：互。z 北京邮电大学硕士论文 第一章绪论 第1 章绪论 1 1 常用视频压缩编码标准及应用领域 近年来，随着通信技术、多媒体计算机技术、大容量数字存储技术以及网 络技术的迅速发展，人们对多媒体信息的需求日益激增。多媒体信息的数据量 大，种类繁多，特别是视频信息，在不压缩的条件下，其速率可达1 6 0 m b i t s 左右，高清晰度电视更可高达每秒上千兆比特。为了节约带宽，让多媒体信息 能在网络中高效地传送，必须针对各种多媒体信息的特性进行有效的信源压 缩。 目前常用的视频序列编码标准主要有以下几种： i t u t 提出的h 2 6 x 系列标准 i s o i e c 提出的m p e g 系列标准 由静止图像压缩标准演变而来的m j p e g 、m j p e g 2 0 0 0 系列压缩标准。 其中m j p e g 2 0 0 0 ( 即m o t i o n - j p e g 2 0 0 0 ) 是基于小波变换的压缩编码标 准，基于它的改进三维小波变换的编码系统是本文讨论的重点。表1 1 简 要介绍了上述几种压缩技术及各自的应用领域。 表1 1 常用视频压缩标准及应用领域 标准 应用领域 h 2 6 l 主要用于p * 6 4 k b i t s 的i s d n 可视电话、视频会议等 主要用于低码率实时通信，如i n t e m e t 网络视频、可视电话、3 g 或 h 2 6 3 无线等，码率可以低于6 4 k b i t s ，甚至低于2 8 8 k b i t s h 2 6 4 i n t e m e t 实时视频通信，广播电视，视频存储播放，数字视频录像等 m p e g 1 主要用于v c d 质量的视频存储和播放，码率 = 1 5 m b i t s 主要用于电视传输、d v d 、演播室、高清晰度电视等领域，其中 m p e g 一2 m p m l ： 。，厂z 2 ( r ) 式( 2 3 ) 4 北京邮电人学硕l 论文 第二章小波变换的基本理论 其中小波基函数的尺度因子a 和平移因子b 均取连续变化的值。 当y ( f ) 满足小波容许性条件时，由小波系数( 口，b ) n - - j 以恢复出信号厂( f ) ， 即连续小波变换的逆变换存在，且有如下定义： f ( t ) = 巧1 e r 0 。w i ( a , b ) g g “d 等 式( 2 - 4 ) 2 1 2 离散小波变换 连续小波变换主要用于理论分析，在实际应用中需要对参数a 和b 进 行离散化处理，可以选取a = 簖( m 是整数，a o 1 ) ，b = n b o a o ( b o 大于零且与 小波y ( f ) 具体形式有关，而r l 为整数) 。于是离散小波可以定义为 少m 。( ，) = a o ”佗g ( a o ”f 一门) 式( 2 5 ) 相应的离散小波变换为 c m ，。= = e ( f ) 眈，。( f ) 衍= a i ”7 2e f ( t ) ￥( a o ”f 一门b o ) a t 式( 2 - 6 ) 其重构公式为 邝) - - c z c m ，。( f ) 式( 2 - 7 ) 其中c 是与信号无关的常数。 计算机处理时，离散化参数常 a o = 2 ，b o = 1 ，此时的离散小波被称为二 进制离散小波： y m 。( f ) = 2 - , 2 y ( 2 ”t - n ) 其离散小波变换表示为： c r n ，。= = 2 ”坨i 。f ( t ) g ( 2 一t n ) a t ， 2 2 小波的多分辨率分析 式( 2 8 ) 式( 2 9 ) 多分辨率分析( m r a ) t 1 】的基本思想是把r ( r ) 中的函数表示成一个逐次逼 进的极限，使得每一次逼进是厂的一个具有越来越多的集聚光滑函数的表示式。 这样每次逼进所使用的分辨率是不同的，这也是“多分辨率”名称的由来【2 】。 2 2 1 多分辨率分析的定义 空间r ( r ) 中的多分辨率分析是指r ( r ) 中满足下述性质的一系列闭合子 空间 v j ) ，z ： 单调性：v j z ，矿+ 1c 基于三维小波变换的视频编码系统的研究和实现 逼近性； n = 0 ) ，u = r ( 尺) i = - - o oy = - o o 伸缩性：w z ，( ，) 矿，f ( 2 t ) y 川 平移不变性：v ( j ，k ) z 2 ，f ( t ) y ，f ( t 一2 。k ) y ， 正交基存在性：存在( f ) 使 o 一门) 脚是v o 的正交基，即 v o = s p a n 矽( t 一刀) ) ， 上矽( 卜埘) ( 卜胛) a t = 皖，。 式( 2 一l o ) 其中正交基存在性条件可放宽为r i e s z 基存在性，因为由r i e s z 基可以构造出 一组正交基来。 可以通过正交化的方法，找到小波变换母函数矽( f ) v o ，使得它的整数平 移m ( ，) = 2 - j 1 2 矽( 2 t - k ) ，( ，k z ) 构成v j 的规范正交基。我们称空间为尺 度上的尺度空间，称矽( f ) 为多分辨率分析的尺度函数( s c a l i n gf u n c t i o n ) 。 2 2 2 小波函数和小波空间 为了寻找一组r ( r ) 空间的正交基，我们定义尺度空间 矿，) ，。z 的补空间。设既为圪 在圪一；中的补空间，即： 圪一= 圪0 ，畈上圪 式( 2 1 1 ) r ( r ) = 子空间与既是相互正交的( 空间不相交) ， 哆 胆构成了三2 ( r ) 的一系列正交子空间，并且： w o = 以。一v o ， w j = 巧一。一巧 既上呒，m 刀且m ，7 1 z ， 若( f ) w o ，则厂( r ) 旷，- v o ，f ( 2 一，) 一，一杉，也就是 f ( t ) w o f ( 2 一f ) w j ， j z 式( 2 1 3 ) 式( 2 - 1 4 ) 设 甄，。( ，) ) 魈为空间w o 的一组正交基，由式( 2 - 1 4 ) ，对所有尺度j z ， y 肚( ，) = 2 - # 2 l | f ，( 2 叫f 一七) 。z 必为空间的正交基，而y m 的整个集合 y 肚( ，) 似。z 构成空间l 2 ( r ) 的一组正交基。 根据离散小波基函数的定义，此处的y ，。( f ) 正是由同一母函数经过伸缩、 平移得到的正交小波基，因此可称y ( f ) 为小波函数。相应地，称，是尺度为 的小波空间。 2 2 3 正交小波变换的多分辨率分解 由多分辨率分析的定义可得： = ko 彬= 0 o 彬= 圪0 岷o o 彬= 式( 2 一1 5 ) 对于任意函数f ( t ) v o ，我们可以将它分解为细节部分彬和逼近部分k 。 然后将逼近部分k 进一步分解，如此反复就可得到任意尺度( 或分辨率) 上的 6 - ， 北京邮电人学硕f 二论文第二章小波变换的基本理论 逼近部分和细节部分，这就是多分辨率分析的框架。 若将f ( t ) e ( r ) 按以下空间组合展开： ， r ( 尺) = o 巧 式( 2 一1 6 ) j = 其中，为任意设定的尺度，则： ，+ + 厂( f ) = d j , k ( f ) + c j ，。办，。( f ) 式( 2 一1 7 ) 其中 c j ，。= ( 厂( f ) ，咖，。( f ) ) 嘭，。= ( 厂( f ) ，y 肚( f ) ) 式( 2 1 8 ) 式( 2 - 1 9 ) c j ，称为尺度系数，d ，女称为小波系数。 当，专+ o 。时，上式变为： 厂( f ) = d j ，。，。( f ) 式( 2 2 0 ) j = - * ok = - - 。 通常称式( 2 1 7 ) 和式( 2 2 0 ) 为离散正交小波变换重构公式，而式( 2 1 8 ) 和式 ( 2 1 9 ) 为正交小波变换分解公式。 由此可知，离散正交小波变换同多分辨率分析的思想是一致的，多分辨率 分析理论为正交小波提供了数学上的理论基础。 2 3 二维图像的小波变换 对于二维图像信号，可以用分别在水平方向和垂直方向进行一维小波变换 的方法实现二维小波多分辨率分解，重构则需作相应的逆过程即可。图2 1 所示 为二维图像的小波分解和重构图。 基于三维小波变换的视频编码系统的研究和实现 图2 一l 二维小波分解和重构图 图2 2 给出了图像的一级小波分解过程和分解后的系数子带示意图。每经 过一级分解，当前频带三三被分为4 个子带三上。、三峨、肌。和h h ，其中低 频子带三三。反映了图像在下一尺度的概貌，称为逼近子带；其余3 个子带分别 反映图像在水平、垂直和对角线方向的高频细节信息，称为水平方向、垂直方 向和对角方向细节子带。 l h 原图象 行方向小波分解列方向小波分解 图2 2图像的一级小波分解过程和小波系数子带示意图 可以重复地对获得的低频子带“l l ”进行这种分解，直到最低分辨率达到 需要的尺度为止。由这种多级分解就获得了图像的一种由一个低分辨率系数和 一系列细节系数表示的方法，图2 3 给出了图像的三级分解子带示意图。 u 3 i - 呦 l h 3 h h 3 h l 2 _ h l l l h 2 h e r 2 i , h 1 h h i 图2 - 3图像三级分解子带示意图 北京邮电大学硕：t 论文 第二章小波变换的基本理论 图像经过多级分解，由于小波变换的能量集中特性，各子带图像表现出不 同特征。逼近子带是原始信号的低分辨率逼近，具有与原始信号相似的性质， 只是系数的取值范围要比原始图像大得多；细节子带反映的是图像的边缘和细 节，绝大多数系数的值很小。这对于图像的压缩非常有利。 2 4 小波基的选取 根据视频图像压缩的特点，小波基选取时主要考虑以下因素： 1 ) 小波正则性 设函数矽( f ) 的n 阶导数存在，对任意f ，r ，若有 i 矽o + ) 一( f ) i cl i “其中0 口吒 图2 4 小波提升变换和反提升变换示意图 提升变换和提升反变换结构对称、算子符号相反，因此可以保证提升变换 北京邮电大学硕士论文 第二二章小波变换的基本理论 是一种完全可逆的变换，可以实现精确重构。 小波的提升计算有以下优点： 实现快速小波运算，充分利用高通和低通滤波器的相似性，降低了运 算的复杂度，相比传统的m a l l a t 计算，提升格式能减少约运算量的一半。 能够进行原位运算，前一个提升结果是后一个提升运算的输入，不需 额外的空间来存放变换过程的数据，并且提升格式很容易实现整数运算， 这样更节省内存空间。 小波分解和合成是一个简单的逆过程，只需调整提升算法中的系数符 号即可，因此它们的计算复杂度几乎一样。 基于三维小波变换的视频编码系统的研究和实现 第3 章小波视频压缩的研究 3 1 视频图像的小波编码算法 二维图像经过小波变换后，绝大部分能量集中在少数低频系数上，而少数 边缘信息能量集中在大多数的高频系数上，并且这些系数值大部分集中在零点 附近。通过采用有效的量化和编码算法，可以达到很好的数据压缩的目的。 目前比较常见的小波编码算法有e z w 、s p i h t 、e b c o t 等，其中e b c o t 更是j p e g 2 0 0 0 标准的核心， 随着小波图像压缩应用研究的深入，各种类型的小波图像编码器相继提 出，其中下面三种小波图像编码器因其卓著的性能常常被用作比较标准。 ( 1 ) e z w t 纠编码器 1 9 9 6 年，s h a p i r o 根据小波系数的统计分布规律，提出了一个假设：如果 空间树的粗尺度的小波系数对t l q 限值是不重要的，则这棵小波树的细尺度的 小波系数也极可能是不重要的。基于此引入一个小波“零树”，通过定义四种 符号进行空间小波树递归编码，四种符号定义如下， ( a ) 如果系数幅度大于阈值丁且为正数，称为正显著系数，输出符号 p ( p o s i t i v e ) ， ( b ) 如果系数幅度大于阈值丁且为负数，称为负显著系数，输出符号 n ( n e g a t i v e ) ， ( c ) 如果系数幅度小于阈值丁，且其所有后代都小于丁，则称该系数是零树 根，输出z t r ( z e r o t r e e ) ， ( d ) 如果系数幅度小于阈值丁，但其后代中有大于阈值的子孙系数，则输出 孤立零符号i z ( i s o l a t e dz e r o ) 。 这样就有效地剔除了对高频系数的编码，极大地提高了小波系数的编码效 率。e z w 算法采用的是渐进式量化和嵌入式编码模式，算法复杂度低，它的出 现打破了信息处理领域长期笃信的准则：高效的压缩编码器必须通过高复杂度 的算法才能获得，因此e z w 编码器在数据压缩史上具有里程碑意义。 ( 2 ) s p i h t t 6 j 编码器 由s a i d 和p e a r l m a n 提出的分层小波树集合分割算法( s p i h t ) 利用空间树分 层分割的方法，间接地实现了空间小波树的比特层排序，有效地减小了比特层 上编码符号集的规模。虽然s p i h t 算法实现与e z w 算法有较大差别，但其核心思 想与e z w o h 出一辙。s p i t h 同e z w 相比较，它的主要成功之处还在于构造了两种 北京邮电大学硕士论文第三章小波视频压缩的研究 不同类型的空间零树，从而可以更好地利用小波系数的幅值衰减规律。同e z w 编码器一样，s p i h t 编码器的算法复杂度低，产生的也是嵌入式比特流，但编 码器的性能较e z w 有了很大的提高。 ( 3 ) e b c o t 7 】编码器 渐进图像压缩是指一次压缩编码流可作多种不同类型的解码，最常见的是 质量渐进和分辨率渐进。e z w 禾i s p i h t 嵌入式编码算法实现了质量渐进，但分辨 率可扩展也是目前人们所期望的一种压缩码流品质，尤其在大图像的远程浏览 和图像数据库检索等应用领域。为了能够支持这种类型的解码特性，t a u b m a n 使用了优化截断嵌入块编码方法( e b c o t ) 对图像进行编码，在算法实现上， e b c o t 编码是先将每个子带分成一个个相对独立的码块，然后使用优化的分层 截断算法对这些码块进行编码，产生压缩码流，结果图像的压缩码流不仅具有 质量渐进而且具有分辨率渐进，还可以支持图像的随机存储。比较而言，e b c o t 算法的复杂度较e z w 矛i s p i h t 有所提高，由于是采用优化截断方式，e b c o t 的压 缩性能l 匕s p i h t 略有提高。 3 2 小波视频分级编码 目前，视频存储在不同容量的存储介质中，如记忆卡和高容量的d v d 光 盘；在不同能力终端上解码播放，从小的移动终端到电影播放器。在不同带宽 的信道中传输，无论是有线还是无线信道。分级视频编码技术要求，一个图像 序列只需一次高分辨率、高质量的压缩编码，解码器根据要求从这单一码流中， 解码出不同质量和分辨率的图像，另外还能提供自适应与传输带宽改变，同时 具有差错控制，最后还能适应不同容量的存储介质的要求。如图3 1 是一个基 于互联网的多媒体传输应用。 图3 1 多媒体通信的挑战 基于三维小波变换的视频编码系统的研究和实现 m p e g 2 1 是一个多媒体框架，描述和定义了分级多媒体传输。m p e g 2 1 的 第7 部分，数据项适配( d a t ai t e ma d a p t a t i o n ，d i a ) 主要完成分级多媒体主要 特点，根据用户和服务器的协商，提供符合商定质量、可靠性和适应性的码流， 因此可以使服务器能够适应不同用户的要求。 d i a 可以通过多个互相独立的码流来完成，每个码流对应不同用户的传输 带宽、解码能力。这样做对于服务器的码流存储和管理不利，进一步说，码流 的个数肯定是有限的，对于实时变换的带宽还是不利的。 而分级视频编码，一个图像序列只需一次高分辨率、高质量的压缩编码， 解码器根据要求从这单一码流中，解码出不同质量和分辨率的图像。差错保护 和差错隐藏更容易实现，如可以将基本视频码流在更可靠的信道中传输，或者 对基本视频码流实行更好的信道保护。另外还能实时适应与传输带宽的改变， 来修改传输码流的速率。 分级视频编码目前主要有三种模式：传统的混合编码，三维小波编码和带 运动预测的三维小波编码。 3 2 1 三维小波编码 三维小波编码( 3 d s b c ) 【8 】，即除了空间的二维小波变换外，增加了对时 间轴上的系数作一维小波变换，以去除时间域上的冗余，即把一个g o p 视频 序列作一个时间轴上的小波变换，得到高通和低通的小波系数，然后在对这些 小波系数作二维小波变换。如图3 2 所示，在时间轴上，低频包含更多的原图 像信息，而高频包含更多的运动信息。然后对每帧图像作二维小波变换。因为 存储和时延的因素，3 维小波变换的时间轴上的视频序列不可能太大，因此通 常的3 维小波变换都是基于g o f ，即对一组视频序列进行3 维小波变换。例如 将n 帧图像序列作为一个三维图像。如图3 2 ，将8 帧图像序列作3 维小波变 换，对时l 自j 轴作3 级一维小波变换，然后对变换后的每帧图像作3 级二维空间 小波变换。 ba8ab8 视频序列 j j ii 。“， 时域1 级小渡分解 一 lh l纛 r ? 。 ；：，时域2 级小波分解 l lil h 曳】r n ，：| 时域3 级小波分解 - iii ih 图3 - 2 时域和空域联合小波分解 北京邮电大学硕士论文 第三章小波视频压缩的研究 然后将空间的零树小波结构直接扩展到时间轴的方向上，如图3 3 所示。 图3 3 三维零树结构 目前利用这种技术的算法包括3 d s p i h t 9 1 、3 d e s c o t 1 0 1 ( 三维最优截断 嵌入式子带编码，还有其他算法在 1 1 】 1 2 】描述。但三维小波编码没有利用运动 预测，相当于把每个象素的运动矢量都定义为( 0 ，0 ) ，因此压缩性能受到极大限 制。 3 2 2 带运动预测的三维小波编码 带运动预测的三维小波编码( m c 3 d s b c ) b 3 j ，在时域上沿着运动轨迹进 行小波分解。大大降低了时域高通子带的能量，在时域低通子带也减少了大的 系数，显著提高了压缩编码效率。在这个系统中，关键是提高运动预测的准确 度，因此运动预测时域滤波器( m o t i o n - c o m p e n s a t e dt e m p o r a lf i l t e r i n g ，m c t f ) 起到关键的作用。 3 3 运动预测时域滤波m c t f 运动补偿能大大减少帧间信号冗余，在时间轴方向沿着运动轨迹作时域滤 波，能有效的减少帧间冗余，因此时域小波分解的高通子带的能量将大大降低， 在低通子带也没有运动模糊和更少运动大系数。相对于没有运动补偿的三维小 波变换，极大提高了压缩效率，同时也具有了时域分级特性。 3 3 1 整数精度运动预测时域滤波m c t f 运动补偿时域滤波算法m c t f 最初由【1 3 】提出，在 1 4 中得到扩展延伸。如 果用h a a r 滤波器进行时域滤波，根据h a a r 滤波器公式知，只需简单的对两帧图 进行处理。如图3 4 有两帧图片，分别为a 帧和b 帧，其中a 是参考帧，b 是预测 帧。图3 4 中圆点代表象素点或者象素块，因为象素块的情况比较复杂，因此为 了便于说明，以下都是象素点来说明。 基于三维小波变换的视频编码系统的研究和实现 重叠象素 重叠象素 重叠象素 非连接象素 b 帧a 帧 图3 4 两帧图像的块匹配 b 帧的象素点在a 帧中寻找匹配的象素点，如图3 4 中，b 帧中”0 ”象素点 与a 帧中“5 ”象素点匹配，箭头就表示象素点的运动轨迹，这些一一对应的 象素点称为正常点。但也会可能存在多个b 帧象素点对应一个a 帧象素点的情 况，也存在没有与b 帧象素点对应的a 帧象素点，如a 帧的“9 ”象素点。称 这些块为“孤立点”。b 帧的“2 ”和“3 ”象素点、a 帧的“7 ”象素点，称为 重叠点，因此在一维时域滤波时，a 帧中的“9 ”象素点不能得到，a 帧的“7 ” 象素点、b 帧的“2 ”和“3 ”象素点重复得到。因此对正常块、孤立点和重叠 点要分别处理。 对于正常点，如b 帧的“4 ”象素点和a 帧的“8 ”象素点相匹配，对这两 个象素点进行h a a r 时域滤波后，将得到一个低通系数l 和一个高通系数h ，l 表示运动补偿的平均值，h 表示运动补偿的差值【1 1 1 。假设a 帧象素点的坐标作 为低通系数的坐标，b 帧象素点做为高通系数的坐标，假设b 帧的“4 ”象素 点坐标a ( m ，1 7 ) ，a 帧的“8 ”象素点坐标b ( 所+ 以，? + d 。) ，则他们的运动矢量 为( d 。，d 。) ，因此时域小波滤波公式为式( 3 1 ) 和式( 3 - 2 ) 。 三( m + 叱，刀+ 以) = 击b ( 垅，刀) + 万1 4 ( m + 九，玎+ 巩) 式( 3 1 ) h ( m , n ) = 击跏川一击撕+ 以卅以) 式( 3 2 ) 而对于a 帧的重叠象素点，如“7 ”象素点，则只选取其中一个最小的运 动矢量作为匹配，如b 帧中的“2 ”象素点匹配a 帧中的“7 ”象素点，则b 帧中的“3 ”点仍为重叠点，而a 帧中的“7 ”象素点和b 帧的“2 ”象素点都 成为正常点，修正后的运动轨迹如图3 5 所示。因此对于b 帧的重叠点“3 ” 的时域滤波器高通系数公式，仍然采用h a a r 小波高通滤波公式( 3 - 2 ) ，但是不进 北京邮电人学硕士论文第三章小波视频压缩的研究 行h a a r 小波低通滤波公式( 3 3 ) 计算。 重叠象素 非连接象素 b 帧a 帧 图3 - 5 两帧图像的修正块i ! i 配 对于a 帧的孤立象素点“9 ”，只需将式( 3 1 ) 中的b ( m ，胛) 换成a 帧孤立点 本身，同时运动矢量为( 0 ，0 ) ，因此a 帧中孤立点的时域h a a r 滤波低通公式为 ( 3 3 ) ，但这些孤立点就不进行时域h a a r 滤波高通公式。 三( 聊，胛) 2 老么( 剐) ，) 、，z 式( 3 。3 ) 这样a 帧和b 帧进行的时域小波变换得到一个时域低通帧和一个时域低通 帧，时域低通帧系数个数、时域高通帧系数个数和原始图像帧a 帧、b 帧系数 个数相同，没有系数个数扩展和减少。 在时域滤波综合过程，可以从时域滤波分解过程简单得到，如果是正常点， 则用式( 3 4 ) 和式( 3 5 ) 得到。 五( 聊+ 以，门+ 以) = 西1 三( 聊+ 以，门+ 以) 一万1 日( 历，门) 式( 3 4 ) b ( m , n ) = 万1 三( m + 吒，刀+ 以) + 万1 圩( 聊，刀) 对于a 帧中的孤立点，如“9 ”象素点，用式( 3 6 ) 得到。 f t ( m , n ) = 万1 三( 朋，船) 对于b 帧中的重叠点，如“3 ”象素点，用式( 3 7 ) 得到。 雪( 聊，z ) = a ( m + d m ，门+ 以) + 4 r 2 h ( m ，2 ) 式( 3 - 5 ) 式( 3 6 ) 式( 3 - 7 ) 基于三维小波变换的视频编码系统的研究和实现 通过以上时域分解滤波和时域合成滤波，原始图像的a 和b 帧可以完全重 构，以上公式都是在运动矢量得到的前提下进行的，同时以上方法都是在整数 精度的运动矢量下进行的，我们知道，小数精度的运动预测会大大提高运动预 测的效果，减少时域高通帧的系数值，能有效提高对时域高频帧的压缩。 3 3 2 小数精度运动预测时域滤波m c t f 数字图象是用离散的象素点来表示连续的自然图象，每个象素点的值是由 摄象机中的某个感光元件获取的。假定一幅图象中，纹理的边沿正好落在感光 元件上，将会被清楚的获取，这就表示整象素的定位。这样摄下来的图象，在 此处纹理可以很好的表现出原始图象。而当某个纹理的边沿与感光元件有半个 象素的距离，那么此处摄下的图象将会模糊，如果边沿两侧是黑与白的话，图 象将呈现灰色，不能很好的表现原始图象。如图3 - 6 所示。同样，纹理边沿与 感光元件的距离可能是1 4 、3 4 象素或其他距离。对于数字视频序列，同一个 纹理的边沿在不同时刻可能会是整象素、半象素、1 4 象素等位置。在进行图 象压缩的时候，如果只用整象素的运动估计，可能找不到很匹配的块，因此引 入了半象素或1 4 象素甚至1 8 象素的运动估计，通过象素点的内插得到半象 素或1 4 象素的点，把这些新插出的点都做为预测象素，有助于找到更匹配的 块。因此小数精度的运动预测能更多的消除帧间冗余1 5 】。 豳隧 黼 鬻g蠢 目 北京邮电大学硕? ：论文第三章小波视频压缩的研究 h ( 聊，z ) = 西1b ( 聊，刀) 一万1 彳( 聊，2 ) l ( m ，门) = n ( m ，门) + , f 2 a ( m ，刀) h a a r 滤波器的综合提升结构如式( 3 1 0 ) 和式( 3 11 ) 五( 聊，门) = 万1 三( 朋，门) 一- 去2h ( m ) h ( m ，刀) = ，f 2 h ( m ，门) + 五( 聊，门) 式( 3 8 ) 式( 3 9 ) 式( 3 10 ) 式( 3 1 1 ) 在 2 0 】中提出了一种用双正交滤波器来进行插值运算，得到1 2 精度的完全 重构提升结构。 小数精度的运动预测过程如图3 7 所示，a 帧是参考帧，b 帧是当前帧， 设( 叱，矾) 是b 帧的一个整数象素到a 帧的一个插值象素的运动矢量，瓦，乏表 示最接近巩，以的整数，即如果没有插值象素，( 瓦，乏) 为整数象素的运动矢量。 整数象素。插值象素 oo a ( m 一以，n 一以) a ( m d m ，n 一吃) b ( m 一九+ 吒，门一吃+ 巩) b ( m ，n ) a 帧b 帧 图3 7 小数精度m c t f 因此两个象素点的h a a r 小波分解如式( 3 1 2 ) 和式( 3 1 3 ) ，其中才和百分别表 示a 和b 帧插值象素。 脚m = 击跏一去硇一咖一瓯) 坳- 。d m 扩瓦) = 击否( 聊一瓦+ 以尹瓦+ 吃) + 疆1 撕一无扩瓦) 式( 3 - 1 3 ) 将式( 3 1 4 ) 和式( 3 1 5 ) 改用h a a r 小波分解提升公式， h ( 聊，门) = 击b ( m ，门) 一，万1 彳( 聊一以，z 一吃) 式( 3 1 4 ) 基于三维小波变换的视频编码系统的研究和实现 l ( m 一瓦，船一乏) = h 一( m 一瓦+ 叱，z 一元+ 以) + 芝彳( 聊一瓦，聆一乏) 式( 3 1 5 ) h a a r 小波综合提升过程公式， 么( m - 丸, - - 以) 2 方上( 聊一以，门一a o ) 一老h ( m 一吒+ 九, t - - x l 巩+ 巩) 、z二 b ( m ，船) = , , 2 i - i ( m ，胛) + 才( 聊一a m ，聍一以) 式( 3 1 6 ) 式( 3 17 ) 由以上h a a r 小波分解提升过程式( 3 1 4 ) 、( 3 1 5 ) 和综合提升过程式( 3 1 6 ) 、 ( 3 1 7 ) 可知，只要编码端( 即h a a r 小波分解提升过程) 的高通子带插值算法和 解码端( 即h a a r 小波合成提升过程) 的高通子带插值算法相同，则a 帧系数能 够完全重构得到，接着如果编码端的a 帧插值算法和解码端a 帧插值算法相同， 则b 帧系数也能够完全重构得到。这样就是实现了任意精度的运动预测。 对于孤立点和重叠点的处理，与整数精度运动预测的时域滤波相似。对于 a 帧的孤立点，直接将它赋值给低通时域帧系数 三( m ) 2 袁4 ( 聊，? ) v 式( 3 18 ) 而对于b 帧的重叠点 日( 聊，胛) = 击曰( 聊，船) 一击才( 聊一以，玎一以) 式( 3 _ 1 9 ) h a a r 小波提升合成时： 对于a 帧中的孤立点 冀( ”) = 万1 三( 聊，? ) 对于b 帧中的重叠点 k ( m ，胛) = , 互i - i ( m ，门) + 彳( 聊一以，胛一以) 式( 3 2 0 ) 式( 3 2 1 ) 表3 1 是一个利用汉民窗设计f i r 插值滤波器，插值顺序是首先对图像的 行和列进行插