（农业电气化与自动化专业论文）基于h263的视频编码在dm270上的实现.pdf

主里查些查兰堡主兰垡笙壅一摘要i 摘要 网络多媒体技术的发展导致了基于i p 技术的网络远程视频监控系统的诞生。网络有限的帝 宽成为视频传输的障碍，视频压缩技术的发展很好的解决了这个问题。本文所要研究的就是视频 监控系统中的视频压缩技术。核心算法是i t u t 组织h 2 6 3 标准，硬件以t i 公司的专用d s p t m s 3 2 0 d m 2 7 0 为核心。本文首先介绍了视频监控系统的发展以及一些视频编码标准。论文接着 概要简述了图像编解码技术。然后讨论了h 2 6 3 视频编码标准对其语法结构及四个可建模式进 行了详细的说明。论文的最后讨论了在d m 2 7 0 上实现h 2 6 3 编码标准对h 2 6 3 编码标准中的 运动估值进行了详细的说明，并且实现了一种新的运动估值算法一预测正方形菱形搜索算法。 关键词：视频监控系统，视频压缩， l 2 6 3 标准，运动估值 a b s t r a c t t h ed e v e l o p m e n to ft h em u l t i m e d i at e c h n o l o g yo v e rn e t w o r kl e a d st ot h eb i r t ho ft h er e m o t e v i d e om o n i t o r i n gs y s t e mb a s e do ni pt e c h n o l o g y t h el i m i t e db a n d w i d t hb e c o m e st h eb a r r i e ro ft h e v i d e ot r a n s m i s s i o n t h ed e v e l o p m e n to ft h ev i d e oc o m p r e s s i o nt e c h n o l o g ys o l v e st h i sp r o b l e mw e l l w h a tw i l lb ed i s c u s s e di nt h i sp a p e ri sj u s tt h ev i d e oc o m p r e s s i o nt e c h n o l o g yf o rv i d e om o n i t o r i n g s y s t e m t h ek e ya l g o r i t h m i sb a s e do ni t u tr e c o m m e n d a t i o nh ，2 6 3a n dt h ek e yh a r d w a r ei s t m s 3 2 0 d m 2 7 0 ( t 1s p e c i a ld s p ) t h i sp a p e rf i r s ti n t r o d u c e dt h ed e v e l o p m e n to f t h ev i d e om o n i c o r i n g s y s t e ma n ds o m ec o m m o n v i d e oc o d i n gs t a n d a r d s t h e nw ed i s c u s s e dt h ei m a g ec o d i n ga n dd e c o d i n g t e c h n o l o g yi nb r i e f a n dt h e nw e d i s c u s s e di t u tr e c o m m e n d a t i o nh 2 6 3a n d e x p l a i n e dt h es y n t a xa n d f o u ro p t i o n a lm o d e so fh 2 6 3i nd e t a i l a tl a s t 。w ed i s c u s s e dt h ei m p l e m e n t a t i o no ft h ev i d e oc o d i n g b a s e do nh 2 6 3i nd m 2 7 0t h em o t i o ne s t i m a t i o na l g o r i t h mo fh 2 6 3w a se x p l a i n e db r i e f l y , a n dan e w m o t i o ne s t i m a t i o na l g o r i t h m p r e d i c t e ds q u a r ed i a m o n ds e a r c ha l g o r i t h mw a sr e a l i z e d k e y w o r d s ：v i d e om o n i t o r i n gs y s t e m ，v i d e oc o m p r e s s i o n ，i t u i tr e c o m m e n d a t i o nh 2 6 3 ，m o t i o n e s t i m a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下( 或我个人) 进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国农业大学 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名 时间：年月 日 关于论文使用授权的说明 本人完全了解中国农业大学大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方 式在不同媒体上发表、传播学位论文的全部或部分内容，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名： 导师签名 时间：年月 f i 时间：年月日 中国农业大学硕士学位论文 第一章绪论 1 1 、引言 第一章绪论 近年来，随着数字压缩技术、计算机技术、通信技术和超大规模集成电路技术的发展，电信 网和计算机网络获得了超乎人们想象的巨大发展。可以说，当前的信息化时代是一个构筑在网络 基础之上的时代。同时随着网络的普及、高速宽带主干网的建成和各地区高速接入系统的迅速发 展，i p 网上的业务范围不断扩大，除了传统的信息检索、电子邮件、文件传输等业务外，各种多 媒体业务，如电子商务、视频会议、远程监控、远程教学、远程医疗、在线点播等都在宽带网上 展现了广阔的应用前景。2 1 世纪将是一个以网络和数字业务为主体的信息化时代。 网络多媒体技术的发展导致了基于i p 技术的网络远程视频监控系统的应运而生。从模拟监控 到数字监控，是监控系统的一次飞跃。没有经过压缩的数字图象信号有二百多兆的带宽，模拟信 号数字化以后，再经过压缩可以将其带宽压缩到几十几百k b p s 的范围内。虽然它们不能提供象 电视那样的高帧率图像，但在人们可以接受的情况下，占用较小的传输带宽。提供c i f 2 5 帧，秒的 图象质量，足以满足一般监控场合的要求。要实现实时视频监控，必须对视频进行压缩。如果说 实时性是视频监控的生命，那么视频压缩技术就是生命得以延续的基础。 1 2 、视频监控系统发展简介 在电子技术与通信技术的发展过程中，图像监控系统的技术水平，直接反映了不同阶段电子 与通信的技术状况。视频监控系统的发展主要分三个阶段：传统的模拟图像监视系统、基于p c 的多媒体监控系统、基于嵌入式技术的远程网络视频监控系统。 1 2 1 、模拟图像监视系统 这里使用“监视”一词而不用“监控”，是因为当时的系统没有什么控制能力。从摄像机、 电视机出现的那天起，原始的图像监视系统就已诞生。它被广泛应用于保安、生产管理等场合。 尽管它功能单一，图像质量低，但人们还是热心地接受了其直观方便的特性，并投入了不少心血， 使模拟图像监视系统的功能不断完善，性能不断提高，成为安全防范领域重要的技术设备。当时 的监视系统采用模拟方式传输信号，最简单是将图像信号直接送入视频电缆进行传输，每一监视 点的视频信号都通过一条电缆线连接到中心控制室的多路切换器上，手动切换方式选择监视点图 像，使之显示在监视器上，而且一次能看到一点监视点的图像。后来人们采用了模拟射频调制的 方法，使得一个地点可以传送多台摄像机的图像信号，并且减少了电缆的路数。该方法是将各路 视频信号调制在不同的射频载波上，通过多路合成器送入一条电缆当中，传送到控制中心。在控 里! 苎些查堂塑士学位论文 第一章绪论 制中心，将射频电缆送来的多路调制信号，经过多路分解器分离出来，再分别进行解调，还原出 各路视频。由于采用了调制方式，使图像信号的抗干扰能力得以加强，图像质量明显提高。 在控制方面，起初大多采用模拟电路与中、小规模数字集成电路制成的控制器，只能通过手 动方式对镜头进行各种控制，这种方式不仅功能简单、可靠性差。而且易受干扰，系统寿命短。 当时一套图像监视系统的寿命在2 3 年之间。 模拟圉像监视系统主要由摄像机、视频矩阵、监视器、录像机等组成，由视频电缆、控制电 缆等连接。 1 2 2 、基于p c 机的多媒体监控系统 数字视频压缩编码技术的日益成熟，微机的普及为基于p c 机的多媒体监控创造了条件。基 于p c 的多媒体监控系统一般采用的结构是：在远端监控现场，有若干个摄像机，各种检测、报 警探头与数据设备，通过各自的传输线路汇接到多媒体监控终端上，这种终端可以是一台p c 机， 也可以是由专用工业机箱组成的多媒体监控终端，如图1 所示。除了处理各种信息和完成本地所 要求的各种功能外，系统利用视频压缩卡和通信接口卡，通过通信网络，将这些信息传送到一个 或多个监控中心。基于p c 机的多媒体监控系统的功能较强，这种类型的视频监控系统具有以下 缺点：施工布线工作量大；图像的远程传输比较困难；需要开发专用的软件，开发周期长，难度 大；对于每一个监视点，需要布一根同轴电缆和一对4 8 5 信号传输线分别用于传输视频信号和对 云台、镜头的控制命令，这无疑会增加施工量。 围1 基于p c 机的多媒体监控系统 1 2 3 、基于嵌入式w e b 服务器的远程视频监控系统 目前的远程图像监控系统，其图像压缩与解压缩大多采用基于p c 机的视频膏，使得视频前 端( 如c c d 等视频信号的采集) 较为复杂，系统的稳定性和可靠性不高，且价格昂贵。而p c 机 2 中国农业大学硕士学位论文第一章绪拎 也需专人管理，相关软件操作较为烦琐。随着技术的进步，现在出现了种新型的网络化远程视 频监控方案，即基于嵌入式w e b 服务器技术的远程网络视频监控。 基于嵌入式w e b 服务器技术的远程网络视频监控的原理是：视频服务器内置一个嵌入式w e b 服务器，采用嵌入式实时操作系统。摄像机传送来的视频信号，在视频服务器中数字化后经过高 效压缩处理，通过内部总线传送到内置的w e b 服务器，再向网络发送。网络上用户可以直接用浏 览器( 如i e 或n e t s c a p e n a v i g a t o r 等) 观看视频服务器上的摄像机图像，授权用户还可以控制摄 像机云台、镜头的动作或对系统配置进行操作，如图2 所示。 由丁i 把视频压缩和w e b 功能集成到一个体积很小的设备内，可以直接连入以太网，达到即插 即看，省掉了视频电缆，安装方便( 仅需设置一个i p 地址) 。仅用浏览器即可观看。 1 3 、视频压缩标准简介 上个世纪8 0 年代以来，i s o i e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两大系列视频压缩 国际标准的推出，开创了视频通信和存储应用的新纪元。从h 2 6 1 视频编码建议，到h 2 6 2 3 、 m p e g 1 2 4 等都有一个共同的不断追求的目标，即在尽可能低的码率( 或存储容量) f 获得尽 可能好的图像质量。 1 3 1 、h 2 6 1 标准f 1 8 围2 基于嵌入式w e b 服务器的网络视频监控系统 h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可视电话应用中的视 频编码技术。它采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余的o c t 变换的混 合编码方法。和i s d n 信道相匹配，其输出码率是p 6 4 k b i t s 。p 取值较小时，只能传清晰度不 太高的图像，适合于面对面的电视电话；1 3 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议 电视图像。 中国农业大学硕士学位论文 第一章绪论 1 3 2 、h 2 6 3 标准【3 4 】 h2 6 3 是i t ut1 9 9 6 年提出的一种低码率视频编解码建议，它是在h 2 6 1 压缩标准的基础上， 进一步降低码率和提高低码率下的编码效率，并且提供了改进的编码选项，目的在于利用现有的 码率小t - 6 4 k b p s 的p s t n 网和无线移动通信网等来开展可视电话业务及视频监控。h 2 6 3 视频编码 的综合性比h 2 6 1 有较大的提高。 1 3 3 、m p e g 一1 标准 m p e 6 一l 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 2 8 8 ) 质量的图像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g l 标准视频编码部分的基本算法与h 2 6 1 相似，采用了运 动补偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧( i ) 、预测帧( p ) 、双 向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。 1 3 4 、m p e g 2 标准 m p e g 2 制定于1 9 9 4 年，是建立在m p e g l 之上，设计目标是高级工业标准的图像质量以及 更高的传输率。它主要应用在没有色度畸变要求场合的高质量视频。数据速率在1 1 m b p s 到 2 0 m b p s 之间。m p e g 2 能够提供广播级的视像和c d 级的音质。m p e g 2 不仅能录制电视节目， 而且还是为录制高清晰度的高质量动态图像而开发的，能够存储比m p e g i 清晰度更高的动态图 像。除了作为d v d 的指定标准外，m p e g 2 还可用于为数字有线电视分配、通过a t m 的网络数 据库业务、数字v t r 应用以及卫星和地面数字广播分配等提供广播级的数字视频。除此之外， 在最近迅速增加的拥有电视录像功能的p c ，及外置的视频捕获装置中也使用了m p e g 2 。 1 - 3 5 、m p e g 一4 标准 m p e g 一4 是i s o 于1 9 9 8 年1 0 月正式公布的一种具有交互式、通用可存取性及其高度可扩充性 的视频音频编码压缩标准。应用范围及其广泛，可以用于6 4 k b p s 以下甚低码率的音频和视频压 缩编码；不仅可以适用于移动通信和个人通信。而且也可以适用于公用电话通信网和视频会议， 适用于窄带多媒体通信；实现基于内容的检索、交互式家庭购物和无线电话的监控等压缩编码。 根据应用场合的不同可以采用分级编码；使用频率范围高频范围为6 4 k h z - - 4 m h z ，低频范围为5 k - - 6 4 k h z ，具有良好的兼容性、伸缩性和可靠性。 1 4 、本文的主要内容 本文首先介绍了视频监控系统的发展以及一些视频编码标准。接着论文概要简述了图像编解 4 中国农业大学硕士学位论立 第一章绪论 码技术。然后讨论了h 2 6 3 视频编码标准，对其语法结构及四个可选模式进行了详细的说明。论 文的晟后讨论了在d m 2 7 0 上实现h 2 6 3 编码标准。h 2 6 3 编码流程中最主要的三个部分为 d c t i d c t 、q i q 和运动估值，其中d c t i d c t 和q i q 的实现可以通过d m 2 7 0 的两个图像处理 协处理器一l m x 和v l c d 所提供的接口函数。所以详细讨论了这两个图像协处理器。h 2 6 3 编码 标准中的运动估值算法占整个编码过程的时间的7 0 ，并且没有现成的函数可以调用，故在论文 中实现了一种新的运动估值算法一预测正方形菱形搜索算法。 第二章图像压缩编码技术 2 1 、数字视频信号压缩的必然性圆 信息时代的重要特征是信息的数字化，数字化的信息带来了“信息爆炸”。数字视频信号有 很多优点，但当模拟视频信号数字化后其频带大大加宽，一路6 m t t z 的普通电视信号数字化后， 其数码率将高达1 6 7 l b p s ，对储存器容量要求很大，占有的带宽将达8 0 m i t z 左右，这样将使数字 视频信号失去实用价值。数字视频压缩技术很好地解决了上述困难，压缩后信号所占用的频带大 大低于原模拟信号的频带。因此说，数字视频压缩编码技术是使数字视频信号走向实用化的关键 技术之一，表1 列出了各种应用的码率。 应用种比特数象象素数行数 帧数秒亮色比 比特秒( 压缩比特秒( 压缩 类素行帧前)后) h d t v8 ， 1 9 2 01 0 8 03 04 ：l ：l 1 1 8 g b p s2 0 2 5 她p s 普通电 视 8 7 2 04 8 03 04 ：l ：1 1 6 7 m b p s4 8 d b p s c c i r 6 0 1 会议电 83 5 22 8 83 04 ：1 ：1 3 6 5 m b p s1 5 2 m b p s 视c i f 桌上电 81 7 61 4 43 04 ：1 ：l 9 i m b p s1 2 8 k b p s 视q c f 电视电 81 2 81 1 23 0 4 ：l ：1 5 2 m b p s5 6 k b p s 1 右 衰i 各种应用的码率 2 2 、数字视频信号压缩的可能性1 2 从信息论观点来看，视频信号作为一个信源，描述信源的数据是信息量( 信源熵) 和信息冗余 量之和。信息冗余量有许多种，如空间冗余，时间冗余，结构冗余，知识冗余，视觉冗余等，数 据压缩实质上是减少这些冗余量。可见冗余量减少可以减少数据量而不减少信源的信息量。从数 学上讲，视频图像可以看作一个多维函数，压缩描述这个函数的数据量实质是减少其相关性。另 外在一些情况下，允许图像有一定的失真，而并不妨碍图像的实际应用，那么数据量压缩的可能 性就更大了。 6 中国农业大学硕士学位论文第二章图像压缩编码技术 2 3 、图像压缩编码的常用术语 1 ) 、图像熵与平均码字长度 令图像象素灰度级集合为 d i ，d 2 ，d 。) ，其对应的概率分别为p ( d 1 ) ，p ( d 2 ) ，p ( “) ， 图像熵定义如式2 1 所示： 日( d ) = 一p ( d ，) l 0 9 2p ( d ，) ( 式2 ” i = l 单位为比特字符。图像熵表示图像灰度级集合的比特数均值，或者说描述了图像信源的平均 信息量。 由此，可以得到定义量度任何特定码性能的准则；平均码字长度r ( d ) 如式2 2 所示： r ( d ) ：艺屈p ( d ，) ( 式2 2 ) 卜l 式中，卢。为灰度级所对应的码字长度。r ( d ) 的单位也是比特字符。 2 ) 、编码效率 编码效率常用式2 3 表示： r ：旦堕1 0 0 ( 式2 3 ) 月( d ) 如果r 纠j 与h 搿j 相等，编码效果最佳；反之，n 越小编码效果越差。 3 ) 、压缩比 压缩比是衡量数据压缩程度的指标之一。式2 4 是常用的压缩比定义式： p ：丝1 0 0 ( 式2 4 ) 4 l 。 式中三。为源代码长度，l d 为压缩后代码长度，竹为压缩比( 百分数) 压缩比的物理意义是被压缩掉的数据占源数据的百分比。当压缩比p ，接近1 0 0 时，压缩效果最 理想。 2 4 、图像压缩编码方法的分类 编码压缩方法有许多种，从不同的角度出发有不同的分类方法，比如从信息论角度出发可分 为两大类： ( 1 ) 冗余度压缩方法，也称无损压缩，信息保持编码或熵编码。具体讲就是解码图像和压缩 编码前的图像严格相同，没有失真，从数学上讲是一种可逆运算。 ( 2 ) 信息量压缩方法，也称有损压缩，失真度编码或熵压缩编码。也就是讲解码图像和原始 图像是有差别的，允许有定的失真。 应用在多媒体中的图像压缩编码方法从压缩编码算法原理上可以分类为； ( 1 ) 无损压缩编码种类 哈夫曼编码 7 中国农业大学硕士学位论文 第二章图像压缩编码技术 ! ! i 竺竺! ! ! 詈! 皇竺! ! 鼍! ! 詈詈詈! 詈! ! ! 詈詈! ! ! ! ! ! ! ! 詈! 詈! ! ! ! 鼍墨! ! ! ! 皇! ! ! 烹曹竺! ! 算术编码 行程编码 l e m p e lz e v 编码 ( 2 ) 有损压缩编码种类 预测编码：d p c m ，运动补偿 频率域方法：正文变换编码( 如d c t ) ，子带编码 空间域方法：统计分块编码 模型方法：分形编码，模型基编码 基于重要性：滤波，子采样，比特分配，矢量量化 ( 3 ) 混合编码 h 2 6 1 ，h 2 6 3 ，j p e 6 ，m p e g 等技术标准 衡量一个压缩编码方法优劣的重要指标是： 压缩比要高，有几倍、几十倍，也有几百乃至几千倍； 压缩与解压缩要快，算法要简单，硬件实现容易； 解压缩的图像质量要好。 最后要说明的是选用编码方法时一定要考虑图像信源本身的统计特征；多媒体系统( 硬件和 软件产品) 的适应能力；应用环境以及技术标准。 2 5 、压缩编码方法简介 压缩编码的方法有几十种之多，并在编码过程中涉及较深的的数学里理论基础问题，在此仅 介绍几种常用的压缩编码方法，主要是从物理意义上作一定的解释。 2 5 i 、莫尔斯码与信源编码 莫尔斯码即电报码，其精华之处在于用短码来表示常出现的英文字母，用长码来表示不常出 现的字母，以减小码率。这种方法非常有效，故延用至今。电视信号经过变换后，例如经差值脉 冲编码后，发现前后像素幅度差值小的概率大，而差值大的概率小，因此可用短码表示概率大的 信号，而用欧码来代表概率小的信号，从而达到压缩码率的目的。 2 5 2 、差值脉冲编码 电视图像基本上是由面积较大的像块( 如蓝天、大地、服装等) 组成。虽然每个像块的幅值各 不相同，但像块内各样值的幅度是相近的或相同的，幅值跃变部分相应于像块的轮廓，只占整幅 图像的很小一部分。帧间相同的概率就更大了，静止图像相邻帧间的相应位置的像素完全一样， 这意味着前后像素之差或前后帧间相应位置像素之差为零或差值小的概率大，差值大的概率小。 发端将当前样值和前一样值相减所得差值经量化后进行传输，收端将收到的差值与前一个样值相 8 中国农业大学硕士学位论文 第二章图像压缩编码技术 加得到当前样值。 2 5 3 、预测编码 预测编码利用像素的相关性，可进一步减小差值。从前面的分析可以看出，如果差值编码中 小幅度出现的机会增加，由于其对应的码长较短，总数码率会进一步减小。如果能猜出下一个样 值，那么差值就会是零，当然这种情况是没有意义的，因为若预先知道下一样值，就不需要进 行通信了。但可以肯定，如果我们不仅利用前后样值的相关性，同时也利用其它行、其它帧的 像素的相关性，用更接近当前样值的预测值与当前样值相减，小幅度差值就会增加，总数码率 就会减小，这就是预测编码的方法。预测编码的电路与差值编码类似，或者说差值编码就是以前 一样值为预测值的预测编码，又称为一维预测。如果用到以前行的像素或以前帧的像素，则称为 二：维或三维预测。这样不仅利用了前一像素的相关性，也利用了上一行相应像素的相关性，这样 做要比差值编码有更大的码率压缩。如果再用上前一帧的像素会进一步降低数码率。只用到帧内 像素的处理称为帧内编码( i n t r a f r a m ec o d i n 幽，用到前后帧像素的处理称为帧问编码( i n t e r f r a m e c o d i n g ) 。要得到较大的码率压缩就必须使用帧间编码。 2 5 4 、哈达玛特变换 这是种有效地去除噪波的方法，噪波的存在往往容易和小幅度变化的信号相混淆，利用多 帧平均的方法，对于静止图像，各帧相同，平均的结果其值不变，对于噪波，多帧平均趋于零。 但如果图像中有运动，多帧平均就会造成运动模糊，故不能简单地进行平均，需要根据运动 的大小米调节反馈量，即调节平均的程度，傲到运动自适应降噪。 大多数情况下是利用帧差信号来判断图像中是否有运动，如果帧差小于一定值，就可视为是 因噪波引起的，可取较大的反馈量；如果帧差大于一定值，就可视为图像中有运动。 但在许多情况下，仅从幅度的大小来判断是杂波还是图像是很困难的，如移动的云，近摄的 绿草地等图像信号所得到帧差信号也很小，所以b k u - 9 0 4 采用二维哈达玛特变换( h a d a m a r d t r a n s f o r m ) 来区分是噪波还是图像信号。先将输入值按4 x 2 分成小块，分别进行实时快速哈达玛 特变换( f h t ) 。 图像经变换后，转换成相应成分的系数，这些系数分别代表直流分量；水平方向细节和色度 分量等；垂直方向细节；斜方向细节及色度分量等，而噪波变换后均匀散在各系数中。这样就 更有效地区分出信号和噪波。从而达到更有效地进行自适应降噪的目的。 2 5 5 、离散余弦变换 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ) 简称d c t 。任何连续的实对称函数的傅里叶变换中 只含余弦项，因此余弦变换与傅里叶变换一样有明确的物理量意义。d c t 是先将整体图像分成 n n 像素块，然后对n x n 像素块逐一进行d c t 变换。由于大多数图像的高频分量较小，相应 9 中国农业大学硕士学位论文 第二章图像压缩编码技术 于图像高频成分的系数经常为零，加上人眼对高频成分的失真不太敏感，所以可用更粗的鼍化， 因此传送变换系数所用的数码率要大大小于传送图像像素所用的数码率。到达接收端后再通过反 离散余弦变换回到样值，虽然会有一定的失真，但人眼是可以接受的。 n 代表像素数，一般n = 8 ，8 8 的二维数据块经d c t 后变成8 8 个变换系数，这些系数都 有明确的物理意义：u 代表水平像素号，v 代表垂直像素号。如当u = 0 ，v = 0 时，f ( 0 ，0 ) 是原 6 4 个样值的平均值，相当于直流分量( d c ) ，随着u 、v 值增加，相应系数分别代表逐步增加 的水平空间频率分量和垂直空间频率分量的大小。 一维d c t 正变换的公式如下( 采用8 8 的块) ： 脚) = 知c ( v ) 陲f ( i , j ) c o s 堕尝 。! ! ! 塑 1 6 j 式2 。5 二维d c t 逆变换采用下厦的公式： 州= 扣c 陲f ( u , v ) c o s 学c o s 鱼笔吲c 上面两式中 2 5 6 、量化( q ) c ( “) ，c ( v ) = 1 4 2 c 啊) ，c ( v ) = 1 ( 当h , v = 0 ) ( 其他情况) 严格说d c t 本身并不能进行码率压缩，因为6 4 个样值仍然得到6 4 个系数。只是在经过量 化后，特别是按人眼的生理特征对低频分量和高频分量设置不同的量化，会使大多数高频分量的 系数变为零。一般说来，人眼对低频分量比较敏感，而对高频分量不太敏感。因此对低频分量采 用较细的量化，而对高频分量采用较粗的量化。 所谓量化，即根据不同的要求，设置不同的量化等级，从而降低数码率。 2 5 7 、游程长度编码 读出数据和表示数据的方式也是减少码率的一个重要因素。读出的方式可以有多种选择， 如水平逐行读出、垂直逐列读出、之字型读出和交替读出等，其中之字型读出( z i g - - z a g ) 是最 常用的一种，如图3 所示。由于经d c t 变换以后，系数大多数集中在左上角，即低频分量区， 因此之字型读出实际上是按二维频率的高低顺序读出系数的，这样一来就为游程长度编码( r u n l e n g t he n c o d i n g ) 创造了条件。所谓游程长度编码是指一个码可同时表示码的值和前面几个零，这 样就可以把之字型读出的优点显示出来了。因为之字型读出在大多数情况下出现连零的机会比较 多，尤其在最后，如果都是零，在读到最后一个数后只要给出“块结束x e o b ) 码，就可以结束输 1 0 中国农业大学硕士学位论文 第二章图像压缩编码技术 山，因此节省了很多码率。 2 ，5 8 、哈夫曼编码 yy少 乒 罗笋 7，7笋 笋 乒 7罗乒岁 尹 尹 乒 芦 y。芦笋芦笋尹 笋笋笋 乒 笋 笋 ，矿笋 笋芦 罗 罗笋 笋笋乒 笋笋笋罗笋乒 擎 图3z i g z a g 扫描图 哈夫曼编码是可变字长编码( v l c ) 的一种。h u f f r n a n 于1 9 5 2 年提出一种编码方法，该方法 完全依据字符出现概率来构造异字头的平均长度最短的码宇，有时称之为最佳编码，一般就叫作 h u f f m a n 编码。下面引证一个定理，该定理保证了按字符出现概率分配码长，可使平均码长最短。 定理：在变字长编码中，如果码字长度严格按照对应符号出现的概率大小逆序排列，则其平 均码字长度为最小。 2 5 9 、运动估计的运动补偿编码 这是一种帧间编码的方法，其原理是利用帧间的空间相关性，减小空间冗余度。帧间编码为 什么可以减小冗余度，这是因为两帧之间有很大的相似性。如果将前后两帧相减( 移动物体作相 应位移) 得到的误差作编码所需比特要比帧内编码所需的比特少，帧间差集中在零附近，可以用短 的码字传送。 实现帧间编码的方法是运动估计和运动补偿。图4 说明了这个处理过程。 当前帧在过去帧的窗口中寻找匹配部分，从中找到运动矢量； 根据运动矢量，将过去帧位移，求得对当前帧的估计； 将这个估计和当前帧相减，求得估计的误差值； 将运动矢量和估计的误差值送到接收端去； 接收端根据收到的运动矢量将过去帧作位移( 也就是对当前帧的估计) ，再加上接收到的 误差值，就是当前帧。 土雪銮些查兰罂圭兰兰鎏兰至三量篁堡量兰塑竺茎銮 图4 运动估值过程 1 2 中国农业大学硕士学位论文 第三章甚低码率图像编码标准 2 6 3 第三章甚低码率图像编码标准h 2 6 3 3 1 、h 2 6 3 简介 h 2 6 3 是i t ut 提出的作为h 3 2 4 终端使用的视频编解码建议，它是基于运动补偿的d p c m 的混合编码，在运动搜索的基础上进行运动补偿，然后运用o c t 变换和”之”字形扫描游程编码， 从而得到输出码流。h 2 6 3 在h 2 6 1 建议的基础上，将运动矢量的搜索增加为半象素点搜索；同 时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和p b 帧编码等四个高级选项； 从而达到了进一步降低码速率和提高编码质量的目的。 3 2 、h 2 6 3 标准概述 1 1 2 6 3 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准。与h 2 6 1 的p x 6 4 k 的传输码率相比，h 2 6 3 的码率更低，单位码率可以小于6 4 k ，且支持的原始图像格 式更多。 1 t 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧间编码两个部 分。在帧内用改进的d c t 变换并量化，在帧间采用1 2 象素运动矢量预测补偿技术，使运动补 偿更加精确，量化后适用改进的变长编码表( v l c ) 地量化数据进行熵编码，得到最终的编码系 数。 h 2 6 3 的编码速度快，其设计编码延时不超过1 5 0 m s ；码率低，在5 1 2k 乃至3 8 4 k 带宽下 仍可得到相当满意的图像效果，十分适用于需要双向编解码并传输的场合( 如：可视电话) 和网 络条件不是很好的场合( 如：远程监控) 中国农业大学硕士学位论文第三章甚低码率图像编码标准t t 2 6 3 3 2 1 、h 2 6 3 编码框图 图5 h 2 6 3 编码框图 由图5 可以得出h 2 6 3 的编码算法流程为： 读入新的视频帧 比较新帧和前一帧输出差别信息( 差别帧) 对差别帧使用d c t 对d c t 变换的结果进行量化 对量化的结果进行变长编码( v l c ) 传输经过编码的帧 复制这个编码帧 对此编码帧进行反量化编码 对此编码帧进行i i ) c t 编码帧存入帧存储器 利用这个帧对输入序列中的下一帧调整运动估计和运动补偿 重复前面的步骤 1 4 3 2 2 、h 2 6 3 解码框图 图6h 2 6 3 解码框图 解码过程在此不再赘述，是编码的逆过程。 3 2 3 、视频图像格式 h 2 6 3 定义了5 种标准化的图像格式： s u bq c i f ：亚四分之一的公共中间格式 q c i f ：四分之一的公共中间格式 c i f ：公共中间格式 4 c i f ：4 倍公共中间格式 1 6 c i f ：1 6 倍公共中间格式 对彩色电视图像进行采样时，可以采用两种采样方法。一种是使用相同的采样频率对图像的 亮度信号和色差信号进行采样，另一种是对亮度信号和色差信号分别采用不同的采样频率进行采 样。如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采 样( s u b s a m p l i n g ) 。h2 6 3 采用的是4 ：2 ：0 的子采样模式，这种子采样格式是指在水平和垂直方向 上每2 个连续的采样点上取2 个亮度y 样本、1 个红色差c r 样本和1 个蓝色差c b 样本，平均每 个像素用1 5 个样本表示。即如果亮度信号每行采样d x 个象素点，每帧采样d y 行，则每个色差 分量按照每行d x 2 个象素点，每帧d y 2 行进行采样，具体如表2 所示： 图像格式 亮度信号每行亮度信号每帧行色差信号每行色差信号每帧行 像素点数( d x )数( d y )像素点数( d x 2 1数( d y 2 ) s u b q c i f 1 2 89 66 44 8 q c t f 1 7 61 4 48 87 2 c 1 f3 5 22 8 81 7 61 4 4 中国农业人学硕上学位论文 第三章甚低码率图像编码标准h2 6 3 4 c i f7 0 45 7 6 3 5 22 8 8 1 6 c i f1 4 0 8 1 1 5 27 0 45 7 6 表2 各种图像格式采样数 对于每一种图像格式而言，亮度和色差信号的采样定位如图7 所示，色差信号块的边界和亮 度信号块的边界一致。各种图像象素的长宽比例相同，都为( 4 3 ) + ( 2 8 8 3 5 2 ) 。除了s u b - q c l f ，其 余图像格式的面积的长宽比都为4 ：3 。 3 2 4 、视频图像格式分层体系 i ：。： x 麂度借 0色差信号 一一圈营进译 图7 亮度和色差信号采样位i 每幅图像被分成多个块组层。对于s u b q c i f 格式包括6 个块组层、对于q c i f 格式包括9 个块组层、对于c i f 、4 c 1 f 和1 6 c 1 f 包括1 8 个块组层。图8 为q c i f 图像格式的块组层结构。 一q c l f 圉8 q c i f 图像格式的块组屡结构 每个块组层包含k 1 6 行，k 依据图像格式取值( 对于s u b - q c i f 、q c i f 、c i f 、k 21 ；对 于4 c i f ，k = 2 ；对于1 6 c i f ，k = 4 ) 。一个宏块通常包含6 个像素块( 对于p b 帧模式，包含 1 2 个像素块) 。每个像素块包含8 8 个像素。 宏块的结构如图9 所示： 6 3 3 、h 2 6 3 的语法结构 y 口口 c bc r 图9 宏块结构 h 2 6 3 定义的码流结构是分级结构，共四层。自上而下分别为：图像层( p i c t u r el a y e r ) 、块组 层( g o b l a y e r ) 、宏块层( m a c r o b l o c k l a y e r ) 和块层( b l o c k l a y e r ) 。下面对其逐一介绍。 3 3 1 、图像层 每帧图像数据由图像头信息、块组数据、序列结束码和填充比特构成。下面对其所包含字段 逐一进行解释。 图像起始码( p s c ) ：2 2 比特，其值为0 0 0 00 0 0 00 0 0 0l0 0 0 0 0 。所有图像起始码应字节对 齐。 时域参考值( t r ) t8 比特，有2 5 6 种可能值。当前发送帧的t r 值是在前一个发送帧头的t r 值加1 ，再加上当前帧与前发送帧间的非发送帧( 速率为2 9 9 7 h z ) 的帧数。运算结果只取八 个最低位。为p b 帧模式时，t r 仅仅指的是p 帧图像。 类型信息( p t y p e ) ：1 3 比特，包括整帧图像的信息。 比特1 总为“1 ”，避免其实码冲突。 比特2 总为0 ，用于与h 2 6 1 区分 比特3 分屏指示，“0 ”断，1 通。 比特4 文件摄像机指示，“0 ”断，1 通。 比特5解除冻结图像，0 断，“1 ”通。 比特6 8 信源格式，“0 0 0 ”禁止，“0 0 1 ”s u b q c i f ，“0 1 0 ”q c i f ，“0 1 1 ”c i f ，“1 0 0 ” 4 c l f ，“1 0 1 ”1 6 c i f ，“1 1 0 ”保留，“1 1 1 ”保留。 比特9 图像编码类型，“0 ”帧内，“1 ”帧间。 比特1 0 无限制运动矢量模式开关，“0 ”断，“1 ”通。 比特1 1 基于语法的算术编码开关，0 断，“1 ”通。 比特1 2 先进预测模式开关，“0 ”断，1 通。 比特1 3p b 帧模式开关，“0 ”断，1 通。 量化器信息( p o u a n t ) ：5 比特定长码字。指示本图像要使用的量化器q u a n t 。这个码字由后 1 7 燮些盔兰婴主兰壁笙奎 第三章甚低码率图像编码标准h 2 6 3 续的g q u a n t 或者d q u a n t 更新。更新后，所用量化器随之改变。这个码字是q u a n t 值的自然二进 制表示，为量化步长的一半，从1 到3 l 。 连续多点显示模式( c p m ) ：1 比特码字。指示连续多点显示模式开关，0 断，“l ”通。 图像子比特流指示( p s b i ) ：2 比特定长码字，只有c p m 指示了连续多点显示模式时才 出现。这个码字时子比特流的自然二进制表示。 b 帧图像时域参考值( t r b ) ；3 比特定长码字p y t y p e 指示为“p b 帧“时t r b 才出现。 它指示上次p 帧或者t 帧图像后、b 帧图像前的非发送帧的帧数。这个码宇时非发送帧的数目加 1 的自然二进制表示。非发送帧最大为6 。 b 帧图像量化信息( d b q u a n t ) ：2 比特。p t y p e 指示“p b 帧“时d b q u a n t 才出现。再解 码过程中每个宏块有一个量化参数o u a n t 。p b 帧的q u a n t 用于p 块，而对于b 块使用不同的量化 参数b q u a n t 。d b q u a n t 指示q u a n t 和b q u a n t 之间的关系。表3 说明了说明了他们之间的关系 d b o u a n tb q u a n t 0 0 1 5 * q u a n t ) 4 0 1 f 6 o u a n t ) 4 1 0 f 7 0 u a n t ) 4 1 1 ( 8 * q u a n t ) 4 寰3 d b q u a n t 、b q u a n t 、q u a n t 之间的关系 额外插入信息( p e i ) ：1 比特。为1 表示后面出现可选的数据项。 备用信息( p s p a r e ) ：0 8 1 6 比特。若p e i 为“1 “，则其后面跟有9 比特：前面8 比特为数据( p s p a r e ) ，第九比特为另一个p e i 比特，指示其后面是否还跟有9 比特，等等。在 t t u 作出规定之前，编码器不可以插入p a p a r e 。解码器必须在p e i 为”l “时丢掉p a p 崛e 。这样 以后1 t u 就能够在p a p a r e 中规定后向兼容附加信息。 填充( e s t u f ) ：这是个变长码字，由小于8 个零比特组成。编码器可以e o s 码字前面直 接插入这个码字，以保证e o s 码字的起始字节对齐。解码器丢掉e s t u f 。 序列号结束( e o s ) ；2 2 比特。其值为0 0 0 00 0 0 00 0 0 00 0 0 0 1 1 1 1 1 1 。e o s 字节对齐。 填充( p s t u f ) ：这是个变长码字，由小于8 个零比特组成。编码器应插入这个码字，以 保证下一个p s c 对齐。解码器丢掉p s t u f 。 3 3 2 、宏块组层 每个宏块组数据由g o b 头部加上后面的宏块数据组成。下面对其所包含字段逐一进行解释。 填充( g s t u f ) ：变长码字，由小于8 个零比特组成。编码器可以在6 b s c 码字前面直接插入 这个码字，以保证g b s c 码字的起始字节对齐。解码器丢掉g s t u f 。 块组起始码( g b s c ) ：1 7 比特。值为0 0 0 00 0 0 00 0 0 00 0 0 01 。g o b 起始码应该字节对齐。 组号( g n ) ：5 比特，为块组号的二进制表示。g o b 号为“0 “时，包括g s t u f 、6 b s c 、g n 、g s b i