（信号与信息处理专业论文）基于h264avc视频解码器的vlsi设计与研究.pdf

北方j ：业人学硕十学位论文捅要h 2 6 4 a v c 是i t u t 和m p e g 组织共同推出的新一代视频压缩标准，其压缩效率较h 2 6 3 和m p e g 一4 有显著提高。本文设计了一种适合h 2 6 4 a v c变字长解码器，提出了一种新的更快更高效适合解码的查表方法。在尽量减少时钟消耗和硬件开销的前提下，本文根据码流特点对解码模块结构进行了优化，使解码效率更优、时钟频率更高。解码控制电路中主要采用了桶型移位寄存器，并在解码过程中频繁使用了首一检测器。查表解码电路中，改变传统的遍历搜索比较的方法，本文根据码流的特点将码表按规律拆成多个子表，使查表效率和电路时序上有很大的突破，尤其标志符解码和非零系数值两个最难的解码模块有了突破性进展：标志符解码能够实现在两个时钟周期内完成，非零系数值解码在三个时钟周期内解出，并且该子模块电路能达到2 2 0 m 。同时考虑到i p可重复性设计和便于各器件移植，本文采用同步设计，外部接口都使用f i f o 公用接口。通过在q u a n u si i6 0f p g a 开发软件下仿真分析表明在该变长解码器能达到1 5 0 m 时钟频率，完全可以满足1 0 m s 码率下h 2 6 4 标准中l e v e l 3 o 的性能要求。论文的主要研究工作如下：1 研究变字长解码器的大规模集成电路设计和验证，主要包括静态时序分析、时序优化、布局布线、搭建测试平台，生成测试向量、编写参考模型等等验证和设计工作。2 研究变字长编解码算法，并根据协议设计了变字长解码器。同时在i p 可重复性设计和可移植性方面做了研究，整个系统的设计使用v 舐l o g 硬件描述语言实现。3 解c a v l c 码中，本文根据码表的特点提出了一种新的查表方法，在不增加存储资源的条件下，通过优化结构提高解码效率，节省时钟周期，通过改变关键时序路径提高时钟频率。4 指数哥伦布解码过程中，本文优化解码器结构，减少解码所需要的时钟周期。关键词：h 2 6 4 a v c ，变长编码，变长解码器，专用集成电路，n a l北方i ：业人学硕十学位论文a b s t r a c th 2 6 4 a y ci san e wv i d e oc o d i n gs t a n d a r dw i t he n h a i l e e dh i 曲e rc o m p r e s s l o nt h a nh 2 6 3 锄dm p e gr a i s e db yi t u ta n dm p e go 眇i z a t i o n s t h i sp a p e rp r o p o s e s 锄i m p l e m e i l t a t i o no fv 撕a b l el e n 舀hd e c o d e rf o rh 2 6 4 a v c w h i l em i n i m i z i n gt h eu s eo fc l o c kc y c l e s 觚dh a r d w a r ec o s t ，t h ed e s i 印i ss e p a r a t e di n t os e v e r a lp a n sa c c o r d i n gt ot h es p e c i a l 母o ft h ec o d es t r e a m b uc _ k e ts h i rr e 西s t c ri su s e dt oc o n t r o lc i r c u i t ，a n dt h e6 r s to n ed e t e c t o ri sl l s e d 主nt l l ep r o c e s so fd e c o d i n g i nt a b u l a rd e c o d i n gc i r c u i t ，t h ed e s i 印d i s c a r d st h et r a d i t i o n a lw a yw h i d li st h ew a yo ft r a v e r s i n gs e a r c hc _ - 0 m p a d s o n i n s t e a d ，m et a b l ei sd e v i d e di n t oan u i 】曲e ro fs u b t a b l e sa c c o r d i n gt 0m ef e a n l r eo fc o d es 慨锄s nm a l 【e st a b u l a re m c i 锄c y 锄dc i r c u i tt i m i n gh a v eg r e a t 而r e 出 啪u 曲s ，e s p e c i a l l yi nm et o t a lc o a ea n dn 0z e r 0l c v e ld e c o d em o d u l e s ：t h et o t a lc o f i em o d u l ed e c o d en e e do n l y2c y c l e sa n dm en 0z e r 01 e v e lm o d u l ed e c o d en e e do n l y3c y c l e s ，锄dt h ef i e q u e n c eo ft h em o d u l e si s2 2 0m h z b ys i m u l a t i n gw i mq u a r t u si i6 0 ，t l l er e s u l t ss h o w st h a ti t sm a ) ( i m a lw o 越n g 舶q u e n c yi sa r o u n d2 2 0m h za n di tc o u l d 似丘ut h er e q u i r e dp e 怕皿a i l c eo fh 2 6 4 a v cs t a n d a r dl e v e l3 o t h em a i nc o n t e 芏l t so ft h i sp a p e ra f ea sf o l l o w s f i r s t l xi ti s 也ep r e s 锄t a t i o no f 也ed e s i 舶a 1 1 dt h ev 嘶矗c a t i o no fv l dd e c o d e rw i t hv l s i ，s u c ha ss y t h s i s ，f i t t s t a ，c o d i n gr e 钕觚c em o d u l ea 1 1 ds oo n s e c o n d l y ，i ti st h ei n t r o d u c t i o no fv i d e oc o d i n gs t a l l d a r d ，t h e1 1 i s t o 叫o fi t sd e 、，e l o p m e n t ，a i l dv i d e oc o d e ct h e o r y ，e t c t h i r d l yt h ep r o t o c a lo fh 2 影仇w ca i l dt h ep 咖c i n p l ea b o u tv l dc o d e ci sr e a da n dr e s e a r c h e d n e l li ti s l ed e s i 朗o fd e c o d eo fv l dw i t hv r e r i l o g an e ww a yo fd e c o d i n gt h es t r e 锄w i t hf a s t e rs p e e da i l dl e s sc y c l ei su s 司a tt 1 1 es 锄et i m ew eu s ei pr e u s e dd e s i 印f o rt a n s p l a j l t i n gb e 铆e e l ld i f 衔印td e v i c e s ，s ow eu s eg e i l e r a lf i f oi n t e r f a c ew i t ho t h e r s a c c o r d i n gt h ef e a t u r eo fc o d e ，an e ww a yo fl o o k i n gf o rt a b l ei su s e dw h e nd e c o d i n gc a v l c c o n c r e t e l ys p e a k i n & m eo r i 百n a lt a b l ei sd e v i d e di n t om a n ys u b - t a b l e s 1 1 1t h i sw a yt h es p e e do fc i r c u i ti s1 1 i 曲e f 锄dd e c o d ei nl e s sc y c l e a tt h es 锄et i m ew eo p t i n l i s e dt h ea r c h t e c m r eo f 西r c u i tt 0 证l p r 0 v et h es p e e do fc i r c u i t h lt h e1 弱tp a n ，m ec l o c kc y c l eo fd e c o d i n gi sr e d u c e d ，锄dt l l es t n l c t u r eo fd e c o d c fi so p t i m i z e d k e yw o r d s ：h 2 “a y c ，v l c ，v l d ，a s i c ，n a l独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得韭盔玉些盔堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所傲的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：新乏是签字日期：阳衫年，月日学位论文版权使用授权书本学位论文作者完全了解j e 友王些太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权j 鱼直王些太堂呵以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文作者签名：卿二乏是签字日期沙睇年岁月“日学位论文作者毕业后去向：工作单位：通讯地址：导师签名：存匆兵电话：邮编：北方：i ：业大学硕士学位论文1 1研究目的与内容第一章引言作为新一代的视频编码标准，h 2 6 4 a v c 采用以往成熟的编码技术，可以提供非常好的视频质量，是当前最高效的视频压缩方法。在相同图像质量下，h 2 6 “a v c 标准所需的码率为m p e g 2 的3 6 ，h 2 6 3 的5 1 【i 】，与这些当前广泛应用的视频编码技术相比，h 2 6 4 a v c 不但在图像质量和波特率上有很大的优势，而且具有更好的i p和无线网络信道的适应性。本文对h 2 6 4 厂a = v c 解码器设计及v l s i 实现等以下方面做了相关研究：( 1 ) 研究大规模集成电路设计和验证思想和方法，静态时序分析、时序优化、布局布线、搭建测试平台，生成测试向量，编写参考模型等等验证和设计技术( 2 ) 深入研究h 2 6 4 a v c 视频解码系统的算法并提出更优的算法和硬件结构。( 3 ) 深入研究h 2 6 4 a v c 编码标准的内容和特点，对其中的功能模块和相关算法做详细的分析，提出高性能的硬件解码系统结构及对各模块进行优化。( 4 ) 根据码表的特点在解c a v l c 码中，本文提出了一种新的基于r o m 按码表规律拆分的搜索算法，在不增加存储资源的条件下，通过优化结构提高解码效率，节省时钟周期，通过改变关键时序路径提高时钟频率。在指数哥伦布解码过程中，本文优化解码器结构，减少解码所需要的时钟周期。北方j ：业人学硕+ 学位论文1 2 研究意义h 2 6 4 a v c 是2 0 0 3 年5 月j 下式颁布的国际标准，它相对以前的编码标准而言，在性能上有很大的提高。因此，研究和设计基于h 2 6 4 a v c 视频编解码系统是很有意义的，具体表现为以下几点：1 从长远发展和国际竞争的需要出发，掌握视音频压缩编解码核心技术，研制具有自主知识产权的多媒体处理核心芯片产品，不仅有利于提升我国核心技术的竞争力，而且将彻底改变国内相关企业长期受制于持有专利和技术的国外企业组织的被动局面，这对于我国的数字视音频产业具有非常重要的意义口】【3 1 。研究基于h 2 6 4 a v c 的视频压缩编解码技术，能够紧跟国际视音频产业发展潮流，有利于我国数字电视，通信多媒体等信息产业的加速发展，符合我国多媒体产业的发展方向。2 h 2 6 乱w c 标准采用了大量最新的视频编码技术，获得了很好的视频效果，但是其压缩效率的提高也是以压缩算法复杂度的提高为代价的，其解码复杂度大约是m p e g 2 的2 3 倍【l 】，这造成了单纯用软件解码难以达到很高的性能，特别是对于实时应用，对于高清晰度视频不能实现实时解码，这样就需要硬件加速或者设计专门的硬件解码电路。从h 2 6 4 标准制定开始，国际上就有很多公司和机构开展对于这个新标准的研究和开发，而一些公司已经提出了针对早期标准草案的硬件解决方案。他们的这些工作不但促进标准的发展，而且对于以后的产业化也很有帮助。以往我国电子产品的“无芯 化非常严重，因为很少有自主知识产权的芯片，电子产业的发展受到了很大的阻碍，比如d v d 产品所使用的m p e g 2 解码器主要是国外产品【3 1 。虽然h 2 6 4 是个新标准，但是已经推广使用，设计本文自己的硬件解码器就有很重要的意义。3 对于要求比较高的应用，如h d t v 等，由于图像尺寸大，分辨率高，数据量庞大，必须采用基于a s i c 的视频解码系统，即专用视频解码器，才能满足系统性能要求。这种专用视频解码器是根据视频算法特点，利用相匹配的硬件逻辑电路来实现解码，将控制系统所需要的硬件开销降到最小，因此可以获得更高的处理速度，占用很少的硬件面积，功耗也比较低，但灵活性相对较低。而且专门的硬件解码电路使得视频码流不仅能在计算机上解码，还能在数字电视、d v d 机等设备上播放，其应用范围非常广泛。4 h 2 6 4 a v c 是目前国际上最新的视频压缩编解码标准，由v c e gi t u t和m p e gi s 0 i e c 共同建立的联合视频小组( j v ，r ) 于2 0 0 3 年3 月定稿【1 1 。尽管h 2 6 乱a vc 与先前的视频编码标准一样是通过基于块的运动补偿和基于变换的编码框架实现压缩机理，它的新增特性和功能还是带来了更高的编码效率。但2北方j r ：业人学硕十学位论文是，这些新的特性和功能在编码和解码端都引入了额外的复杂度。这些额外的计算复杂度严重影响了基于h 2 6 4 a v c 的商用视频解决方案的开发成本【。所以对h 2 6 4 a v c 算法和实现的优化是很有现实意义的。1 3国内外研究现状及发展趋势从h 2 6 4 a v c 的产业化现状来看，该标准已经得到世界众多组织机构、国际公司及广播电信运营商的大力支持1 4 j 。到目前为止，日本最大的六家电视广播公司已采纳h 2 6 4 a v c 视频编码标准，用于向移动终端发送数字电视广播；欧洲地区也在考虑修订原有的d v b ( 数字电视广播) 编码标准，用h 2 6 4 a vc 标准取而代之。另外，由s o n y 、松下、三菱等多家信息家电厂商共同制定的下一代高密度光盘标准，也宣布支持h 2 6 4 a 、，c 影像压缩格式。尽管h 2 6 4 a v c 编码标准刚出台不久，但据新闻报道，一些国际巨头公司己经相继推出了自己的h 2 6 乱a v c 工程样片或产品，并进行量产，如美国l s i 公司发布的h 2 6 4 a v c影像解码单芯片s v - d 0 1 1 ，能够对以h 2 6 4 格式编码的1 9 2 0 x 1 0 8 0 像素h d t v影像进行解码，支持主规范和基本规范，解码速度最大为3 0 m b i t 秒，最大可支持4 1 级；b r o a d c o m 公司发布的可对h 2 6 4 a v c 编码格式的h d t v 影像进行解码的i cb c m 7 4 1 l ，支持h 2 6 4 的主规范，级别属于4 1 级，画面像素支持范围从q c l f ( 1 7 6 x 1 4 4 像素) 到1 9 2 0x1 0 8 0 像素。同时宁波中科集成电路设计中心联合计算所也研制完成了高清解码芯片“凤芯一号 ，该芯片是国内第一款支持中国自主视音频编码标准a 、，s ( 草案) 并符合h 2 6 4 a v c 国际标准的高清视频解码芯片，支持s d t v ( p a l ，n t s c ) 和h d t v ( 2 0 p 、1 0 8 0 1 ) 制式。另外，上海富瀚微电子公司近期也发布了支持标准清晰度电视( s d t v ) 的h 2 6 4 门m p e g 4a v c 解码a s i c 妒核f h 8 6 0 0 ，可以集成到s o c 芯片中，应用于i p 机顶盒、便携媒体播放器、移动电视等数字媒体设备。根据调研资料来看，国内其它关于h 2 c的研究主要集中在编解码软件模型的优化以及基于c i f ( c o m m o ni n t e n i l e d i a t ef o m a t ) 或q c i f ( q u a n e rc o m m o nh l t 锄e d i a t ef o 肌a t ) 图像格式d s p 编解码系统实现方面，而对基于a s i c 的h 2 6 4 ，怂，c 编解码器研究报道甚少。国内对h 2 6 4的研究起步相对较晚，尚处于起步阶段。在应用方面，目前也已经出现了一些支持h 2 6 4 标准的编解码芯片与基于f p g a 的口核，例如海思半导体公司的h 2 6 4 编解码芯片，上海富瀚微电子的编解码芯片，中星微电子的i p 核，上海杰德的i p 核等。另外，上海电信目前正在积极部署基于h 2 6 4 的i p t v 业务。下表是国内外的近期研究成果：3北方工业人学硕士学位论文表1 1h 2 6 4 相关产品列表公司名称产品性能应用领域m o b i l y g e n ( 美)m g l 2 6 编解码器3 0 印s ，t v 质量移动设备e n v i v i o ( 美)4 c a s t ，e 系列2 2 0 m b p s广播、移动视频p o l y c o m ( 美)m g c 系列 2 5 昂s电话会议t i ( 美)t v p 5 1 系列4 路编解码通道通用编解码芯片o p t i b a s e ( 美)m g w 5 1 0 0支持m a i n p r o f i l ei p t v 、v o db r o a d c o m ( 美)b c m 系列支持h i g l l p r o f i l eh d t v 、机顶盒d s pr e s e a r c hd s 4 0 0 x h c i3 0 筇sn t s c视频监控，视频会议( 美)m o d u l u s d e o( 美)m e 6 0 0 0 编码器支持m a i n p r o f i l eh d t vs i 舯a ( 美)s m p 8 6 3 4支持m a i n p r o f i l ei p t vd a r i m ( 美)m v 4 0 1 4 l o3 0 邱sn t s c通用编解码器t h a l e s ( 美)a r g o s2 5 3 0 邱s通用编解码器e q u a t o r ( 美)b s p l 6同时支持v c 1i p t v ，d v rl s i ( 美)v l e 4 0 0 03 0 印sd 1h d t v ，d v rs i 印s l d e s i 印s( 美)s m p 8 6 3 03 0 昂sn t s ch d t v ，i p t vc r a d l e ( 加)m d s p 系列3 0 印sd ld v rc o n e x a n t ( 加)c x 2 4 1 8 x3 0 邱sn t s ch d t v ，i p t vv i t e cv p 3 p m c通用编码器m u l t i m e d i ( 法)a t e i l l e ( 法)v s i p 2 编码器2 5 3 0 邱sd l视频会议d b e 略( 英)e n 5 9 3 0支持m 赫1 p r o f i l ei p t v ，v o dm a y a h ( 德)1 0 8 0 0 0 a3 0 印sn t s c通用编解码器w & w ( 西)w w l l o o 2 1 0 03 0 币sn t s c视频会议s e i l t i v i s i o n ( 日)s v 系列支持m a i n p r o f i l ei p t v深圳锐明视讯车载d v r 系统g p s + g p r s + h 2 6 4车载应用深圳海思半导体g 0 a lh i 3 5 1 0通用编解码芯片上海杰德d 2 8 系列8 m b p s ，3 0 邱s手持移动设备4北方：l = 业大学硕+ 学位论文第二章视频压缩编码标准及发展历史随着视频技术的迅速发展与应用，不同厂家产品的兼容性问题越来越突出，所以需要全球统一的国际技术标准。目前广泛应用的视频编码标准主要有：h 2 6 1 、h 2 6 3 、运动静止图像专家组的m j p e g 和国际标准化组织运动图像专家组的m p e g 系列标准。下表2 1 是各视频标准的比较：表2 1 各视频标准的比较名称制定组织发布时间应用领域用于i s d n 上低延迟h 2 3 l1 9 9 0的彩色图像传输h 2 6 31 9 9 6会议电视，可视电话会议电视，可视电话h 2 6 3 +1 9 9 8( 对h 2 6 3 增加了多( c c i t t )个选项)h 2 6 3 + +i t u - t2 0 0 0会议电视，可视电话可视电话，视频通h 2 6 l2 0 0 2信，视频点播，多点通信广播电视，可视电h 2 6 42 0 0 3话，多媒体流，多媒体消息主要用于多媒体存m p e g 11 9 9 3储和计算机多媒体通信数字广播电视，网络m p e g _ 21 9 9 4视频通信，多点电视i s o 仃e c和高清晰度电视多媒体会议，低比特率移动多媒体通信，m p e g _ 41 9 9 8基于内容的交互多媒体数据库检索，1 1 1 t 锄e t 上的视音频通信广播电视，可视电m p e g _ 4 a v c2 0 0 3话，多媒体流，多媒体消息5北方：r 业人学硕十学位论文2 1h 2 6 x 系列协议简介2 1 1h 2 6 lh 2 6 1 由视频译码专家小组( 简称为v c e g ) v c e g 于1 9 9 0 年提出，是最早提出的一个视频压缩国际标准，它最初是针对在i s d n 上实现电信会议应用，尤其是面对面的可视电话和视频会议而设计的。实际的编码算法类似于m p e g算法，但不能与后者兼容。h 2 6 1 在实时编码时比m p e g 所占用的c p u 运算量少得多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒定质量可变码流编码。2 1 2h 2 6 2由v c e g 于1 9 9 5 年提出，基于h 2 6 1 扩充而来，支持隔行扫描，提供了位速率可变性能( s c a l a b i l i t y ) 的功能，码率可达2 2 0 m b p s ，使用广泛，几乎用于所有的数字电视系统( d t v ) ，适合标清( s d t v ) 和高清电视( h d t v ) ，适合各种媒体传输，包括卫星、有线、地面等。2 1 3h 2 6 3h 2 6 3 是l t u t 的一个标准草案，由v c e g 于1 9 9 8 年提出，是最早用于低码率视频编码的i t u t 标准。但实际上这个标准可用在很宽的码流范围，而不只用于低码流应用，它在许多应用中可以用于取代h 2 6 1 ，h 2 6 3 的编码算法，但做了一些改善和改变，以提高性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，两者的区别有：( 1 ) h 2 6 3 的运动补偿使用半象素精度，h 2 6 1 则用全象素精度和循环滤波；( 2 ) 数据流层次结构的某些部分在h - 2 6 3 中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力；( 3 )h 2 63 包含四个可协商的选项以改善性能；( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码；( 5 ) 采用事先预测以及与m p e g 中的p b 帧一样的帧预测方法；( 6 ) h 2 6 3 支持5 种分辨率，即除了支持h 2 6 l 中所支持的q c i f 和c i f 外，还支持s q c 、4 c i f 和1 6 c i f ，s q c i f 相当于q c i f 四分之一的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和1 6 倍。1 9 9 8 年i u t _ t 推出的h 2 6 3 + 是h 2 6 3 建议的第2 版，它提供了1 2 个新的可协商模式和其他特征，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源格式，而h 2 6 3 + 允许使用更多的源格式，图像时钟频率也有多种选择，拓宽了应用范围。另一重要的改进是可扩展性，它允许多显示、多速率及多分辨率，增强了视频信息在易误码、易丢包6北方j 丁= 业人学硕+ 学位论文异构网络环境下的传输。另外，h 2 6 3 + 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。因此可以说，h 2 6 3 已经基本上取代了h 2 6 l 。2 1 4h 2 6 4 a v ch 2 6 4 a 、，c 是2 0 0 3 年5 月正式颁布的国际标准，它比以前的编码标准在性能上有很大的提高。在技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 4 简单类( s i m p l ep r 0 6 l e ) 相比，h 2 6 4 在使用与上述编码方法类似的最佳编码器时厂在大多数码率下最多可节省5 0 的码率。h 2 6 4 在所有码率下都能持续提供较高的视频质量。h 2 6 4 能在低延时模式以适应实时通信的应用( 如视频会议) ，同时又能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。h 2 6 4 提供包传输网中处理包丢失所需的工具，以及在容易误码的无线网中处理比特误码的工具。在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层m d e oc o d i n gl a y e r v c l ) 和网络适配层( n e 铆o r ka d a p t a t i o nl a y e f ，n a l ) 之间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。2 2m j p e gm j p e g ( m o t i o n j o i np h o t o 笋印h i ce x p e f t sg r o u p ) 技术即运动静止图像( 或逐帧) 压缩技术，广泛应用于非线性编辑领域和多层图像处理，它把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整地压缩每一帧，在编辑过程中可随机存储每一帧。此外m j p e g 的压缩和解压缩是对称的，可由相同的硬件和软件实现。但m j p e g 只对帧内的空间冗余进行压缩，不对帧间的时间冗余进行压缩，故压缩效率不高。采用m j p e g 数字压缩格式，当压缩比7 ：1 时，可提供相当于b c t e c 锄s p 质量图像的节目。j p e g 标准所根据的算法是基于d c t ( 离散余弦变换) 和可变长编码的。j p e g 的关键技术有变换编码、量化、差分编码、运动补偿、哈夫曼编码和游程编码等，m j p e g 的优点是可以很容易做到精确到帧的编辑、设备比较成熟，缺点是压缩效率不高。此外，m - j p e g 这种压缩方式并不是一个完全统一的压缩标准，不同厂家的编解码器和存储方式并没有统一的规定格式【4 】。也就是说，每个型号的视频服务器或编码板有自己的m j p e g 版本，所以在服务器之间的数据传输、非线性制作网络向服务器的数据传输都是根本不可能的。7北方工业人学硕士学位论文2 3m p e g 系列协议简介2 3 1m p e g 1 【l 】【2 】m p e g 1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字存储媒体运动图像及其伴音的编码。该标准包括五个部分，第一部分说明了如何根据第二部分( 视频) 以及第三部分( 音频) 的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的c 语言实现的编码和解码器。2 3 2m p e g 2 【l 】【2 】m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用互操作的可能性。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从3 m b p s l o o m b p s ，标准的正式规范在i s o i e c l 3 8 1 8 中。m p e g 2 不是m p e g 1 的简单升级，m p e g 2 在系统和传送方面作了更详细规定和进一步完善。m p e g 2 特别适用于广播级的数字电视的编码和传送，被认定为s d t v ( s t a i l d a r dd e f i i l i t i o n t e l e v i s i o n ) 和h ( h i 曲d e 矗n i t i o nt e l e v i s i o n ) 的编码标准。m p eg 2 的编码图像被分为三类，分别称为i 帧，p 帧和b 帧。i 帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。p 帧和b 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。p 帧图像只采用前向时间预测，可以提高压缩效率和图像质量。p 帧图像中可以包含帧内编码的部分，即p 帧中的每一个宏块可以是前向预测，也可以是帧内编码。b 帧图像采用双向时间预测，可以大大提高压缩倍数。2 3 3m p e g 4 【1 】【2 】运动图像专家组( m p e g ) 于1 9 9 9 年2 月正式公布m p e g - 4 ( i s 伽e c l 4 4 9 6 )标准的第一版本。m p e g 4 与m p e g 1 和m p e g 2 有很大的不同。m p e g 4 不只是具体压缩算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒体等整合及压缩技术的需求而制定的国际标准。m p e g - 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。m p e g - 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象北方j t ：业大学硕士学位论文分别解码，从而组合成所需要的视频和音频。这样既方便本文对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便地实现对于各种对象的操作及编辑。例如，通过这种技术可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便地实现交互，根据自己的需要有选择地组合各种视频、音频以及图形文本对象。2 4a v s 标准3 1 4 1基于我国专家多年参与m p e g 国际标准制定的经验，2 0 0 2 年6 月成立的“数字音视频编解码技术标准工作组”联合国内从事数字音视频编解码技术研发的科研机构和企业，提出了我国自主知识产权的数字音视频编解码技术标准a v s ( a u d 5 0v i d e 0c o d i n gs t a l l d a r d ) 。a v s 标准是信息技术先进音视频编码系列标准的简称，其核心是把数字视频和音频数据压缩为原来的几十分之一甚至百分之一以下。a v s 标准和文字编码标准一样都是信源编码标准，它是数字音视频系统的基础标准。在2 0 0 3 年年底完成的a v s1 o 标准具有以下4 个特点：( 1 ) 性能高。在性能上比最新的国际标准h 2 6 4 略高，是m p e g 2 高两倍以上；( 2 ) 复杂度低。算法的复杂度比h 2 6 4 低；( 3 ) 实现成本低，软件和硬件实现成本都比h 2 6 4 低；( 4 ) 专利授权模式简单，费用明显低于同类标准。a v s 标准包括系统、视频、音频3 个主要部分。a v s 视频编码标准采用与m p e g 4a v c 标准类似的技术框架，在性能上要超过a v c ，在技术实现上更简洁。a v s 音频编码在性能上将达到或超过m p e g - 4a a c 标准。a v s 系统标准采用扩展m p e g 。2s v s t e r i l 的方案，有利于兼容已有的m p e g 2 传输系统。9北方j ：业人学硕+ 学位论文第三章视频压缩的基本原理和方法3 1视频压缩的必要性和可能性2 3 3 1数字化的视频数据量十分巨大，不便于存储和传输，必须采用数据压缩技术，减少视频数据的存储空间，提高视频数据的传输效率。数字视频信号几乎都采用了彩色信号的分量表示法，比如r g b 分量表示、y c 疋b 分量表示等，只要得到了各个分量的值就可以复原出该像素点。视频的数字化表示带来的一个问题就是数据量非常巨大，比如一个高清晰度数字电视信号，采用4 ：2 ：0 格式，其亮度帧为1 9 2 0 像素行，1 0 8 0 行，色度帧为9 6 0 像素行，5 4 0 行，用每秒3 0 帧，8 位像素采样，其数据量为：每帧数据量：1 9 2 0 1 0 8 0 + 9 6 0 5 4 0 2 = 3 。1 1 m b每秒数据量：3 1 l 3 肛9 3 3 m b一片c d r o m 可存储的节目时间：6 5 0 9 3 3 = 6 9 7 ( 秒片)这么大的数据量非常不利于存储和传输，这个问题可以通过增加存储容量、扩大通讯带宽来解决，但是这样的代价非常大。另一个解决办法就是采用压缩技术压缩数据，保存和传输压缩的视频数据，需要使用时再通过解压缩复原视频数据，这需要以提高结算复杂度和降低图像质量作为代价，但是可以减少存储和传输方面的需求。视频压缩不仅是必要的，而且也是可能的。根据统计表明，电视信号在相邻像素间、相邻行间及相邻帧问存在着很强的相关性，也就是说数据间存在大量的冗余信息。在一般的图像和视频数据中，主要存在以下几种形式的冗余：3 1 1空间冗余对于静止图像，在空间域上，除了边界轮廓外，数字图像的灰度和色差信号都是缓慢变化的，相邻像素的灰度和色差信号值非常接近，具有很强的相关性，如果直接对采样数据用p c m 进行编码，则数据中会存在较大的冗余，若采用d p c m 进行编码，将会大大降低数码率。对于电视图像而言，通过帧内编码来减少空间冗余进行数据压缩。3 1 2 时间冗余视频图像是沿时间轴方向的一个帧序列，相邻帧间图像的相关性也很强，通常用减少传送帧的数目，即降低帧频来减少时间冗余，采用运动估计和运动补偿技术来满足解码重建图像的质量要求。l o北方：r 业人学硕士学位论文3 1 3 符号冗余由信息论可知，按照信息熵的大小给符号分配相应的比特数来编码，传递信息的效率最高。但是，对于实际图像数据，很难得到其信息熵，若用相同的码长表示每个像素的信息，必然存在信息冗余。如果采用变长编码技术，对出现概率大的符号用较短的码字表示，对出现概率小的符号用较长的码字表示，从很大程度上可去除图像数据的符号冗余。3 1 4 视觉冗余人类的视觉系统对图像的注意是非均匀和非线性的，并不是对于图像的任何变化都能感知。为了获得较高的数据压缩比，可以充分利用人类视角系统的生理和心理特性。如人眼对颜色的分辨力低于对亮度信号的分辨力，将色差信号的空间分辨率减半，仍可得到很好的图像主观质量，有效降低了数据量；利用“人眼对画面静止部分的空间分辨力高于对运动部分的空间分辨力 的特点，可以降低空间采样率，达到数据压缩的目的。3 2 视频压缩编码的原理和方法3 m 1 7 1 8 埘根据压缩编码算法的原理，视频压缩编码的方法可分为基于图像统计特性、基于人眼视觉特性、基于内容和基于模型等方法。本文所要讨论的是基于图像统计特性的编码方法，其中包括预测编码、变换编码、霍夫曼编码、算术编码虐盘号手o3 2 1预测编码预测编码通常也称为差值脉冲编码调制( d p c m ) ，主要是减少数据在时间和空间上的冗余度，相对应有帧内预测编码和帧间预测编码。预测的方法可分为线性预测和非线性预测。典型的预测系统如图3 1 所示：北方jl ：业大学硕十学位论文编硒解码。r 习1 。毛x 一弋r、气。l 嚣一。a li抟：者：i 一、一l一，12：i4l= ：i 八j幽褥l器lt-，一_ _ _ 一世s +t甘+图3 1 预测编码系统在编码端，设当前时刻n 输入的信号样值为x 。，根据n 时刻之前的相邻样值而，t ，而，五，预测器对当前的时刻样值吒。作预测，预测值为n lx 一= 口l 而+ 口2 恐+ 口3 b + + 口。= 芝二口，而，( 3 1 )扛j其中口，口：口。称为预测系数。当前值矗和x 。预测值相比较，计算出预测误差绷= 一矗，再将预测误差进行量化，输出为，由于预测误差信号动态范围小，通常采用非均匀量化。编码器根据量化后的预测误差x 。的大小和出现的概率进行二进制编码。在接收端，解码器从接收的二进制代码中恢复出预测误差x 。，通过与编码端相同的预测器预测得出当前样值吒，加，便获得当前样值的重建值x n2 e n 七x n将当前的预测误差毛和预测样值相通过比较编码前的样值和解码后重建值，误差为：( 3 2 )整个预测编解码过程产生的毛一= 一( + 巳) 2 q 一巳。( 3 3 )这正是编码器中量化器带来的量化误差，因此具有量化的预测编码均属于有损压缩系统。预测器的精度越高，预测误差的动态范围越小，码率就越低。对于视频系统，根据预测器选用的参考像素的不同，预测方式可分为帧内预测和帧间预测。对于视频系统，根据预测器选用的参考像素的不同，预测方式可分为帧内预测和帧间预测。1 2北方j r 业人学硕+ 学位论文( 1 ) 帧内预测帧内预测是利用图像信号的空间相关性来压缩图像，根据已经传送的同一帧像素来预测当前像素，可分为前值预测、一维预测和二维预测这三种模式。前值预测是用同一扫描行中相邻的前一个亮度信号的样值来预测当前像素；一维预测用同一扫描行中前几个值来预测；二维预测则是用同一扫描行和上几扫描行的样值来预测。由于图像信号内容千变万化，一般采用自适应预测编码方法，使预测器和量化器的参数与图像的特性相匹配，从而更为有效的压缩数据。( 2 ) 帧间预测视频图像在相邻帧间存在很强的时间相关性，可以通过帧间预测达到压缩图像序列的时间冗余。对于静止图像，可以用前一帧相同空间位置的像素样本值来预测估计当前帧的像素，但是对于运动图像而言，只有知道运动方向和运动量，预测的准确性才能大大提高，所以帧间预测主要是对运动图像的压缩处理。在图像的运动处理中主要有两个过程：运动估计( m o t i o ne s t i m a t i o n ，m e ) 和运动补偿( m o t i o nc o m p e l l s a t i o n ，m c ) 。图像运动处理的原理如图3 2 所示。通过匹配搜索算法，找出当前帧z ( 工，y ) 参考帧z 一。( 石，y ) 之间的运动矢量( m o t i o n娥o r ，m v ) ，用运动矢量将前一帧中的匹配块位移，得到当前帧的估计值厂川( x ，y ) ，此估计值和当前帧的差值巳( z ，y ) 经过量化编码后和运动矢量m v 一起被传送。图3 。2像运动处理原理运动估计的方法很多，如块匹配法、像素递归法、相位相关法和参数估值等。由于块匹配法硬件复杂度小，广泛应用于数字视频压缩标准中。在块匹配法中，把图像分成若干子块，设子块图像由n n 个像素组成的像块，并假设一个像块内所有像素作一致的平移运动，如图3 3 所示。当前帧中的每一个像块m b 在上下左右四个方向搜索前一帧内相同内容的像块，最后求得与其最佳的匹配块m b ，m b 和m b 之间的距离即为运动矢量d ( x y ) 。考虑到运算量，1 3北方：】：业人学硕十学位论文搜索范围通常限制在左右2 m 和上下2 m 内，即( n + 2 m ) ( n + 2 m ) 个像素范围，并称之为搜索窗口。前一帧匹配块：搜索区图3 3运动估计的块匹配搜索当前帧被编码的像块在块匹配中，需要注意的几个重要参数有：估值块大小、搜索窗口大小、最佳匹配准则和快速搜索法等。估值块大小的选择应该综合考虑图像细节构成和计算量等因素，在视频压缩编码标准中，运动估值块的大小通常为1 6 1 6 或8 8 像素，并称之为宏块。搜索窗口的选择应综合考虑帧间运动位移的大小和计算量大小等，搜索范围越大，计算次数越多，对芯片的运算速度要求越高。常用的最佳匹配准则为m a d 最小准则，即两宏块问数据绝对差的均值最小，其定义为1脚( “) 2 赤善荟l 六( 训) 一：，一l ( 川d i( 3 4 )由于最小准则没有乘法运算，所以运算量