（微电子学与固体电子学专业论文）jpeg2000算法的vlsi实现及系统集成.pdf

摘要 随麓多媒体技术和互联网的快速发展，信息爨越来越大，给有限的存储空间和传 输带宽带来了豳难，鞠而需隳对数据进行有效的处理和压缩。j p e g 2 0 0 0 熙i s o 璇新 撼窭鲮强像绽筠算法，具毒较好戆压缝效率，_ 羚显戆实现矮爨和努瓣率豹累进嵇输， 非常适合网络传输，因而具有广阔的应用前景。 论文在详细研究j p e g 2 0 0 0 的核心编码部分( p a r t 。1 ) 的慕础上。提出了一种低缓 露、全集成懿j p 基g 2 0 0 0 编黟弱器翡v 己s l 絮掐。麓走，采瘸m a t l a b 语言对j p e g 2 0 0 0 的算法进行了软件实现，并对硬件设计进彳亍了v e r i l o g 嶷现。在离散小波变换的v l s t 实现中，采用了行列基的= 维离散小波变换v l s i 架构，并提出了一种正反向小波变 换筠霹笈焉戆一维离散小液变换豹v l s i 粲稳；在谴乎瑟编磷静硬髂实瑶中，采籍了 稚特殊的中间缓存架构，数据和通道跳过的加速方法大大减少了缓存读取和处理时 间；在簿术编解码器的硬件实现中，提出了一种重整化和读筒i 、q 表并行操作的流 求线絮祷；在抒，解镶模块静硬 串实现中，采髑了量纯作为鹞率擦潮策灞，实现了 e b c o tt i e r 2 编码的硬件集成。最后，整个j p e g 2 0 0 0c o d e c 硬l 牛系统在x i l i n x 公司 的v i r t e x e1 0 0 0 ef p g a 上验证通过，并作为数码相机专用芯片的一部分分别在t s m c o + 2 5 u m 和s m i co 。1 8 u r nc m o s 数字工琶迸彳亍流片，溺试功能正确，能满怒数码褶辊 等消费类电子产品的要求。 论文另一个研究灌点是数码相机系统架构的设计。论文分析了s o c 设计的定义、 檠稳和滚程，讨论了其中三个核心都伟：徽处毽器、撑孩设计和片上总线。并撬漱了 一萋申基予a m b a 总线的数鹦相援系统的s o c 絮槐。 论文最后给出了工作的总结和对未来工作的展望。 关键词：j p e g 2 0 0 0 ，凑数小波变按，e b c o t ，舞术缡鼹，数码援捉，s o c ，a m b a ， m 核 复旦大学博士论文- - j p e g 2 0 0 0 算往的v l s i 窭现及系统集成 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c h n o l o g ya n di n t e r n e t ，t h ei n f o r m a t i o n b e c o m e sm o r ea n dm o r e ，a n dt h el i m i t e ds t o r a g ea n db a n d w i d t hi sb e c o m i n gt h eb o t t l e n e c k ， s oi ti sn e c e s s a r yf o rt h ee f f e c t i v ep r o c e s s i n ga n dc o m p r e s s i o no fi n f o r m a t i o n j p e g 2 0 0 0 i st h en e w e s ti m a g ec o m p r e s s i o ns t a n d a r dp r o p o s e db yi s o ，w h i c hh a st h ea d v a n t a g eo f t h e g o o dc o m p r e s s i o ne f f i c i e n c ya n dt h es c a l a b i l i t yo fi m a g eq u a l i t ya n dr e s o l u t i o n 。j p e g 2 0 0 0 i sv e r ys u i t a b l ef o rt h et r a n s m i s s i o no f n e t w o r k ，s oi tw i l lh a v eab r i g h tf u t u r e b a s e do nt h ed e t a i l e dr e s e a r c ha b o u tt h ec o r ec o d i n ga l g o r i t h m so fj p e g 2 0 0 0 ，a l o w - m e m o r ya n df u l l i n t e g r a t e dv l s ia r c h i t e c t u r eo fj p e g 2 0 0 0c o d e ci sp r o p o s e di nt h i s t h e s i s f i r s t l y , as o f t w a r ei m p l e m e n t a t i o no fj p e g 2 0 0 0b ym a t l a bi su t i l i z e df o rt h e s i m u l a t i o no fh a r d w a r ei m p l e m e n t a t i o n t h ep r o p o s e da r c h i t e c t u r eh a sb e e ni m p l e m e n t e d i nv e f i l o g a sf o rt h ev l s ii m p l e m e n t a t i o no fd i s c r e t ew a v e l e tt r a n s f o r m ( d w t ) ，t h e r o w c o l u m nb a s e dm e t h o di sa d o p t e df o rt h e2 - dd w ta n dar e - u s e a b l ea r c h i t e c t u r ef o r t h ef o r w a r da n di n v e r s ed w ti s p r o p o s e d i n t h i st h e s i s a sf o rt h eh a r d w a r e i m p l e m e n t a t i o no fb 建p l a n ec o d i n g 。ap a r t i c u l a ra r c h i t e c t u r eo fm i d d l eb u f f e r , t h em e t h o d s a m p l es k i p p i n g a n d p a s ss k i p p i n g a r ea d o p t e dt or e d u c et h eo p e r a t i o nt i m e so ft h e m e m o r yr e a d i n g ，w r i t i n ga n do p e r a t i o n a sf o rt h ev l s ii m p l e m e n t a t i o no fb i n a r y a r i t h m e t i cc o d e r , ap i p e l i n e da r c h i t e c t u r eb a s e do nt h ep a r a l l e l i n go p e r a t i o nb e t w e e n r e n o r m a l i z a t i o na n di - t a b l ea n dq - t a b l e sr e a d i n ga n dw r i t i n gi sa d o p t e d a sf o rt h ev l s i i m p l e m e n t a t i o no fp a c k e t i z a t i o na n dd e - p a c k e t i z a t i o n ，q u a n t i z a t i o ni sa d o p t e da s ar a t e c o n t r o lm e t h o dt oi n t e g r a t et h et i e r - 2e n g i n eo fe b c o t a tl a s t ，t h eh a r d w a r es y s t e mo f j p e g 2 0 0 0i sv e r i f i e db yf p g av i r t e x e1 0 0 0 eo fx i l i n xc o r p 。a n dt h ep r o p o s e d a r c h i t e c t u r ea sap a r to fd i g i t a ls t i l lc a m e r ah a sb e e nm a n u f a c t u r e di nt h es t a n d a r dd i g i t a l c m o s0 2 5u l t it e c h n o l o g yo f t s m ca n dt h e0 + 1 8 u mt e c h n o l o g yo f s m i c 。t h ef u n c t i o no f e n c o d i n ga n dd e c o d i n ga r ep r o v e nr i g h t a n dt h ep e r f o r m a n c eo ft h ec h i pc a nm e e tt h e r e q u i r e m e n t ss u c ha sd i g i t a lc a m e r a t h ea r c h i t e c t u r ed e s i g no fd i g i t a lc a m e r as y s t e mi sa n o t h e rf o c u so ft h i st h e s i s ，t h e 美垦大学博士论文- - p e g 2 0 0 0 算法的v l s i 实现及幕缝集成 a b z t r a e t d e f i n i t i o n ，a r c h i t e c t u r ea n dd e s i g nf l o wo fs o ca r ea n a l y z e di nd e t a i l ，a n dt h r e ek e y c o m p o n e n t s ：m i c r o p r o c e s s o r , i pc o r e ，a n do n c h i p b u sa r ed e b a t e d a tl a s tas o c a r c h i t e c t u r ef o rd i g i t a lc a m e r ab a s e do nt h ea m b a b u si sp r o p o s e di nt h e s i s k e y w o r d s ：j p e g 2 0 0 0 d i s c r e t ew a v e l e tt r a n s f o r m ，e b c o t , a r i t h m e t i cc o d i n g , d i g i t a l c a m e r a , s o c ，臻c o r e 鬟量丈学祷圭论文一j p e g 2 0 0 0 算法鹣v l s i 窭现爰荣绕集或 指导小组成员 唐璞山教授 黄均鼐教授 洪志良教授 y7 6 9 2 7 8 第一章绪论 第一章绪论 随着多媒体技术和i n t e r n e t 网络的发展，信息的总量急剧扩大。p c 机硬盘容 量更从以前只有几百mb y t e s 到现在的几百g b y t e s 就是这种发展的直观反映。 由于存储空间和通信带宽的限制，数据往往需要进行压缩，这就促使数据压缩技 术在近几十年获得巨大进步。这些年来，随着消费类电子产品的不断开发，图像 和视频信号已经扩展到消费类电子类产品中，如数字照相机、数字摄像机、可拍 照手机、h d t v 等等，这也直接促进了图像压缩技术的发展，因而这些图像编码 技术的研究及其v l s i 实现直接关系到图像消费类电子产品的成功关键，也是非 常活跃的研究领域。 1 1 论文的工作背景和意义 图像压缩编码理论起源于2 0 世纪4 0 年代香农( s h a n n o n ) 的信息理论【5 ”， 指出了图像编码的一个平均码率的下限即信源的熵。后来人们发现人的视觉感知 特点和统计意义上的信息分布并不一致，在进行编码研究时要注重对人的感知特 性的利用即所谓的感知熵理论1 ，使得压缩效率得到极大提高。从1 9 4 8 年o l i v e r 提出p c m 编码理论开始，人们已经研究并提出了多种压缩方法如预测编码、变 换编码、矢量编码、熵编码和子带编码等，开始从理论到硬件实现都进行了深入 研究。到7 0 年代末图像编码发展成熟，i s o ( i n t e r n a t i o n a ls t a n d a r do r g a n i z a t i o n ) 就开始着手制定图像编码的国际标准，先后有静态图像的压缩标准如j p e g 、j b i g 等，动态图像压缩标准如m p e g - i 、m p e g 2 等，并取得了成功。这些标准都反 映了当时图像压缩编码技术的最高成就。 j p e g2 0 0 0 t 2 1 是i s o i e c 于2 0 0 0 年1 2 月正式提出的一种新的静态图像压缩 标准，反映了当前图像压缩编码技术的最高成就。首先它采用的基本架构和它的 前身j p e g 一样，可以分为变换、量化和熵编码，但是它采用了全新的变换核一 离散小波变换( d w t ) ，这就从本质上决定了j p e g 2 0 0 0 的压缩性能要比j p e g 要好。在当前图像压缩编码器水平下，对静止图像，d w t 编码能够获得比d c t 编码高约l d b 的峰值信噪比【孔。再者j p e g 2 0 0 0 采用了嵌入式块编码优化截取算 法【4 1 ( e b c o t ：e m b e d d e db l o c k c o d e ro f o p t i m i z e dt r u n c a t i o n ) ，该编码方案可以 获得较好的压缩效率并且可以实现分辨率和信噪比的渐进传输。j p e g 2 0 0 0 的基 复旦大学博士论文- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 第一章缝埝 本结枣如图l ，l 所录。总蛇来说，掇对于j p e g 撂准寒 菸具有叛下几个健点( 1 ) 优异的低比特率压缩性能，j p e g 2 0 0 0 较之以往的静态图像臌缩标准在低比特率 下能莹税更好的图像压缩璇薰，邋合两络传输；( 2 ) 闷时支特有损和无损压缩， 豳像数据 j 亟王霎霾趣固蓉9 鬻。 重构图像孵码 一 绽礁 图1 1j p e g 2 0 0 0 的基本绐构框豳 这是戳经鹣静态嚣像蘧缓栋准瑟不是套瀚，这耱特往逑舍医疗图像瘫角：( 3 ) 支 持信噪比和分辨率的累进传输，这个特性是指随蕾接受到的码流长度增加，图像 仍然是宪整的图像，但质量( 像素精度) 和空间分辨率逐渐提高，遗合互联网传 辕：( 4 ) 支持蔫户惑装趣送躐编秘( r 0 1 ：r e g i o no f i n t e r e s t ) 及筠浚的陡橇访闻 和处理；( 5 ) 对误码的鲁棒性，大大增加了抗误码于扰能力，适合秃线信邋上的 传输；( 6 ) 同时支持连续色调和= 使图像的压缩；( 7 ) 舆有开放的码流文件格式。 这些优点决定了j p e g 2 0 0 0 在大多数鹜像领域搿戳褥鞫应蔫，懿数筠裙枫、互袋 网、彩穗传真、数字摄像、医疗翻像、移动通傣等。 表1 1j p e g 2 0 0 0 标准的组织结构表 p a r t2 扩展部分，在核心系统基础上，提供了一些可选技术 p a r t3 在第l 部分耱础上定义的运动j p e g 2 0 0 0 自从j p e g 2 0 0 0p a r t i 推出来看，陆续又推出了直到p a r t1 0 ，其中第7 部分 鬟量大学博士论文- - j p e g 2 0 0 0 算法静v l s i 赛现及系统集成 第一章绪谚 已被取淡，嶷俸馈况烟表l 。l 敷示。 鑫旋j p e g 2 0 0 0 稼准攘密鼓束+ 毒莘多软传公溺撵瘩了窀稍豹强像魑理较释， 基毒熬圈像鲣理软释煲l l 臻出了宅稍静萋予j p e g 2 0 0 0 的插 牛。这些鄹键避瀚 i p e g 2 0 0 0 标准在褒、监上豹滚逶。舅羚 p e g 2 0 0 0 檬准的疆搏设诗瞧正在氆器餐 迪瓣磅发橇稳孛翔紧嚣发，磐戮志霄清牮大学徽电予系、笈量大学徽电子系帮念 湾大学翡d s p 信号处理安验室等，国绛刘裔美谶静驻翻桑郡髑立大学等，企、馥 毒翔a d i 公翅f 6 1 辩a m p h i o n 7 1 公司都宣枣握爨了鬻躅豹j p e g 2 0 0 0 解决方案，餐 繇没饔遴入大筑旗豹鬻焉输羧。壹戮强蕊为建狰磊g 2 0 0 0 豹矮佟实现还不楚十分 戒熬，磺究j p e g 2 0 0 0 靛离赣麓的v l s i 絮擒激凝在溜像潸费黉魂子产晶中豹系 绞集成是当蓊的一令磷究煞点。 笔誊掰焱萃彼菱嚣大学密1 9 9 8 年簸开戆数褥穗飘专繇芯片戆设计磷究，褥 设计过一款蒸于j p e g 压缩标准静c c d 采样的数码辐祝系统，程图像噩缭系统 芯片设诗土积累了一定黪经验。零论文工佟歪楚在忿基磁之上，著得到7 蓬塞 8 6 3 计翊“j p e g 2 0 0 0i p 孩设霜4 技术”和上海索摹率蚕s d c 顼秘“j p e g 2 0 0 0 数筠 稻撬专搿芯靖_ 开笈”等多颈重赢顼褥支褥，没有途登项诗豹支持，本论文不可能 l 溪秘宠裁。 1 2 论文的主要工作及创新 本文的主要王作怒j p e g 2 0 0 0i p 核的设计及基- pj p e g 2 0 0 0 的数码樱桃蓉统 戆集残。蓠兔瘸m a t l a b 潺言实璐了一令基予j p e g 2 0 0 0p a r t 1 匏绩瓣鼹嚣瓣软 牛版本，熙v e r i t o g h d l 谗塞进短了行必级设计，劳用x i l i n x 公霭救v i r t e x e1 0 0 0 芯片进行了验证，最鼷作为数娼相机专用集成芯歧躲一部分毙露予2 0 0 3 年8 月 秘2 0 0 4 簪9 蔗在奁湾熬t s m c 公镯搴霎上海懿s m i c 公司进簿了濂片。 本文豹主要剁瑟帮工终霹墩摄摄梵以下凡点： ( t ) 提燃了一秽低缓存、低复杂憋的j p e g 2 0 0 0 绩麟码全集成黪系统架构e ( 2 ) 撵爨7 一穆歪交换帮反交换磺 睾笺愿黢一缭离散士波交按静v l s l 蘩筏， 在鼗基懿上掏建了并挺爨了一耱缓存的二维离散夺波交换絮梭 ( 3 ) 挺爨了静低缓存、牲戆裹、= 捧熄t i e r - 2 缀码祭或褒一越静e b c o t 絮梭； ( 4 ) 游珏e g 2 0 0 0 霖为i p 核与数避耀疑戆其它模块维或数鹦相凝专鞠芯冀。 5 ) 挺爨一稽基予a m b a 慧线静数弱褶瓿专鬟系绫豹s o c 絮构。 复且太学博士论室- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 3 燕一章鸶论 1 3 论义的内容安排 论文筵8 耄，第一章雩l 言，祭2 章为综述落分，第3 、4 帮5 章分鞠分绥 j p e g 2 0 0 0 的系统和备个模块的v l s i 设计，第6 南讲述了关于s o c 方面的内容， 第7 章为j p e g 2 0 0 0 系统的f p g a 骏证和v l s i 实现，第8 章为结论和展黧。论 文赘弹缁安捧翔下： 第2 章为本论文的理论基础。主要对图像压缩编码的主要技术进行了简骚的 理论概括，并对当前国际上比较通用的静态和动态图像压缩标准进行了概撼，最 舞对数褊相辊系统遗稃了简单豹穰逑。 第3 章提出j p e g 2 0 0 0 的v l s i 的系统架构。在分析j p e g 2 0 0 0 的基本算法 原理基础上，选择m a t l a b 语言进行了算法实现。根据数码糨机系统等消费类 宅予产赫的要求送行了j p e g 2 0 0 0 系统定义，辨提出了一耪低缓存、全集菇豹 j p e g 2 0 0 0 c o d e c 的v l s i 架构。详细说明了该架构的工作流稷，分析了其中的码 率控制黧注、总体控制模块和量化模块的设计，弗进行了该累统的性能分柝。 第4 章详缀奔绥了离散，j 、波交换酶v l s i 絮搦。首先奔缁了小渡交换瀚萋本 理论和快速算法，并说明了j p e g 2 0 0 0 中采用的( 9 ，7 ) 和( 5 ，3 ) 小波。擞分析 国际上国有的一维离散小波变换的絮构基础上。提出了一种疆反向复用的一维离 散小滚交换架稳；在维离散小波变换骢架构蒸獭上，又掇爨了带交织缓稃的二 维离散小波变换架构。 第5 章详细介缁丁e b c o t 冀法的v l s i 架构。简要介缁了基于小波交换的 鹜豫编褥技术君，对e b c o t 算法逡芎亍了努辑说锈。在奔绍翼蔼国际土对予位平 面编码簿法的加速方法后，提出一种基于独特中间缓存架构的位平面编码器的 v l s i 絮梅。之后，又提出了一种熬予流水线操作的重整化和谈写i 、q 表弗行的 算术编麓码器絮构。激君提出了一耱基于量纯豹璐率控翎魏孝鳃包模块鹣v l s i 架构。 第6 章提出了一糖基于a m b a 总线的数码摆枧系统的s o c 架构。曾毙介绍 了s o c 豹定义、鳞构和设计濂程，著详细说明了其中豹三个核心模块：徽处理 器、碑核和片上总线。提出了一种在本论文中采用的坤核的设计流程和增核可 复用设计盼规则。最鼹详细说明了一糖能支持4 个a h b 主设备、8 个a h b 从设 备和8 个a p b 飙设餐的a m b a 慧线，并提出了蒺于该总线的数码相梳专用系统 复旦大学博士论文- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 4 第一章绪论 的s o c 架构。 繁7 章谗鲴奔绥了疆e g 2 0 0 0 专羯疆瑾嚣鹣f p g a 验邋酾芯冀溅试。黄宠提 出三种旗于数码相机系统架构的f p g a 验证方案。并给出了f p g a 验诚缩果。 之后，讨论了在t s m c 0 2 5 u r n 羊s m i c o 1 s u m 数字工艺的v l s i 实现，分析了两 次瀛嚣戆综合繁雏鞠蔽瑟蠢局，势绘窭了芯慧豹溅试缝栗。 第8 章对整个论文进行了总缩，并根据芯片测试结果的不足和j p e c 挖0 0 0 硬 件实现的发展趋势，提出了进一步工作的展望。 复量犬举博士论文- - j p e g 2 0 0 0 算法的v l s i 蜜现及系统鬟成 第二章图像压缩理论和数码相机系统概述 第二章图像压缩理论和数码相机系统概述 图像处理技术是一门博大精深的学科，同时又是非常年轻的学科。图像处理 技术主要包含以下几部分8 ：图像数字化、图像增强与恢复、图像编码、图像分 割与特征提取、图像分析及图像隐藏等。本章对图像压缩理论进行了研究，简单 介绍了图像编码的各种技术和目前静动态图像压缩标准，并对数码相机系统进行 了简单的概述。 2 1 图像压缩基础 2 1 1 图像的数字表示和压缩质量的评价 一般的讲图像 9 1 是自然光源或人工光源发出的光谱能量经客观物体或景物 的吸收、反射或透射后进入人眼刺激视网膜而引起的主观印象。是光源、景物和 人眼视觉系统的特性的统一。自然图像经过空间均匀采样后，对每个颜色分量进 行数字化，就成为一个数字图像，因此数字图像可以认为是二维空间域函数或矩 阵。在本文中讨论的图像都是数字化图像，可以用扫描仪、数码相机、传真机来 获取。 数字图像有好多种如二值图像、灰度图像和彩色图像。根据三基色原理，任 何一种颜色都可以用r 、g 、b 三基色来表示，鉴于彩色图像的应用广泛性。在 本文中主要以彩色图像为介绍对象，且图像源为r g b 图像。 图像的压缩可以分为有损压缩和无损压缩。然而对于图像压缩来说，一定的 信息损失通常是可以接受的。这是由于人类视觉系统可以容忍一定的信息损失而 不妨碍对场景内容的感知：无损压缩往往不能达到存储的高压缩要求。对于失真 的压缩算法应该给予评判，常用的评价准则有两种：客观准则和主观准则。客观 准则常用峰值信噪比( p s n r ) 来表示，其对于8 位像素值的公式如式( 2 1 ) 所 示。 尸脚限= 1 0 l g 箍 ( 2 一1 ) 式( 2 1 ) 中，m s e 为均方差。而主观评价则是选择一组评价者进行主观评价。 而图像压缩性能的评价则可以用压缩比和压缩比特率来表示，假定图像为n l n 2 ， 每个像素为b 位，目标码率为c ，则压缩比如式( 2 2 ) ，比特率如式( 2 3 ) 。 复旦大学博士论文- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 第二章嬲像压缭理沧和数鹕相机系统概述 醐比一半 比特率( b p p ) 2 景 ( 2 - 2 ) 2 3 ) 2 1 2 信恿冗余和信息编码瑾论 通常图像中禽有大量的信息冗余，生要有三炎】：i ) 大熬的空间冗余也称 统计冗余，由于稳邻像素之间存在哭联而产生，i i ) 大量的频谱冗余，由予彩色 元素间存在棚互关联而产生的，i i i ) 大嫩的心理视觉冗余，由人类视觉系统特点 两引起的。空闯残余研以采用变换编码米消除如进行d c t 变换转换到频域进行 处理，频谱残余则可以采用色空间变换如将r g b 转换为y c b c r ，而人类视觉系 统的特点则萌丁以成用程多个压缩环节上。 正悬由予图像中禽商大量的冗余，绘图像编码很大的研究奎阀。图像压缩的 基本理论起源于2 0 世纪4 0 零代束潜农她信息理论。从概率统计攀的角度来看， 信息量可以邈义为信息源发出的所肖信息中该傣息出现概率的负对数，平均信息 量( 熵) i o l 诳以羯式( 2 4 ) 袋示： n ( x ) - - - y p kl 0 9 2 版 ( 2 - 4 ) - 1 香农的编码定理警要尝谣我们，奁不产生任何失真的前提下，通过合璎的编 鹨，对予镶源蒋号分粼不等长麴羁警，警均码长可以任意接邋于傣源的熵。在遮 个理论撼槊下，产生了很多穆不同的受失真信源编码方法( 熵镳码) ，将农下 小肇中分缓。但是无失真编鹦粒压缩霉是缀有限的，慰予较复杂的自然图像，聪 壤率一般不超过2 。对予图橡酌压缨壤鹨攫往嚣爨考感人的禳觉感戋姆性，将熊 与统计攀上鹊熵绽码结会考虑就形成了所谓的感知燧理论，现代的图像压缩都是 基予藩熟壤理论的。 2 1 3 熵编礴按术 应用于数据压缩的编码技术有很多，就方法上来说主要有两类：统计和字鼹。 基于统计的方法就是上一小结中讲的旗子褥农定理的可变长的熵编码，主簧宵香 农费诺编码、行程编码( r l c ) 、霍夫曼编码、g o l o m b 编码、算术编码镎。基 于字典的方法通常是定长编码有l z w 编码等。对于不同的数据源也相应肖不同 复盟丈学博士论文- - j p e g 2 0 0 0 算洼的v l s i 蜜现及系统熊成 第二章酉像聪缩理论和数玛桶帆系统概述 的压缩编码方法。在这一小节，将童要介绍有关图像压缩编硝方面使用鞍多的熵 壤羁技零。 1 、行程编码 在一些待编码的倍源序列中，有些符号经常连续出现，例如在二进制传真图 像中簸会蹬褒连续豹0 或连续豹1 ；在经遥交捩绽璃鞠耋纯嚣豹整豫系数，毽经 常会出现连续的0 。襁这些情况下就可以使用行程编码。其中在图像有失真的压 缩编码中，最为常用的行程编码方式为零行程，在这种情况下，可以用( l ， ￥) 藕聚表示，蠡疆数乙表示连续0 的令鼗，v 袭示0 事嚣繁鞭豹# 零毽。在实 际应用中行程编码的l 和v 可以分别用霍夫曼编码和算术编粥进一步压缩。 2 、霍夫曼编码 鬈夹受编弱【驾戆一耪形藏裁缀变长编礴静方法，宅穰攥僖滚孛每个符号静 出现概率进行码字分配，出现概率最小的分配最长码字。先将信源中各符号按出 现概率的大小排成一列出现概率最大的符号放在最顶部；出现概率最小的符号 教在簸巍郝。将最疯瀛麓强个壤搴澎戒一个镛，斌予0 翻1 麓，这样持续循环虱 最顶端，形成霍夫曼树，这样每个符号都是一个树的端节点，可以得到一个符号 前缀条 牛的码字，这就是霍夫曼编确的方法。 3 、算术缡玛 霍必曼编码【1 2 】只有在当信源中备符号出现的概率是1 ，2 的各次幂时可以达 到信源的熵，但是这种情况是非常罕见的；另终霰夫曼编码对于二元信滚楚无效 静。然褥算本编码剿w 激缀爵静瓣决这些润蔻，它霹戳获缮鼹好静编码效率。 算术编码的思想鼹用区域划分来表示信源输出序列，信源输出的任何一种组 合，与浆数值范围内的一个区域一一对应，用舞本方法表承这个区域，如果这 种雾本表示藐翔一个二进卷l 鼗表承，这个二逡镣数就是信澈输出痔到的一耱编 码，且这种码是唯一可解码的。算术编码的过程与信源的概举模型是分离的，在 实际使用中要有概率分布表，例如谯j p e g 2 0 0 0 厩缩中采用了一种自适应鲍q 表 来实现，有关这方瑟豹详鲴内窖褥在螽续章节中介绍。 2 1 4 预测和变换编粥技术 羲浏帮交换编筠豹疆懿在予醛鬣蓬豫豹空阌冗余，必耋纯羁薅缡璃撬侯易压 缩的数据源，是图像编码器中最常用的技术。通常预测和变换编码都会带来数据 复旦大学博士论文- - j p e g 2 0 0 0 撵法鲍v l s l 变瑗及系统集成8 第二章强像聪缩理论耜数码翱枫系统概述 的失真，因而又称为商损压缩技术。 1 、续溺缡码 在囱然图像中，相邻像素之间存在很强的相关性，因而可以由前面的像索值 预测当前的像素值，鞭由实际值减去预测值得到预测误差，而预测误差的一阶熵 要篦嚣煞数据熬一除麓簧糕，因露菇鸯雯努熬鬟辖效率。在鬏滋壤羁中最鬻臻静 是差分脉冲编码( d p c m ) ，其结构t 坦1 如图2 1 所示。主要包括预测器、擞化器 和熵编粥器。 出码流 图2 1 d p c m 的基本结构 2 、变换编码 交羧缡鹞裁是瓣强像鼗蠢逡行荣秘形式懿蠢交交换，著辩变换焘熬筵攀数据 进行编码，到目前为此，几乎所有的图像和视频联缩标准都怒以变换编码为主要 工具。变换编码采用的变换种类很多，有付立时变换、哈达玛变换、离散余弦变 换( d c t ) ，k - l 交捩窝离鼗小波交换( d w t ) 等。k - l ( k a r h u n e n - l o e v e ) 变 换是一种最优变换，产生的变换系数是完全统计独立的，但鼹由于它依赖于县体 的图像且没有通用的快速算法，因丽k - l 变换在实际应用中是不现实鲍。在 嚣藏嚣缳和视频垂缭褥准串采薅l 鞍多豹是d c t 、d w t 窝哈这玛交换等。 d c t t 旺1 在高相关性的随机矢鬣情况下，是k l 变换的一个很好逼近，且存 在多种离效的快速算法如从f f t 鼯出的d c t 快速算法和专用快速算法如l o e f f i e 算法譬。函两d c t 农第一 弋鹜豫耱撬频压缩稀穗中应焉广泛。 小波技术能够克服付立叶变抉的许多弱点如；时间和频率的局域性、努分辨 率分析和数学显微镜功能，因而焱第二代视频和图像压缩标准中有广泛威照，详 细内容游会在螽续章节中介绍。 2 1 5 爨化技术和码帮控制理论 l 、量偬 数字图像压缩中的量化和模拟信号变为数字信号的量化概念稍有不同，这是 复星大学游士论文- - j p e 0 2 0 0 0 算法的v l s i 蜜瑗及系统集成 9 第二章图像压缩理论和数码相机系统概述 由于数字图像在幅度上已经是离散的了，因此数字图像压缩中的量化是将“更高 精度”的离散值量化为“更低精度”的离散值。图像压缩中常用的量化技术有两 种：标量量化和矢量量化。 标量量化是对具体一个采样点进行量化，是将采样点的值映射到一个量化区 域并用该区域代表点的值来代替实际值。标量量化又可分为非均匀量化、均匀量 化和带死区的均匀量化。标量量化可以用式( 2 5 ) t 2 1 来表示： i i x q = s i g n ( x ) 掣 ( 2 5 ) 在式( 2 5 ) 中，为量化步长。 矢量量化是用有限个矢量( 王l ，王2 ，_ ： 。) 中的一个来逼近任一个连 续矢量，有限矢量的集合为码本，码本中的一个矢量为码字。一般的讲，矢量 量化可以获得比标量量化更好的性能。通过线性变换，可以改善标量量化的性能， 从而减少与矢量量化的差距。矢量量化一般用于固定码率编码情况，且需要训练 码本，一旦训练结束，码本就固定了，改变码率就比较困难，算法也较标量量化 复杂的多。因此在实际的图像和视频压缩标准中，矢量量化应用较少。 2 、码率控制理论 对于有损压缩，压缩比和编码 质量是一对主要矛盾。在制定编码 方案时总是希望在相同的编码质量 下有更高的压缩比。对于失真编 码，率失真函数给出了限定失真不 超过d 的情况下可以达到的最低码 率r ( d ) 。对于无记忆高斯分布的信 源的率失真函数如图2 2 所示。 由图2 2 可以看出率失真函数是一 个递减函数。 图2 2 无记忆高斯信源的率失真函数 在图像压缩中采用的码率控制方法主要是通过量化来实现的，可以通过各种 不同策略的量化手段来实现如j p e g 。还有多种特别的码率控制策略如j p e g 2 0 0 0 中的e b c o t 2 1 算法就采用了一种比较特殊的控制算法。 复旦大学博士论文- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 第二章强侮耩缭理论和数鹃撼机系统概述 2 2 静动态图像压缩标准介绍 随藉多媒体技术的广泛应用，图像编码技术获得长足进燧，因而i t u f l s o 等 国际组织制定了许彩图像和视频压缩标准。静态图像压缩标准如j p e g 、 j p e g 2 0 0 0 ，魂态墨像瑟缩标准如m p e g - 1 、m p e g 。2 、m p e g 4 、h 。2 6 1 、h 。2 6 3 、 h 2 6 4 等。下谣分别谶行介绍。 2 2 1 静态图像压缩标准 图像流 编码一解码 图2 3 静态网像压缩系统的结构框图 黪态图像压缩系绕霹鞋分戈交换、量证、演绫玛等三部分，妇鹜2 3 获忝。 目前比较通用的有j p e g ，j b i g 标准。j b i g 怒二进制图像聪缩标准，这摄不作 介绍。j p e g 是适合彩色和单色静态图像的压缩标准，采用8 8 大小的d c t 变 图2 4j p e gb a s e l i n e 模式编码器框图 换，鬟纯灸均鸯耋识。d c 系数经过d p c m 嚣a c 系数经遐z i g - z a g 羟爨藏送入 霍夫曼编码器进行编码，最后组成j p e g 格式的码流。其结构如图2 4 所乐。 2 0 0 0 年3 月推出的j p e g 2 0 0 0 静态图像压缩标准( f c d l 5 4 4 4 1 ) 是一种全 薮莪蕊，采瘸枣渡交换、算本编弼及嵌入式分羰缀缓，院j p e g 要复杂鹣多，它 在同个码流中实现了无损和有损压缩、分辨率和信噪比的累进性及随机访问等 特性，在后面章节中有详细描述。 2 2 ，2 动态( 视频) 图像匿缩标准 复旦大学辩士论文- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 第二章蓬像嚣缭理论和数鹤耗梳系统概述 视频臌缩有两种，一种为常见的视频压缩标准如m p e g 系列采用了帧间聪缩 载方式，勇一秘没蠢袋月犊阗压缝翔m o t i o n - j p e g 2 0 0 0 、m o d o n j p e g ，这囊灵 介绍第一种。视频压缩标准主要有两类，以m p e g 1 、m p e g - 2 为代表的中商码 率多媒体数据编码标准，以h 2 6 1 、h 2 6 3 等为代表的低码率、甚低码率运动图 缳压缩拣壤；爱远i s o 霜耐又潮定了m p e g - 4 、珏。2 6 4 嚣个凝翡蠢准，鞭。2 6 4 又是m p e g 4 的第l o 部分。由于视频图像存在很高的时间和空间冗余，运动补 偿技术可以消除时域熊余，丽变换编码可以消除空间冗余，因而运动补偿技术结 合交换缀褥是褪频垂缭麴主要方法，热霆2 , 5 掰示主要毽挺燕交换、量德、麓镳 视频 褥流 图2 5 视频厩缩系统的主骚结构框图 码秘一令运动蛰偿嚣鼹。下瑟默h + 2 6 4 受铡分绥最瑟的援频愿续系统戆熏要结 构。h 2 6 4 采用的编粥结构如图2 6 所示，和阉2 , 5 所示的般性结构很相似， 视 滚 图2 6h 2 6 4 基线模式的缩构框图 主要区别在于增加了环内滤波器用来消除块效成，且对于i 帧，在进行变换编码 前灞麓了梭内鼷灞编褥。 壬。2 6 4 t 辩l t t s l 支持胃变袋大小、1 4 像索精度、多赖预溺 复旦大学鞲士论文- - j f e g 2 0 0 0 算法的v l s i 蜜现及系统集成 2 第二二避嘲像压缩理论和数码相机累绕檄述 麴块疆醚运葫李 偿援零，絮焉4 x 4 整数d c t 交换。h 2 6 4i e 蔫采蠲了多项改避 獾施疑蔼遮到编鹞效率的大大掇高( 褶精予汪有的标准雨富) 。 2 3 数码相机系统概述 数褥翩梳蹩瑷健盈潘应蘑非常广泛静游势类电子产磊，并经掰了p c b 板、 d s p 和s o c 潞三个不同的系统构成。随着a s i c 技术的不断发展，s o c 的设计方 法遂澎戏熬，蓉予s o c 豹擎冀数褥耨爨专穗怒蓬芯冀越来越受弱欢逮。溪2 。7 酾 强2 7 典塑数蒸予单冀专躅芯冀弱数璃攘枫系绫 为典型的綦予荜片数黼耗机专用处理器的数妈相祝。从图2 。7 中可以羲蹴专用处 爨葱片为数繇籀辊麴孩。羹+ 其尉爨还毽瑟瑟豫绩感器( c c d 袋e m o s ) 、缓头马 达、微处理器( m c u ) 、t v 、液晶显示l c d 、存储卡( c f 卡或s d 卡) 、外存 ( s d r a m 或f l a s h ) 等外溺愁片或部佟，共同擒成了个完艇的数码相枫系 统。 从功能上来讲，数码相机系统具有取娥、拍照、网放和传输等四个慕本功能， 按鬻像娃瑗援本来辫鸯淤下a 个凌4 趣： 图像聚集：c c d 戏c m o s 图像传感器通过光电转换作用完成图像的采集。 强像爨承：l c d 熊实露曼承强像，实糕数鹦裰枫豹彀景璇筑，虱，毽胃躅来 显示照片。 强豫楚纛嚣蔗缭：阁德处理势为强像嚣楚瑾移强豫嚣楚囊疆臻分。黧豫蕊处 盥盥犬学博士论嶷- - j p e g 2 0 0 0 冀法豹v l s i 实现及系统集成 第二章 图像压缩理论和数码相机系统概述 理主要包括数码相机的自动算法部分如自动曝光、自动聚焦和自动白平衡。 图像后处理主要包括图像恢复、图像增强、图像去噪和色空间变换，具体来 讲有内插、色空间变换、边界增强、y 校正、色彩校正、降噪滤波等。数码 相机中的压缩目前流行的j p e g 压缩标准，j p e g 2 0 0 0 的数码相机目前还没有 正式产品。 图像传输：数码相机可以通过u s b 和e p p 口来和p c 机进行传输。 图像储存：数码相机拍摄的照片可以通过c f 卡或s d 卡进行存储。 图2 8 基于j p e g 压缩标准的数码相机专用芯片的系统架构 根据上述功能，数码相机专用芯片的系统架构可以如图2 8 0 8 1 所示( 该系统 复旦大学博士论文- - j p e g 2 0 0 0 算法的v l s i 实现及系统集成 1 4 第二章翱像压缩理论和数鹅相枫黎绕概述 架构也是复虽大学研制的基于j p e g 隳绩标拣积u s b l 。l 敬数码粗挺专爆芯片鲍 架构) 。从湖2 8 中可以肴出，该系统架构为单数据总线架构即d m a 总线，所有 模块都受m c u 的控制。扶功缝上看，主要包括两类模块酃接翻类模块如c c d 接隧、u s b 接口等和算法类模块如像素处理器和j p e g 等。总的来说，数码棚壤 专用芯片是一个将图像处理、聪缩、控制和器个系统控制接口都集成在单个芯片 上的典鍪的s o c 芯片，因而设计比较复杂羹需要一个其有迸取精神的闰队长期 不髅的努力才能宠成。 2 4 本章小结 本章罄先对静态黪像压缝标准孛经攀遗用戆编磁秘变换技术进行了理论壤 括，井简单介绍了静态和动态图像压缩标准，最后介绍了数码相机的基本原理和 系统絮构。从本章后的厢续章节都将在本章所介绍的理论基础上进行研究和展 开，特别怒设计郡是基予数码撩壤系统豹黪定要求露震开夔。 蔓量失学博士论文- - j p e g 2 0 0 0 算法豹v l s i 实稀及系统集j 藐 第三章i p e g 2 0 0 0i p 核的系统跛计 第三章j p e g 2 0 0 0i p 核的系统设计 本章主瓣讨论了j p e g 2 0 0 0i p 核的系统级设计。蓠先耀m a t l a b 谬吉设计 了一个基于j p e g 2 0 0 0 标准的压缩系统的软件用来系统级验证和模拟硬件算法仿 真，弗给出了一种全集成、低缓存、低复杂褴的系统结构，并详纲讨论了量纯的 硬l 牛实现，最后给嫩该架构的性戆分攒。 3 1j p e g 2 0 0 0 系统设计的软件仿真 3 1 1j p e g 2 0 0 0 的基本工作原理 j p e g 2 0 0 0 魑i s o i e c 新提出的一种压缩标准，其典泌工作原理图如图3 1 所示， 图3 。lj p e g 2 0 0 0 编码熬缓或撰圈 它包括预处理、小波变换、量化和e b c o t 。预处理包括电平移动、色空间变换和