（光学工程专业论文）基于fpga的图像压缩卡设计.pdf

摘要 摘要 目前的国内的c c d 高清摄相头能够输出一组视频信号和数字图像信号，虽然 视频信号能够直接在监视器显示，但是输出的数字图像信号占用存储空间太大， 不便于进行传输。本文设计了一种基于f p g a 的数字图像压缩卡。 在过去的十几年中，国际标准化组织制订了一系列的国际视频编码标准并广 泛应用到各种领域。h 2 6 4 a v c 是i t u 玎和i s o 联合推出的新标准，采用了近几 年视频编码方面的先进技术，以较高编码效率和网络友好性成为新一代国际视频 编码标准。 新发展的h 2 6 4 a v c 比原有的视频编码标准大幅度提高了编码效率，但其运 算复杂度也大大增加，本文简要分析了h 2 6 4 a v c 的复杂度及其优化的途径，给 出了主要模块的优化算法实验结果。 h 2 6 4 a v c 仍基于以前视频编码标准的运动补偿混合编码方案，主要不同有： 增强的运动预测能力，准确匹配的较小块变换，自适应环内滤波器，增强的熵编 码。测试结果表明这些新特征使h 2 6 4 a v c 编码器提高5 0 编码效率的同时，增 加了一个数量级的复杂度。实际中恰当地使用h 2 6 4 a v c 编码工具可以较低的实 现复杂度得到与复杂配置相当的编码效率。故实际编码系统开发需要在运算复杂 性和编码效率之间进行折衷、兼顾考虑。h 2 6 乱w c 引入的新编码特征既增加基 本模块的复杂度，也成倍增加算法的复杂度。针对它们的作用和实现方法的不同， 可采用不同的硬件实现方法。本文基于上述思路进行优化，具体的工作包括：针对 去块滤波的复杂性，本文提出一种适合硬件实现的算法，使其在节省了资源的同 时，很好的达到了标准所定义的性能。针对变换量化的复杂性，本文提出一种既 满足整体的硬件流水结构，又极大的降低了硬件资源的实现方法。针对码率控制 的实现，本文提出了一种有别于传统实现方式的算法，在保证实时性的同时，极 大的提高了编码器的性能。本文基于上述算法还进行b a s e l i n ep r o f i l e 编码器的研 究，给出了一种实时编码器结构，实现了对高清图像格式( 7 2 0 p ) 的实时编码， 并将其和当前业界先进水平进行了对比，表明本文所实现得结构能够达到当前业 界的先进水平。 关键词；h 2 6 4 a v c ，优化，实时编码，f p g a 实现 a b s t r a c t a b s t r a c t n o w d a y s ，t h ec c d c a n l e r ai no u rc o u n t r yc a ne x p o r tv i d e os i g n a la n dd i g i t a l i m a g es i g n a l t h ev i d e os i g n a lc a nd i s p l a yo n t h es c r e e nd k e c t l y ，b u tt h ed i g i t a lo n e c a n n o tb et r a n s p o r t e de a s e l yb e c a u s eo fc o s t i n gt o om u c hm e m o r y i nt h i sp a p e r , an o v e l v e d i oc o m p r e s s i o nc a r dw h i c hb a s e do nt h ef p g aw i l lb ed e s i g n e d i nt h ep a s ta b o u tt e ny e a r s ，as e r i e so fi n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d sa r e d e v e l o p e da n dw i d e l yu s e di nav a r i e t yo fd o m a i n s h 2 6 4 a v ci st h en e w e s ts t a n d a r d a p p r o v e db yt h e 删- ta n di s o i e co r g a n i z a t i o n s 。w h i c hr e p r e s e n t san u m b e ro f a d v a n c 懿i nv i d e oc o d i n gt e c h n o l o g ya n db e c o m e st h en e w e s ti n t e r n a t i o n a lv i d e o c o d i n gs t a n d a r db e c a u s eo fb e t hh i g l lc o d i n ge f f i c i e n c ya n dn e t w o r kf r i e n d l i n e s st h e d e s i g no fh 2 6 4 a v ci s b a s e do nc o n v e n t i o n a lb l o c k - b a s e dm o t i o n - c o m p e n s a t e d h y b r i dv i d e oc o d i n gc o n c e p t s ，b u tw i t hs o m ei m p o r t a n td i f f e r e n c e sr e l a t i v et op r i o r s t a n d a r d s ：e n h a n c e dm o t i o n - p r e d i c t i o n c a p a b i l i t y ；as m a l l b l o c k - s i z ee x a c t - m a t c h t r a n s f o r m ；a d a p t i v ei n - l o o pd e b l o c k i n gf i l t e r ；e n h a n c e de n t r o p yc o d i n gm e t h o d s t h e e x p e r i m e n tr e s u l t ss h o wt h a tt h ei m p r o v e de n d i n ge f f i c i e n c y ，u pt o5 0 ，c o m e sw i t ha c o m p l e x i t ym c r e a s eo f m o r et h a no n eo r d e ro fm a g n i t u d ea tt h ee n c o d e r i nf a c t , a p r o p e ru s eo ft h eh 2 6 4 a v ct o o l sl e a d st or o u g h l yt h es a m ep e r f o r m a n c e sa s t h e c o m p l e xc o n f i g u r a t i o n s ob e t hc o m p u t a t i o n a lc o m p l e x i t ya n dc o d i n ge f f i c i e n c ys h o u l d b et h o u g h ta n dm a d et ot h eo p t i m a lt r a d e o f fi nt h ei m p l e m e n t a t i o no fa c t u a lc o d i n g s y s t e m t h ee m e r g i n gh 2 6 4 a v ch a sa c h i e v e ds i g n i f i c a n ti m p r o v e m e n to v e rt h ee x i s t i n g s t a n d a r d si nt h ec o m p r e s s i o np e r f o r m a n c e b u ti t sh i 【g hc o m p l e x i t yp r e v e n t si tf r o m b e i n gu s e dw i d e l yu pt i l ln o w i nt h i sp a p e r , t h ec o m p l e x i t yo fh 2 6 4 a v ci sb r i e f l y a n a l y z e d ，a n ds o m eo p t i m i z a t i o na p p r o a c h e sa r ep r o p o s e d t h en e wf e a t u r e so fh 2 6 4 a v ci n c r e a s en o to n l yt h ec o m p l e x i t yo fc o d i n gb a s i c m o d u l e s ，b u ta l s ot h eo n eo fa l g o r i t h m sb yt i m e s t h em u l t i m e d i ai n s t r u c t i o nm a yb e u s e dt oo p t i m i z et h eb a s i cm o d u l e s ；t h ef a s ta l g o r i t h m sa r ed e v e l o p e di n s t e a do f t h eo l d o n e s t h i sd i s s e r t a t i o ni sb a s e do nt h ea b o v em e t h o d s ，a n dm a j o rw o r k sa r ea sf o l l o w s t or e d u c et h ec o m p l e x i t yo f d e b l o c k i n g ，ah a r d w a r e - f i x e da l g o r i t h mi sp r o p o s e d ；i t i i a b s t r a c t n o to n l ye f f e c t i v e l yi nh a r d w a r ec o s tb u ta l s oa c h i e v e dt h ee a p a b i l i t yo fs p e c t or e d u c e t h ec o m p l e x i t yo f t r a n s f o r ma n dq u a n t i z a t i o n 。an o v e la r c h i t e c t u r eh a sb e e np r o p o s e d ，i t c a l lm a t c ht h ep i p e l i n eo ft h ea r c h i t e c t u r er i g h t l y ，s ot h ec o s to fh a r d w a r ec a nb e d e c r e a s e de f f i c i e n t l y s i m u l a t i o nr e s u l t sd e m o n s t r a t et h a tt h e s ep r o p o s e dm e t h o d sc a n r e a l i z et h eh 2 6 4r e a l t i m ee n c o d i n go f7 2 0 p h df o r m a ts e q u e n c e w ea l s or e s e a r c h e d t h ee n c o d e ro fh 2 6 4 ( b a s e l i n ep r o f i l e ) ，a n dp r o p o s e dah a r d w a r ea r c h i t e c t u r e ，w h i c h c a na c h i e v ea sm u c ha so rb e t t e re n c o d i n gp e r f o r m a n c ec o m p a r e d 、i t i lo t h e re n c o d e r s k e y w o r d s ：h 2 6 4 a v c o p t i m i z a t i o n , r e a l - t i m ee n c o d i n g ，a s i ci m p l e m e n t i i i 缩略字表 简略字表 c a v l cc o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n g c a v l cc o n t e x t - b a s e da d a p t i v ev a r i a b l e l e n g t h c o d i n g c b rc o n s t a n tb i tr a t e c p bc o d e dp i c t u r eb u f f e r d p bd e c o d e dp i c t u r eb u f f e r f i f of i r s t h lf i r s t - o u t g o p g r o u po f p i c t u r e h r d h y p o t h e t i e a lr e f e r e n e ed e c o d e r h s s h y p o t h e t i c a ls t r e a ms e h e d u l e r i d ri n s t a n t a n e o u sd e c o d i n gr e f r e s h l s bl e a s ts i g n i f i c a n tb i t m bm a c r o b l o c k m 旧a f f m a e r o b l o e k - a d a p t i v ef r a m e - f i e l dc o d i n g m s bm o s ts i g n i f i c a n tb i t n a ln e t w o r ka b s t r a c t i o nl a y e r r b s pr a wb y t es e q u e n c ep a y l o a d s e i s u p p l e m e n t a le n h a n c e m e n ti n f o r m a t i o n s o c s y s t e mo nc h i p s o d b s 仃i n g0 f d a t ab i t s u u i d u 硝v e r s a lu n i c l u ei d e n t i f i e r v b r 、，a r i a b l eb i tr a t e v c lv i d e oc o d i n gl a y e r v l cv a r i a b l el e n g t hc o d i n g v u iv i d e ou s a b i l i t yi n f o r m a t i o n v b vv i r t u a lb u f f e r i n gv e r i f i e r 3 g p pm f dg e n e r a t i o np a r t n e r s h i pp r o j e c t i v 基于上下文的自适应二进制 算术编码 基于上下文的自适应变长编 码 周定码率 编码图像缓存 解码图像缓存 先进先出 图像组 假想参考解码器 假想码流调度 立即解码刷新 最低位 宏块 帧场自适应编码 最高位 网络提取层 原始序列载荷 输入加强信息 片上系统 数据编码流 通用单一校验符 可变码率 视频编码层 变长编码 视频可用信息 虚拟缓存验证 第三代合作工程 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：细堕壁 j 日期：如1 年多月矿日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：哿鱼盈 导师签名 日期：l o ：2 磁 亏年石月占日 第一章绪论 1 1 引言 第一章绪论 近年来，随着微电子技术的不断提升、通信技术的不断进步，特别是数字图像 压缩技术在各种应用场合得到了广泛的应用，从而使图像数据压缩卡也信受关注。 图像数据压缩卡的产品种类繁多，样式性能各异，但它们上作的基本原理都是相 似的，同样都是将采集到的图像数据通过压缩卡进行有损压缩后写入信道或者存 储器中。 在过去的十五年中，国际标准化组织己制订一系列的国际视频编码标准且已 应用到各种领域，包括个人视频电话、商务视频会议、v c d 。d v d 、数字电视( 卫 星、广播和有线分布) 和其它很多方面。新的应用仍在继续出现，例如移动视频和 数字影院，并以惊人的速度不断增长。视频电话和移动视频通常需要在码率6 4 k b p s 或更低码率下使用，而数字影院需要码率高达每秒百万甚至更高。各种各样的应 用需求加速了新的视频编码标准的不断诞生。从二十世纪九十年代以来，i t u t 和 i s o 制订了一系列视频压缩编码标准，极大地推动了视频通信的发展。通常，删- t 制订的标准都是为了满足实时视频通信应用，例如h 2 6 1 1 j 和h 2 6 3 2 1 ，后来发展为 h 2 6 3 + t 3 , 4 j 和h 2 6 3 + + 【5 1 ；而i s o 的m p e g 标准大多为了满足视频存储、广播视频和 视频流传输需要而制定，包括m p e g - i 6 ，m p e g 2 1 7 s l 及m p e g 4 1 9 j 0 1 等。在一些标 准内部还给出了不同的类、级规定，被称为“p r o f i l e ”和“l e v e l ”，具体描述了编 码特征、参数设置和推荐的应用场合( 如h 2 6 3 ，m p e g 2 和m p e g - 4 ) 。这要求解码 器能够实现各个标准所定义的工具集的一个子集，以便能够设计出符合标准的解 码器，使之面向特定应用领域。 1 2 视频编解码系统概述 视频编码器通过信源模型来描述视频序列的内容。图l l 给出一个视频编码 系统的基本组成。 电子科技大学硕士学位论文 视频流 图l l 视频编码系统基本组成 道 在编码器中，首先采用信源模型的参数来描述数字视频序列，如果采用像素 统计独立的信源模型，那么这种信源模型的参数就是每个像素的亮度和色度幅度； 如果把一个场景描述成几个物体组合的模型，那么参数就是每个物体的形状、纹 理和运动。接下来将信源模型参数量化成有限的符号集，量化参数取决于比特率 与失真度之间的折衷。最后，利用无损熵编码将量化参数映射成二进制码字，产 生的比特流在信道上传输或存储。 下面综述几种基本视频编码算法，它们的相应信源模型、参数和所用的编码 技术如表l l 所示。大体上可以将它们分为基于波形和基于内容的两种类型编码。 表l l 信源模型、参数集和编码技术比较 信源模型 参数编码 编码技术 统计独立的象索每个象素的颜色 p c m 统计相关的象素 每个块的颜色变换编码、预测编码 平移运动的块 每个块的颜色和运动矢量 基于块的混合编码 运动的未知物体每个块的形状、运动和颜色分析与合成编码 运动的已知物体每个已知物体的形状、运动和颜色基于知识的编码 行为已知的物体每个物体的形状、运动和颜色语义编码 1 2 1 基于波形的编码 基于波形的编码方法试图准确表示每个像素的颜色值，而并不考虑一组像素 第一章绪论 可以表示一个物体的事实。如果将像素假设为统计上独立，那么得到的信源模型 是最简单的，其对应编码技术为脉冲编码调f l ；t j ( p c m ) 。视频编码通常不会采用这种 p c m 表示，因为与其它信源模型相比其效率最低。在大多数图像中，相邻像素具 有较强的相关性，因此可利用变换来进行编码，如k l t 变换、离散余弦( o c t ) 或 小波变换。变换的目的是去除原始抽样点间的相关性，把原始信号的能量集中在 几个系数上，然后对这些变换系数进行量化和编码。另一种利用相邻样点问相关 性进行编码的方法是预测编码，这种方法是由已经编码的样点来预测待编码的样 点，然后对预测误差进行量化和编码。预测误差与原始信号相比具有较小的相关 性和较低的能量。变换编码和预测编码都可看作是矢量量化【1 1 】的一种特殊情况。 矢量量化一次量化一组样点块( 一个矢量) ，从本质上说，它是寻找出现在信号中的 典型块模式，并用典型模式之一来近似任何一个块。 现有的视频编码标准h 2 6 1 ，h 2 6 3 ，m p e g 1 ，m p e g - 2 和m p e g - 4 都采用基于 块的混合编码方法，它综合了预测编码和变换编码两种方法。将每幅图像分成固 定大小的块，用第k - l 帧的一个块来估计第k 帧已移位的相同尺寸的块，这样产生 的图像叫做预测图像。编码器将所有块的二维运动矢量传送到解码器，以便解码 器能够计算出同样的预测图像。编码器从原始图像中减去此预测图像，就得到预 测残差图像。如果预测残差超过了某个阀值，就用变换编码将预测误差变换后传 送给解码器。解码器将预测误差与预测图像相加，从而合成解码图像因此，基 于块的混合编码是根据块的平移运动信源模型而来的，故除了传输预测误差的变 换系数外，还必须传送运动矢量。 1 2 2 基于内容的编码 上述基于块的混合编码实际上是用固定大小的方块来近似场景中物体的形 状，因此在物体边界处的块会产生较高预测误差。这些边界块一般包含具有不同 运动的两种物体，因此用一个运动矢量并不能说明两个不同的运动。为此，基于 内容的编码希望能够将视频帧分成对应于不同物体的区域，分别编码这些物体。 而对于每个物体，除了运动和纹理信息外，还必须传送其形状信息。例如，基于 物体的分析与合成【1 2 1 的内容编码通过模型来描述视频场景的每个运动物体。为了 描述物体的形状，采用分割算法。此外，还要估计每个物体的运动和纹理参数。 在最简单的情况下，以二维轮廓描述物体形状，以运动矢量场描述它的运动，而 以颜色波形描述它的纹理。此外，也可采用三维线框来描述物体，编码器用第k - l 电子科技大学硕士学位论文 帧中物体的形状和颜色以及形状和运动的更新参数来描述第k 帧中的物体。解码 器用当前运动和形状参数以及前一帧的颜色参数合成物体而仅对那些图像合成失 败的图像区域才传送颜色信息。如果已知视频序列中的物体种类，可采用基于知 识的编码【i ”。这种编码使用特别设计的线框来描述己识别出的物体类型，现已开 发了几种用预定义的线框来编码人头的方法。因为预定义线框可以与物体的形状 相应，因此可以提高编码效率。有时可把这种技术称为基于模型的编码。当已知 物体的可能类型和行为时，可采用语义编码。例如，人脸的“行为”指的是与特 殊表情相关的一系列面部特征点的时间轨迹。其可能行为包括典型面部表情，诸 如高兴、悲伤、生气等。在这种情况下，将描述物体行为的参数传送给解码器即 可。这种编码方法能够达到非常高的编码效率，因为物体可能的行为数目非常小， 所以说明行为所需的比特数比用传统的运动和颜色参数描述实际行动所需的比特 数少得多。但在目前，得到广泛应用的仍是基于块的混合编码方法。 1 3 视频编解码工业标准的发展过程 数字视频通信要求许多人能够接收来自不同信源的视频信号。目前主要存在 三类用于视频通信的设备：数字电视机或机项盒、视频电话和个人计算机。这三类 设备可以满足人们对各种视频业务要求。而视频编码标准开始时是为视频电话和 视频电视开发的。 自1 9 8 9 年i t u - t 的前身c c i t t 发布了第一个数字视频编码标准h 2 6 1 ( 草案) 后，迄今为止已推出了包括h 2 6 1 ，h 2 6 3 ，h 2 6 4 在内的视频编码标准。i s o i e c 下属的联合技术委员会( j t c ，1 ) 也成功推出了音视频编码标准m p e g i ，m p e g - 2 和 m p e g - 4 。图1 2 给出了i t u t 与m p e g 两个标准化组织制定视频编码标准的发 展过程。 回 图l 一21 1 u - t 与m p e g 制定视频标准的发展过程 4 第一章绪论 1 4 老一代视频工业标准的性能特性 1 4 1h 2 6 1 h 2 6 1 标准发布于1 9 9 0 年，其应用目标是视频电视会议。它的出现使能经i s d n 上进行视频会议，是第一个成功用于实际的数字视频标准。h 2 6 1 这种基于块的运 动补偿与d c t 变换相结合的混合视频编码框架成为后来各种视频编码标准的基 础。h 2 6 1 采用了4 ：2 ：0 采样格式，其主要特点包括： 1 定义了尺寸为1 6 1 6 像素的宏块，将一个宏块划分为4 个8 8 的亮度块和 两个8 x 8 的色度块( 一个用于c r 分量，一个用于c b 分量) 。 2 采用8 x 8d c t 变换来减少空间冗余。 3 使用单向整像素前向运动补偿构成环路d p c m ，以减少时间冗余。 4 采用了一种二维环路滤波器对运动补偿预测信号进行低通滤波，以减少预测 误差并降低预测图像的块效应。 5 对d c t 系数采用两个量化器，用步长为8 的均匀量化器来量化帧内模式的 d c 系数，用步长2 至6 2 的近似均匀的量化器来量化帧内模式和帧问模式的a c 系数。 6 运动向量的范围限制在1 6 个像素内。 7 编码控制信息包括宏块类型( m t y p e ) 、具有或不具有环路滤波的运动矢量的 差分编码( m v o ) 、编码块模式( c b p ) 以及量化器步长( m q u a n t ) 等。 8 编码控制原则通常是选择m t y p , c b p 及m v d 使预测误差最小。 9 经“z ”形扫描使量化系数转换成编码符号( 游程，量化值) ，每一个符号用 可变长码( v l c ) 进行编码。 1 4 2h 2 6 3 h 2 6 3 标准也是基于h 2 6 1 编码框架的。由于视频压缩技术的进步以及高性能 台式计算机的逐步普及，i t u t 在h 2 6 3 中逐步引入复杂性和编码效率都较高的算 法。h 2 6 3 的发展分为三个阶段：h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + ，如图l 一2 所示。与 h 2 6 1 相比，h 2 6 3b a s e l i n e 采用了以下新的技术： 1 支持双向预测模式，并使运动估计的搜索精度提高到半像素，半像素通过双 线性内插计算得到；其次利用邻近三个宏块的中值运动向量作为对当前宏块 的运动矢量的预测。 5 电子科技大学硕士学位论文 2 采用了三维v l c ( l a s t ，r u n ，l e v e l ) 来提高d c t 系数编码的效率，l a s t 标志是否为最后一个非零系数。 3 在块组级以及m t y p e 和c b p 编码中降低开销。 4 比h 2 6 1 支持更多的图像格式，增加了较大尺寸的图像，如1 6c i f 以上改 善，h 2 6 3 还提供了以下特性作为可选项： 1 非限制运动向量，允许矢量指向图像外面，搜索范围扩展到【3 1 ， 3 1 2 用基于语法( s y n t a x b a s e d ) 的算术编码来替代可变长编码，这对于p 帧可节省 4 码率，对于i 帧可节省1 0 码率。 3 先进的时域预测模式，还包括两个附加改善：一个是重叠块运动补偿( o b m c ) ； 另一是允许一个宏块含有四个运动矢量，即每个8 8 亮度块一个运动向量。 4 支持pb 帧图像模式，将双向预测图像与一般前向预测图像一起编码。r r u 批准了h 2 6 3 最初版本后，不断添加了一些可选模式，最终推出了h 2 6 3 抖，其最 重要的特征包括： 1 先进的帧内编码模式，即帧内块用左侧或上方的块通过预测来进行编码。 2 去块滤波器，在解码后的4 4 块边界进行自适应滤波，以减小块效应。 3 附加增强信息，提供由h 2 6 3 应用系统定义的用于外部应用的标志信息。 4 改进的p 、b 帧模式，使常规的双向预测成为可能。 实验结果表明，当没有可选项时，h 2 6 3 优于h 2 6 1 近2 d b 。如果使用先进预 测、基于语法的算术编码和p b 帧这些选项，可以另外获得l d b 的增益。如果将 h 2 6 3 的运动矢量限制在整像素会降低编码效率3 d b ，这是由于降低了补偿精度和 h 2 6 3 没有低通滤波器所引起的。h 2 6 3 对变换系数的三维v l c 编码以及对 m t y p e 和c p b 的改进，使信噪比随着码率的增加而明显提高，在1 2 8 k b p s 时可达 l d b 。上述的选项使h 2 6 3 提高编码效率的同时也使复杂度成倍增长。 1 4 3m p e g - 1 m p e g - 1 标准是为逐行扫描的视频而设计的，目标码率是大约1 2 m b p s ( 包j 括 音频和视频在内1 5 m b p s ) 的比特率下生成接近v h s 质量的视频。由于预见到大多 数的多媒体内容是在c d - r o m 上发布的，因此在开发m p e g 1 时，将1 s m b p s 作 为c d r o m 播放器的访问速度，视频格式定为c i f 。最终的标准可支持更高的速 率和更大的图像尺寸。m p e g 1 与h 2 6 1 有很多相似之处，也采用混合编码框架， 6 第一章绪论 与h 2 6 1 相比，有如下区别： 1 不用环路滤波。 2 。采用7 半像素精度的运动矢量，运动矢量范围扩大到6 4 像素。 3 采用i 帧，p 帧，b 帧三种帧类型，尤其提出了完善的b 帧理论。 4 对于i 帧，d c t 系数的量化是适应人类视觉系统的，用一个加权矩阵来除这 些系数，虽在相同比特率条件下降低了解码图像的p s n r ，但提高了主观质量。另 一个区别是一个i 块的d c 系数可以由它的左邻块的d c t 系数预测。 5 提出了图像组( g o p ：g r o u p o f p i c t u r e ) 结构。每一个g o p 都以一个l 帧开始， 后跟一定数量的p 帧和b 帧，以实现视频的随机访问。 6 定义了一个特殊的编码参数子集，称为约束参数集( c p s ) ，可以用来限制解 码器计算复杂度、缓冲器大小以及存储器带宽。 1 4 4m p e g - 2 m p e g 2 标准主要是因为m p e g 1 不能以广播质量有效地压缩隔行数字视频 而制定的。其主要目的是使1 1 u rb t 6 0 14 ：2 ：0 格式的隔行视频具有m p e g 1 的功 能，产生8 m b p s 码率的电视质量图像和1 6 m b p s 码率的高质量图像，因此m p e o - 2 能够解决s d t v 或h d t v 隔行视频的高质量编码问题。m p e g - 2 是以电视演播室 以及标准清晰度和高清晰度电视广播为目的的。与m p e g 1 相比主要区别如下： 1 m p e g - 2 逐行编码的4 ：2 ：0 格式与m p e g 1 相比，其色度采样点的位置水平 移动o 5 个像素。 2 m p e g 。2 还支持4 ：2 ：0 格式的隔行编码。 3 m p e g - 2 允许d c t 系数有其它的扫描格式( 如垂直交替扫描) ，并具有1 6 8 像素尺寸的块运动补偿。 4 d c t 的d c 系数用1 0 比特量化，以及采用非线性量化和较好的v l c 表等也 提高了逐行扫描视频序列的编码效率。 5 m p e g - 2 支持各种的可分级性，如空间可分级性、时间可分级性和p s n r 可 分级性。 6 m p e g 2 定义了类( p r o f i l e ) 和级( l e v e l ) ，扩展了m p e g 1 的受约束参数集概 念，设计了更为广泛的特征子集和参数范围。 7 允许更高的码率。 7 电子科技大学硕士学位论文 1 4 5m p e g - 4 视频编码理论不断发展为视频编码质量的提高提供了技术保障，而更多的服 务需求，如个人无线视频通信系统、交互电视、视频点播( v o d ) 等，为新的视频编 码标准提供了应用平台，因此性能更好的编码标准一直为业界所追求，这导致了 m p e g - 4 和h 2 6 4 佾v c 等新一代代视频编码标准的出现。m p e g - 4 标准的制订是 为了支持传统视频应用的同时，满足新一代高度交互性多媒体应用系统的需求。 这些多媒体应用系统除高效编码外，还要求由更先进的功能，例如基于对象的交 互性、内容的可分级性和高度的差错恢复性能。m p e g - 4 提供自然的和合成的音频、 视频以及图形的基于对象的编码工具。m p e g 4 通过用运动、纹理和形状参数对物 体独立地编码，使与视频对象进行基于内容的交互成为可能。一个场景是由几个 视频对象( v 0 ) 组成。一个v o 可由几个视频对象层o l ) 组成。v o l 可以表示可 分级比特流的不同层或v o 的不同部分。v o l 的一个时间瞬间称为一个视频对象 平面( v o p ) 。一个v o p 可以是任意形状的或矩形的，由其纹理变化和其形状完全 描述。视频编码器把运动、纹理和形状编码工具用于v o p ，所使用的i p 和b 模 式类似于m p e g 2 的编码模式。同时将m p e g 1 2 的帧内图像、预测图像以及双 向预测图像的概念扩展到v o p ，分别称为i - v o p , p v o p 和b - v o p 。m p e g - - 4 除了 因基于对象的性质引起视频编码的明显改变之外，还引入以下工具以提高编码效 率： 1 与m p e g 1 2 相比改进了的d c 系数预测，可以选择当前宏块的左边或者上 边宏块来预测当前d c 系数值。 2 采用a c 系数预测，对第一列或第一行的a c 系数可由d c 系数预测块相同 位置的系数来预测。 3 在m p e g - 2 的垂直交替扫描d c t 系数的基础上，增加了水平交替扫描方法。 4 采用与h 2 6 3 类似的三维v l c 编码。 5 采用与h 2 6 3 类似的四个8 8 块运动矢量。 6 无限制运动矢量，与h 2 6 3 相比，可以选择更宽的运动矢量范围，最大可以 到2 0 4 8 像素。 7 采用全局运动补偿，有助于改善最挑剔的场景中的图像质量。 8 采用精确到1 4 像素的运动补偿，其中亮度块的运动矢量为1 4 ，而色度像 素以半像素精度进行补偿。除了上述特征外，m p e g - 4 包括了基于对象的视频编码 算法，其主要工具包括：- - 进制形状编码、低通填充、形状白适应d c t 和灰度形状 s 第一章绪论 编码等。 1 5h 2 6 4 a v c 优越性体现 h 2 6 4 视频标准和以往的视频标准相比，主要有以下特点 t 4 1 ： 1 高精度运动估计。在h 2 6 3 中采用了半像素估计，在h 2 6 4 中则进一步采用 1 4 像素甚至1 8 像素的运动估计，即真正的运动矢量的位移可能是以1 4 甚至1 8 像素为基本单位的。在h 2 6 4 中采用了6 阶f i r 滤波器的内插获得l 2 像素位置的 值。当1 2 像素值获得以后，1 4 像素值可通过线性内插获得。理论上，如果将运 动补偿的精度增加l 倍( 例如从整像素精度提高到1 2 像素精度) ，可以有 o 5 b i t s a m p l e 的编码增益，但实际验证发现在运动矢量精度超过1 ，8 像素后，系统 基本上就没有明显增益了。因此，在h 2 6 4 标准中，最后只采用了1 4 像素精度的 运动矢量，而没有采用1 8 像素精度的运动矢量。 2 树型结构的运动补偿。h 2 6 4 标准支持从1 6 1 6 到4 x 4 范围尺寸的运动补 偿块，在这个范围中亮度样本有多种选择。每个图像宏块亮度分量可以按4 种模 式划分：1 6 x1 61 6 8 ，8 x1 6 和8 x 8 。其中，每一个子块都是宏块的一部分。如果 选择了8 x 8 的模式，每一个8 x 8 模块又可以按4 种模式分开：8 8 ，8 x 4 ，4 x 8 和 4 x 4 。这种块和子块的不同模式可以产生大量的组合，即实现了树型结构的运动 补偿。 3 多参考帧运动估计。在h 2 6 4 中，可采用多个参考帧进行运动估计，即在编 码器的缓存中存有多个参考帧，编码器可以从其中选择一个或多个帧作为参考帧， 这样可以获得比只使用一个参考帧更好的编码效果。 4 小尺寸的4 x 4 的整数变换。h 2 6 4 对图像残差采用基于块的预测变换编码 法，但变换是整数操作而不是实数运算，其过程和d c t 变换基本相似。这种方法 的优点在于：在编码器中和解码器中允许精度相同的变换和反变换，便于使用简单 的定点运算方式。变换的单位是4 x 4 块，而不是以往常用的8 x 8 块。由于用于 变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换的计算量比较小， 而且在运动物体边缘处的衔接误差也大为减小。 5 。更精确的帧内预测。在h 2 6 4 中，每个4 x 4 块中的每个像素都可用1 7 个最 接近先前已编码的像素的不同加权和来进行帧内预测。 9 电子科技大学硕士学位论文 1 6 本文研究的主要内容 本文的研究工作主要分两大部分：第一部分为h 2 6 4 相关算法研究，第二部分为 使用a s i c 实现h 2 6 4 编码器的研究。在介绍h 2 6 4 标准算法的基础上，本文对变 化量化、去块滤波和码率控制进行了具体实现，并分别对三个模块进行了的具体 的优化。 通过对h 2 6 4 编码器结构的分析，本文给出了一个f p g a + d s p 的验证平台实 现了h 2 6 4 实时编码器的设计方案。利用自顶向下的设计方法，将编码器的功能 划分为不同模块，用v e r i l o g 语言在f p g a 上实现了其中的变换量化以及去块滤波 两个模块，用c 语言在d s p 上实现了码率控制模块，并与项目组其他成员合作开发 出性能优秀的新一代全硬件高清实时编码器芯片。 第一章绪论部分，介绍了当前视频编码的主要技术及一系列国际标准。通过 比较指出h 2 6 4 标准的优越性。论述了h 2 6 4 视频编码算法研究及其硬件实现的 理论意义和现实意义。 第二章h 2 6 4 视频编码算法研究。介绍了视频质量评价标准，和分别每个模 块的具体实现算法和对算法的复杂度及优越性进行了分析。 第三章描述了a s i c 实现h 2 6 4 视频编码的总体设计过程。介绍了系统分割 的框图及其依据，搭建了一个由f p g a 和d s p 组成的验证平台。 第四章描述了a s i c 实现h 2 6 4 视频编码研究的模块级设计过程。介绍了基 于a s i c 的h 2 6 4 视频编码部分模块的实现。对几大主要模块( 去块滤波、变换量 化和码率控制) 的实现结果，从资源消耗和性能方面进行了分析。 第五章总结与展望了本文的工作，提出了算法以及a s i c 实现方面需要进一 步研究的方向。同时对将来视频编码算法以及硬件实现的发展作了简单的介绍。 0 第二章h 2 6 4 a v c 标准算法分析 第二章h 2 6 4 a v c 算法分析 2 1h 2 6 4 a v c 编码器模块级算法分析 2 1 1 帧内编码模式 为了利用象素问的空间相关性，对帧内宏块的象素值首先进行预测，然后对 预测差值进行处理。这种预测既可以针对整个1 6 1 6 宏块进行，也可以将1 6 x1 6 宏块划分为1 6 个4 x 4 块分别进行。对于亮度采样，在对1 6 x1 6 宏块整体进行预 测时有4 种可选模式( 图2 - 1 ) 。在垂直( v e r t i c a l ) 模式和水5 f ( h o d z o n t a l ) 模式下，宏块 的亮度值分别由当前宏块的上面一行和左边- - n 亮度值来直接预测。在直流( d c ) 模式，宏块的亮度值由当前宏块的上面一行和左边一列亮度值取平均进行预测。 在平而( p l a n e ) 模式下，宏块的亮度值由当前宏块的上面一行和左边- - n 亮度值在一 个平面方程式上预测。 0 ( v e r t i c a l ) 1 ( h o d z a n t a l ) 2 ( d c ) 3 ( p 1 种c ) 图2 - 1 四种帧内1 6 x 1 6 预测模式 对4 x 4 块有9 种预测模式，对应数值为o 8 。图2 2 ( a ) 给出了每种预