（通信与信息系统专业论文）基于fpga的低码率活动图像帧间预测方案设计.pdf

摘要随着移动通信技术和i p 网络的迅速发展，多媒体通信正逐步成为通信的主流业务，可视电话，会议电视，图像和视频媒体等都要求有更好的视频编码标准出现以适应各种应用的需求，新一代动态视频压缩标准h 2 6 4 a v c 的推出，使视频压缩研究进入了一个新的层次。本文提出了一套恒定低码率视频传输方案，研究的重点是h 2 6 4 a v c 视频编码关键技术及其基本框架的f p g a 硬件实现，对视频编码器方案设计中的两项关键技术：帧间预测编码和码率控制进行了详细阐述。运动估计是编码过程最重要、耗时最长的部分。本文在权衡速度和资源的基础上提出了一种高效的硬件架构，采用快速搜索算法的并行流水结构设计，3 6 p e并行计算处理。本文深入研究了码率控制技术，通过对经典码率控制算法分析，针对当前系统存在的问题和低码率应用环境的需求进行了改进，在不对结果造成很大偏差前提下简化了一些复杂计算，取得了良好的结果。在f p g a 平台上实现了视频编码，分析并验证薄结果，系统资源占用较少。经验证该方案在保证图像质量前提下达到了恒定低码率传输动态视频图像目标，在5 4 m h z 的系统时钟下可以实现对c i f ( 2 5 帧秒) 格式图像实时的处理。本文最后指出距离原型系统仍有相当距离，大量工作留待后续完成。关键词：视频编码，h 2 6 4 a v c ，运动估计，码率控制，f p g a ，系统架构a b s t r a c tw i t ht h ed e v e l o p m e n to fm o b i l ec o m m u n i c a t i o na n di pi n t e r n e t ，m u l t i m e d i ac o m m u n i c a t i o nh a db e c o m et h ep r e v a l e n to p e r a t i o n s oi tw a su r g e n tt om a k eb e t t e rv i d e oc o d i n gs t a n d a r dt of i ta l lk i n d so fa p p l i c a t i o n s ，s u c ha sv i d e op h o n e ，m e e t i n gt v ,i m a g ea n dv i d e om u l t i m e d i a r e c e n ty e a r s ，h 2 6 4 ，t h e1 a t e s tv i d e oc o m p r e s s i o ns t a n d a r dh a d1 e dt h er e s e a r c hi nr e l a t e df i e l d s t h i st h e s i sp r e s e n t e da ni n v a r i a b l el o w b i tr a t ep r o je c ta b o u tv i d e ot r a n s m i s s i o n i tw a sf o c u s e do nh 2 6 4a n di t sr e a l i z a t i o nb a s e do nf p g a t h ep a p e re m p h a s i z e st w ok e yt e c h n i q u e si nh 2 6 4e n c o d e r ：m o t i o ne s t i m a t i o na n db i tr a t ec o n t r 0 1 m o t i o ne s t i m a t i o nw a st h em o s ti m p o r t a n tp a r ti nh 2 6 4e n c o d e r a ne f f i c i e n tv l s ia r c h i t e c t u r ew a sd e s i g n e da c c o r d i n gt ot h ef a s ts e a r c h i n ga l g o r i t h ma f t e re v a l u a t i n gs p e e da n dr e s o u r c e i tw a sap a r a l l e l p i p e l i n i n gp r o c e s s i n ga r c h i t e c t u r ew i t h3 6p e s t h ep r e s e n tp r o j e c tw a si m p r o v e db ya v o i d i n gs o m ec o m p l e xc a l c u l a t i o nb a s e do nc l a s s i cr a t ec o n t r o la l g o r i t h ma n dr e q u i r e m e n to fl o wb i tr a t ec o n d i t i o n s r e a lt i m e v i d e oc o d i n gs y s t e mw h i c hw a si m p l e m e n t e db a s e do nf p g ao c c u p i e dl e s sr e s o u r c ea n dc o u l dm a k ei n v a r i a b l el o wb i tr a t ev i d e ot r a n s m i s s i o nw i t hc i f ( 2 5f l a m e sp e rs e c o n d ) n o w , t h es y s t e ma r c h i t e c t u r ea n dp a r to fc o m p o n e n t sh a v eb e e na c c o m p l i s h e d ，a n dt h e r ew 童霹s t i l lm u c hw o r kn e e dt ob ec o m p l e t e k e yw o r d s ：v i d e oc o d i n g ，h 2 6 4 a v c ，m o t i o ne s t i m a t i o n ，r a t ec o n t r o l ，f p g a ，v l s ia r c h i t e c t u r ei i西北工业大学业学位论文知识产权声明书本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。保密论文待解密后适用本声明。学位论文作者签名：亟：坠厕年岁月i 日指导教师签名：邋) 年弓其 狷西北工业大学学位论文原创性声明秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成果，不包含本人或其他已申请学位或其他用途使用过的成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式表明。本人学位论文与资料若有不实，愿意承担一切相关的法律责任。学位论文作者签名：童刍塾加叶年弓月7 西北工业大学硕士学位论文第一章绪论1 1 引言第一章绪论正如很多新技术发展一样，图像和视频编码技术也是由一系列其他领域的进步共同促进的。强大而廉价的处理器、快速的网络访问、无处不在的互联网i n t e r n e t 以及对图像和视频大量的研究与标准的建立都对图像和视频编码技术的发展起了很大的作用。编码技术的发展产生了一个新的应用多媒体，这包括数字电视，d v d 电影、网络视频流、家用数字摄影和电视会议等。图像和视频压缩编码架起了解决用户需求与有线网络传输和存储能力的桥梁。数字视频之所以需要压缩，是因为它原来的形式占用的空间大得惊人。视频经过压缩后，存储时会更方便。数字视频压缩以后并不影响作品的最终视觉效果，因为它只影响人的视觉不能感受到的那部分视频。例如，1 秒钟的“电视质量”的数字视频信号需要2 1 6 m 比特的传输或者存储能力，这已经超过了目前大部分网络的传送能力；一部2 小时的电影( 未压缩) 需要1 9 4 ( 3 字节的存储空间，相当于4 2 张d v d 或者3 0 4 张普通光碟。为了使数字视频信号有足够的竞争力，我们必须想办法减少或者压缩如此庞大的比特信号【l 】。视频压缩是所有令人振奋的、新型视频产品的重要动力。压缩一解压( 编解码) 算法可以实现数字视频的存储与传输。典型的编解码器要么采用行业标准，如m p e g 2 、m p e g 4 、h 2 6 4 a v c 与a v s ，要么采用专有算法，如o n 2 、r e a lv i d e o 、n a n c y 与w i n d o w sm e d i a v i d e oo v m v ) 等。w m v 是个例外它最初是微软公司的专有算法，而现在则以v c 1 的新名称在业界实现了标准化。编解码技术在过去十年中不断改进。最新的编解码技术( h 2 6 4 a v c 与v c 1 ) 代表着第三代视频压缩技术。这两种编解码技术利用如可编程d s p 与a s i c 等低成本i c 的处理能力，都能够达到极高的压缩比。不过，为具体应用选择正确的编解码器并优化其实时处理仍然是一项巨大的挑战。最佳的设计必须权衡压缩效率及可用的计算能力。此外，如何在计算能力有限的情况下获得最佳压缩效率也是一门大学问。西北工业大学硕十学何论文第一章绪论1 2 视频压缩编码技术发展历程国际上音视频编解码标准主要两大系列：i s o cj t c l 制定的m p e g 系列标准：删针对多媒体通信制定的h 2 6 x 系列视频编码标准和g 7 系列音频编码标准。1 9 9 4 年由m p e g 和n u 合作制定的m p e g 2 是第一代音视频编解码标准的代表，也是目前国际上最为通行的音视频标准。经过十年多演变，音视频编码技术本身和产业应用背景都发生了明显变化，后起之秀辈出。目前音视频产业可以选择的信源编码标准有：h 2 6 1 t ”、h 2 6 3 t 4 i 、h 2 6 3 + + 【”、m p e g 2 、m p e g - 4 、m p e g - 4 a v c t 6 l ( 简称a v c ，也称t 、h 2 6 4 ) 、a ，s 。从制订者分，前三个标准是由m p e g 专家组完成的，第四个是我国自主制定的。从发展阶段分，m p e g - 2 是第一代信源标准，其余三个为第二代标准。从主要技术指标编码效率比较：m p e g 4 是m p e g - 2 的1 4 倍，越，s 和a v c相当，都是m p e g 一2 两倍以上。h 2 6 4 t 6 l 是i t u - t 的v c e g ( 视频编码专家组) 和i s o ，m c 的m p e g ( 活动图像编码专家组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的数字视频编码标准，它既是i i u - t 的h 2 6 4 ，又是i s o c 的m p e g - 4 的第1 0 部分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定了其测试模式t m l - 8 ，2 0 0 2 年6 月的j 、，t 第5 次会议通过了h 2 6 4 的f c d 板。2 0 0 3 年3 月正式发布。h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 吲好得多的压缩性能：加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的需求；它的基本系统是开放的，使用无需版权。a v s 标准门是信息技术先进音视频编码系列标准的简称，a v s 标准包括系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准。a v s 视频标准( g b 厂r 2 0 0 9 0 2 ) 是基于我国自主创新技术和国际公开技术所构建的标准，主要面向高清晰度和高质量数字电视广播、网络电视、数字存储媒体和其他相关应用，具有以下特点：( 1 ) 性能高，编码效率是m p e g - 2 的2 倍以上，与h 2 6 4 的编码效率处于同一水平：2西北工业大学硕十学位论文第一章绪论( 2 ) 复杂度低，算法复杂度比h 2 6 4 明显低，软硬件实现成本都低于h 2 6 4 ：( 3 ) 我国掌握主要知识产权，专利授权模式简单，费用低。基于此，我们认为a v s 标准是能够支撑国家数字音视频产业发展的重要标准。1 3 运动估计和码率控制算法在视频领域应用和研究状况1 3 1 运动估计算法现在基于变换域的算法一般采用d c t ，而基于预测的算法一般采用块匹配算法，因为它比较简单，有效。通过将每个数据帧划分为一个个矩形块，我们可以用块匹配算法b m a ( b l o c km a t c h i n ga l g o f i t h n m ) 得到运动矢量。视频序列相邻帧之间存在着高度的时间相关性，利用这种相关性进行运动估计，就可以提高压缩比。通常对基于块的运动估计快速搜索算法可以归纳为三类：( 1 ) 通过减少搜索点的快速算法：( 2 ) 快速块匹配误差计算方法；( 3 ) 运动场下采样法。其中第一类方法是最高效的也是最常用的快速搜索算法。块匹配法( b m )与像素递归法比较，一般对不同的视频信号具有较好的鲁棒性，比较实用，所以多数采用块匹配运动估计。其基本思路( 如图1 1 ) ：把一帧图像分成l 2 大小的子块，假设子块内l 2 个像素具有相同的位移矢量五孑= ( 凼，d y ) ，d x 和砂分别为水平及垂直方向的位移。求第k 帧的一个像素子块b 的位移矢量，或按帧间平均差m a d 或帧间均方差m s e 最小的准则进行。当前帧像素块b口b 在参考帧内的位置一最佳匹配块b 参考帧图1 1 块匹配算法示意在参考帧第k ”帧( 如k = k 1 ) 相应位置的搜索窗内搜索，求b 的最佳匹配块b ，其搜索窗s r = ( l + 2 r ) ( n 2 + 2 w ) ，其中w 是水平和垂直最大可能位移量。可以看出，如果对像素子块b 采用逐点搜索( 全搜索) ，则搜索次数为( 2 w + 1 ) 2 ，需要计算( 2 w + 1 ) 2 l n 2 个绝对差。尽管全搜索( f s ) 能在搜索3西北工业大学硕+ 学位论文第一章绪论窗内找到全局最优运动矢量，但运算量过大，搜索效率不高1 8 】。为了提高搜索速度，于是出现了各种算法及其改进。大部分的快速b m a 算法是通过减少检验点而达到减少运算量的目的。这些算法包括t b f e e s t e ps e a r c h ( 3 s s ) ，o r t h o g o n a ls e a r c h ( 2 d l o g ) 。c r o s ss e r c h ( c s a ) , 分层块匹配h b m a ( h i e r a r c h i c a lb l o c km a t c h i n g )等等。但是他们都是基于一个假设，就是随着运动矢量接近全局最优点，误差平面单调递减。这个假设会将这些快速算法引入到局部最优点。因此另外一些快速算法通过减少计算块失真b d m ( b l o c kd i s t o r t i o nm e a s l 1 r e ) 时需要的点数来达到减少计算量的目的。这些算法包括分层偏失真搜索h p d s ( h i e r a r c h i c a lp a r t i a ld i s t o r t i o ns e a r c h ) 等。全搜索算法是通过对搜索窗内的所有点进行搜索，对每一个块需要计算匹配准则似m 错炉次，其中，d m a x 为运动矢量的最大偏移量，以块为单位在运动矢量所能达到的范围内去进行块匹配，找到最佳匹配块。因此全搜索算法计算量巨大。而快速搜索算法中的三步搜索算法的思想是精度由粗到细变化，检查步长s t e p 按照指数规律递减。最初的步长定为最大可能运动位移d 的一半，也就是s t e p = d 2 。在每一步，检查和中心点相距为s t e p 的9 个点，对于更大搜索窗口( 也就是更大的d ) ，3 s s 可以很容易的扩展到n 步搜索法，他总共的搜索点数为1 + 8 【l 0 9 2 ( d + 1 ) ja 如果是4 步，n = 1 5 ，共计算的搜索点数为l + 8 d 0 9 2 ( 1 5 + 1 ) 】= 3 3 。大大减小了运算复杂度，有利于提高运算速度和简化硬件可实现性。在第三章中有对该算法有详细的论述并在第四章中针对该算法提出的易实现的硬件架构。硬件实现运动估计过程中，一般会通过使用片内存储弥补片外存储带宽的不足。在图1 2 中给出了一种典型的搜索区域数据重复使用方法，其中搜索范围是一1 6 + 1 5 。图1 2 中左边的3 x 3 块表示当前宏块运动估计进行区域，右边的3 x 3表示下一个宏块运动估计进行区域，它们的重叠区域的数据可以在两次宏块运动估计中重复使用，新增加的数据是最右侧的l x 3 区域。阪义图1 2 搜索范围数据重复使用方法为了配合h 2 6 4 这种重复使用数据的模式，搜索区域的起始点应该设置在( o ，o ) 。只有当真正的运动矢量超出搜索范围时，这种改变才会造成视频质量的下降。4西北工业大学硕士学位论文第一章绪论1 3 2 码率控制算法在一定的带宽条件下，尤其是在低比特率传输网络上，通常会出现一种两难的状况，空间分辨率和时间分辨率不可兼得。当想要有足够的帧频以及更低的传输时延时，空间分辨率往往要下降；反之，要想有足够的空间分辨率，时间分辨率就要最些牺牲，实时通信比较困难。因为在实时的视频通信中，特别是在双向的互交式视频应用，要求端到端的传输时延非常小，一般情况下编码比特在缓冲区的累计时间低于l o o m s ，因此，通常的做法是在空间分辨率和时间分辨率两者进行折中处理，编码运动剧烈的图像，采用较大的量化步长；编码运动平缓或静止的图像，采用较小的量化步长。这样做可以确保固定的编码输出码率，适应固定的比特率的传输网络，充分利用信道带宽达到最佳视频质量。实际上，这种做法便是一种基本的适应固定速率信道视频传输的码率控制方法。码率控制在视频编码中起到了非常重要的作用，一方面它调整编码比特流满足某种给定的带宽条件：另一方面，改善视频编码质量。但码率控制算法却不在标准的范围之内，因为它是可以独立于解码器结构。码率控制策略的好坏直接影响活动图像的输出码率稳定性和图像质量的重要因素。现有的码率控制策略大体上可以分为三类【9 1 ：第一类时后向控制，主要是依据缓冲区容量和信道速率来调整各编码单元的量化步长，这类方法简单而直接，能有效的保证编码器输出与信道传输率下去能够适应，但在输出码率较低时，容易发生图像质量的较大波动；第二类上前向控制，通过对各编码单元编码输出比特数的预测或用基于失真模型的迭代方法来确定相应的量化步长，这种方法的运算量大为加大，因预测是考虑到图像的具体内容，特别是一些算法还利用人的视觉特性，因而得到的图象质量高于后向码率控制算法；第三类是联合前项控制和后向控制方法，在图像曾采用自适应后向控制，粗化量化步长，确定量化补偿的基准值，在宏块层采用前向控制，细化修正量化步长的基准值，确定每个宏块的量化步长因子，在输出彼特律恒定的条件下，有比较稳定的图像质量，同时具有相对简单的计算复杂度。码率控制算法中经典的算法如m p e g - 2 中的t m 5 策略采用以缓存器占有率为出发点来计算量化器的q p 值，然后通过图像的局部空间行进行修改，因此可以看作是一种后向码率控制策略；m p e g - 4 校验模型v m 5 1 采用的可分级码率控制( s r c ，s c a l a b l e ，r a t ec o n t r 0 1 ) 方案是针对没有时延限制的变化比特率( v b r ,西北工业大学硕十学位论文第一章绪论v a r i a b l eb i tr a t e ) 和有低延时和缓冲区限制的固定比特率( c b r , c o n s t a n tb i tr a t e ) 而设计的，可以看作一种前向码率控制策略：在2 6 3 校验模型t m n l l 中采用的码率控制算法是根据目标帧率和信道速率的要求，在图像层采用跳帧的方法使每帧输出码率能够与信道速率相匹配。本文实现码率控制过程主要参考了m p e g - 2 中的t m 5 策略和2 6 3 校验模型t m n l l 策略，提出了计算简单，实用性强，并且易于f p g a 硬件实现的码率控制策略。从缓冲器占有率情况较粗糙的给出编码参数的基准值，在宏块层上进一步修正编码参数，利用修正的编码参数对宏块进行编码，在系统传输码率恒定的条件下，保证缓存器占有率维持在相对稳定的水平，既不上溢也不下溢，保证了图像质量的稳定，提高主管视觉效果。1 4 在f p g a 上实现h 2 6 4 a v c 视频编码标准h 2 6 4 能面向各种应用场合( 从低比特率到高比特率) ，其算法本身也包含了丰富的基于压缩和网络传输的各种编码选项。可编程处理器固有的灵活性决定其为h 2 6 4 的理想实现平台。众所周知，h 2 6 4 的高效性是建立在其实现的高复杂度基础上的，就其b a s e l i n e 而言，解码器复杂度将是h 2 6 3 解码器的3 倍左右，而编码器的复杂度更是高达1 0 多倍。近年来，处理器芯片性能在不断地提高，其中包括越来越高的处理器主频，强大的运算功能以及丰富的外设。但是与当今日新月异的半导体技术、工艺相比，由于片上系统( s o c ) 的需求不断提高，处理器的体系结构仍具有极大的发展空间。评估在由f p g a 、可编程d s p 或通用主处理器混合组成的平台上实现h 2 6 4 ，a 、，c 编码标准时，软件和硬件分割的可行性，需要分析将会影响整体设计决策的大量架构问题【l o l 。实现h 2 6 4 a v c 编码标准所需的算法计算复杂度、数据局部性，以及算法和数据并行性，常常会直接影响系统级别的整体架构决策。这种影响又会决定在广播、视频编辑、电话会议以及消费电子领域开发h 2 6 4 a v c 解决方案【9 1 所需的最终开发成本。数据局部性。在同步设计中，按照特定的顺序和粒度访问内存，同时根据延迟、总线竞争、对准、d m a 传输率以及所用内存的类型( 如z b t 内存、s d r a m 和s r a m 等) 使时钟周期数降至最小的能力至关重要。数据局部性问题主要是由数据单元和算术单元( 或处理引擎) 之间的物理接口体现的。数据并行性。大多数信号处理算法都是对高度并行的数据进行操作( 如f i r 滤波) 。单指令6西北工业大学硕士学位论文第一章绪论多数据( s i m d ) 和向量处理器对可被并行化或做成向量格式( 或长数据宽度) 的数据具有较高的处理效率。f p g a 可通过提供大量块r a m 支持大量极高总计带宽要求来实现这一点。在新的x i l i n xv l r t e x 4 s x 器件中，块r a m 的数量与x t r e m ed s p 的逻辑片数紧密匹配( 例如，s x 2 5 具有1 2 8 个块r a m ，1 2 8 个d s p 逻辑片；s x 3 5 具有1 9 2 个块r a m ，1 9 2 个d s p 逻辑片；s x 5 5 具有3 2 0 个块r a m ，5 1 2 个d s p 逻辑片) 。信号处理算法并行机制。在典型的可编程d s p 或通用处理器中，信号处理算法并行机制通常是指指令级并行( i l p ) 。超长指令字( v l l w ) 处理器是此类采用i l p 的机器中的一个例子，它将多条指令( a d d 、m u l t 及b i 认) 组合起来，在一个周期内执行。处理器中高度流水线化的执行单元也是实现并行机制的典型硬件示例。现在已经有可编程d s p 采用这种架构( 如t i 的t m s 3 2 0 c 6 4 x ) 。但是，并非所有算法都能使用这种并行机制。递归算法，如i i r 滤波，m p e g l 2 4 中的变长编码( ) 、上下文自适应变长编码( c a v l c ) ，以及h 2 6 4 a v c 中的上下文自适应二进制算术编码( c a b a c ) ，当映射到这些可编程d s p 时，均无法达到最优且效率不高。这是因为数据递归阻碍了i l p 的有效利用。作为取代方案，可在f p g a 结构中有效地构建专用硬件引擎。计算复杂度。，。可编程d s p 受计算复杂度的限制，可通过处理器的时钟速率来度量。；在f p g a 中实现的信号处理算法通常为计算密集型算法。其中的例子有运动估计中的绝对差值和( s a d ) 引擎以及视频缩放。通过将这些模块映射到f p g a 中，主处理器或可编程d s p 就可有额外的周期来处理其他算法。此外，f p g a 结构还可以具有多时钟域，从而允许选择性硬件模块根据各自的计算要求使用独立的时钟速度。理论上质量的最优性。当且仅当对复杂度没有限制时，任何基于速率失真曲线的理论最优解决方案均可实现。在可编程d s p 或通用处理器中，计算复杂度常受可用时钟周期的限制。而f p g a 则相反，通过对硬件引擎的多重实例化，或提高结构中块r a m 和寄存器组的利用率，实行数据和算法并行机制，从而提供更高的灵活性。可编程d s p 或通用处理器通常受每个周期发出的指令数、执行单元中的流水线级数以及完全馈给执行单元所需最大数据宽度的限制。在可编程d s p 中，受每个任务可用周期数的限制，视频质量常常大受影响。而在f p g a 结构中，硬件资源则可得到完全分配( 三步和完全搜索运动估计对比) 。7西北t 业大学硕士学位论文第一章绪论1 5 本文研究目标和主要工作情况1 5 1 论文目标任务相应于甚低码率视频编码技术的迅猛发展，随着微电子技术的发展用可编程逻辑技术把整个系统放到一块硅片上已完全成为可能，称作s o p c 。可编程片上系统( s o p c ) 是一种特殊的嵌入式系统：首先它是片上系统( s o c ) ，即由单个芯片完成整个系统的主要逻辑功能；其次，它是可编程系统，具有灵活的设计方式，可裁减、可扩充、可升级，并具备软硬件在系统可编程的功能。正是利用可编程逻辑器件的灵活性，在算法研究基础上本文针对编码系统提出了完整高效的v l s i 解决方案，在权衡速度和资源的基础上设计出高效的实现架构。主要体现在：编码系统采用流水处理的架构，合理分配每级节点的负载，提高了系统的处理速度：系统存储采用高速寄存器、中速中等容量片内r a m 行缓冲和片外高容量s d r a m 帧缓冲三级结构，保证了数据吞吐率和系统性价比；针对本文提出的快速运动估计算法，提出高效的并行一流水处理结构，采用3 6 个p e 单元分成四组进行并行处理，结合灵活的r a m 存取机制，在5 4 m h z的系统时钟下可以实现对c 格式图像实时的处理：结合m p e g - 2 中的t m 5 的码率控制算法和2 6 3 校验模型t m n l l 码率控制策略提出了适合本系统的码流控制方案，通过g o p 层的缓冲b u f f e r 的控制、帧层量化控制以及宏块曾量化参数的控制来达到控制码流的要求，并且在满足输出码率和b u f f e r 限制前提下，尽可能提高视频主观质量。1 5 2 论文组织结构第一章绪论，首先阐述视频编码理论的意义、研究背景和视频压缩的关键技术；阐述了本次设计中由f p g a 实现关键算法的优点以及发展前景；然后概括介绍本人在毕业设计期间所做的主要工作以及论文的内容安排。第二章视频编码技术的研究，简要介绍视频编码过程中产生的一系列国际标准，介绍了典型的软硬件实现编解码器的主要步骤，分析了视频编码其设计过西北t 业大学硕七学位论文第一章绪论程中的关键技术，以及硬件实现的优势和面临的挑战。第三章运动预测以及码率控制算法分析，系统分析了h 2 6 4 编码标准的帧间预测算法，着重介绍了快速搜索的经典算法，以及模式判决方式和中途截止机制；结合m p e g - 2 中的t m 5 以及r r u t 编码模型t m n l l 标准以及当今流行的其他码率控制算法提出了有针对性的可行的码率控制方案。第四章采用并行一流水的设计思想，探讨了系统的硬件实现方案，并对系统的核心模块运动估计和码率控制部分提出了高效的v l s i 架构。详细阐述了该方案的系统设计、模块设计，其中运动估计模块采用3 6 个p e 单元组成的9 个p e 阵列，结合新颖的存储器映射法则，使得对于1 6 1 6 的块，同时完成9 个相邻候选点的搜索，需要1 0 2 4 个时钟周期。码率控制模块主要采用后向控制方法，进行简单的计算，避免了f p g a 的灵活性差的缺点，利用其高速性和可操错性好的优点设计。通过对设计结果的验证，证明了该方案的可行性。第六章总结与展望，主要总结了论文成果，指出了论文工作中存在的不足，并对今后的工作提出了建议。9两北t 业大学硕+ 学位论文第二章视频编码技术的研究- 置i e j ，- _ = _ _ _ _ = | - e j - _ - | _ - _ _ _ e _ | _ - - _ j - _ _ _ _ _ - _ _ _ _ - _ _ - - _ _ _ e j 自= | _ e ! j e j ! = = _ - ! - _ _ = 一2 1 引言第二章视频编码技术的研究视频编解码器与其接口的系统设计，所面l f 每的关键问题有( 1 ) 接口：输入和输出数据的格式；( 2 ) 性能：帧率，压缩率，质量；( 3 ) 占用的资源：计算单元，芯片面积；( 4 ) 设计所需要的时问。最后一个问题很关键，因为多媒体通信的市场变化的步伐很快。这里我们将讨论设计过程中的一些流水线设计方法。分别针对两种视频编解码器：一种是软件实现，应用于通用目的的设备上；另一种是硬件实现( f p g a 或a s i c ) 的设计策略。2 2 视频编码基本概念以及时域模型h 2 6 4 的编解码框架与以前提出的标准如h 2 6 1 、h 2 6 3 及m p e g - 1 2 4 并无显著变化，也是基于混合编码的方案：以运动矢量代表图象序列各帧的运动内容，使用前面已解码帧对其进行运动估计和补偿或使用帧内预测技术，所得的图象参差值要经过变换、量化、熵编码等部分的处理。所以，新标准的性能提升在于各个部分的技术方案的改进及新算法的应用。新标准在提高图象传输的容错性方面做了大量工作，重新定义了适于图像的结构划分。在编码时，图象帧各部分被划分到多个s l i c e 结构中去，每个s l i c e 都可以被独立解码不受其它部分的影响。s l i c e由图象最基本的结构宏块组成，每个宏块包含一个1 6 x 1 6 的亮度块和两个8 x 8 的色度块。为进一步提高鲁棒性，整个系统被划分为视频编码层和网络抽象层。视频编码层主要描述要传输的视频数据所承载的视频内容。而网络抽象层则是考虑不同的应用，如视频会议通信、h 3 2 x 连续包的视频传输或r t p u d p i p的通信。h 2 6 4 标准分成三个框架( p r o f i l e ) ：b a s e l i n e 、m a i n 及x ，代表了针对不同应用的算法集及技术限定。其中，b a s e l i n e 主要包含了低复杂度、低延时的技术特征；主要是针对交互式的应用；考虑到了恶劣环境下的容错性，b a s e l i n e 的内容基本都被其它更高级别的p r o f i l e 所包含。而m a i n p r o f i l e 是针对更高编码效率的应用，如视频广播。xp r o f i l e 的设计主要针对流媒体的应用，在这一框架中所有容错技术和对比特流的灵活访问及切换技术都将包括其中。本文研究主要针对b a s e l i n e 框架设计】。1 0西北工业大学硕七学位论文第二章视频编码技术的研究视频编码器是由三个主要的功能部件实现的：时域模型，空域模型和熵编码。熵编码是一种无损压缩编码方法，所能达到的比特率下界就是图像的熵值。不同的方法只是去除冗余数据的程度不同。常用的熵编码有霍夫曼编码、算术编码和游程编码。空域模型常见的是变换编码，它不是直接对空间图像信号编码，而是首先将空域图像信号影射交换到另一个正交适量空间即变换域，将图像像素值转变成一组非相关系数，然后对这些系数进行量化和编码。为了减少计算，在实际应用上都采用基于一定尺寸块的变换编码，即把整幅图像分成许多不重叠的块，对每个块进行变换编码。时域模型的输入为一个未压缩的视频流序列。时域模型试图用邻近帧的相似性来消除了时域冗余，通常是构造通当前帧的预测。在h 2 6 4中，预测通常从一个或多个之前或之后的帧来进行的，并通过对于帧之间的差别进行补偿。时域模型的输出是一个剩余帧( 通过从实际当前帧中减去预测值得到) ，而一系列的模型参数，通常是一系列用来描述运动是如何补偿的运动向量。时域模型的参数( 通常是运动向量) 和空域模型的参数( 系数) 通常用熵编码来进行压缩。这就删除掉了统计上的冗余度( 比如，用短二进制码表示当前的向量和系数) 并制造出一个压缩流或文件来进行传输或存储。一个压缩的序列由编码的运动向量参数，编码的剩余系数和头信息表示。时间域的预测的最简单的方法是从当前帧的前一帧进行预测。用两帧之间的差来做为剩余帧。这个方法的明显的问题在于剩余帧中的能量太多了，这也就是说在时域压缩之后还有大量的数据可以被压缩。大部分的剩余能量是由于在二帧中的物体运动可能造成两帧的运动补偿形成的。在预测编码中，不是直接对图像的像素值编码，而是对当前要编码的像素值与相同帧或先前帧临近像素的预测值的差值编码。由于邻近像素之间通常有非常接近的像素值( 灰度值或颜色值) ，直接编码每一个想素质的数据较大。而如果采用预测差值编码，因预测值与要编码的像素直接近，相应的预测误差值很小，因而需要分配给这些预测误差值的比特数少，达到压缩编码的目的。图2 1 是d p c m 预测编码原理框图。在编码端包括三个部分：一是现行预测器：二是量化器( 包括反量化器) ；三是变长编码、，l z 。输入信图2 1d p c m 预测编码原理框图进制码流西北工业大学硕十学位论文第二章视频编码技术的研究2 3 视频编解码器的接口图2 2 显示了一个视频编码器和一个视频解码器的主要接口【1 2 l 。编码输入：未压缩的视频图像序列( 从帧采集器或者其他途径获得的) ，控制参数；编码输出：压缩了的比特流( 为适应网络传输的需要) 状态参数；解码输入：压缩了的比特流。控制参数；解码输出：解压缩后的视频图像序列( 传送给显示单元) ，状态参数。一个视频编解码器通常被一个用于处理上层应用程序和协议的宿主进程或程序所控制。 三互接收、解包编码后数据输入网络配置包和多路传输)( b ) 解码器图2 2 视频编码器( a ) 和解码器( b ) 接口视频输入和输出作为未压缩的视频有多种格式选择，常见的有y u v( 4 ：2 ：2 ) ：y u v ( 4 ：2 ：o ) ；对每种色度分量( y ，c r ，c b ) 采用独立的存储空间。在读取原始数据和写解码后的数据时，编码器和解码器为了进行运动补偿，都需要存储一帧或者多帧参考数据。这些存储空问也是编解码其的组成部分或者独立于解码器例如硬件编码器外部存储单元( r a m ) 的。对于大尺寸的图像和高帧率而言，内存带宽将是一个重要问题。例如对于电视分辨率( 删r6 0 1 ，大约每帧图像有7 0 4 x 5 7 6 个像素，每秒2 5 帧到3 0 帧)的视频流进行编解码，编码器或者解码起的视频数据接口必须有2 1 6 m b p s 的能1 2西北工业大学硕士学位论文第二章视频编码技术的研究力。如果重构的参考图象放在编解码起的外部存储器中，运动估计和运动补偿采用两个或者多参考帧，则传输需要更高的带宽。编码后的视频数据是描述了编码视频的各种语法元素的连续比特流。如果采用了改进的哈夫曼编码，码流由一系列变长编码( v l c ) 包组成。如果采用算数编码，则各比特描述了一系列小数代表一系列数据单元。比特流必须存放在恰当的单元中利于传输。2 4 基于软件的编解码器的设计2 4 1 设计目标一个实时的软件视频编解码器的工作在很多方面受限，其中最重要的原因是计算能力和码率的限制。软件的视频编解码的设计目标包括：1 最大化编码帧率，合时的目标帧率由应用目的决定。2 最大化视频尺寸。3 最大化峰值码流速率。考虑到编解码器地目的在于视频压缩，这似乎不是一个常见的目标，但是考虑到它有利于最大限度的利用网络传输速率或者存储速率，以得到高的编码质量。4 最大化视频质量( 给定码率下) 。在给定视频编码标准下，通常有很多机会在质量和编码复杂度之间取舍。5 最大化编解码时延。这在要求时延尽量小的双向应用场合中尤为重要。6 编译后代码或数据量最少。这对内存有限的系统( 嵌入式系统) 很重要。7 提供灵活的a p i ，链翳麓还提供一个标准的框架，例如d i r e c t x 。8 确保代码的鲁棒性，稳定性和易于升级更新。9 不依赖工作平台。可移植的软件可以在很多不同的平台下工作，这样有利于该软件的发展更新，有利于未来向其他平台移植并且适应市场变化。2 4 2 设计流程根据不同的标准( 如m p e g - 2 ，m p e g - 4 ，h 2 6 3 ，h 2 6 4 和a v s ) ，对编码器或者解码器的各功能模块进行分和合初始化。图2 3 给出了基于块宏块的帧间编码简化了的流程图。有些步骤的顺序已经被标准规定好了，如宏块头等下信息一般会包含c b p 系数，来表明当前宏块中的各子块是否存在编码后的d c t 系数，1 3西北 t 业大学硕士学位论文第二章视频编码技术的研究所以对宏块头进行v i , c 编码前必须先进行d c t 变换和量化，但是剩余很多步骤的安排就可以有一定灵活性。下列法则有助于解决软件编码器的结构。1 在软件模型中尽量减少函数的相关性，使代码模块化；2 尽量减少函数之间的数据复制；3 减少函数的过量调用，这会引起联合调用，影响代码的模块化；4 减少时延，在运动估计和运动补偿之后，再立刻对科宏块进行编码和传输，而不是在编码前对整帧进行运动补偿，可以有效减少处理时间。刮蚓摊俐雏惭摊图2 4 编码器与解码器之间的互操作点2 5 基于硬件的编解码器设计2 5 1 设计目标目前多数图像压缩编码a s i c 设计方案均采用基于图像块的流水线处理( p i p e l i n e s ) 。流水线是i n t e l 公司首次在4 8 6 芯片中开始使用的。流水线的工作方式就象工业生产上的装配流水线。在c p u 中由5 - 6 个不同功能的电路单元组成一条指令处理流水线，然后将一条x 8 6 指令分成5 - 6 步后再由这些电路单元分别执行，这样就能实现在一个c p u 时钟周期完成一条指令，因此提高c p u 的运算速度。h 2 6 4 编码器中亦包含了许多基于图像块1 4西北丁= 业大学硕十学位论文第二章视频编码技术的研究处理的功能单元，如整像素运动预测i m e 、小数像素运动预测f m e 、运动补偿m c 、帧内预测i n t r a 、整数变换t 、量化q 、反量化i q 、反变换i t 、熵编码u v l c 以及去块效应滤波器d b f 等。如何将这些功能单元有效地分配到各个流水节点，构成一个完整、高效的编码器流水处理系统，是a s i c构架设计过程中很关键的步骤。硬件编解码器的设计目标：1 最大化帧率：2 最大化帧尺寸；3 最大化峰值码率；4 给定码率下的最大视频质量；5 最小处理时间；6 最小的门数量设计面积，板上的内存和( 或) 功耗；7 最小的片外数据传输( 内存带宽) ，这常常是硬件设计的瓶颈；8 提供灵活的接口到主机系统( 在通用处理器上运行的应用软件) 。在硬件设计里，前4 个目标和上面的6 、7 目标必须折中考虑。对核心的编码函数，如运动估计、d c t 和变长编码可有多种可选结构。但是高性能必然带来门数的增加，一个重大的限制就是完成每个宏块的编码所分配到的周期数。这里可以由目标帧率、帧尺寸和选定的开发平台的时钟周期计算得到。2 5 2 编解码器系统架构传统的视频压缩编码器a s i c 大都采用两级宏块流水架构【1 3 】【l ”。典型的传统流水处理编码器架构如图2 6 所示。处理器作为全局控制器，来管理不同模块之间协调工作。各个模块挂在系统总线上，由全局处理器统一管理。运动预测m e 、运动补偿m c 通过总线共享片外r a m 资源。将m e作为流水链的一个节点( s t a g e ) ，由于m e 单元的运算量基本上相当于其他处理单元的运算量总和( m c + d c t + q + + i q + i d c t w l c ) ，因此将除m e 外其余处理单元全部作为下一个节点，以保证流水线最大的效率【1 0 】。西北工业大学硕士学位论文第二章视频编码技术的研究图2 5 公共总线结构图2 6 流水线结构的编码方案对于视频编码标准如h 2 6 3 ，功能模块简单，关键路径较短，宣采用两级流水链架构。然而h 2 6 4 编码器中新增了多帧预测、小像素预测、帧内预测、去块效应滤波等多个复杂模块，同时其他模块的复杂度也成倍增加，若还采用两级流水架构会使得每个节点关键路径过长，各个功能单元很难实现完全饱和的并行工作，无法发挥流水线处理的优势。同时流水节点过少也会导致数据总线带宽需求倍增，严重限制了系统频率的提升。我们的设计目标是面向h 2 6 4 a v c 协议基本层l e v e l3 规定，实现可以实时处理影sc i f 格式图像的编码器。编码器的运动估计搜索范围设置为( 1 6 ，1 6 ) ，允许1 6 x1 6 、