（通信与信息系统专业论文）基于adi+dsp的mpeg4视频编码的实现和优化.pdf

浙社大学硕士学位论文 y 6 8 9 0 2 8 摘要 随着信息技术的发展和 d s p性能的提高，以视频压缩为核心的监控系统得 到了长足的进步， 并广泛应用于安保、 生产等领域。 编解码系统作为视频监控的 关键技术， 其编码标准也由m p e g - 1 和h .2 6 1 发展到m p e g - 4 和h .2 6 4 . 针对网络视频录像机的市场需求，基于 m p e g - 4编码标准，研制了 一套以 b la c k f i n 5 3 3 d s p 芯片为 核心的 视频编 解码系统， 本文就所 承担的软 件部分实 现 进行了研究。 通过模块代码运行效率测试，发现运动估计占 整个压缩处理时间的一半以 上。 在对原有的方法进行分析的基础上， 提出了一种改进的六边形搜索算法， 在 经过数据结构优化和部分代码汇编改写之后，将代码映射到 d s p硬件平台。更 进一步从地址映射、数据访问 等方面对编码方案进行优化。经过实验数据测试， 视频压缩率满足指标要求，实时处理能力达到2 5 帧/ 秒。 关键词: 视频编码， m p e g - 4 标准，运动估计， 代码优化， b ia c k f in d s p 浙江大学硕士学位论文 ab s t r a c t wi t h t h e d e v e l o p m e n t o f i n f o r m a t i o n t e c h n o l o g y a n d t h e i m p r o v e m e n t o f d s p p e r f o r m a n c e , t h e s u r v e i l l a n c e s y s t e m b a s e d o n v i d e o c o m p r e s s i o n i s g r e a t ly a d v a n c e d a n d w i d e l y u s e d i n t h e f i e l d s o f s e c u r i t y a n d p r o d u c t i o n . a s t h e k e y t e c h n o l o g y o f v i d e o s u r v e i l l a n c e , c o d e c s y s t e m i s d e v e l o p e d w i t h t h e e n c o d i n g s t a n d a r d e v o l v i n g f r o m mp e g- 1 a n d h. 2 6 1 t o mp e g- 4 a n d h. 2 6 4 . a i m i n g a t t h e m a r k e t in g r e q u i r e m e n t o f n e t w o r k v i d e o r e c o r d e r , a v i d e o c o d e c s y s t e m b a s e d o n m p e g - 4 s t a n d a r d a n d b l a c k f i n 5 3 3 d s p c h ip i s d e v e l o p e d . i n t h i s p a p e r , t h e im p l e m e n t a t io n o f s y s t e m s s o ft w a r e p a r t i s d i s c u s s e d . b y t e s t i n g t h e r u n n i n g e f f i c i e n c y o f t h e e n c o d in g m o d u l e s , t h e r e s u lt i s p r o v e d t h a t m o t i o n e s t i m a t i o n t a k e s m o r e t h a n h a l f o f t h e e n t i r e c o m p r e s s i n g t i m e . b a s e d o n t h e a n a l y s i s o f t h e o r i g i n a l a r i t h m e t i c , a n u p d a t e d h e x a g o n s e a r c h i n g a r i t h m e t i c i s p r o p o s e d . a ft e r t h e d a t a s t r u c t u r e i s o p t i m i z e d a n d s o m e o f t h e c o d e i s r e p l a c e d b y a s s e m b l y l a n g u a g e , t h e c o d e i s m a p p e d o n t o d s p h a r d w a r e p l a t f o r m . t h e n t h e s y s t e m i s t h o r o u g h l y o p t im i z e d in d iff e r e n t w a y s s u c h a s m e m o ry m a p p i n g a n d b u s o p e r a t i o n s . t h e s y s t e m t e s t i n g s h o w s t h a t v i d e o c o m p r e s s i n g r a t i o m e e t s t h e r e q u i r e m e n t o f t h e t a r g e t a n d t h e c a p a b i l i t y o f r e a l - t im e p r o c e s s in g a r r i v e s a t 2 5 斤 a me s / s . k e y wo r d s : v i d e o c o d e c , mp e g - 4 s t a n d a r d , mo t i o n e s t i m a t i o n , c o d e o p t i m i z a t i o n , b l a c k f i n d s p 浙江大学硕士学位论文 第一章 绪论 1 . 1引言 随着上世纪七十年代后大规模和超大规模集成电路技术、数字信号处理技 术、 计算机技术、 通信技术的跨越式飞速发展， 人类对信息的处理也迅速从模拟 领域进入数字领域， 从本地的单机处理进入网络交互式处理， 从简单的文本信息 处理进入多媒体信息处理。因此2 1 世纪被形象的称为信息时代、数字时代、多 媒体时代。 多媒体信息主要包括文字、 声音、图像、图形和视频等内容。 其中视频又是 多媒体信息中最重要的组成部分。 这是因为:首 先视频信息极易被人类接受。 据 统计人类接受的信息大约7 0 % 来自 视觉;其次视频信息具有直观、形象、准确、 高效和应用广泛等特点; 第三视频信息容量大。 与音频、 数据相比， 视频具有无 与伦比的信息容量。 但与文本、 数据和语音相比， 视频海量的数据量使得未经压 缩的数字视频几乎没有任何实用价值。例如:对于c c i r - 6 0 1 格式的视频材料， 当 帧率为2 5 印 s ， 采 样 深度为8比 特， 色差 格式为4 : 2 : 2时， 每秒数据量为 1 6 5 .9 mb i t s 。如果直接在容量为4 . 7 g b的d v d格式光盘中保存，则只能保存不 到 4分钟的内容。对于高清晰度数字电视 ( i t u - r 7 0 9 )每秒数据量更高达 8 8 4 .7 mb i t s ，而地面广播系统的传输带宽仅有 6 m 到8 m。因 此无论是存储还是 传输， 数字视频都必须经过压缩才能具有实际意义， 这就使得视频压缩技术成为 多媒体技术的关键所在。 1 . 2视频编码原理 视频编码的目的是实现对视频的压缩， 其核心思想是去相关。 即通过减少视 频序列间的相关性，用较少的比 特数来表示视频内容，降低视频内容中的冗余， 从而实 现对视频的 压缩。 视频 序列中的 冗余主要有以 下几个 方面 1- 3 l ( 1 )空间冗余 浙江大学硕士学位论文 空间冗余是指在同一帧画面中， 相邻的像素间存在的相关性， 特别是当这些 相邻像素位于同一个视频对象中时，相关性极强。例如在图像的背景区域。 ( 2 ) 时间冗余 通常对视频序列而言， 除非发生场景切换， 否则相继帧在时间上都是连续的。 在前后两帧中往往包含与当前帧相同的背景和对象。 只是由于镜头的转动或对象 的移动使得空间位置发生变化。 运动越缓慢， 位置的变换越小。 因此视频序列在 时域存在极强的相关性。 ( 3 )编码冗余 对于 编码符号， 其平均码长高于所表示信息的 信息嫡， 这个偏差就形成了 编 码冗余。 编码冗余、 空间冗余和时间冗余都依赖于图像数据的统计特性， 可以统 称为统计冗余。 ( 4 )人眼视觉冗余 由 于人眼视觉的非均匀性， 使得人眼视觉对某些空间频率感觉迟钝。 因此视 频中不同频率成分的内容对于人眼系统而言其重要性是不同的。 也就是说存在频 域兀余。 例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。 因此可 以 对色度分量进行降采样，同时保持主观视觉质量不变。y u v 4 :2 :0色差格式就 是对色度分量在水平和竖直两个方向进行2 : 1 的降采样。 另一方面对信号频域的 各个分量可以采取不同的量化步距， 将人眼视觉不敏感的分量去处， 而不会引起 土观质量的下降。 ( 5 ) 结构冗余和知识冗余 图像的某些区域存在非常强的纹理结构， 图像像素值有明显的分布模式， 形 成结构冗余。 或者图像中包含的信息与某些先验知识有关， 例如人的五官位置对 于人脸而言 就是 一 种先验知识，这种冗余构成知识冗余。 信源编码的方法按照压缩数据能否被准确恢复分为两大类: 无损编码和有损 编码。 虽然无损编码可以无失真的恢复原始数据， 但其压缩效率十分有限。因 此 在视频压缩中都是将无损编码和有损编码结合使用。 视频编码中主要压缩技术有以下几种。 ( 1 ) 预测编码 预测编码不是对一个像素直接编码， 而是用同一帧 ( 帧内预测编码) 或相邻 浙江大学硕士学位论文 帧 ( 帧间预测编码)中的像素值来进行预测，然后对预测残差进行量化和编码。 显然预测编码实际是利用了图像数据中的空间和时间冗余。 线形预测编码又称为 差分 脉冲编码调 制d p c m ( d iff e r e n t i a l p u l s e c o d e m o d u l a t i o n ) ， 由 于 算法简单， 易 于硬件实现，已被各种视频编码标准采纳。 帧间预测编码的主要方法有帧重复法、 帧内 插法和运动补偿法等。 其中运动 补偿法在视频编码中使用的最为广泛。 运动补偿预测通常可以采用单向预测( 一 个参考帧) ， 双向 预测 ( 两个参考帧) 和插值预测 ( 取两个参考帧预测值的平均) 来实 现。 由 于运动补偿预侧可以有效地减少视频序列的时域冗余， 因此成为构成 当前主要视频编码标准最基本的技术之一。 ( 2 ) 变换编码 变换编码是构成当前主要视频编码标准的另一项最基本技术， 用来消除图像 的频域 ( 变换域) 冗余i 楚鲍宏块瓣运动矢量簸建( x + h ，y + v ) 。在握对鳖轹系中，运动矢 量表示为( u ，v ) 。如槊参考帧是t 时刻之前的( t n ) 时刻，则谗动矢量称为前 向运动矢鼹。如果参考帧是t 时刻之艏的( t + n ) 时刻，则运动矢量称为后向运 动矢量。 考虑列通过帧闻遮动补偿可以裔效压缩数据比特数，视颓堪缩标准中通常采 用三种类型的图像：帧内图( i 图像) ，预测图( p 图像) 和双向预测图( b 图像) 。 峻内图像( 1 犊) 。编码对不瀑要其瞧参考羧。孛寅内绫鹚滋块不需要运秘 矢量。i 帧画褥是指桢海编码画丽，解码时不需要其它额外的信息。i 帧 主要由变换系数组成，不含矢量。它允许观众变换频道，并防止误码的 传递。 浙江大学硕士学位论文 预测图像( p 帧) 。p 帧数据由在前面画面中描述的每个宏块的矢量所组 成，而不是由描述必须加到宏块上的校正或差异数据的变换系数所组 成。p 帧需要的数据大约是i 帧的一半。在同一个p 帧内，某一宏块可以 编码为p 类型( 前向预测编码) 或i 类型( 帧内编码) 宏块。如果在运动 估值过程中计算出的运动矢量不能用时，则该宏块选择i 类型编码模式。 双向预测图像( b 帧) 。同时用前面和后面的i 帧或p 帧作参考帧进行运动 补偿预测编码。在同一个b 帧内，某一宏块可以编码为i 类型，p 类型或b 类型编码模式。b 帧通常每个宏块需要两个运动矢量：一个前向运动矢 量和一个后向运动矢量的线性插值。由于双向预测非常有效，所以b 帧 需要的数据大约是i 帧的四分之一。 这些图像类型的组织结构十分灵活，可以由编码器的参数决定。 在同一个视频帧中，每个宏块也可以采用不同的编码类型。每个宏块具有的 运动矢量数目取决于宏块的编码类型。 各种块匹配算法在以下三方面有区别：块大小选择，最佳匹配标准，搜索策 略。 在m p e g 标准中，可以选择1 6 1 6 、8 8 等为块匹配尺寸。 最佳匹配可以用多种方法来判断。最常用的实现简单的方法是绝对差之和 ( s a d ) 方法，也就是说，最佳匹配宏块是使s a d ( i ，j ) 取最小值的宏块。s a d ( i ， j ) 定义如下： m - i n - i s a d ( i ，) = x z i c ( x + k ，y + ，) 一r ( x + i + k ，y + ，+ 驯 k = o i = 0 ( 3 1 ) c ( x + k ，y + 1 ) 表示当前帧中位于( x ，y ) 处宏块的像素。该宏块被称为估计宏 块。r ( x + i + k ，y + j + 1 ) 表示参考帧中宏块的像素。该宏块被称为参考宏块。i ，j 定 义为在搜索区域内：一p i p ，一p j p 。n ，m 表示宏块的尺寸。 位于( x ，y ) 处的宏块的运动矢量是使函数s a d ( i ，j ) 取最小值的( i ，j ) 。 当最佳匹配宏块与估计宏块几乎相同时，差值s a d ( i ，j ) 非常小。实际上， 只有对s a d ( i ，j ) 值小于某一预定阈值的宏块，才能使用运动估值算法。 运动估计的过程通常是：首先对宏块的亮度块用全搜索方法得到整像素精度 的运动向量，然后用这个运动向量作为初始估计，在它周围进行半像素精度的搜 浙江大学硕士学位论文 索。将得到的亮度块的运动向量除以2 作为对应的宏块的色度块的运动向量。对 于作参考的帧，由于它需要能够独立解码，因此在解码的时候可能没有帧外部的 像素值。而存运动估计时，可能要用到这些像素值，因此需要先采用“重复填充” 技术来根据帧内部的像素值来外插帧外部的像素值。填充程序可看作是根据帧内 部的像素点对帧外面的像素点进行预测。因此作运动估计之前，要先对参考帧进 行填充，然后进行运动估计。 运动补偿是指根据运动矢量在参考帧中找出参考块，如果运动矢量的x 分量 和y 分量都是整象素长度，则直接在参考帧中找出参考块；如果是半象素长度， 则需要通过内插运算计算出参考块。计算出的参考块需要加上解码得出的误差块 才能得到当前块。运动补偿是减少帧序列冗余的有效方法。 1 3 1 2d c t 变换编码 d c t 变换编码方法归纳起来可分为：离散余弦变换、对d c t 变换系数进行量化 ( 包括量化、z 字扫描、行程编码) 和熵编码三个阶段。为得到更高压缩比，必 须对d c t 系数进行量化。为了进一步提高d c t 固有的压缩性和减小运动信息对整个 码率的影响，要使用可变长度的码宇进行编码( 即变长码v l c ) 。 视频编码算法中帧内和帧间编码的核心算法都是d c t 变换编码，视频压缩算 法中采用的8 8 二维d c t 、i d c t 定义如下： f ( 也v ) = 却) c ( v ) 善7 善7 朋功c 。s ! 三i 芝巫c 。s 坚竽 ( 3 2 ) 忙0j 却 l u1 u 邝= 号萎7 驴7m v 小。s 譬竽c o s 号竽 慨s ， “。uv 2 u j vi u 其中f ( i ，j ) 是在 i ，j 位置处的像素值，u 和v 分别是水平和垂直频率索引， 而常量c ( u ) 和c ( v ) 由下式给出： f 1 ，fk 0 ， 。( ) 2 1 姿，。f 胁。打p 1 2 2 ( 3 4 ) 卜式的运算，对8 8 块中的每个像素有6 4 次乘法和6 3 次加法，对整个块中的 6 4 个像素值共有4 0 9 6 次乘法和4 0 3 2 次加法。等效于先对v 分量求和，再对u 分量求 9 浙江 学硕士学位论文 和，相当于先对块巾的每一列进行一维d c t 运算，然后再对其结果的每一行进行 一维d c t 运算。这就是基本的行列分离法，把一维的d c t 变换化成一维的d c t 变化。 如下所示： 脚，= 学掣扣鼙罢叫砉枷s 阵 限；， 1 1 ， y k 0 ， 娴2 法矾一e 限。， 罔3 4 是每一个单独8 8 d c t 系数逆向变换后的结果。 图3 48 ) ( 8 尺寸d c t 变换 在亮度信号中，左上方的系数是整块的平均亮度或d c 分量。在顶行上移动时 ( 向右) ，水平空间频率会增加。在左列上移动时( 向下) 、垂直空间频率会增加。 在实际画面中，不同的垂直和水平空间频率会同时出现，块中一些点的系数 将代表所有可能的水平频率和垂直频率的组合。 对彩色画面而言，y 、c r f l c b 数据被组合成分离的8 8 排列，并各自独立变 换。 在相当真实的节目内容中，许多系数都是零值或接近零值，所以不会被传送。 这就产生了实际无损耗的压缩。如果需要更高的压缩系数，那么非零系数的字长 必须缩短。这样会导致这些系数精度下降，并将在处理中产生损耗。 1 3 2 主要视频编码标准 c ”l - i 2 6 1 1 3 1 1 浙江大学硕士学位论文 h 2 6 1 是第一个获得广泛应用的视频编码标准。它的全称为“v i d e oc o d e cf o r a u d i ov i s u a ls e r v i c e sa tp x 6 4 k b i u s 。嚣标是在i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a l n e t w o r k ) 上以p 6 4 k b p s ，p = 1 ，3 0 的速率开展视频会议和视频电话业务。 h 2 6 1 定义了一个完整的视频编码算法，采用了帧内图像编码、帧问误豢预 测、运动 嫠、d c t 、变长绽羁等投零，建立了敬褥巨大藏功静蒸予涣混合编褥 框架。为后来的m p e g 一1 、m p e g 2 等视频压缩标准提供了基础。 ( 2 )m p e g 1 3 2 】 1 9 9 1 年1 1 胃活溺圈豫专家组( m p e g ) 制定了m p e g 1 搽疆。m p e g 标准 在h 2 6 1 视频编码算法的基础上改进、发展，m p e g - 1 改进的主熏内容是增加了 b 图像帧( 双向预测) 和图像组( g o p ) ，这些改进具有更高的雁缩比，同时定 义。歹编璐冀法中各工麓瀑夔语法，锭凌频瓣可操臻燕雯灵活。 m p e g - 1 标准是将数字视频信号和与之相伴的音频信号在一个可以接受的 质量下，能被压缩到码率约1 5 m b i t s 的一个m p e g 单一流，主耍应用于存储庶 爱。m p e g t 蠡准咒簸定。r 弱滚瀣法黎磐碣过程，溪户可整缀磐逡羁窝这个港法 的灵活性来设计非常商质量的编码器和非常低成本的解码器。编码器的设计中一 些重要参数，如运动储值、自适应璧化和码流速率控制等可以由用户自由确定。 速率终荛 + 2 m b s 戆瘸m p e g - l 簿法压缝戆横颓露豫瓣矮餐捆当予v 珏s ( 家 用视频系统) 记录质黧。空间分辨率限制为每视频帧扫描行3 6 0 个像素，并且猩 源编码器端的视频信号为3 0 帧，秒，q 隔行扫描。对大多数原始阕像内容，可得 至l 无人工痰迹载图像壤爨。m p e g 。1 标准是v c d 王l k 标准的梭心，璜在已经建 入于家万户：利用m p e g 1 音频的三层的m p 3 音乐格式也倍受宵睐。 ( 3 )m p e g 2 【3 3 】 i s o i e c 予19 9 t 零开始臻究赣於标准，掰拣凝巷力予鬟懑鼹犊囊量，粪爨 不亚于n t s c p a l 直到l o m b p s 左右的c c i r 6 0 1 质量。1 9 9 4 年公布了i s o 1 e c 1 3 8 1 8 ( m p e g 一2 ) 草案，一年后成为国际标准。因此，m p e g 2 标准能广泛应用于 卫星广攒渡务( b b s ) 、电缆电视( c a t v ) 、数字滚援缝蘑广攒( d t t b ) 、点溪 电视( v o d ) 、数字声齑广播( d a b ) 、多媒体终端、网络数据艨业务、双工通 信等众多领域。m p e g 一2 是工业标准d v d 的核心丰幂准。 m p e g 2 是m p e g 一1 的一个越嶷，它居向羡容m p e g i 。m p e g - - 2 又怼 浙江大学硕l 学位论文 m p e g 一1 作了重要的改进和扩充。针对隔行扫描的常规电视图像专门设置了“按 帧编码”和“按场编码”两种模式，并对运动补偿作了相应的扩充，使其编码效 率显著提高。 档次和等级的划分是m p e g - - 2 为适应不同应用而定义各个子集的结果。“档 次”是集成后的完整码流的一个子集，而每个“档次”的“等级”则是对编码参 数所作出的进一步的限制。“档次等级”是通过确定码流中相应的标题信息及附 加信息中的有关参数来给定的，这样，为较高“档次”和“等级”码流设计的解 码器能够对相同或较低档次的数据解码。 ( 4 ) h 2 6 3 3 4 】 针对甚低码率( 低于6 4 k b p s ) 的视频会议和可视电话的应用，在1 9 9 5 年1 1 月i t u - t 推荐的低码率视频编码标准h 2 6 3 建议草案出台。h 2 6 3 标准的视频编 码算法与h 2 6 1 相似( 运动补偿和d c t 算法) ，但它在性能上有了显著提高。试 验表明：在相同的主观质量下，h 2 6 3 编码码率仅为h 2 6 1 的一半】。与h 2 6 1 相比，h 2 6 3 的主要区别如下： h 2 6 3 支持更多的图象格式、半像素精度运动估计、宏块( 1 6 x1 6 ) 运动估 计和块( 8 8 ) 运动估计的自适应变换、3 - d ( l a s t - r u n l e v e l ) 而不是 2 - d ( r u n - l e v e l ) 游程编码、可选的无限制运动矢量、可选的算术编码、可选的 重叠运动补偿和四运动矢量宏块的高级预测模式和可选的双向预测。 在完成h 2 6 3 标准的制定工作后，为适应在现有的窄带网络环境上传输视频 信息。i t u t 在1 9 9 8 年1 月通过了h 2 6 3 标准的第二版h 2 6 3 + i “i ，增加了十二 个新的高级模式。2 0 0 0 年1 1 月，又推出了第三版h 2 6 3 + + 【3 7 】，新增3 个高级模 式。新增模式主要包括：参考帧再采样模式、高级帧内编码模式、交替帧问v l c 选择模式、分片结构模式、参考帧选择模式、数据分割模式、可分级扩展编码等。 ( 5 )m p e g 一4 3 8 3 9 l 在成功制定了m p e g l 和m p e g 2 后，国际运动图像编码专家组( m p e g ) 于1 9 9 9 年初正式推出了令人称道的m p e g - - 4 标准。与前两者不同，m p e g - - 4 不仅仅是针对一定比特率下的视频、音频编码，还更加注重多媒体系统的交互性 和灵活性。因此，m p e g - 4 采用了全新的第二代视频压缩编码技术，引入视听对 象( a u d i o v i s u a lo b j e c t s ，a v o ) 的概念，使得更多的交互操作成为可能。 浙江火举硕士学位论文 以上这些优点无疑使得m p e g 4 具有广阔的应用前景，如i n t e r n e t i n t r a n e t 上的多赚体滚强务、耩频点季蒌、可巍游戏、 毳码攀豹罄动多媒髂通信翔享觅颓手移l 等交互式多媒体应用、数字电视与演播电视、虚拟会议等等。m p e g 4 将成为今 后一段时间视频压缩标准的主流。 m p e g - - 4 静基予恚荛辑对象编璃豹特点，在裰频整茬录像领域中其有爨下尼 个方面的巨大优势：大幅度降低录像存储容量；较高的录像清晰度；录像帧率可 调；网络传输稳定可靠。 菱羧魏笼，本漂越逡f i tm p e g 4 终戈运翟蕊控系绫戆搴鼙羧藤缭蠡凑。燕戳 后的章节将对m p e g * 4 标准进行详细介绍。 1 4x v i d 介绥 2 0 世纪末，p c 上能用的唯一m p e g - 4 编码器就是由微软所开发的，包括 m sm p e g 4 v 1 、m s m p e g 4 v 2 、m sm p e g 4 v 3 的系列编码内核。由于微软决定 饺褥这个m sm p e g 4 v 3 麴视频缓稻内核封闭在w i n d o w s m e d i a 流臻俸技术，缀 快便有开放源码开发小组o p e n d i v x 修改了微软的m sm p e g 4 v 3 ，解除了不能 用于a v i 文 牛的限制，并开放了其中一些压缩参数，诞生了m p e g 4 编码器 o p e n d i v x e n c o r e 2 。d i v x 携开发，褥力于寒鑫开放源玛季会静帮劲。2 0 0 1 年7 月，就在e n c o r e2 撼本成型，差不多可以产品化的时候，d x n 另搞了一个 d i v x c o m 网站，封闭了源码，发布了他们自己的d i v x 4 。d i v x 4 的基础就撼 o p e n d i v x 孛豹e n c o r e2 ，篷刭蘑了d i v x 鹅簿号。交予d x k 不菇参与，矮鏊黧予 停顿，e n c o r e 2 的源码也被d x n 从服务器上撤下。经过激烈的争论，d x n 虽然承 认e n c o r e 2 在法律上是开放的，但仍然拒绝把它放回服务器。而原o p e n d i v x 开 发缝中静枣存者，逐澎壤赣聚藐开发力量，在最屠一个o p e n d i v x 舨本戆基戳 二， 发展出了x v i d 。 劫后余生的x v i d 继承并发展了o p e n d l v xe n c o r e2 ，性能得到极大提高，被 认为基懿 筵器上速度簸俊鲢m p e g 4c o d e c 。x v i d 重写了爨蠢 璃，不过，因 为m p e g - 4 还存在专利权的闽题，所以x v i d 只能仿照l a m e 的做法，仅仅作为 对如何实现i s om p e g 一4 标准的一种研究交流，网站卜只提供源码，如果要使用 就要鱼己缝译源码或卷到第三方刚瓣下裁编译磐的哥运行舨本。 浙江人学硕士学 注 立 论文 以 上这些优点无疑使得m p e g - 4 具有广阔的应用前景，如i n t e r n e t l i n t r a n e t 上的多媒体流服务、 视频点播、 可视游戏、 低码率的移动多媒体通信如视频手机 等交互式多媒体应用、 数字电 视与演播电视、 虚拟会议等等。 mp e g - 4 将成为今 后一段时间视频压缩标准的主流。 m p e g -4的基于视听对象编码的特点， 在视频监控录像领域中具有以下几 个方面的巨大优势: 大幅度降低录像存储容量; 较高的录像清晰度; 录像帧率可 调;网络传输稳定可靠。 正因如此，本课题选用 m p e g - 4作为远程监控系统的视频压缩标准。在以 后的章节将对mp e g - 4 标准进行详细介绍。 1 . 4 x v i d 介绍 2 0世纪末， p c上能用的唯一m p e g - 4编码器就是由 微软 所开发的 ， 包括 ms m p e g 4 v i . ms mp e g 4 v 2 . ms m p e g 4 v 3 的系列编码内 核。由 于微软决定 仅将这个m s m p e g 4 v 3 的 视频编码内 核封闭 在w in d o w s m e d i a 流媒体技术 ， 很 快便有开 放源码开 发小组o p e n d i v x修改了 微软的m s m p e g 4 v 3 ， 解除了 不能 用于 a v i 文件的限制， 并开放了其中一些压缩参数， 诞生了m p e g 4编码器 o p e n d i v x e n c o re 2 . d iv x的开发， 得力于来自开放源码社会的帮助。 2 0 0 1 年7 月， 就在 e n c o r e 2基本成型， 差不多可以产品化的时候， d x n 另搞了一个 d i v x .c o m 网站， 封闭了源码， 发布了他们自己的 d iv x 4 . d i v x 4的基础就是 o p e n d i v x中 的e n c o r e 2 ， 但 利 用了d i v x 的 牌 号。 由 于d x n 不 再 参 与 ， 项目 陷 于 停顿， e n c o r e 2 的源码也被d x n从服务器上撤下。经过激烈的争论，,d x n虽然承 认e n c o r e 2 在法律上是开 放的 ， 但仍然拒绝把它放回 服务 器。 而原o p e n d iv x开 发组中 的 幸存者 ， 逐 渐重新聚拢开发力量 ， 在 最后一 个。 p e n d iv x版本的 基 础匕 发展出了x v i d. 劫后余生的x v i d 继承并 发 展了o p e n d i v x e n c o r e 2 ， 性能 得到 极大 提高 ， 被 认为目 前世界上速度最快的m p e g - 4 c o d e c a w d重写了 所有代码， 不过， 因 为m p e g - 4 还存在专利权的问题， 所以x v id只能仿照l a me的做法， 仅仅作为 对如何实现i s o m p e g - 4 标准的 一种研究 交流 ， 网 站 上只 提供 源码， 如果 要使用 就要自己编译源码或者到第三方网站下载编译好的可运行版本。 浙江大学硕士学位论文 x v i d作为一个开放源码的m p e g - 4 c o d e c ， 提供优异的速度及质量并且能够 免费取得， 现在己 经达到稳定阶段，在本项目 开始时己 经发表了1 .0 .2 版，我们 参考的就是这个版本。在 x v i d论坛可以得到最新版本的讯息。因为 x v i d兼容 于mp e g - 4 ，因此能够使用独立的mp e g - 4 兼容播放器播放x v i d压缩的码流。 1 . 5编码优化概论 系统性能对于很多应用程序来说是至关重要的。 对程序进行优化， 通常是指 优化程序代码或程序执行速度。优化代码和优化速度实际上是一个矛盾的统一， 一般是优化了代码的尺寸， 就会带来执行时间的增加， 如果优化了程序的执行速 度， 通常会带来代码增加的副作用， 嵌入式系统的内 存资源比较紧张， 很难两者 兼得，只能在设计时掌握一个平衡点，希望以最小的代价换取最大的性能。 由于视频编码算法越来越复杂， 直接使用参考代码往往无法达到理想的时间 性能， 要达到实时的编码还需要做大量的优化工作。 这些工作不仅仅包括运算指 令上的加速， 更为重要的是对程序中 许多不合理的结构和算法进行调整， 以适应 具体的硬件环境。 d s p的主要特点是采用了哈佛结构， 内 部数据与程序分开， 体现以数据为中 心， 提高数据吞吐能力的思想。它的结构特点包括: 特殊的寻址方式; 硬件循环 结构; 可缓冲的存储器; 单循环执行多个操作; 互锁流水线; 灵活的数据寄存器 文件。这些结构特点可以在提高计算效率方面起到十分大的作用。但是要发挥 d s p 的优点就必须对原始代码进行修改以适应硬件特点。 在本文中我们将从程序结构、内存安排、 d s p 汇编指令、 c a c h e缓冲等多 个方面对视频编码程序进行优化和改进。 1 . 6研究背景 现代化的社会工作方式的不断发展， 传统的以单一语音为主的媒体交流方式 己经无法满足社会与人民的需要。 随着通信技术和网络技术的发展， 现代多媒体 技术随着编码技术、 计算机技术、 数字信号处理技术、 大规模集成电路技术的发 展， 己经成为现代信息社会的一个显著特征。 多媒体发展在社会上有广阔的应用 前景。现在正在大力发展的视频监控系统、可视电话系统、和网络摄像机系统， 浙江大学硕士学位论文 无不是和视频编码有着直接的关系。 本课题是用于硬盘录像机的视频编码器的实现，要求对c i f 格式进行编码， 帧率不少于2 5 帧， 典型码率3 8 4 k b p s o要实现此编码器有以 下几种方案: ( 1 ) 直接采用p c机实现。 这种方案以p c机或工作站为平台， 利用现有的 声卡、 视频采集卡作为系统的输入输出设备， 用纯软件方式实现视频压缩协议的 全部内容。 其特点是: 面向p c机多媒体系统，硬件系统设计简单，软件开发环 境好，灵活的程序代码可动态加载以实现多种视频压缩标准。易于移植和升级， 而且支持的网 络协议也独立于硬件。 能适用于多种通信网络， 使之其有很好的网 络互联性。 但是一个摄像头就要配备一台p c机， 成本是很高的: 特别在监控站 点很多的远程监控系统设计中，其成本开销是无法接受的。 ( 2 ) 采用多媒体专用芯片。此方案优点是d s p c p u提供了极强大的多媒 体流水线操作， 而且往往具有强大的多媒体接口， 开发包和必要资源也较多。 如 p h i l i p s t r i m e d ia 应用于实时监控网络中。 其缺点是成本较高， 功耗较大， 不适 合应用于便携式设备中。 ( 3 )采用直接硬件a s i c压缩。 如华邦( w i n b o n d ) 的w9 9 2 0 0 f 。 此方案 的优点是方便集成， 利于应用，开发周期短。 但其缺点也很明显:由于视频压缩 算法全部由 硬件实现， 不便于产品功能更新和升级。成本也不占 优势。 ( 4 ) 采用通用 d s p实现。如 a d i 的b l a c k f i n系列。其优点是集合多 媒体专用芯片与普通mc u的优势，价格较低，而且功耗小，体积小，适合于网 络摄像机和无线手持设备中。 综合以上考虑，决定采用第四套方案实现。 1 . 7研究成果 通过对mp e g - 4 视频编码算法的仔细研究，以 及基于当前视频压缩编码系统 各种设计方案的分析和比较，提出了一种基于b l a c k f i n 5 3 3 d s p 的mp e g - 4 视频编 码系统。着重阐述了为解决本系统的实时性问题，提出了改进的运动搜索算法， 并从硬件平台特征出发， 在结构、 代码、总线、处理器等方面对编码方案进行了 优化， 有效的提高了编码器的编码效率。 最后， 给出了系统的测试结果，说明本 系统达到了项目的设计要求。 浙江大学硕士 学位论文 实现基于d s p的mp e g - 4 编码器不但可以应用于视频监控系统，还可以 应 用于独立的可视电话系统， 还有网络摄像机或者小巧的手持设备。 从成本和发展 前景看，都有较强的现实意义。 本课题的开发研究具有较大的学术价值和实际意义，取得了很好的应用效 果。 1 . 8内容安排 本文以x v i d c o r e 1 .0 .2 参考代码为基础，在深入研究m p e g - 4的文档，性能 和计算复杂度的基础上，对其进行了优化。本文共分五章。 绪论部分简要介绍了视频压缩编码的基本方法， 基于块匹配混合编码框架的 构成以及主要视频编码标准的特点。 第二章中，介绍了开发使用的硬件环境。包括 d s p芯片的结构特点，外设 接口，流水线，以及开发用的 评估板和软件平台的特点。 第三章中，较详细的介绍了 m p e g - 4视频编码标准的特点和其中包含的新 技术， 并对其主要关键算法进行了详细论述。 在此基础上， 介绍了对运动估计算 法进行的优化工作。并讨论了编码方案的选项。 第四章中， 从硬件平台特征出发，在结构、代码、总线、处理器等方面对编 码方案进行了优化，有效的提高了编码器的编码效率，并达到了预期的目 标。 最后一章为全文总结，并对下一步的工作讲行了9望 浙江大学硕士学位论文 第二章 硬件开发环境 2 . 1引言 美国模拟器件公司( a d i ) 是全世界领先的高性能信号处理集成电路制造商， 是全球主要的可编程d s p 芯片供应商之一。 在通用d s p 市场上， a d i 公司占 有 约4 0 %的市场份额。 b l a c k f i n d s p il o -4 1 1 是 1 6 位产品的一个大系列， 是a d i 与i n t e l 联合开发的体现高性能体系结构的首款第四代 d s p产品。这一新产品是专为通 信和互联网应用而设计的通用 d s p芯片，能处理广泛用于互联网的大量图像、 声音、 文本和数据流， 适用于电信和各种互联网设备， 例如可视电话、 游戏设备、 网络终端、网络电视和智能手持设备。 b la c k f in 系列d s p目 前公布的有b f 5 3 5 , b f 5 3 1 , b f 5 3 2 , b f 5 3 3 。 其中b f 5 3 5 接口 丰富，性能优良 ，而b f 5 3 1 / 2 / 3 则增加了视频处理接口，性价比很高。 b l a c k f i n d s p的主要优点如下; ( 1 ) 微信号结构。 b l a c k f in d s p 体系结构是在a d i 公司和i n t e l 公司联合开 发的 “ 微信号结构”c ms a)的基础上实现的。这种统一的编程模式由于采用了 一个综合的信号处理和控制指令集， 而消除了传统的多个不同的处理器之间相联 系的复杂性， 因为传统的多处理器系统的信号处理和控制系统都在分立的处理器 结构上工作。 t 2 )动态电 源管理。动态电源管理可以通过改变电压和工作频率，提供比 其他d s p更少的功耗。b l a c k f i n d s p体系结构允许电压和频率独立调整，使每 一个单项任务所消耗的能量最小。 它的推出使a d i 的d s p 性能提高了4 倍以上， 功耗降低了将近 1 / 3 。 同时a d 为了 使这个体系结构独有的动态电 源管理特性发 挥最大效能，还推出了一个能够控制 d s p电压和频率的芯片组，使得基于 b l a c k f in d s p的设计功耗减少了6 0 %以上。 ( 3 )高度并行的计算单元。该体系结构内的计算单元使在相同周期内能执 行的算术运算的次数最大化。 在每一个周期内， 每个m a c能在4 个独立的操作 数上执行1 6 位乘 1 6 位的乘法运算。4 0 位a l u能累加2 个4 0 位的数字或4 个 1 6 位的数字。这种体系结构可以处理 8 位、1 6 位和3 2 位的数据字运算。 浙江大学硕:i:学位论文 ( 4 )高性能地址产生器。2个数据地址产生器 ( d a g)用于产生支持高级 d s p 滤波运算的地址的复合装入或存储单元。 对于d s p寻址，它支持位倒序寻 址和循环缓冲;对于r i s c mc u载入和存储，支持自 动增量、自 动减量和基地 址+ 立即偏移量寻址方式。它包括 6个 3 2位地址指针寄存器 ( p o - - - p 5 )读取操 作数和其他4 组3 2 位寄存器:变址寄存器 ( 1 0 -1 3 ) ，修正寄存器 ( m o -m 3 ) , 基址寄存器 ( 1 3 0 -1 3 3 )和长度寄存器 ( l o -l 3 ) 。该 d a g还包括2 个用于嵌套 零开销循环的循环计数器以 及支持传输过程中饱和和限幅的硬件。 ( 5 ) 极佳的代码密度。 r i s c mc u编码一般都用时较长，因为它是线性写 入的。 d s p 编码一般用时较短， 并且包含较多的循环周期。 b l a c k f i n d s p 体系结 构支持多种长度指令。 该内 核能将 1 6 位控制指令与3 2 位d s p指令一起混合并 链接进 6 4 位组，使内 存分组最大。当缓冲和读取内 存时，内核自 动完全填充总 线长度分组， 因为它没有排列限制。 这两个特点使得内核处理器具有优秀的代码 密度处理能力。该内核体系结构很容易为获得最佳软件代码密度提供多指令长 度、 指令混合及内存排列。 基于代码中使用的指令，还能自 动混合1 6 , 3 2 和6 4 位指令，而无须任何限制、方式切换或代码隔离。 ( 6 ) 视频指令。 除了支持 8 位数据r g b像素处理算法公用的字长之外， 该体系结构还包括视频指令。例如，用一条 i e e e 1 1 8 0 舍入运算支持离散余弦变 换( d c t ) ; s u m a b s o l u t e d i f f e r e n c e s ，指令 支持视频压缩中 使用的 运动 估计算法。对于霍夫曼 ( h u f f m a n )编码 ，该指令集包括一个” f i e l d d e p o s i t / e x t r a c t ， 命令。 ( 7 )分层结构的内存。