（控制理论与控制工程专业论文）自适应视频运动估计搜索算法及其在视频会议中的应用.pdf

重庆大学硕士学位论文中文摘要 摘要 随着计算机网络技术和计算机通信技术的迅猛发展，使对网络上提供高质量 的视频，音频等多媒体服务的需求越来越大。v o d 、视频电话、远程教育、视频会 议等，将成为人们生活中不可缺少的一部分。实时视频传输由于其独特的应用环 境，使得传统的编码方法不再适用。如何提高在低带宽下的视频压缩性能和压缩 效率，是当前视频编码研发的热点。同时也是多媒体网络应用软件实用化所必需 解决的问题。正在制定的m p e g - - 4 标准不仅可提供高压缩率，同时也可实现更 好的多媒体内容互动性及全方位的存取性。运动估计与运动补偿技术为m p e g - 4 的关键技术之一。由于运动估计非常耗时，因此对编码的实时性影响很大。研究 使用快速的运动估计算法对提高视频的编码效率和编码质量有重要意义。 本文以视频会议系统为应用背景，重点研究了m p e g 4 的运动估计搜索算法， 在分析视频图像时空域相关性和已有的运动估计算法的基础上提出了自适应运动 估计搜索算法。算法以时空相邻块的运动矢量预测搜索起点和运动类型，自适应 的选用搜索模式和终止准则，实现视频图像的快速高效运动估计。试验测试结果 表明，该算法在编码速度和质量上都有明显优势。 本文并将使用自适应运动搜索算法的m p e g 4 应用于视频会议系统，设计与 实现了视频会议系统软件，很好地实现了视频会议系统的视频编码和较为完善的 视频会议系统功能。 关键词：m p e g 4 ，自适应运动估计，视频会议，r t p ，组播 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rn e t w o r ka n dc o m m u n i c a t i o nt e c h n o l o g y t h ed e m a n d sf i o rl l i 出q u a l i t yo fo n l i n em u l t i m e d i as e r v i c e sa r ee v e ri n c r e a s i n g m a n y t h i n g sw i l lb e c o m eap a r to fp e o p l e sl i f e ，s u c h a sv o d 、v i d e o - p h o n e 、r e m o t e e d u c a t i o n 、n e tm e e t i n ga n ds oo n u n d e rt h i sc o n d i t i o n ，t h et r a d i t i o n a lv i d e oc o d i n g m e t h o di sn o tf i tf o ru s i n gi nt h i sr e a l - t i m es y s t e mb e c a u s eo ft h ep e c u l i a r i t yo ft h i s t r a n s m i s s i o nm e c h a n i s m h o wt o i m p r o v e t h ep e r f o r m a n c eo fv i d e oc o d i n go n c o n d i t i o no f n a r r o w b a n di sh o t s p o tr e s e a r c ho f v i d e oc o d i n gf i e l dr e c e n t l y m p e g 一4s t a n d a r dc a l ln o to n l yp r o v i d eh i 曲c o m p r e s s i n gr a t e ，b u ta l s or e a l i z e i n t e r a c t i v em u l t i m e d i ac o n t e n ta n dc o m p r e h e n s i v es a v i n gb e t t e r m o t i o ne s t i m a t i o ni s o n eo f k e yt e c h n o l o g i e so f m f e g - 4 d u et os p e n d i n gm u c ht i m e ，i ta f f e c t se f f i c i e n c yo f t h ev i d e oc o d i n gs e r i o u s l y s o ，r e s e a r c h i n gh i g hs p e e dm o t i o ne s t i m a t i o na l g o r i t h mh a s v e r yi m p o r t a n ts e n s e t oi m p r o v et h ee f f i c i e n c yo f v i d e oc o d i n g i nt h i sp a p e r , r e s e a r c hm o t i o ne s t i m a t i o na l g o r i t h m so fm p e g - 4m a i n l y , a n da p p l y t ov i d e oc o n f e r e n c i n g a na d a p t i v em o t i o ne s t i m a t i o na l g o r i t h m i s p r o p o s e d s i m u l a t i o nr e s u l td e m o n s t r a t et h ea l g o r i t h mi so b v i o u sa d v a n t a g ea tq u a l i t ya n ds p e e d o fv i d e oc o d i n g f i n a l l y , t h ea d a p t i v em o t i o ne s t i m a t i o ni si m p l e m e n t e di nv i d e oc o n f e r e n c i n g s y s t e m am u l t i f u n c t i o n a lv i d e oc o n f e r e n c i n gs o f t w a r e w i t hs m a r tv i d e oc o d i n gi s d e s i g n e da n dd e v e l o p e d k e yw o r d ：m p e g 4 ，a d a p t i v em o t i o ne s t i m a t i o n ，v i d e oc o n f e r e n c e ，r t p , m u l t i c a s t i l l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重废太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：囱动窑签字日期：c 跏叶年6 月7 日 学位论文版权使用授权书 本学位论文作者完全了解重废盍堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重废太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密( ) ，在么年解密后适用本授权书。 本学位论文属于 不保密( ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：1 0 图2 5m v f a s t 搜索步骤说明 ( a ) - ( d ) 大菱形搜索( 分( f ) 小菱形搜索 f i g 2 5d e f i n i t i o no f s t e p si nt h em v f a s ta l g o r i t h m ( a d ) l a r g ed i a m o n dp a t t e r n ，( e f ) s m a l l d i a m o n dp a t t e m 1 4 重庆大学硕士学位论文3 自适应运动估计搜索算法 2 2 2 六边形搜索算法( 卸j s ) 众所周知，搜索算法的搜索图形对搜索速度和精度上有及其重要的影响， 最初方形搜索在运动估计中广泛应用，随后提出的菱形搜索由于其具有更快的 搜索速度而被广泛使用。最近c ez h u ，x i a ol i n 等提出的六边形搜索 ( h e x a g o n - b a s e ds e a r c hp a t t e r nf o rf a s tb l o c km o t i o ne s t i m a t i o n ) 具有比菱形搜 索更快的搜索速度。 书* 汁 书 _ 半汁件 错 图2 6 六边形搜索图形( a ) 大六边形 小六边形( c ) 六边形搜索路径 f i g 2 6h e x b s ：( a ) l a r g eh e x b sp a t t e r n ；( b ) s m m lh e x b sp a a e m ；( c ) s e a r c hp a t he x a m p l e l o c a t i n gt h em o t i o nv e c t o r ( + 44 ) b yh e x b s 六边形搜索算法描述如下： 第一步：用大六边形检查以搜索窗中心( 0 ，o ) 为六边形中心的七个点( 六 边形六个点和( 0 ，0 ) 中心点) ，计算各点的失真值大小；如果最小失真点为六 边形的中心进入第三步。 第二步：以最小失真点为新六边形的中心，用大六边形搜索，对已经搜索 1 5 重庆大学硕士学位论文 3 自适应运动估计搜索算法 过的点不再进行搜索，新六边形只搜索新的三个点，如图2 6 ( c ) 所示，计算各点 的失真值。如果最小失真点为新六边形中心，则进入第三步；如果最小失真点 不为新六边形中心，重复第二步。 第三步：使用小六边形( 即菱形) 搜索以最小失真点为中心的上、下、左、 右四点，计算四点的失真值，将各失真值与中心点的失真进行比较，其中最小 失真值的点对应的向量即当前块的运动矢量。 六边形搜索与菱形搜索相比，每一块平均搜索点数要少2 9 4 个点，搜索速度 有2 0 一4 0 的提高。图像运动越大提高的比率也越大，而匹配精度几乎没有差 别。因此六边形搜索是一个效率很高的搜索算法。 2 2 3 中心偏置算法( c a ) 真实图像序列的运动矢量一般具有中心偏置的分布特性，这体现在绝大部 分的块具有较小的运动矢量，较少的块具有较大的运动矢量。通过对不同序列 的运动矢量进行统计发现，即使对于剧烈运动的图像序列，运动矢量在3 3 范 围内的块所占比例也接近5 0 或更高。这部分运动矢量的搜索速度对搜索算法 的整体速度有决定性作用。 分析运动矢量在3 3 范围内小运动块的运动矢量分布特性，发现匹配点在 中心点的比例最高，其次为在中心点周围上、下、左、右的4 个十字点，在中 心点周围左上、右上、右下、左下4 个对角点的比例最小。根据小运动块的特 性可对菱形搜索( 小菱形) 的搜索算法进行改进，提出了中心偏置算法。搜索 窗的大小限制为3 x 3 ，算法具体步骤如下： 第1 步搜索中心点和4 个十字点，如果中心点的块匹配误差最小，则停止 搜索，输出中心点对应的运动矢量，否则继续从第2 步开始搜索。 第2 步从第1 步搜索的5 个点中，选择匹配误差最小的两个点。如果两个 最小点都是十字点且水平和垂直坐标都不等，则追加搜索1 个对角点，如图2 7 ( b ) 所示；如果在两个最小点中，一个是中心点，则追加搜索毗邻于最小十字点的 两个对角点，如图2 7 ( c 】所示；如果两个最小点都是十字点且水平或垂直坐标相 等，则追加搜索4 个对角点，如图2 7 ( d ) 所示。然后进入第3 步。 第3 步从已搜索过的所有点中，选择块匹配误差最小的一个点，输出该点 对应的运动矢量。同d s 算法相比，c a 算法减少的搜索点数非常可观，如果中 心点为匹配点，d s 算法需要搜索1 3 点，c a 算法需要搜索5 点如果其他点为匹 配点，c a 算法需要搜索6 点、7 点或9 点，d s 算法需要搜索1 3 点或1 6 点实 际测试表明，c a 算法搜索的点数平均在7 点以下。因此平均而言，对于小运动 块，c a 算法比d s 算法少搜索约5 0 的检查点。而由于小运动块在整个图像序 列中所占的比例很大，c a 算法的速度优越性非常明显。 1 6 重庆大学硕士学位论文 3 自适应运动估计搜索算法 ( a ) 第一步搜索的5 点( b ) 追加搜索l 点 ( c ) 追加搜索2 点( d ) 追加搜索4 点 图2 7c a 算法搜索模式 f i g 2 7c as e a r c h i n gp a t t e m 1 7 重庆大学硕士学位论文 3 自适应运动估计搜索算法 3 自适应运动估计搜索算法 3 1 问题的提出 在m v f a s t 中，搜索起始点的预测主要考虑了空域相关性，检查相邻的左、 上、右上块的运动矢量，然而通过对于大量视频图像序列的分析发现：运动图像 序列有很大的时间相关性，即图像帧中相应块在上一帧的运动方向常常是下一帧 图像相应块的运动方向。因此在确定搜索起始点时考虑图像的时域相关性很有必 要，对正确选择搜索起始点，加快搜索速度和提高块匹配精度都有很大的帮助。 m v f a s t 搜索算法中，运动类型是通过比较当前块的最小失真值与限值l l 、 l 2 来确定，l 1 、l 2 为固定限值，限值的大小与图像输出质量相关，这种固定限值 可能对某些块的限值过高或过低，增加了搜索的复杂度，不能很好的适应不同运 动特性的图像序列压缩。因此，自适应的计算限值大小对进一步改进算法的效率 很有必要。 在m v f a s t 搜索算法中，宏块匹配使用菱形搜索算法。研究表明：六边形搜 索算法具有比菱形搜索算法更快、更高效的优势，而匹配精度非常接近。因此使 用六边形搜索能更进一步的提高m p e g 4 的编码器效率。 基于以上考虑，本文提出了自适应运动估计算法。该算法的基本思路是：在 进行宏块运动匹配前用已有的空间相邻块( 左、上、右上) 的运动矢量和时域上 前一帧相应宏块的运动矢量来预测当前块的运动方向和运动程度大小；确定运动 方向和运动程度后，大运动选择六边形搜索( h e x b s ) 方案，中运动使用菱形( d s ) 搜索，小运动使用中心偏置( c a ) 搜索方案；在搜索过程中自适应的计算搜索终止准 则和调整搜索模式来实现宏块的快速搜索。 3 2 自适应运动估计搜索策略 3 2 1 搜索起点的预测 由于运动物体的整体性和视频运动的连续性，因此视频的运动必然具有时间 和空问上的相关性，这种相关性可用来对搜索起点进行预测t 1 6 - 1 5 。其基本思想是： 以空间位置上的相邻且已经编码的块( 如图3 1 中的l # 、2 # 、3 # 、5 # 块) 或时 间上的相邻且己编码的块( 如前一帧图像相同位置块，如图3 1 中的4 # 块) 的运动 预测当前块的初始运动矢量，然后以此为起点作进一步的搜索。文献【1 7 l 阐述了各 相邻块的预测效果，实验统计结果表明当前块的运动矢量与其左边、上边、右上 块以及参考帧相同位置块的运动矢量相关性较大，而与其它相邻块运动矢量的相 关性较小，因此考虑时域上相邻帧( 参考帧) 对应块的运动矢量来预测当前块的 1 8 重庆大学硕士学位论文 3 自适应运动估计搜索算法 运动起点很有必要，当前块与部分相邻块相关性统计结果如表3 1 所示。综合考 虑计算量和预测效果等因素，选择这四个相邻块运动矢量的对应点作为候选点进 行预测。 t 图3 1 搜索起点的预测 f i g 3 1e s t i m a t i o no f s e a r c h i n gs l a g tp o i n t 表3 1当前块与部分相邻块运动矢量相等的百分比( ) t a b l e3 1t h ep e r c e n to f t h ec o m p a r i s o nb e t w e e nc u r r e n tb l o c ka n da d j a c e n tb l o c k s 测试序列1 # 块2 # 块3 # 块4 # 块 t a b l et e n n i s 5 8 8 5 3 74 7 57 7 1 f o r e m a n 5 7 8 6 6 54 5 62 1 - 5 c a r p h o n e 6 6 27 2 95 9 56 0 5 t r e v o r7 5 67 6 66 9 88 1 6 c o a s t g u a x d 6 3 75 6 94 5 75 5 1 s i l a n c e8 7 58 7 78 4 7 8 9 8 m i s sa m e r i c a n8 4 58 3 27 8 o 8 1 8 用块失真度( b l o c kd i s t o r t i o nm e a s u r e ，b d m ) 来度量预测块与当前块之间按 照匹配准则计算出的差别值。运动估计的主要目标就是使预测块与当前块之间的 b d m 尽量小，目前衡量b d m 常用的两种块匹配准则为绝对差值和s a d 以及绝对方 差和s s e 。 一l a r - i s f 4 d ( m ) ( 或，嘭) = i z ( p + f ，g + ，) 一z 一。( p + “吱，q + j + d y ) l ，3 1 1 9 重庆大学硕士学位论文3 自适应运动估计搜索算法 s s e ( r , q ) ( 或，嘭) = ( f t ( p + i ，g + _ ，) 一z 一( p + f + 吐，g + ，+ 以”2 3 2 i = 0 p 0 其中d ，d y 为搜索区域中一个检查点相对于当前块左上角的位移。( p ，g ) 为当前块 的左上角像素在当前帧，t 中的坐标，( ( p + d x ) ，( q + d y ) ) 为预测块的左上角 像素在预测帧jr 一“中的坐标。s a d 对每个像素的算术平均即为平均差值和m a d ， s s e 对每个像素的算术平均即为平均方差m s e 。选用s a d 或m a d 匹配准则可以 避免乘法运算节约计算资源。衡量b d m 使用绝对差和( s u mo f a b s o l u t ed i f f e r e n c e ， s a d ) 。 确定搜索起点常用的方法有中值法、加权平均法和s a d 比较法三种。本文采 用了s a d 比较法的预测方式，主要基于以下原因：首先，在多数情况下，预测效 果是第一位的，准确的预测能为后续的搜索提供良好的起点，结合适当的搜索中 止准则，可以较快地达到搜索的终点；其次，由于运动的相关性，各预测块运动 矢量对应的点都有可能成为最优匹配点，对各种标准视频序列的统计结果表明约 有8 8 的最优匹配点与上述预测块运动矢量对应的点相同，因此这些点在搜索过程 中的地位应高于其它点，对它们进行搜索也是必要的。此外，通过s a d 比较法得 到的预测起点都是相邻块的运动矢量因而这种预测也有助于使运动矢量场具有均 匀性。 在图3 1 中设l 群、2 捍、3 群、4 # 块的运动矢量分别为v 1 ，v 2 ，v 3 ，v 4 ， 块失真度分别为s a d l ，s a d 2 ，s a d 3 ，s a d 4 ：令v 0 表示( 0 ，0 ) 点运动矢量， 其块失真度记为s a d 0 ，则预测的搜索起点v c 对应如下：令 m i n s a d = m i n s a d 0 ，s a d i ，s a d 2 ，sad 3 ，s a d 4 ，v c 是m i n s a d 对应的点。 ( 0 ，o ) 点是指前一帧相同位置的块即4 # 块它不同于4 # 块按v 4 运动形成的块。 在进行预测时对( 0 ，0 ) 这个特殊点的处理在一定程度上能影响算法的搜索效果。由 于零矢量对编码效率是非常有利的因此在编码器的实现中往往对它给予一定的倾 斜。本文的做法是：在选择搜索起点过程中( ( 0 ，0 ) 点和其它点平等对待；如果( o ，0 ) 点被确定为搜索起点则将s a d 0 减去常数。 3 2 2 搜索模式 在众多的运动估计算法中，搜索模式可谓干差万别。对不同的运动情况下， 图像宏块的位移激烈程度不同，而运动估计算法在不同的运动激烈程度上有所长， 有所短。因此运动搜索也应根据宏块运动激烈程度选用与之相适合的搜索模式来 进行搜索，而不是千篇一律，使用单一的搜索模式。本文根据预测的运动程度的 重庆大学硕士学位论文 3 自适应运动估计搜索算法 大小选用不同的搜索模式：大运动选用h e x b s 搜索模式，中运动选用d s 搜索模 式，小运动选用c a 搜索模式。六边形搜索从搜索图案上看接近圆形，对搜索点周 围的点能平等对待，均衡搜索，符合运动搜索的均衡性、全面性原则；从搜索线 路上看，六边形在以新的搜索中心进行下一步搜索时只搜索3 个新的点( 菱形为3 5 个点) ，在大运动的情况下搜索步骤少，方向性好，文献【1 4 】认为在相同条件下 ( 仅搜索路线不同) ，六边形( 采用六边形路线) 搜索比菱形( 采用菱形路线) 搜 索的速度提高2 0 - - 4 0 ，运动激烈程度越大，速度提高越多。小运动的情况下， 块的运动在3 3 的范围内概率很大，因此用中心偏置算法能用最少的搜索点得到 块的运动矢量。 本文算法根据视频运动的特点和当前搜索结果自适应地选择搜索模式。首先 对视频运动进行分类，根据运动类型设置不同的初始模式。分类方法应该简单有 效，不能引入过多的计算量。本文的分类准则为： ( 1 ) 若运动矢量v i = v 2 = v 3 = v 4 ，表明运动变化类型为静止或准静止状态， 只需在中心3 3 范围内作密集搜索即可，因此搜索模式选用c a 搜索。 ( 2 ) 若运动矢量v l 、v 2 、v 3 、v 4 不全相等且都在搜索中心5 x 5 的范围内， 则运动程度为中，表明运动变化不大，选用d s ( 步长为1 ) 搜索。 ( 3 ) 否则( v l 、v 2 、v 3 、v 4 至少有一个在搜索中心5 5 范围之外) ，运动为 大运动，此时表明有较大的块运动，需要在较大的范围内搜索，因此搜索模式选 h e x b s 搜索。 这种分类方法简单、有效，只需很少的计算就能判断当前的运动状态。判断 运动等级后使用相应的搜索算法进行搜索，在搜索过程中根据搜索结果自适应的 调整搜索模式：在六边形搜索时，若s a d 小于某一阀值，认为搜索已有相当精度， 即将接近最佳搜索点，换用d s 搜索进行精炼。 3 2 3 搜索终止准则 为提高算法的速度一些算法利用了s a d 阀值作为搜索终止的条件，即当s a d 小于某一阀值时中止搜索过程。m v f a s t 采用了固定的阀值，p m v f a st 则以当 前块在空间上相邻块的s a d 的最小值作为阀值。事实上，固定的阀值不具有普适 性，而当前帧相邻块的s a d 的分布在数值上也没有很明确的相关性。本文通过考 察相邻块的s a d 在时间上的分布，发现当前块的s a d 与参考帧同一位置块的s a d 间存在着一种数值上的相关关系。从表3 2 和表3 3 可以看出，当前块与其左边、 上边相邻块的s a d 的差异时大时小，没有明确的相关性；但与参考帧相同位置块 的s a d 相比，则具有很强的相关性。 2 1 重庆大学硕士学位论文 3 自适应运动估计搜索算法 表3 2 序列c o n t a i n e r 第2 8 帧各宏块的s a d t a b l e3 2s a do f c o n t a i n e r2 8 血f r d s n e ，sb l o c k s 6 2 2 2 1 9 9 2 0 4 7 6 7 5 1 3 5 4 6 8 2 2 2 6 7 2 5 9 3 7 6 9 1 4 2 2 7 9 4 2 3 8 0 3 3 8 2 7 3 9 1 2 3 0 6 2 4 3 7 3 7 3 1 4 0 8 3 4 1 5 7 8 4 1 4 2 3 9 9 2 5 9 7 9 1 4 1 5 1 3 6 1 5 2 0 7 2 1 6 8 5 9 7 2 1 3 5 2 1 0 3 6 2 4 4 5 2 1 3 0 6 9 5 1 5 6 9 表3 3 序列c o n t a i n e r 第2 9 帧备宏块的s a d t a b l e3 3s a do f c o n t a i n e r2 9 mf x a m e ，sb l o c k s 6 2 4 2 2 0 3 2 0 6 2 6 9 0 1 3 1 1 6 7 6 2 2 6 0 2 6 8 9 8 2 1 1 4 3 2 7 9 2 2 4 2 6 3 7 2 2 7 6 1 1 2 2 1 6 3 6 3 7 5 5 3 4 0 0 8 5 3 1 5 8 8 4 1 4 2 5 0 0 2 5 1 9 9 2 9 1 5 1 9 6 3 6 2 1 6 0 1 7 8 0 9 8 9 1 3 7 2 1 0 2 0 2 3 5 0 1 9 4 6 7 5 5 1 5 8 l 通过对多种视频序列的统计分析表明，相邻帧同一位置块的s a d 间普遍存在 着某种比例关系，其平均比值在0 9 5 一1 0 7 之间。为此，本文算法采用了如下方 法确定s a d 阀值：以参考帧同一位置块的s a d 乘以某个系数作为s a d 阀值。这种 方法不受视频运动类型的影响，具有较强的自适应性，而且能准确确定恰当的阀 值使搜索过程适时中止，有助于以较小的搜索代价得到较好的搜索结果。 为加快搜索过程，在使用d s 搜索模式和h e x l 3 s 搜索模式时本文算法采用了 二级中止准则： ( 1 ) 若s a d l 1 ，表明搜索结果已经足够精确立即终止搜索过程； ( 2 ) 若l - s a d 上2 表明搜索结果尚可只需在小范围进行微调于是将搜索 模式从六边形转为d s 。其中厶= a x p r e v s a d ，l 2 = b x p r e y s a d ，口为厶调 整系数，6 为l 2 调整系数，p r e y s a d 为参考帧相同位置块的s a d 。若当前帧为 第一个p 帧，槲3 p r e v s a d ，则令厶= 5 1 2 ，l 2 = 1 0 2 4 。 ( 3 ) 若删d l 2 ，继续使用六边形搜索。 3 2 4 算法描述 重庆大学硕士学位论文3 自适应运动估计搜索算法 根据上述的研究结果，本文提出快速的自适应运动估计算法，算法描述如下： 初始化阀值 如果当前块为第一个p 帧，令厶= 5 1 2 ，l 2 = 1 0 2 4 ：否则， 厶= a p r e ys a d ，l ，= b p r e vs a d ，p r e vs a d 为参考帧相同位置块的 s a d 。 确定当前块运动类型 ( 1 ) 若1 # 、2 # 、3 # 、4 # 块( 如图3 1 所示) 的运动矢量矿f = 心= 巧= ， 则判定当前块为小运动s m o v e ，令m t y p e = 0 ，在搜索窗中心3x3 的范围内搜 索； ( 2 ) 若v l 、v 2 、v 3 、v 4 不全相等且都在搜索窗中心5 5 的范围内，则 判定当前块为中运动m a t i o v e ，令m o p e = 1 ； ( 3 ) 否则( v l 、v 2 、v s 、v 4 至少有一个在搜索窗中心5 5 的范围外) ， 则判定当前块的运动为大运动l m o v e ，令m t y p e = 2 ； 预测搜索起点 ( 4 ) 若m t y p e = 0 ，搜索起点为搜索窗( o ，0 ) 点； ( 5 ) 若m c y p e 0 ； 计算空域相邻块1 # 、2 # 、3 # 块运动矢量v i 、v 2 、v 3 对应的s a d ， ( o ，o ) 点的s a d o 和参考帧对应块4 # 块运动矢量v 4 的s a d ： 若当前块不在帧的第一列，计算v 。对应的s a d 。； 若当前块不在帧的第一行，计算v 2 对应的s a d 。； 若当前块既不在帧的第一行，又不在帧的最后一列，计算v 。对应 的s a d 。； 若当前帧不是帧的第一个p 帧，计算v 。点对应的s a d 。 通过比较确定搜索起点 计算m i n s a d = m i n s a d o ，s a d l ，s a d 2 ，s a d 3 ，s a d 4 ，v s 为 m i n s a d 对应的点。若v 。= g o( ( 0 , 0 ) 点) ， 蹦d o = s a d o - c o n s t s a d v o ，c o n s t s a d v o 为常数。 执行搜索 ( 6 ) 如果m t y p e = 0 ，进行c a 搜索，保存m i n s a d ，输出m i n s a d 点对 应的运动矢量。 ( 7 ) 如果m t y p e = 1 ，进行d s 搜索，若m i n s a d l l ，保存m i n s a d ，输 出m i n s a d 点对应的运动矢量；若m i n s a d l 重复该步搜索。 ( 8 ) 如果m t y p e = 2 ，进行h e x b s 搜索；若厶m i n s a d l 2 ，令 m t y p e = 1 ，转至( 7 ) 步；若m i n s a d l 2 ，重复该步搜索；若m i n s a d l l ， 重庆大学硕士学位论文3 自适应运动估计搜索算法 结束搜索，保存m i n s a d ，输出m i n s a d 点对应的运动矢量。 ( 9 ) 以上述矢量为中心进行半象素精炼。 算法流程如图3 2 所示： 图3 2 自适应运动估计搜索流程 f i g 3 2f l o wc h a r to f a d a p t i v em o t i o ne s t i m a t i o n 2 4 重庆大学硕士学位论文3 自适应运动估计搜索算法 3 3 试验测试 按照m p e g - 4 对运动估计算法评价的有关要求 2 4 1 ，对本文算法进行测试。将 本文算法嵌入m p e g 4v m 编码软件进行测试。 为了测试算法的健壮性，采用了多种不同的测试序列：母女( 1 0 0 帧) ，蓝球( 1 2 5 帧) ，乒乓球( 1 1 2 帧) ，花园( 1 1 4 帧) ；货轮( 1 0 0 帧) 。其中蓝球序列为物体的 剧烈运动，花园序列为镜头的快速平移加物体的快速运动，乒乓球为物体的快速 运动和场景切换，货轮为物体缓慢的移动。 表3 4 本文自适应算法与其他算法比较 t a b l e3 4t h ec o m p a r i s o nb e t w e e nt h i sp a p e r sa l g o r i t h ma n do t h e r s 测试序列格式码流算法 p s n r 搜索点数速度倍数 f s3 4 8 0 1 0 0 3 6 2 2 4 1 m o t h e r q c 2 4n t s s3 4 7 8 1 8 5 7 4 1 5 4 d a u g h t e r d s3 4 7 8 1 3 5 5 4 1 7 4 p i i ，f s t3 4 7 83 2 2 5 1 3 1 l 自适应 3 4 7 8 2 7 4 7 9 3 6 5 f s2 8 8 8 1 0 0 3 6 2 2 4 1 n t s s2 8 7 5 2 4 4 3 7 2 4 1 c o a s t g u a r dq c 1 1 2 d s2 8 7 31 7 2 7 4 55 8 聊 下 s t2 8 9 06 3 4 1 31 5 8 自适应 2 8 8 95 2 2 7 21 9 2 f s3 4 9 87 6 0 5 4 3 8 4 0l n t s s2 8 7 51 8 5 4 9 8 4 94 1 t a b l et e n n i ss 球1 0 2 4 d s2 8 7 3 1 3 1 1 2 8 2 5 5 8 p 】v f a s t 3 4 9 8 2 4 5 3 3 6 73 1 0 自适应 2 8 8 91 9 9 6 1 7 83 8 1 f s 2 8 3 3 2 3 0 2 1 6 5 8 4 9 1 n t s s2 7 8 34 1 6 3 0 4 85 5 3 g a r d e nc c i r4 0 0 0 d s2 7 8 83 1 5 7 9 7 77 2 9 p m v f a s t2 8 2 16 4 3 0 6 33 5 8 0 重庆大学硕士学位论文3 自适应运动估计搜索算法 自适应 2 8 2 l5 1 0 7 9 74 5 0 7 f s2 6 7 l5 5 8 0 2 0 7 1 4 4l n t s s2 5 9 l1 0 6 9 0 0 5 25 2 2 b a s k e t c c i r4 0 0 0 d s2 6 0 l9 5 5 5 1 4 9 5 8 4 p m v l l a s t2 5 4 92 9 1 6 9 9 21 9 1 3 自适应 2 6 4 82 2 4 4 6 5 22 4 8 6 表中结果说明，自适应运动估计算法与全搜索算法相比，在图像质量与其相 当的情况下，搜索速度得到大幅度的提高，在有的情况下平均p s n r 甚至高于全 搜索算法。与m p e c r - 4 编码器当前推荐算法p m v f a s t 相比，算法速度有1 7 一 3 0 的提高，而平均p s n r 相当。 在实际的实时视频压缩中，使用自适应估计算法的m p e c r - 4 的图像压缩性能 与测试序列的测试结果一致。图3 3 为视频图像3 2 0 2 4 0 在1 0 0 k b i t s ，2 5 帧秒实 时压缩情况下，图像压缩前后的对比。从图像可以看出在低码流下图像质量没有 明显的损失。 ( a ) 压缩前图像( b ) 压缩后解压图像 图3 _ 3 图像压缩前后比较( 1 0 0 k b i t s 2 5 帧s 下) f 培3 3t h ec o m p a r i s o nb e t w e e no r i g i n a la n de n c o d e d ( 1 0 0 k b i t s ，2 5f r a m e s s ) 本文自适应运动估计搜索算法根据视频运动的相关性，从当前块的时空位置 相邻块的运动矢量判断运动等级，以此来选择相应的搜索模式；在搜索过程中采 用自适应的搜索终止准则，调整搜索模式，是搜索过程在有足够精度的前提下适 时终止。从上面的测试数据可以看出，本文提出的自适应运动估计搜索算法在搜 索速度上有非常明显的优势。 重庆大学硕士学位论文4 视频会议系统设计与m p e g - 4 在视频会议系统中的应用 4 视频会议系统设计与m p e g 4 在视频会议系统中的应用 随着宽带网络的进一步普及，通过网络进行包括视频音频等多种媒体手段交 流的应用需求越来越多，计算机网络视频会议就是为了满足这种需求而出现的。 视频会议系统是网络技术、计算机技术和数据信号处理技术相互融合的产物，它 为处于不同地点的用户提供一个虚拟的环境，用户可以在里面通过视频、音频等 多媒体手段进行交流和协作。 4 1 视频会议系统及其国际标准 视频会议系统最早出现在1 9 6 4 年，由a t & t 贝尔实验室推出的世界上第一 个数字化的、交互式的可视电话p i c h l r e p h o n e ，这是一种个人对个人的会议工 具。但由于当时的计算机技术、网络通讯技术、视频编码技术都很不成熟，所以 一直到八十年代末，会议系统大多都是和电视技术、卫星通讯以及线路交换结合 在一起的。到九十年代，真正的多媒体计算机视频会议系统才开始出现。随着技 术的进步特别是宽带网络、信息压缩技术的进步以及p c 机和工作站的普遍应用， 视频会议被集成到计算机而成为桌面视频会议系统( d e s k t o pv i d e o c o n f e r e n e i n g s y s t e m ) 。 到了8 0 年代，由于利益因素和商业机密，各个厂商的视频会议系统技术是不 公开的。由于没有互操作标准，使得不同的系统不能通信，除非在昂贵的设备中 实现变换技术。一直到了1 9 9 0 年，引入了视频会议标准，不同厂商的视频会议系 统才有可能通信。此后，视频会议系统得到更为广泛的应用。 与视频会议系统相关国际标准主要包括国际电信联盟i t u 制定的一系列标 准，以及i e t f 制定的适用于i n t e m e t 的标准r f c 和d r a f t 。其中i t u 制定的标准 系列主要包括h 3 2 0 ，t 1 2 0 ，h 3 2 3 和h 3 2 4 。而i e t f 制定的相关标准包括 实时传输协议、会议控制等多个方面。 4 1 1i t u h 3 2 x 系列体系结构标准 1 ) h 3 2 0 系列 h 3 2 0 系列是针对i s d n 环境中的视频会议，目的是为了保证来自不同厂商 的会议系统产品可以互连。规定了可视电话中音频、视频和图形通信概念，描述 了对音频和视频信息的处理要求，提供了可兼容的音视频输入和输出的公共格式， 以及一个会议终端对通信链路的使用和音视频信号的同步。h 3 2 0 可支持多点和 点对点会话，相应h 3 2 0 的视频会议建立在电路交换服务如i s d n 上。 2 ) h 3 2 3 2 7 重庆大学硕士学位论文 4 视频会议系统设计与m p e g - 4 在视频会议系统中的应用 h 3 2 3 是1 9 9 6 年由i t u t 的第1 6 1 作组制定的，1 9 9 8 年1 月发布了其第2 个版本_ h 3 2 3v 2 标准。h 3 2 3 的第4 版本也己经完成。它既包括点到点，以及 多点会议的计算机技术，也提供呼叫控制、多媒体压缩、带宽管理以及网络接口 等内容。h 3 2 3 定义了声音、视频、以及数据通过基于包交换网络的标准。各种多 媒体产品、设备用h 3 2 3 可以互相兼容。h 3 2 3 标准是全面而灵活的，它可被应用 到i p 电话系统、视频会议系统等领域。它在现有网络中建立多媒体通信标准，i n t e l ， c i s c o ，m i c r o s o f t ，m m 等世界著名公司均对其提供产品及技术支持。 h 3 2 3 是基于包交换的多媒体通信系统，描述了基于包交换网络( p b n ) 上提 供通信服务但不保证服务质量( q o s ) 的多媒体通信终端和其他实体。该网络包括 局域网，企域网，城域网，广域网及互连网( 包括i n t e m e t ) 。它们还包括应用了底 层的包交换传输、通过g s t n 或i s d n 而建立的拨号连接或点对点的连接。h 3 2 3 实体可以提供实时的音频、视频和( 或) 数据通信服务。对音频的支持为必需的 部分，而数据和视频为可选部分，但如果支持，则要求有应用规定的共同操作模 式的能力以便所有支持该类媒体的终端能相互操作。h 3 2 3 实体通信的基于包交换 的网络可能是点对点的连接形式、一个简单的网段或者一个有复杂的拓扑结构、 多个网段组成的网络。h 3 2 3 实体可以应用于点对点，多点及广播的配置场合。它 们可以通过网关与b i s d n 上的h 3 1 0 终端，n i s d n 上的h 3 2 0 终端，b i s d n 上的h 3 2 1 终端，保证服务质量的局域网上的h 3 2 2 终端，g s t n 及无线网络上 的h 3 2 4 终端，g s t n 上的v 7 0 终端以及g s t n 或i s d n 上的语音终端实现互操 作。图3 4 给出了h 3 2 3 终端的互操作能力。h 3 2 3 实体可以集成到个人电脑( p c ) 中或通过独立的设备( 比如可视电话) 来实现。 h 3 2 3 系统的各个组成部分包括终端，网关，关守，多点控制器，多点处理器 及多点控制单元；而定义的控制信息和程序决定了这些实体及终端之间如何通信。 h 3 2 3 终端 终端是分组网络中能提供实时、双向通信的节点设备，也是一种终端用户设 备，可以和网关、多点接入控制单元通信。所有终端都必须支持语音通信，视频 和数据通信可选。h 3 2 3 规定了不同的音频、视频或数据终端协同工作所需的操作 模式。它将是下一代因特网电话、音频会议终端和视频会议技术的主要标准。图 3 5 所示为h 3 2 3 终端的组成框图，在发端，从输入设备获取的视频和音频信号， 经编码器压缩后，按照一定格式打包，通过网络发送出去，在收端，来自网络的 数据包首先被解包，获得的视频、音频压缩数据经解码后送入输出设备，用户数 据和控制数据也得到了相应的处理。它所包含的各个功能单元及其标准备或协议 分别是： 重庆大学硕士学位论文4 视频会议系统设计与m p e g - 4 在视频