CH5 5.2-5.3视频信号运动估计技术3.1简介课件

数字视频技术第三章视频信号运动估计技术§3.1.1运动估计研究现状一、运动估计（MotionEstimation,ME）是最基础和有效的方法将活动图像的每一帧都划分为大小相同、互不重叠的子块，按照一定的判断准则，在前一帧中寻找与编码块最匹配的图像块，这个过程通常叫做运动估计。运动估计（MotionEstimation,ME）是去除时间冗余最基础有效的方法，也是各类视频编码算法所普遍采用的一项核心技术；二、运动估计的优劣直接决定编码效率和重构视频质量运动估计越准确，补偿的残差图像越小，编码效率越高，在相同码率下的解码视频就具有更好的图像质量；运动估计的计算复杂度占到编码器的50%以上，为保证视频编/解码的实时性，运动估计应当具有尽可能低的计算复杂度；如何提高运动估计算法的性能，使运动估计更快速、精确和健壮受到广泛关注。评估运动估计算法优劣的标准：图像质量计算复杂度存储器需求§3.1.1运动估计研究现状三、运动估计的分类全局运动估计基于块的运动估计基于像素点的运动估计基于区域的运动估计基于网格的运动估计时域运动估计频域运动估计（DFT、DCT、DWT）像素递归法:

根据像素间亮度的变化和梯度，通过递归修正的方法来估计每个像素的运动矢量。§3.1.1运动估计研究现状a

全局运动估计c

基于块的运动估计b

基于像素点的运动估计d基于区域的运动估计§3.1.2运动估计算法简介一、运动预测算法的可行性帧间预测的依据：图像序列在时间轴方向的相关性；

物体的背景或物体的一部分相对不变或变化缓慢；人类的视觉特性：人类的视觉对静止图像有较高的空间分辨率，但是可以减少传输帧数来降低时间轴分辨率，未传输的帧可以通过计算补出来；对运动图像分辨率低，可以对这一部分图像降低清晰度；§3.1运动估计算法简介二、为什么进行运动补偿预测？

对于活动图像编码，帧间预测是主要的手段；基本帧间预测方法对于存在大量静止区域或缓变区域的图像，预测效果不错；对于活动的物体，预测效果不理想；对于一些发生运动的图像进行预测编码，采用运动补偿预测的方法。

运动估计研究现状三、运动补偿预测的基本原理将当前帧中目标的运动信息告知解码器端，解码器可根据运动信息和前一帧图像内容来更新当前帧图像，获得当前帧的真实数据；（可有效降低编码所需数据量）用其在前一帧图像中的对应部分对当前帧中的子块进行预测，可能大大减小预测误差，这种预测称为运动补偿（MotionCompensation,MC）。

运动估计研究现状运动估计(ME)——将活动图像分为若干局部结构，检测出每个局部结构在前一帧图像中的位置，从而可以估计出这个结构的位移，用运动矢量表示；运动补偿(MC)——由位移的估值建立局部结构在不同帧的空间位置对应关系，用前一帧图像中的对应部分对当前帧中的局部结构进行预测。

运动估计研究现状运动估计与运动补偿预测编码步骤：

分割图像为若干局部结构——划分静止和运动区域；最简单方法分块；运动估计——对每一个运动物体进行位移估计；运动补偿——由位移估计建立同一运动物体在不同帧空间位置对应关系，建立预测关系；对于运动补偿后的位移帧差信号、运动矢量进行编码传输。

运动估计研究现状

abc当前帧后一帧运动矢量MV前一帧对当前子块进行运动估计，就是找在前一帧图像中哪一个子块和当前子块最相似，估计它的位移矢量。

运动估计研究现状运动矢量§3.1.2-§3.1.3

块匹配运动估计一、基本思想将视频序列的每一帧都划分为许多大小相同、互不重叠的子块（并做假设：子块内所有像素具有运动一致性，并且只做平移运动，不包含旋转、伸缩）；然后对每个子块到参考帧某一给定特定搜索范围（匹配窗）内根据一定的匹配准则找出与当前块最相似的块，即预测块（匹配块）；预测块与当前块的相对位移即为运动矢量（MotionVector,MV），预测块和当前块之间的差值称为残差图像；视频压缩的时候，只需保存运动矢量和残差数据就可以完全恢复出当前块；预测越准确，残差中的数值越小，编码后所占用的比特数越少；利用运动矢量在参考帧上进行运动补偿，补偿残差经DCT变换、量化、编码后与运动矢量共同编码传送。§3.1.2-§3.1.3

块匹配运动估计

块匹配算法中块与运动矢量的关系§3.1.2-§3.1.3

块匹配运动估计匹配窗大小：S=(N+2d)×(N+2d)；d为垂直和水平方向上的最大位移。子块大小的选择：

必须足够大，太小会发生匹配到有相同像素值但与场景无关的块；块小也会增加运算量，同时增加所需传输的运动矢量信息；必须足够小，若一个块里存在不同的运动矢量，匹配块不能提供准确有效估计。§3.1.2-§3.1.3

块匹配运动估计二、提高搜索效率的主要技术运动估计算法研究的目标——提高预测精度，加快估计速度，降低编码比特率；提高算法效率采用的方法：初始搜索点的选择；匹配准则；运动搜索策略。§3.1.2-§3.1.3

块匹配运动估计1、初始搜索点的选择

直接选择参考帧对应的（0，0）位置

方法简单，易陷入局部最优点（初始步长太大，原点不是最优点，有可能使快速搜索跳出原点周围可能性较大的区域而去搜索远距离的点，导致搜索方向不确定，可能陷入局部最优）；选择预测的起点——利用相关性预测初始搜索点，减少搜索次数

基于SAD(sumofdifference)值的起点预测方法——求出当前块与相邻块间的SAD值，选取SAD最小的块的运动矢量作为预测值。预测精度高，计算量大；利用相邻块和相邻帧对应块的运动矢量来预测当前块的搜索起点，为简化系统多采用同帧块的空间相关性来预测运动；基于相邻运动矢量相等的起点预测方法，保证精度基础上利用运动矢量相关性大大减少计算量。§3.1.2-§3.1.3

块匹配运动估计2、匹配准则平均绝对误差均方误差归一化互相关函数常见的运动估计匹配准则有三种：MAD、MSE和NCCF，由于MAD没有乘除操作，不需做乘法运算，实现简单方便，所以使用较多。通常使用求和绝对误差（SAD）代替MAD

。§3.1.2-§3.1.3

块匹配运动估计准则函数加法乘法取绝对值开