第2章 二维运动估计

1、数字视频处理,黎洪松 主编 北京邮电大学出版社,第2章 二维运动估计,21概述 根据摄象机和目标物体的运动状态,运动可分为：摄像机不动物体不动，摄像机不动物体动，摄像机动物体不动和摄像机动物体动4种。,2.1.1几个基本概念,1时间序列图像 运动估计主要是研究空间中的物体运动情况。为了观察物体的运动，人们将摄像机放置在三维空间的某一位置上，对运动物体进行观测，所拍摄到一系列图像称为时间序列图像或运动图像。,2运动物体特征,任何一个运动物体都有其自身的特征，例如一些尖锐点、边缘直线、边缘曲线等，它们分别称为特征点、特征直线、特征曲线等。物体在空间中运动时，只要是在观察者的可视范围内，物体上的特征

2、就均可以在视频图像上反映出来。,3运动估计的基本问题,由摄像机模型知道，摄像机的投影过程是不可逆的，投影过程中将不可避免地丢失一些有用信息，例如物体的深度信息等，因此估计物体的真实运动和结构是比较困难的。,图2-1特征点对应运动模型的几何图形,4运动分析方法,根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息； 图像序列的光流分析方法。,图2-2 真实运动与光流不一致的情况,2.1.2二维运动估计,图2-3 前向运动估计和后向运动估计,二维运动估计存在几个问题：,遮挡问题，即图像中的某些像素可能不存在对应点。 孔径问题，也称为多义性问题。 噪声问题，在生成视频图像的过程中，噪声是不可

3、避免的。,2.1.3 二维运动模型及估计方法,为了有效地进行运动估计，需要对真实运动施加一些约束条件，即对运动建模。我们可以将二维运动模型粗略地分为参数模型和非参数模型。,(a)基于像素的运动; (b)基于块的运动; (c)全局运动; (d)基于区域的运动 图2-6,22 基于光流的运动估计,2.2.1 光流方程,或,图2-7光流v的分解,将光流v分解为两个正交的分量,利用有限差分求微分的公式,2.2.2 多点邻域约束,估计像素xi的光流矢量时，假设xi邻域B(xi)内的所有像素具有相同的光流矢量，光流方程在邻域B(xi)上的误差定义为,求解光流矢量,2.2.3 运动平滑约束,目标误差函数为,

4、迭代更新公式,2.2.4 有向平滑约束,有向平滑约束可表示为,23 基于像素的运动估计,2.3.1 位移帧差 定义像素x从t1时刻到t1+dt时刻的位移帧差为：,2.3.2 多点邻域约束,假设xi邻域B(xi)内的所有像素具有相同的运动矢量，则可通过最小化邻域B(xi)上的位移帧差函数求解运动矢量di。 邻域B(xi)上的误差函数可表示为,误差函数关于运动矢量的梯度为,使用基于一阶梯度下降的方法求解运动矢量，则更新公式可写为,2.3.3 像素递归法,1基本概念 像素递归法是指沿图像扫描方向逐个估计像素的运动矢量。新像素的运动矢量首先由已估计的像素进行预测，然后基于位移帧差函数最小化的方法来更新

5、运动矢量。可表示为,2基于梯度下降的算法,像素递归方程为,Caffario和Rocca提出另一个类似的步长表达式,3多点邻域约束,图2-8 因果邻域,2.3.4基于贝叶斯准则的方法,贝叶斯准则是基于运动估计问题的概率公式，视频图像函数和运动场均视为随机场，由概率密度函数建模，分别称为观察模型和运动场模型。,给定两帧视频图像 和 ，运动场估计可以看成一个最大后验概率（MAP）问题，即,运动场最大后验概率估计可简写为,1、似然模型,由于存在噪声，像素沿运动轨迹的亮度通常会发生改变。若假定噪声为高斯分布，且均值为零，方差为 ，那么条件概率密度函数 可建模为,2、先验模型,图2-9 吉布斯（Gibbs

6、）随机场的团,运动场的先验概率密度函数可定义为,对于一个包含两个像素的团，势函数可写成如下形式,24 基于块的运动估计,2.4.1 概述 在基于块的运动估计中，先将视频图像分成一个个规则的图像块，然后对每个图像块估计运动参数。,1块平移模型,块平移模型假定每个块只做二维平移运动。给定两帧视频图像 和 ，对于 中的一个块 ，可由 中一个同样大小的块重建，即,图2-10块平移模型,2可变形块运动模型,可变形块运动模型可以对物体的旋转、缩放、变形等建模。块的运动参数不再是简单的一个平移参数，而是一些空间变换参数，常用的可变形块运动模型有投影运动、仿射运动、双线性运动等。,投影运动：,仿射运动：,双线

7、性运动：,2.4.2 相位相关法,相位相关法广泛用于图像配准，即两幅图像只发生全局平移的情况。假设两帧图像 和 之间只是纯平移关系，有,互相关函数为,互功率谱,归一化互功率谱 为,相位相关函数,相位相关法的优点,由于相位相关函数被归一化，因此只引起幅度变化的照明变化等因素不会影响傅立叶相位 当块内有多个物体时，相位相关函数表现出多个峰值，每个峰值的位置对应一个运动物体的平移运动，可以为块内每个物体或像素估计一个运动矢量。,2.4.3 块匹配法,1、基本原理,图2-11 块匹配法,2、匹配函数,归一化互相关函数（NCF）,均方误差（MSE）,绝对值误差（MAD）,匹配像素数（MPC）,3、搜索算

8、法,最简单也是最精确的匹配块搜索算法是进行全搜索，称为全搜索块匹配算法（EBMA）。 全搜索就是逐一计算当前块和搜索窗内所有候选块之间的匹配函数，相邻两个候选块之间的距离称为步长，全搜索的步长为一个像素，称为整数像素精度搜索。,4、分数精度,由于物体真实的运动未必为整数值，因此为了提高运动估计的精度，可以使用分数像素精度进行搜索，即搜索步长为分数值。此时，对于当前帧内的某个块，参考帧需要进行内插操作。,（实心点为原取样点，空心点为新插值的半像素点） 图2-12 半像素精度匹配,2.4.4降低计算复杂度的方法,常用方法有：一是在不降低估计精度的前提下减少计算量；一是以牺牲估计精度为代价来降低计算

9、量，即所谓的快速搜索算法。,1不降低估计精度的搜索方法,（1）部分失真搜索法 （2）三角不等式法,2快速搜索算法,（1）三步搜索法 （2）新三步搜索法 （3）二维对数搜索法 （4）交叉搜索法 （5）菱形搜索法,2.4.5 可变形块匹配法,1基本概念 假设节点数为K，dk表示k第个节点的位移矢量，块内像素点的位移矢量可用如下内插公式表示,图2-19 块运动中块内像素的运动内插,标准三角形（图2-20（a）的形状函数：,标准四边形（图2-20（b）的形状函数：,图2-20 内插核函数,2节点的运动估计,运动矢量的迭代方程可表示为,25 基于网格的运动估计,2.5.1 概述 在基于块的运动估计中，运

10、动场通常是不连续的，从而会产生明显的块失真，解决此问题的途径之一是使用基于网格的方法。,图2-21基于网格的运动估计,图2-22 基于网格的运动表示,2.5.2 基于网格的运动估计方法,1. 概述 基于网格的运动估计的主要步骤有： 建立网格 网格节点的运动估计,2. 自适应三角形网格的建立,3. 节点运动估计,令M和N分别表示多边形单元总数和节点总数，定义误差函数为,第n个节点的更新迭代过程可表示为,图2-23 节点的搜索区域,26 基于区域的运动估计,2.6.1 概述 基于区域的运动估计方法有： 区域优先 运动优先 区域分割和运动估计联合进行，一般是采用迭代法交替进行区域分割和运动参数估计。

11、,2.6.2 区域分割与运动估计,1区域优先的方法 2运动优先的方法 （1）聚类 （2）分层 3联合分割与运动估计的方法,27 全局运动估计,2.7.1 概述 在视频图像中，运动通常由摄像机运动和场景中的物体运动产生，由摄像机运动产生的运动将影响整个图像，称之为全局运动。物体的运动称为局部运动。,2.7.2 直接估计法,令 和 表示当前帧和参考帧， 表示x点的运动，a表示全局运动参数矢量，视频帧的误差函数可表示为,2.7.3 间接估计法,假设已经得到一些特征点xn的运动矢量dn，我们可以通过dn来估计d(x;a)。其匹配误差函数为,对a求偏导并令偏导数为零，可得到运动参数,若全局运动建模为仿射运动模型，则,仿射运动模型的矩阵为,28 多分辨率运动估计,2.8.1 概述 运动估计可转化为求解误差函数最小值的问题，且常用的方法有基于梯度下降法和全搜索法。,两个问题,最小化误差函数可能会收敛到局部最小值； 最小化误差函