计算机视觉教程(第3版)PPT第11章 运动分析

图像序列和视频图像（一种特定的序列图像）得到了广泛的应用。时间坐标的增加使人们可以从图像序列中获得有关场景运动变化的信息

运动分析的研究目的和工作内容主要包括以下几个方面： (1)运动检测 (2)运动目标检测和定位 (3)运动目标分割和识别 (4)立体景物重建和行动/场景理解第11章

运动分析目录contents11.1

运动分类和表达11.2

全局运动检测11.3 运动目标检测和分割11.4

运动光流和表面取向11.1运动分类和表达运动分类

(1)摄像机静止，景物运动

(2)摄像机运动，景物静止

(3)摄像机和景物都运动

(1)前景运动：前景运动指目标在场景中的自身运动，又称为局部运动

(2)背景运动：背景运动是由进行拍摄的摄像机的运动所造成的帧图像内所有点的整体移动，又称为全局运动或摄像机运动11.1运动分类和表达摄像机的各种运动跟踪运动升降运动进退或推拉运动倾斜运动扫视运动滚转运动变焦运动或缩放运动11.1运动分类和表达运动矢量场表达 将每个运动矢量用（有起点）无箭头的线段（线段长度与矢量大小即运动速度成正比）来表示，并叠加在原始图像上11.1运动分类和表达运动直方图表达 运动矢量方向直方图

仅保留运动的方向信息以减少数据量11.1运动分类和表达运动直方图表达 运动区域类型直方图

借助对区域参数模型的表示来表达运动矢量场中各种运动的信息11.1运动分类和表达运动轨迹表达

运动轨迹描述符由一系列关键点和一组在这些关键点间进行插值的函数构成11.2全局运动检测差图像的计算

对时间上相邻的两幅图像求差

将图像中运动目标的位置和形状变化突现出来11.2全局运动检测差图像的计算差图像似然比11.2全局运动检测累积差图像的计算11.2全局运动检测累积差图像的计算

累积差图像ADI有3个功能 (1)

ADI中相邻像素数值间的梯度关系可用来估计目标移动的速度矢量，这里梯度的方向就是速度的方向，梯度的大小与速度成正比 (2)

ADI中像素的数值可帮助确定运动目标的尺寸和移动的距离 (3)

ADI中包含了目标运动的全部历史资料，有助于检测缓慢运动的和尺寸较小的目标运动11.2全局运动检测全局运动模型线性的6参数仿射模型通用的模型线性的8参数仿射模型11.2全局运动检测基于双线性模型的全局运动检测

将整个帧图像划分为一些正方形（如1616）的小块，然后用块匹配法求取观测运动矢量11.3运动目标检测和分割背景建模

并不将背景看作完全不变的，而是计算并保持一个动态（满足某种模型）的背景帧，并在每次检测时都与此时的动态背景帧进行比较

背景建模是一个训练-测试的过程。先利用序列中开始的一些帧图像训练出一个背景模型，然后将这个模型用于对其后帧的测试，根据当前帧图像与背景模型的差异来检测运动 11.3运动目标检测和分割典型实用方法

(1)

基于单高斯模型的方法

(2)

基于视频初始化的方法

(3)

基于高斯混合模型的方法

(4)

基于码本的方法

11.3运动目标检测和分割卡尔曼滤波器预测方程校正方程

自适应滤波器，对运动目标进行跟踪

11.3运动目标检测和分割粒子滤波器

粒子滤波器是一种递归（迭代进行）的贝叶斯采样方法，在每个步骤使用一组后验概率密度函数要跟踪的目标是着浅色服装的人

11.3运动目标检测和分割运动目标分割策略

1.先分割之后再计算运动信息

直接利用时–空图像的灰度和梯度信息 2.先计算运动信息再分割

先估计光流场，然后基于光流场进行分割 3.同时计算运动信息和进行分割

一般需要相当大的计算量11.4运动光流和表面取向

当摄像机与场景目标间有相对运动时所观察到的亮度模式运动称为光流，或者说物体带光学特征的部位的移动投影到视网膜平面（即图像平面）上就形成光流

光流有三个要素：一是运动（速度场），这是光流形成的必要条件；二是带光学特性的部位（例如有灰度的像素点），它能携带信息；三是成像投影（从场景到图像平面），因而能被观察到运动光流11.4运动光流和表面取向光流约束方程

时刻t+

dt在图像点(x+dx,y+dy)处的照度应当与时刻t在图像点(x,y)的照度相同用泰勒级数展开，令dt

0，取极限并略去高阶项灰度的（一阶）时间变化率是场景亮度变化率与该点运动速度的乘积11.4运动光流和表面取向

光流计算：对光流约束方程求解，即根据图像点灰度值的梯度求光流分量

光流约束方程的解是一条直线

仅从一个光流约束方程并不足以唯一地确定u和v两个量11.4运动光流和表面取向刚体运动光流

速度的空间变化率为零将e对u和v分别求导并取导数为零11.4运动光流和表面取向刚体运动光流

在一个新(u,v)点的迭代值是该点邻域中的平均值减去一个调节量，这个调节量处于亮度梯度的方向上松弛迭代方程11.4运动光流和表面取向11.4运动光流和表面取向平滑运动光流

考虑在图像的大部分地方运动场的变化一般比较缓慢稳定这个平滑条件。这时可考虑最小化一个与平滑相偏离的测度，常用的测度是对光流梯度之幅度平方的积分另一方面还可考虑最小化光流约束方程的误差合起来需要最小化es+

lec11.4运动光流和表面取向灰度突变光流从路径看灰度变化从时间看灰度变化11.4运动光流和表面取向

光流包含了场景结构的信息，所以可从物体表面运动的光流解得表面的取向

球形透视投影11.4运动光流和表面取向

一个任意运动点的光流，角速度(d,e)=(df/dt,dq/dt)

假设场景静止，而观察者以速度S沿Z

轴（正向）运动。这时有u=0，v=0，w=–S11