【ch04】从图像序列中估计2D和3D运动

从图像序列中估计2D和3D运动工业和信息化部“十二五”规划教材计算机视觉第四章01运动场与光流场Gibson于1950年首先提出光流场的概念。运动可以用运动场来描述，反映真实世界的3D运动，光流场是运动场在2D图像上的投影，它携带了有关物体运动和物体结构的丰富信息。研究光流场的目的是从序列图像中近似计算出不能直接得到的运动场。运动场与光流场所谓光流场是指图像中灰度模式的表面运动，它是物点的3D速度矢量在成像平面上的投影，它表示了物点在图像中位置的瞬间变化。心理学与神经生理学的大量实验表明，光流场的概念对认识人和动物的视觉感知机制原理具有重要意义。运动场与光流场在某个特定时刻，图像中像点对应于目标表面上的物点，如图4.1所示。运动场与光流场如图4.2所示，光源不动且物体表面均一，同时物体产生了自转运动，却并没有产生光流场；物体并没有运动，但是光源与物体发生相对运动，却有光流场产生。运动场与光流场光流场包含了目标的重要信息（即光流信息）。光流信息可以用来检测图像序列中的运动目标，以及恢复目标的3D结构信息及目标与相机之间的相对运动。同时可以利用光流场的不连续性对图像进行分割，光流场还可以用在机器人、自动导航和智能系统中。运动场与光流场光流算法的核心就是求解运动目标的光流，即速度。根据视觉感知原理，客观物体在空间上一般是相对连续运动的，在运动过程中，投射到传感器平面上的图像实际上也是连续变化的。为此可以假设：瞬时灰度值不变（即灰度不变性原理）。由此可以得到光流基本方程，灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。运动场与光流场02光流计算光流场可看成带有灰度的像素点在图像平面上运动而产生的瞬时速度场，Hor和Schunck假设图像区域函数在时间和空间上都是连续且可导的，这是光流计算中的一个重要约束条件。光流方程光流计算若令u和v分别为2D坐标的横轴和纵轴，则光流约束方程对应一条直线，所有满足该方程的V的值都在这条直线上，如图4.3所示。光流计算经典光流算法通过光流方程我们可以看出，光流约束方程只有1个，但方程中有2个未知数，因此仅使用光流约束方程并不能确定图像光流场，还需要引入其他约束条件。当引入不同的约束条件时，就会产生不同的光流算法。目前较为常用的光流算法主要有：基于梯度的光流算法、基于匹配的光流算法、基于频域的光流算法和基于相位的光流算法。光流计算其中最常用的是基于梯度的光流算法，该算法也称微分法，主要根据图像灰度的梯度函数得到图像中每个像素点的运动矢量，基于梯度的光流算法已得到广泛应用。本节主要介绍基于梯度的光流算法中两种经典的光流算法：Horn-Schunck算法和Lucas-Kanada算法。光流计算Horn-Schunck算法Horn-Schunck算法是在假设光流强度不变的条件下，引入全局光流平滑约束假设。Lucas-Kanada算法Lucas-Kanada算法即L-K算法最初于1981年提出，该算法假设在一个小的空间邻域内运动矢量保持恒定，使用加权最小二乘法估计光流。光流计算亮度恒定不变。目标像素在不同帧间运动时外观上是保持不变的，对于灰度图像，假设在整个被跟踪期间，像素亮度不变。时间连续或者运动是“小运动”。图像运动相对于时间变化来说比较缓慢，在实际应用中指时间变化相对图像中运动比例要足够小，这样目标在相邻帧间的运动幅度就比较小。空间一致。同一个场景中的同一个表面上的邻近点运动情况相似，且这些点在图像上的投影也在邻近区域。光流计算光流算法在多个相同目标存在时，依然可以跟踪其选定目标并进行分析。但是光流算法本身都是在一定的假设下成立的，所以存在很多的限制条件，如图像序列目标的特性、场景中照明、光源的变化及目标运动速度的影响等多种因素影响着光流算法的有效性。光流算法的改进光流计算图像金字塔如图4.4所示。光流计算LKP的简化流程图如图4.5所示。光流计算相位法Fleet与Jepson于1990年首次提出将图像相位应用于光流场的计算中，由于相位法较传统的差分法有更好的精确度与稳定性，因此引起了部分学者的关注并随之提出了其他的相位光流算法。彩色法在基于BCM模型进行的光流场估计中，为了克服孔径问题，需要引入附加的约束条件。若利用彩色图像的各颜色分量构建光流场模型，则可通过丰富的色彩信息克服孔径问题。光流计算几何代数域法光流场概念与3D场景在2D平面上的投影有关，且光流模型涉及时空关系，因此可在几何代数域中分析、求解光流场。与生物技术结合的方法计算机视觉中的光流估计技术从概念的建立、模型的构建直至效果的评判都与生物视觉系统相关。其他方法除基于BCM假设建立光流场模型外，还可针对某些特定应用结合特定条件建立光流场模型。“”光流计算03光流技术的研究难点及策略1.光照变化（PhotometricVariation）。2.孔径问题（ApertureProblem）。3.遮挡问题（OcclusionIssue）。光流技术的研究难点及策略图4.8给出了覆盖/显露背景示意图。光流技术的研究难点及策略4.无纹理区域（TexturedRegion）。5.运动不连续（MotionDiseontinuity）。6.噪声问题（Noise Problem）。光流技术的研究难点及策略在前面介绍的Horn-Schunck算法中，在衡量灰度守恒残差和平滑残差时采用的是平方函数，由于平方函数对于大残差的惩罚很大，远大于相对于小残差的惩罚，因此平方函数不适用在运动边界、遮挡区域或者大噪声区域这类非常不满足灰度守恒假设和全局平滑假设的情况，这样容易对运动边界产生平滑效应或受噪声影响。鲁棒的光流估计光流技术的研究难点及策略从最开始由灰度守恒假设所形成的欠定问题，到为解决欠定问题而增加其他假设所形成的方法中，我们可以看到，在光流估计中，运动遮挡、光照变化、阴影和噪声对于灰度守恒假设的不满足，以及运动边界对于光流在局部区域常量假设或者全局平滑假设的不满足，都会影响光流估计的结果。光流技术的研究难点及策略压缩感知及基于稀疏模型的光流估计压缩感知（CompressiveSensingorCompressedSampling，CS）是近些年发展很快的一个领域，通过发掘信号的一个非常重要的特征（稀疏性），从而提出了一个挑战传统奈奎斯特采样定律的数据采集、压缩及重构的框架。根据压缩感知理论，若信号存在稀疏性，则可以进行混叠采样，即通过远小于信号的观测值对原信号进行完全或高概率重构。光流技术的研究难点及策略压缩感知理论的产生及发展吸引了很多学者的关注，并将压缩感知理论应用在许多方面。Shen和Wu也将压缩感知理论引入到光流估计领域中，通过发掘光流场的稀疏性，将待求解的光流信息在变换域的投影系数作为稀疏信号，并通过灰度守恒假设构成约束条件，建立了光流估计的稀疏模型，并通过优化方法对光流信息进行重构。基于稀疏模型的光流估计光流技术的研究难点及策略光流灰度守恒信息的统计分析：在Lucas和Kanada及Hom和Schunck提出光流估计的局部模型和全局模型后，灰度守恒假设已经成为光流估计中的最基本的假设，为光流估计问题提供了最基本的解决思路。但是仍存在很多问题，其中一个就是在实际场景运动中存在灰度守恒假设不成立的情况，这会对光流估计产生很大影响。因此有学者提出对光流灰度守恒信息进行分析，根据分析得到的先验信息进行建模，在灰度守恒假设的基础上，得到更加符合实际运动场景的灰度守恒信息的松弛形式。光流技术的研究难点及策略在光流估计的稀疏模型中，一个常用的稀疏变换域就是光流的梯度域，而在稀疏信号重构的问题中，信号的稀疏性严重地影响了信号重构的质量。并且在Horn-Schunck算法中，存在运动边界不满足全局平滑假设的情况，影响光流估计的精度。光流信息的空域统计分析光流技术的研究难点及策略043D运动恢复透视投影成像的几何模型透视投影成像的几何模型所要描述的是3D场景中的点如何与2D图像上的点联系起来的问题。为了阐述这个问题，我们需要对摄像机的成像原理做简单介绍。首先需要说明的是，常用的摄像机模型有三种：透视投影模型（针孔摄像机模型）、正交投影模型和拟透视投影模型。我们这里主要针对透视投影模型进行分析。3D运动恢复如图4.9所示是理想的摄像机原理图，它的摄像原理是透镜成像的基本原理。3D运动恢复图4.10是透视投影的几何模型。3D运动恢复考虑空间运动物体A，在任意时刻物体上的每个点P的坐标（X，Y，Z）都与瞬时速度矢量[X，Y，Z]相对应，这些瞬时速度在空间构成矢量场，称为3D运动场。对于刚性物体的运动，3D运动场可以用物体的运动参数精确给出。3D运动场3D运动恢复3D运动场到2D速度场的投影转换模型2D速度场的确定需要借助运动物体的几何信息。通常情况下，3D物体所对应的2D图像主要由物体的表面完全决定，所以我们只需考虑曲面的运动情况。由于空间普通曲面的解析表达式一般很难直接给出，有时即使能够给出，表达式也相当复杂，因此并不能够从式中消掉坐标分量z。3D运动恢复虽然我们目前只能分析出平面片的光流方程，对于一般的普通曲面片的2D速度场还没有一个比较简单的解析表达式，但是我们知道，曲面片常常可以看成是由大量的小平面片拼接而成的。2D速度场的局部拟合及3D运动参数估计3D运动恢复这种近似在理论上和工程实践中都是可行的（如在计算机辅助设计中就是采用小平面片来拼接复杂曲面片的），因此我们可以把图像上的一个足够小的运动区域看成是一个小的平面片的像，用形如方程右边的多项式去近似拟合这个运动区域的光流场。3D运动恢复1.仿射变换模型。2.平面片光流模型。3.一般二次多项式模型。3D运动恢复05本章小结光流估计是计算机视觉中的经典问题，在运动估计、运动分割、目标检测与跟踪、行为识别等领域有广泛应用。通过式（4.3）和式（4.5）的基本推导，