数字图像处理与识别 教学课件 ppt 作者 孙正 第6章 运动图像序列分析

第6章 运动图像序列分析 第6章 运动图像序列分析 第6章 运动图像序列分析 6.1图像序列的概念 6.2运动基础知识 6.3基于光流场的运动分析 6.4基于匹配的运动分析 6.5变形模型技术 第6章 运动图像序列分析 6.1 图像序列的概念 图像的数学表示 (i, j=0,1,N-1，k=0,1,n-1，l=1,2,m) 时间图像序列的数学表示 (i, j=0,1,N-1) 6.1.1 图像序列 运动图像序列LCA血管造影序列 第6章 运动图像序列分析 6.1.2 运动图像序列分析 从二维图像序列中检测目标运动，提取运 动参数，分析运动规律。 l光流法（optical flow） l匹配法（match） l变形模型（deformable model） 6.1 图像序列的概念 第6章 运动图像序列分析 6.2 运动基础知识 6.2.1 刚性运动 物体作刚性运动时，其形状和大小都保持 不变。任何刚性运动都可以分解为平移和旋转： Traffic tracking Tracking ball 第6章 运动图像序列分析 6.2.2 非刚性运动 物体发生非刚性运动时，除了可能发生 位置的改变之外，还会发生形状的变化。可 以采用平移向量和仿射矩阵来描述： 6.2 运动基础知识 第6章 运动图像序列分析 膨胀/收缩 沿z轴的扭转 6.2.2 非刚性运动 6.2 运动基础知识 第6章 运动图像序列分析 尖化 弯曲 弯曲角 弯曲参数：kb 6.2.2 非刚性运动 6.2 运动基础知识 第6章 运动图像序列分析 蛇形体变形 局部变形：如手风琴式的褶皱变形 6.2.2 非刚性运动 6.2 运动基础知识 第6章 运动图像序列分析 X射线左心室造影图像序列 6.2.2 非刚性运动 6.2 运动基础知识 第6章 运动图像序列分析 6.3 基于光流场的运动分析 l光流场 图像中亮度图案的表观运动(apparent motion) u二维运动场 三维物体的实际运动在图像 平面上的投影 6.3.1 光流的概念 第6章 运动图像序列分析 l光流场和运动场的关系： l理想情况下二者互相吻合 l特殊情况 Barbers poleMotion fieldOptical flow Barbers pole 6.3 基于光流场的运动分析 6.3.1 光流的概念 Uniform sphere 运动场不为零 光流场为零 光流场不为零 运动场为零 第6章 运动图像序列分析 6.3.2 光流约束方程 光流光流 6.3 基于光流场的运动分析 第6章 运动图像序列分析 孔径问题(Aperture Problem)： 根据OFCE仅能求出光流 在灰度梯度 (Ix, Iy)方向的分量 6.3 基于光流场的运动分析 第6章 运动图像序列分析 ， 6.3.3 如何计算光流附加约束条件 同一物体上相邻点的速度是相似的，那么 其投影到图像上的光流变化也是平滑的。 最经典的约束全局平滑约束 6.3 基于光流场的运动分析 第6章 运动图像序列分析 6.3.3 如何计算光流 例子X射线血管造影图像序列中冠状动脉血管的 运动估计 6.3 基于光流场的运动分析 第6章 运动图像序列分析 step1: 提取中心线减少计算量 step2: 计算中心线上点的光流，将整体平 滑性约束应用于中心线 血管中心线可以用二维图像点的有序集合 表示，需要确定的是连续两帧之间骨架点的运动 速度 定义函数： 6.3 基于光流场的运动分析 6.3.3 如何计算光流 令 and 得到方程组 实验结果 第6章 运动图像序列分析 6.3.4 结论 l不考虑特征匹配问题，应用中可减少难度 l对噪声敏感，抗噪性能差 l当图像中的灰度变化及速度场不连续时，光 流约束方程是否成立？ l要求较高的图像帧采样率 6.3 基于光流场的运动分析 第6章 运动图像序列分析 6.4 基于匹配的运动分析 将运动估计转化为对连续两帧图像的特征进行 匹配，通过寻找运动前后同一物体上点的对应关 系，得到各点的运动向量。 图像特征 点、直线段、曲线、拐角、二维区域、平面和 曲面。 匹配 匹配是一个最优化问题，是一个使成本函数 (cost function)最小的过程。成本函数即匹配 误差函数，是运动前后物体的差异度。 6.4.1 方法 第6章 运动图像序列分析 （1）将血管骨架表示成点的有序集合 如何寻找对应关系 注：要求中心线是单像素、八连通的 6.4.2 例子X射线血管造影图像序列 中冠状动脉血管骨架的运动估计 6.4 基于匹配的运动分析 第6章 运动图像序列分析 (2)成本函数 相邻点的运动向量之差 曲线的形状变化 是曲线i在点x处的曲率 使无匹配的部分尽量小 6.4.2 例子X射线血管造影图像序列 中冠状动脉血管骨架的运动估计 第6章 运动图像序列分析 6.4.2 例子X射线血管造影图像序列 中冠状动脉血管骨架的运动估计 第6章 运动图像序列分析 (3)约束条件 存在性约束 单调性约束 位移约束 6.4.2 例子X射线血管造影图像序列 中冠状动脉血管骨架的运动估计 第6章 运动图像序列分析 (4)最优匹配的搜索 动态规划(dynamic programming) 6.4.2 例子X射线血管造影图像序列 中冠状动脉血管骨架的运动估计 第6章 运动图像序列分析 (1)模拟运动图像 两个同心圆的骨架 同心圆的匹配结果 偏心圆的匹配结果 6.4.3 实验结果和误差分析 (2)实际造影图像 Lao46Cran21Lao46Cran21 R