第三讲光流分析法讲诉

第三讲光流分析法三维场景——>二维的时变图像——>数学上3D>2D投影而我们所能得到的是时变图像的某种采样点阵(或采样栅格)的图像序列， (1)假定投影中心在原点X2t时刻t时刻XXpPPP,—三维位移矢量X3pp,—二维成像平面上的二维位移矢量(2)假定投影中心在O1点(3)设(X,t)R3,t=t+ltO1X2PpOXXCCd(X,t；lt)=d(X,t；lt)，PCd(n,k；l)=d(X,t；lt)Pk表达了t‘-t的时间离散123PC (x，t)∧3 (n，k)Z3=(n,n)T2(1)pp定义为对应矢量V=(V,V)T=(dx/dt,dx/dt)T1212表征了时空变化，而且是连续的变化。观测到这种变化，则就意义(3)可观测性例子角速度K+1帧K+1帧KK帧t--l△tdd112tPP12t+l△td112P12C1122离散化等价S(x，x)=S(x+d(X)，x+d(X))k12k+l1122对应矢量d(X)=(d(X)，d(X))T2S(x，x)=S(x+d(X)，x+d(X)),其中t=ktk12kl1122(1)光流的估计——>若每一个△t间隔时，速度矢量不变。则光流估计与对应(2)解的存在性——>如遮挡与显露问题。(3)解的唯一性——>产生孔径问题。位移各分量是否解耦合的。若独立，未(4)解的连续性——>产生噪声<——不连续(1)参数模型<——基于三维曲面的表达式(2)非参数模型d．贝叶斯(最大后验概率)1．设S(x,x,t)是连续时空亮度分布，若沿运动轨迹上的亮度保持不变，有?S(X,t)CU(X,t)+?S(X,t)CU(X,t)+?S(X,t)C=0(3.3__2)?x1?x2?t121一坐标速度分量1一坐标速度分量)2dtdt我们的估计就是要在帧之间保持(3.3—1)式成立，需要的先验知识较多。dt=02in将(3.3—2)式中的偏微分项用梯度估计出来xxC12 xxC12 xx2C12ttC12 ttC12第四讲基于块的分析法(1)图像由块构成(2)块运动由平移和二维变形构成(1)模型BnnnnDdd)T是位移矢量，1212121122(2)重叠问题未重叠块重叠块b。(3)应用(c)不能用于变形运动3．变形的块运动设k帧中某像素的坐标为(x,x)，而在k+l帧中的对应像素的坐标为(x’,x’)，1212XxxTXxx)T，D=(d,d)T(4.1--2)可处理121212{长方形平行四边形的变换，而位射是正交投射。(2)透视变换非线性处理x'=4152671824.2相位相关法频域法1.线性相位差项在(4.1--1)试两边取付氏变换S(f,f)=S(f,f).exp{j2(df+df)}k12k+1121122arg{S(f,f)}arg{S(f,f)}=2(df+df)k12k+1121122 可见相位差只是在(ff)坐标上一个平面方向，则帧间的运动矢量可以由22.相位相关函数kk12(4.2--3)C(f,f)=S(f,f)S*(f,f)kkk1212(f,f)=Sk+1(f1.f2)S(f1,f2)k,k+112S'(f,f)S*(f,f)k+112k12C(f,f)=exp{j2几(df+df)}kk22 k,k+11211223实现及问题(1)计算块的二维DFT(k,k+1帧)(2)计算(4.2--5)式的归一化功率谱(3)求反二维DFT(4)检测相位相关函数峰值位置(1)伪峰的出现(2)峰分裂(3)分辨率(4)频谱泄露(1)不敏感照明的变化归一化的功率谱(2)可检测多物体运动每个峰将指示一个特定运动4.3块匹配法时域法1.块匹配法(1)算法在时域进行，算法本身简单、归整(3)原则(a)合适的块大小(b)匹配准则(c)搜索方法(1)最小均方误差MSE,定义：MSE(d,d)=MSE(d,d)=12NN112NN12(n,n2)B212122MSE可看成光流的约束条件(指块内)(2)MAD最小绝对值法，定义：12NN12121212(n,nB122(,d)T=min{MAD(d,d),(d,d)TD}12122(3)MPC最大匹配像素数法121212122(n,n22(,d)T=min{mpc(d,d),(d,d)TD}12122MPC法只需逻辑运算及计数，便于硬件实现 (1)全程搜索(2)快速搜索法与预期的精度有关4.4分级运动估计1