计算机视觉课件chap物体与摄象机之间的任何相对运动都将导致平面上空间对应

运动场(Velocity)与光流(Optical物体与摄象机之间的任何相对运动都将导致视平面上与空间物体对应点发生变化。严格地说空1PVpv，则V v

f

v

v(R,Z)V(V,Z)R(RV) (R,Z) (R,Z)在图象中可测的是图象辐照度的变化，这种变化并不总是与物体和摄象机间的相对运动对应的。可以从下面的例子中看出这一点。典型的具有均匀反射特性的球绕其一轴旋转，从摄得的图象上看不出任何变化；反过来光照条件的变化却会引起2所示。 图6.2设图象上的点xy)在时刻t的辐照度为fxyt

，经过间 后对应点为fxxyytt，当t0f(x,y,t)f(xx,yy,tt 由Taylorf(xx,yy,tt)f(x,y,t)fxfyft fdx dyfx y fxufyvft其中u

vdyxyvfxvfx,u式(6.6)

0xyy xyy

vft

f方向f2f2fxy将(6.6)式看成是uv两个未知数，无法定解。为了定解必须附加上其

图6.3uv的，必须引入其它附加的约束才有可能唯一确定光流场。研究者们从不HornSchunck所采用方法基本思想是在求解光流时，光流本身尽可能平滑，即引入对光流的平滑性约束。设平滑性约束项为

u2v2v2

由基本等式(6.6) fufvf2

于是由(6.7)和(6.8)可知，最后求得的光流应满足(6.9)min 2u2v2v2fufvf2

对形如(6.10)形式的形式变分问题 的解是对应Euler方程(6.11)

vx

Fu2u2v2v2fufvf

2u (fufvf2v

y(fxufyvft

其中2是Lace(6.9)式中反映对数据及约束的信度。当数据本身含有较多的噪声时，则原始数据的可信度较低，地依赖对光滑性的约束，可以取较小的值，反之可以取

(

)2(

)2(

i1, i, i,j i,

i,

i,j i, f f mine(sijcij 对(6.14)求关于ukl和vkl

2 f f (1f2

其中ukl、vkl分别是ukl和vkl的四邻域平均

fyvklfuklukl

1(f2f2 ff f fvv

vkl

1(f2f2 funfvn

un

1(f2f2 v(un,vnv(un,vn(un+1,vn+1fx,u

fvnt

vn

vn

1(f

f2 xyxy图6.4 基于高阶梯度的方法Horn等的方法不同，Tretiak等考虑图象本身在灰度上连续性，对灰度场加约束。f(xdx,ydy,t)u(xdx,ydy,t)f(xdx,ydy,t)v(xdx,ydy,t) f(xdx,ydy,t)对(6.17)式中各项在xytTaloyf(xdx,ydy,t)f(x,y,t)2f(x,y,t)dx2f(x,y,t) xf(xdx,ydy,t)f(x,y,t)2f(x,y,t)dx2f(x,y,t) f(xdx,ydy,t)f(x,y,t)2f(x,y,t)dx2f(x,y,t)

u(xdx,ydy,t)u(x,y,t)uxdxuydyv(xdx,ydy,t)v(x,y,t)vxdxvy

fufvf u vf f

u vf f

vdy2 由基本等式及dxdyfxufyvftfxxufyxvfxuxfyvxftxfxyufyyvfxuyfyvyfty

fyxvxfxxuyfyyvxfxyvyfyyvy 平滑的，因此可以假定ux,uy,vx,vy近似为零，则有fxufyvftfxxufyxvftxfxyufyyvfty 一.设相邻的两帧图象分别为f1(ijf2(ij)，考虑第一帧图象上的点f1xy)周围大小为(2n12n1邻域，考虑对应的运量为(u,v)，且Nu,vNN确定了搜索的范围，可以用(6.23)式衡量对应的误差Ec(u,v)。nEc(u,v)i,j

f(xi,yj)f(xui,yvj)

(u,v) (u,v)的权为cW(u,v)ekEc c Wc(u,v)u ucuNu , Wc(u,v)

Wc(u, uNu Wc(u,vuNv uNv

量。图6.11 小小大小小大小大大(a)变化平缓部分 (b)边缘附近(c)角点附近图6.11 Wc(u,v)uucuNv

Wc(u,v)uucvvcuNv Cc

Wc(u, uNv

Wc(u, uNv

NNN W(u,v)uuvv W(u,v)vv NNN uNv uNv Wc(u, Wc(u, uNv uNv 大，实际上特征值的大小反映了对速度场估计值的信度。因此有必要利用邻域信息对运量二.动点围邻的速场对前点度值供了种支，但种支不是权的实际上可以考虑两种决定因素，即周围邻点的距离和邻点本身的信度，前者可以利用Gauss 为 ，后者可以考虑利用从(6.26)方阵得的征进行 。,(wi,jw) Wn(i,j)ui, Wn(i,j)vi, uiwj ,viw Wn(i,j Wn(i,iwj iwj其中uijvij为对应点(i,j)的理想速度值，并设当前点的坐标为(0,0)。

u vWn(i,j)ui,jiwj

Wn(i,j)ui,j i,jiwjw

Wn(i,iwj u v

Wn(i, iwj 2

Wn(i,

i,

i,

Wn(i,j)vi,

v iwj

Wn(i, iwj

iwj Wn(i, iwj 现在从式(6.25)和(6.27)可以得到两个速度场的估计值，考虑最优估计Uuv)应满足

C1(UU)C1(UU) U和CnGauss-Siedel C1

1

k U0

仅按hA CT平移，按R旋转。设t时刻空间点F(X,Y,Z,t)经过时间t 象机坐标系下为F(XX,YY,ZZ,tt)。则由(3.49)式有XX X YYRT

ZZ

Z C

ll(1cos) 2 1 2Rl2l1(1cos)l3sin

l2l3(1cos)l1sin33l3l1(1cos)l2sin

l2 Rl3

l 由于t,liiXX X A

tYBY

ZZ

Z

考虑投影关系，取t0

1 x

Z Y

2yb f f 3

为书写方便，将 dt简记为X，1为摄象机旋转的角速度dY

2dZdt

3a dAdt bdBdtc dCdt

X

x

d

Z Z Y

dtY

fy

f

uaf fy

1 2x

1 1f3x 4.4.2一.如果在视平面上成象的对象是平面，考虑其方程为ZpXqYr，则式(6.50)ufUAxBy1ExfvfVCxDy1ExFyf

Ua

Vb

Apa

Bqa

Cpb

Dqb

Epc Fqc 由第三章有mrTTmTImm，对于瞬时微小运动T可以写成有IWt，下面首先确定mdmdtWdet[IWt]1Tr[W]tO((t)2 于是Tr[W0mr(IWt)m2r22r2(m,WTm)tO((t)2)

r2

1O((t)2

1O((t)2

12(m,WTm)tO((t)212(m,WTm)tO((t)2

由于(6.55)式中O((t)2r1(m,WT mWTm(m,WTm)mtO((t)2mlimmmWTm(m,WTm)m

t 并且满足Tr[W0三.由于TIWtxf (1W11t)xW21ytW31ft x(W11xW21yW31f)tW13xtW23yt(1W33t)f 1(W13xW23y) fW33t x

)x y1 x y)xtO((t)2 即u (W11W33)x y1(Wx y)

U AW11 B E F vV C DW22 E F 由(6.60)和(6.61)并考虑Tr[W0可以导出平面光流参数U,VABCDEF与速度变换矩阵W之间满足(2AD)W

(A2D)

UV (AD)UV

1p

paqbc

0

rq c

1

四.速度变换矩阵W

mWTm (m,WTm) (i,j)(

||mij||2||WTmij||2(mij,WTmij)22(mij,WTmij)(i,j)(

||WTmij||2(mij,WTmij)22(mij,WTmij(i,j)( J

||WTm||2(m,WTm)

2(m,WTm

Tr[W

2(i,j)(

WWW

J

(m,WTm

TmTr[W(i,j)(S

(m,WTm)mmTm

mmTWTmmT(m,WTm)mmT

对上式两边取迹，注意到TrmmTmm,TrWTmmTm,WT将代入式(6.69)

(m

Tm)mmT

33(i,j)(S

(i,j)(S

算法4.1(利用N矢量计算速度变换矩阵 mjmk

mjmk

mimj1

Bij

ijmxymxy(x,y)(S)i,j,k,l1,2,3

k ifi

ifi

，xy表示N矢量 AijklWklk,l3

(2AD)

(BC)

(UE)