多视几何continue

1、圆环点(the circular points)平面上任何(rnh)圆与无穷远直线的交点：3点+2圆环点=5点确定(qudng)一个圆共九十一页绝对(judu)二次曲线(The Absolute Conic) 欧氏空间(kngjin)中, 无穷远平面上的二次曲线: 称为绝对二次曲线. 它都由虚点构成。任意一个球与无穷远平面的交点：共九十一页AC性质(xngzh)无穷远直线交绝对二次曲线于两点，这两个点是通过该无穷远线的平面的圆环点。绝对二次曲线是空间中所有平面的圆环点所构成的集合，因而任意一个圆与绝对二次曲线交于两个圆环点。设绝对二次曲线在无穷远平面上的矩阵表示为，则它的任一点的切线为，反之。

2、配极对应(duyng)也成立。共九十一页 绝对二次曲线的像与照相机的内参数紧密相连(xin lin). 假定照相机的内参数为: 则绝对二次曲线的像是: 反之, 如果绝对二次曲线的像已知, 则 K 可以被完全确定.共九十一页如果(rgu)圆环点的像已知，也可以对照相机的内参数构成约束，通过解方程组来得到内参数的值。 假定 m 是圆环点的像，则：共九十一页三维射影(shyng)几何点、空间直线、平面二次曲面扭三次(sn c)曲线：与三维重建中的退化情况紧密相连。共九十一页计算机视觉(shju)的多视几何共九十一页主 要 内 容1. 单视几何（单幅图像测量(cling)）2. 两视几何（Epipol

3、ar Geometry 约束）3. 三视几何（Trifocal Geometry 约束）共九十一页1. 单视几何(j h)共九十一页1. 单视几何(j h)成像平面摄像机坐标系ZXYOMm成像平面O共九十一页1. 单视测量(cling)从单幅图像中恢复场景的全部或部分三维信息运用射影几何理论，探索利用单幅图像实现场景测量(cling)所需的图像信息以及场景信息，从而实现对场景中距离、面积、体积等的测量共九十一页1. 单视测量(cling)利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响。基于图像的测量技术，因其所需的只是(zhsh)场景图像，所以更灵活、方便、即时、准确。具有非

4、常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面。共九十一页1. 单视测量(cling)共九十一页空间平面与其图像平面间的关系可由平面Homography: H 来表示(一个 的矩阵(j zhn). 一般将空间平面假设为 ,即 X-Y 平面, 则：成像平面摄像机坐标系ZXYOMmXwYw1. 单视测量(cling)之平面测量共九十一页1. 单视测量(cling)之平面测量 如果4个空间点 已知，则由它们(t men)可线性求解H：然后通过将图像点反投到空间平面，实现空间平面上的测量距离、面积、夹角共九十一页 已知一个(y )空间平面的homography和此平面法向量方

5、向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：体积、身高(shn o)、两个平面的距离、两个平面内的两个点之间的距离1. 单视测量之空间测量共九十一页1. 单视测量(cling)物体(wt)体积的测量结果：V1 Real volume: 109265.0 cm3 Measured value: 110018.9 cm3 Relative error: 0.69 % V2 Real volume: 26826.7 cm3 Measured value: 26628.2 cm3 Relative error: 0.74 %共九十一页2. 两视几何(j h)共九十一页2. 两视几何(

6、j h)共九十一页2. 两视几何(j h)外（对）极几何(j h)（Epipolar geometry）基本矩阵F、本质矩阵E共九十一页三个问题(wnt)Correspondence Geometry给定mi，mi在哪里(n li)Camera Geometry (motion)给定mimi, P,P是什么？Scene Geometry (Structure)给定mimi,P,P, M在哪里？2. 两视几何共九十一页2. 两视几何(j h)之外极几何外极几何是研究(ynji)两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。共九十一

7、页2. 两视几何(j h)之外极几何如果只知道C,C,x的话，会得到(d do)什么？共九十一页2. 两视几何(j h)之基本概念基线(jxin)：连接两个摄象机光心 O（O）的直线外极点：基线与像平面的交点外极平面：过基线的平面外极线：对极平面与图像平面的交线基本矩阵F：对应点对之间的约束共九十一页共九十一页共九十一页2. 两视几何(j h)世界坐标系Ou摄像机坐标系v图像坐标系OR0, t0R, t如果(rgu)将世界坐标系取在第一个摄像机坐标系上，则：R, t共九十一页2. 两视几何(j h)空间(kngjin)中一点 在两幅图像上的成像分别为： 极点 极线基本矩阵的代数推导mmleel

8、CCmTFm=0M因此：共九十一页基本(jbn)矩阵 F： 是一秩为2的33矩阵，自由度为 72. 两视几何(j h)MmmleelOOmTFm=0外极点：外极线：共九十一页2. 两视几何(j h)在两幅图像之间，基本(jbn)矩阵将点 m 映射为对应的极线，将极点映射为0。不能提供对应点间的一一对应。基本矩阵的变换作用MmmleelOOmTFm=0F0F如果，m，m是一对对应点，则：反之，不成立。共九十一页2. 两视几何(j h)H是一个 射影变换矩阵 ，投影矩阵对 和 对应相同(xin tn)的基本矩阵 。基本矩阵共九十一页2. 两视几何(j h)基于(jy)代数误差的线性估计-8点、7点

9、算法基于几何误差的非线性优化基于RANSAC（RANdom Sample Consensus）思想的自动估计算法基本矩阵F 的估计方法共九十一页2. 两视几何(j h)一对(y du)对应点 ， 之间满足约束：展开可以得到约束方程为：基本矩阵F 的估计方法8点算法:共九十一页2. 两视几何(j h)当 n=8 时，可以(ky)线性求解 f。对于 n 对对应的图像点对可得到 n 个这样的方程构造向量:构造矩阵:从而:基本矩阵F 的估计方法8点算法:共九十一页2. 两视几何(j h)基于代数误差的估计方法是满足某些约束下使 最小的算法8 点算法：步骤(bzhu)：由对应点 (n=8) 集构造矩阵A

10、；对 A 进行奇异值分解 ， 由向量 构造矩阵F对F进行SVD分解 得到基本矩阵的估计基本矩阵F 的估计方法8点算法:共九十一页共九十一页2. 两视几何(j h)基本矩阵F 的估计(gj)方法8点算法存在的问题:共九十一页归一化处理(chl)规一化变换： 对图像点做位移变换，使得图像的原点位于图像点集的质心； 对图像点做缩放变换，使得图像点分布在以质心为圆心(yunxn)半径为 的圆内。共九十一页规一化 8 点算法：由对应点 ，求F对两幅图像分别做规一化变换 , 得到新的对应点集；有新的对应点集和8点算法估计 ；基本(jbn)矩阵 2. 两视几何(j h)基本矩阵F 的估计方法8点算法:共九十

11、一页左边(zu bian)：未归一化右边(yu bian)：归一化后共九十一页左边(zu bian)：未归一化右边(yu bian)：归一化后共九十一页上面(shng min)曲线：未归一化下面(xi mian)曲线：归一化后点到极线的距离共九十一页2. 两视几何(j h) 如果求解的基本矩阵 F 不满足约束 ，即 那么不存在向量 e 使得 Fe=0，则在图像中的对极线不交于同一点 (对极点 e )。由于基本矩阵的秩为 2 ，因此基本矩阵仅具有7个自由度，所以已知7对匹配点便足以(zy)确定基本矩阵。基本矩阵F 的估计方法7点算法:共九十一页2. 两视几何(j h)基本矩阵(j zhn)F 的

12、估计方法7点算法:共九十一页2. 两视几何(j h)将估计基本矩阵的问题化为数学(shxu)的最优化问题，然后使用某种优化迭代算法求解. 算法如下：构造基于几何意义的目标函数选取8点算法的结果作为迭代算法的初始值选取一种迭代方法（Levenberg-Marquardt方法），迭代求解最小化问题基本矩阵F 的估计方法基于几何误差的优化:http:/www.ics.forth.gr/lourakis/levmar/共九十一页2. 两视几何(j h)常用准则(zhnz)：(1)点到对应极线距离的平方和 (2)反投影距离基本矩阵F 的估计方法基于几何误差的优化:构造基于几何意义的目标函数共九十一页2.

13、 两视几何(j h)mmleelOO基本矩阵F 的估计方法基于几何误差的优化:准则(zhnz) (1):点到对应极线距离的平方和共九十一页其中 和 是通过一定(ydng)的方法进行射影重建所得的空间点的反投影图像点.2. 两视几何(j h)准则 (2):反投影距离基本矩阵F 的估计方法基于几何误差的优化:mmeeOO共九十一页基于准则 (2)步骤：由线性算法求出基本矩阵(j zhn)的初始值 ;由对应点 和基本矩阵 射影重建得到三维空间点坐标 ；由三维空间点得到新的图像点： .2. 两视几何(j h)基本矩阵F 的估计方法基于几何误差的优化:共九十一页前面所讲的所有的方法都假设没有错误数据(s

14、hj)点(Outliers)。实际处理过程中可能会出现错误的数据点。可用RANSAC方法(Fischler and Bolles,1981)剔除错误的数据点共九十一页2. 两视几何(j h)例：利用 RANSAC 思想估计(gj)直线 基本矩阵F 的估计方法RANSAC估计随机选两个点，作线测量每点support此线的程度(阈值)重复randomly选点(次数)由众多中选the line with most support(多大)共九十一页2. 两视几何(j h)基本思想通过迭代地随机抽取最小点集来找出所谓的一致集(即Inliers所占比例最高的最小点集) 用此最小点集估计的基本矩阵和所识别出

15、的Inliers一起进行进一步非线性优化，从而得到(d do)最终的基本矩阵估计值基本矩阵F 的估计方法RANSAC估计共九十一页阈值(y zh)t的确定经验值如果(rgu)度量误差，则（m=codimension of the model）共九十一页采样(ci yn)次数N目标：在N次采样中，至少有一次采样，所有的点(共S个)都是inliers.以概率(gil)p(e.g.=99%)保证至少有一次。共九十一页一致(yzh)集的大小T共九十一页完整(wnzhng)流程给定一对图像Find 基本矩阵(j zhn)F和对应点对提取图像点寻找对应点对计算F,e共九十一页特征提取程序(chngx)SI

16、FT: http:/www.cs.ubc.ca/lowe/keypoints/ Scale-Invariant Features Transform Feature describer KLT: /stb/klt/ Kanade-Lucas-Tomasi Feature Tracker共九十一页Automatic computation of FInterest pointsPutative correspondencesRANSAC robust estimationNon-linear estimationGuided matching Repeat 4 and 5 until stabl

17、e共九十一页共九十一页建议1. Do not use unnormalized algorithms2. Quick and easy to implement: 8-point normalized3. Better: enforce rank-2 constraint duringminimization4. Best: Maximum Likelihood Estimation(minimal parameterization, sparse implementation)共九十一页2. 两视几何(j h)本质矩阵 E (Essential Matrix) 由摄像机的外参数(cnsh)确

18、定，与摄像机内参数(cnsh)无关。本质矩阵 EO摄像机坐标系v图像像素坐标系Ouxymm共九十一页2. 两视几何(j h) 本质(bnzh)矩阵 E当摄像机内参数 K,K 已知时，当 F 被求出时，可重建，即求出 R，ttR共九十一页如何(rh)从F中恢复P,P?共九十一页如何(rh)从F中恢复P,P?共九十一页如何(rh)从F中恢复P,P?canonic camera matrices:Rank=2,共九十一页给定一基本矩阵(j zhn) F，构造投影矩阵(j zhn)对 2. 两视几何(j h) 有了投影矩阵和图像点就可以通过三角化(Triangulation: compute inte

19、rsection of twobackprojected rays)实现重建射影重建共九十一页理想(lxing)情况下真实情况下共九十一页Linear Triangulation methodsSVD共九十一页几何(j h)误差possibility to compute using LM (for 2 or more points) ordirectly (for 2 points)共九十一页Reconstruction ambiguity:projective共九十一页The projective reconstructiontheoremIf a set of point corresp

20、ondences in two views determine the fundamental matrix uniquely, then the scene and cameras may be reconstructed from these correspondences alone,and any two such reconstructions from these correspondences are projectively equivalent共九十一页Find x,xFind FFind P,PFind X共九十一页Stratified reconstruction(分层重

21、建(zhn jin)Projective reconstructionAffine reconstructionMetric reconstruction共九十一页Affine reconstruction仿射不变量：保持无穷远平面不变。反之，亦然。保持平行(pngxng)性。保持物体的体积比、平行图形（或共面图形）的面积比、平行线段（或共线线段）的长度比不变12DOF共九十一页Affine reconstructionBut how do we obtain so as to achieve affine reconstruction?An affine reconstruction can

22、 be sufficient depending on applications,e.g. calculate mid-point, centroid, parallelism共九十一页Translational motion (e.g. in a car on a straight road, moon)Points at infinity are fixed for a pure translation reconstruction by those xi xi which are on ,we can obtain the and affine reconstruction共九十一页Sc

23、ene ConstraintsFind 3 points which are known to lie on the plane at infinity3 sets of parallel lines allow to uniquely determine 找三组(sn z)平行线，求得V1,V2,V3求得最后共九十一页A vanishing point v and its corresponding line l (vxP)X=0 and (lTP)X=0Scene Constraints共九十一页Scene ConstraintsDistance ratios on a line交比不变性共九十一页Scene constraints infinit