摄像机模型分析解析PPT课件

1、内容（Contents） 成像几何 坐标系和齐次坐标 摄像机参数 透视投影 仿射变换 内参、外参 摄像机标定第1页/共44页成像几何（Projective Geometry） 图像上的像素点与空间中真实点的对应关系第2页/共44页成像几何（Projective Geometry） 空间实际长度与图像中的长度成一定比例放缩第3页/共44页成像几何（Projective Geometry） 消失点（Vanishing Point）第4页/共44页消失点透视法：大小相同的物体，离你较近的看起来比离你较远的大。如当你沿着铁路线去看两条铁轨，沿着公路线去看两边排列整齐的树木时，两条平行的铁轨或两排树木连

2、线交与很远很远的某一点，这点在透视图中叫做消失点。 凡是平行的直线都消失于无穷远处的同一个点，消失于视平线上的点的直线都是水平直线。第5页/共44页成像特点（Properties of Projection ） 点（points）投影后为点； 线（lines）投影后为线； 平面（planes or polygon ）投影后为平面（可能不是整个平面）。 特殊情况： 经过光心的线投影后退变为点； 经过光心的平面投影后退变为线。第6页/共44页坐标系和齐次坐标（Coordinate Systems and Homogeneous Coordinates）3RzyxP右手坐标系右手坐标系XYZxyzP

3、O第7页/共44页齐次坐标（Homogeneous Coordinates ） 所谓齐次坐标就是用n+1维矢量表示一个n维矢量 为什么要用齐次坐标表示？ 提供了用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系的有效方法； 可以表示无穷远点。第8页/共44页问题: 两条平行线会相交 在欧几里得几何空间里，两条平行线永远都不会相交。但是在投影空间中，如右图中的两条铁轨在地平线处却是会相交的，因为在无限远处它们看起来相交于一点。第9页/共44页 在欧几里得（或称笛卡尔）空间里描述2D/3D 几何物体是很理想的，但在投影空间里面却并不见得。 我们用 (x, y) 表示笛卡尔

4、空间中的一个 2D 点，而处于无限远处的点 (,) 在笛卡尔空间里是没有意义的。投影空间里的两条平行线会在无限远处相交于一点，但笛卡尔空间里面无法搞定这个问题（因为无限远处的点在笛卡尔空间里是没有意义的），因此数学家想出齐次坐标这个点子来了。第10页/共44页解决办法: 齐次坐标 由 August Ferdinand Mbius 提出的齐次坐标（Homogeneous coordinates）让我们能够在投影空间里进行图像和几何处理，齐次坐标用 N + 1个分量来描述 N 维坐标。比如，2D 齐次坐标是在笛卡尔坐标(X, Y)的基础上增加一个新分量 w，变成(x, y, w)，其中笛卡尔坐标系

5、中的大X，Y 与齐次坐标中的小x，y有如下对应关系： X = x/wY = y/w 笛卡尔坐标中的点 (1, 2) 在齐次坐标中就是 (1, 2, 1) 。如果这点移动到无限远(,)处，在齐次坐标中就是 (1, 2, 0) ，这样我们就避免了用没意义的 来描述无限远处的点。第11页/共44页为什么叫齐次坐标？ 前面提到，我们分别用齐次坐标中的 x 和 y 除以 w 就得到笛卡尔坐标中的 x 和 x，如图所示： 仔细观察下面的转换例子，可以发现些有趣的东西：第12页/共44页 上图中，点 (1, 2, 3), (2, 4, 6) 和 (4, 8, 12) 对应笛卡尔坐标中的同一点 (1/3, 2

6、/3)。 任意数量积的(1a, 2a, 3a) 始终对应于笛卡尔坐标中的同一点 (1/3, 2/3)。因此这些点是“齐次”的，因为他们始终对应于笛卡尔坐标中的同一点。换句话说，齐次坐标描述缩放不变性（scale invariant）。第13页/共44页证明: 两平行线可以相交 笛卡尔坐标系中，对于如下两个直线方程： 如果 C D，以上方程组无解；如果 C = D，那这两条线就是同一条线了。 下面我们用 x/w, y/w 代替 x, y 放到投影空间里来求解：第14页/共44页 现在我们就可以在 C D 的情况得到一组解 (x, y, 0)，代入得 (C - D)w = 0，因为 C D，所以

7、w = 0。因而，两条平行线相交于投影空间中无限远处的一点 (x, y, 0)。 齐次坐标在计算机图形学中是有用的，将 3D 场景投影到 2D 平面的过程中就用到它了。第15页/共44页 一维齐次点坐标定义齐次坐标（Homogeneous Coordinates ）有穷远点无穷远点非齐次齐次坐标关系(x1, x2) (x20)xx= x1 / x2(x1, 0) (x10)第16页/共44页 二维齐次点坐标定义齐次坐标（Homogeneous Coordinates）有穷远点 方向为 =x2/x1的无穷远点非齐次齐次坐标关系 y轴上的无穷远点(x, y)x = x1 / x3, y = x2

8、/ x3(x1, x2, x3) (x30)(x1, x2, 0) (x10)(=x2/x1)(0, x2, 0) (x20)无穷远点第17页/共44页 二维齐次点坐标举例齐次坐标（Homogeneous Coordinates）)0 , 0(1P)0 , 1 (2P) 1 , 0(3P)35, 2(4P齐次坐标(一般形式)0(), 0 , 0(331xxP)0(), 0 ,(2P特定一组) 1 , 0 , 0(1P)0(), 0(3P) 1 , 0 , 1 (2P) 1 , 1 , 0(3P)0(),35,2(4P)3 , 5 , 6(4P第18页/共44页摄像机参数（Camera Para

9、meters） 摄像机内部参数（Intrinsic Parameters） 摄像机坐标和理想坐标系之间的关系 图像坐标系、摄像机坐标系 摄像机外部参数（Extrinsic Parameters） 摄像机在世界坐标系里的位置和方向 摄像机坐标系、世界坐标系第19页/共44页透视投影（Perspective Projection） 小孔成像模型（ Pinhole camera model ）第20页/共44页小孔成像模型（ Pinhole camera model ）第21页/共44页小孔成像模型（ Pinhole camera model ） 一般的孔成像模型，所有的光线都经过小孔一点，所成的像

10、为倒立的实像zxX第22页/共44页小孔成像模型（ Pinhole camera model ） 为便于理解，我们将成像平面和景物空间放在同一侧ZfYyZfXxq=(X,Y,f)Q=(x,y,z)第23页/共44页图像坐标系（Image Coordinate） 以像素为单位的图像坐标系坐标： 以物理单位表示的图像坐标系： 每一个像素在X轴与Y轴方向上的物理尺寸为dX，dY),(YXOuXYvo(u0,v0)00vdYYvudXXu),(vu第24页/共44页图像坐标系与摄像机坐标系 摄像机坐标系： 根据小孔成像模型： 用齐次坐标和矩阵表示),(zyxzfyYzfxX1101000000001z

11、yxPzyxffYXs11010000000010010011100zyxMzyxffvdYudXvus摄像机内参摄像机内参s就是z第25页/共44页摄像坐标系与世界坐标系 世界坐标系： 用齐次坐标和矩阵表示：),(wwwZYX111012wwwwwwTZYXMZYXtRzyx摄像机外参摄像机外参第26页/共44页摄像机参数（Camera Parameters）11100100000000100100112100wwwwwwTZYXMMZYXtRffvdYudXvusp用齐次坐标和矩阵表示第27页/共44页坐标系旋转与平移 欧拉角 二维坐标系旋转第28页/共44页坐标系旋转与平移 三维坐标系的

12、旋转可以分解成绕三个坐标轴旋转的乘积 绕x轴旋转：cossin0sincos0001xR第29页/共44页坐标系旋转与平移 绕y轴旋转 绕z轴旋转cos0sin010sin0cosyR1000cossin0sincoszR第30页/共44页相机畸变（Lens Distortion） 根据理想的小孔成像模型，矩形物体投影到图像平面应该保持矩形，可是由于镜头的畸变，引起了一些误差第31页/共44页相机畸变（Lens Distortion）第32页/共44页径向畸变（Radial Distortion） 径向畸变是由于镜头不是理想的小孔引起的误差，一般只考虑二次和四次畸变项第33页/共44页切向畸变

13、（Tangential Distortion） 切向畸变是由镜头跟CCD平面没有理想地垂直引起的，考虑p1,p2参数第34页/共44页仿射投影（Affine Projection） 当场景的深度大小变化远小于场景摄像机的距离，可以用仿射投影近似成像过程。 M23秩为2。100022322211131211tmmmtmmmP第35页/共44页摄像机的标定（Camera Calibration） 什么是几何标定? 图像上每一点的亮度反映了空间物体表面某点反射光的强度,而该点在图像上的位置与空间物体表面相应点的几何位置有关。这些位置的相互关系,由摄像机的成像几何模型所决定。该几何模型的参数称为摄像机

14、参数,这些参数必须由实验和计算来确定,实验和计算的过程称为摄像机的几何标定/定标(Calibration). 几何模型的分类： 线性模型，或称针孔(pin-hole)模型；非线性模型(如广角镜头的模型)；多摄像机的立体模型，等等.第36页/共44页摄像机的标定（Camera Calibration） 标定的分类（Classification） 传统摄像机标定方法； 主动视觉摄像机标定方法； 摄像机自标定方法第37页/共44页传统摄像机标定方法 直接线性变换（DLT变换）第38页/共44页DLT变换 Abdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学

15、的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。第39页/共44页DLT变换1 ,vu11143wwwwwwZYXZYXvusPtRKp直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：p其中 为图像坐标系下的点的齐次坐标， 为世界坐标系下的空间点的欧氏坐标，P 为3*4的透视投影矩阵，s为未知尺度因子。 wwwZYX,第40页/共44页0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww消去消去 s s ，可以得到方程组，可以得到方程组: :343332312423222114131211pZpYpXpspZpYpXpsvpZpYpXpsuwwwwwwwww第41页/共44页DLT变换0ALp当已知N个空间点和对应的图像上的点时，可以得到一个含有2*N个方程的方程组： 其中 A 为2N*12 的矩阵，L为透视投影矩阵元素组成的向量:Tpppppppppppp343332312423222114131211,第42页/共44页DLT变换 像机定标的任务就是寻找合适的像机定标的任务就是寻找合适的 ，使得，使得 为为最小