摄像机模型及坐标变换

1、机器视觉机器视觉 1.摄像机标定概述摄像机标定概述 2.摄像机成像模型摄像机成像模型 3.射影几何学简介射影几何学简介 4.摄像机标定方法摄像机标定方法 l计算机视觉的基本任务之一是从摄像机获取的图像信 息出发计算三维空间中物体的几何信息，并由此重建 和识别物体。 l空间物体表面某点的三维几何位置与其在图像中对应 点之间的相互关系是由摄像机成像的几何模型决定的 ，这些几何模型参数就是摄像机参数。 l在大多数条件下，这些参数必须通过实验与计算才能 得到，这个过程被称为摄像机标定。 l标定过程就是确定摄像机的几何和光学参数，摄像机 相对于世界坐标系的方位。标定精度的大小，直接影 响着计算机视觉的精

2、度。因此，只有做好了摄像机标 定工作，后续工作才能正常展开。 迄今为止，对于摄像机标定问题已提出了很多方法，摄 像机标定的理论问题已得到较好的解决，对摄像机标定 的研究来说，当前的研究工作应该集中在如何针对具体 的实际应用问题，采用特定的简便、实用、快速、准确 的标定方法。 l根据是否需要标定参照物来看根据是否需要标定参照物来看 传统的摄像机标定方法传统的摄像机标定方法 摄像机自标定方法摄像机自标定方法 在一定的摄像机模型下，基于特定的实验条件，如形状 、尺寸已知的标定物，经过对其进行图像处理，利用一 系列数学变换和计算方法，求取摄像机模型的内部参数 和外部参数 。 不依赖于标定参照物的摄像机

3、标定方法，仅利用摄像机 在运动过程中周围环境的图像与图像之间的对应关系对 摄像机进行的标定称为摄像机自标定方法 l从所用模型不同来分： l线性 l非线性 线性模型摄像机标定, 用线性方程求解，简单快速，已成 为计算机视觉领域的研究热点之一，目前已有大量研究成 果。但线性模型不考虑镜头畸变，准确性欠佳； 对于非线性模型摄像机标定，考虑了畸变参数，引入了非线 性优化，但方法较繁，速度慢，对初值选择和噪声比较敏感 ，而且非线性搜索并不能保证参数收敛到全局最优解。 l从视觉系统所用的摄像机个数不同分为 单摄像机和多摄像机 l在双目立体视觉中，还要确定两个摄像 机之间的相对位置和方向。 l从求解参数的结

4、果来分 隐式 显式 为了提高标定精度，就需要通过精确分析摄像机成像的中间过程， 构造精密的几何模型，设置具有物理意义的参数(一般包括镜头畸 变参数、图像中心偏差、帧存扫描水平比例因子和有效焦距偏差)， 然后确定这些未知参数，实现摄像机的显参数标定。 隐参数标定是以一个转换矩阵表示空间物点与二维像点的对应关 系，并以转换矩阵元素作为标定参数，由于这些参数没有具体的 物理意义，所以称为隐参数定标。在精度要求不高的情况下，因 为只需要求解线性方程，此可以获得较高的效率。比较典型的是 直接线性标定 (DLT)。DLT标定以最基本的针孔成像模型为研究 对象，忽略具体的中间成像过程，用一个34阶矩阵表示空

5、间物 点与二维像点的直接对应关系。 l从解题方法来分 解析法 神经网络法 解析方法是用足够多的点的世界坐标和相应的图像坐标，通过解析 公式来确定摄像机的内参数、外参数以及畸变参数，然后根据得到 的内外参数及畸变系数，再将图像中的点通过几何关系得到空间点 的世界坐标。解析方法不能囊括上述的所有非线性因素，只能选择 几种主要的畸变，而忽略其它不确定因素。 神经网络法能够以任意的精度逼近任何非线性关系，跳过求取各参 数的繁琐过程，利用图像坐标点和相应的空间点作为输入输出样本 集进行训练，使网络实现给定的输入输出映射关系，对于不是样本 集中的图像坐标点也能得到合适的空间点的世界坐标。 l根据标定块的不

6、同 立体 平面 平面模板(作为标定物)，对于每个视点获得图像,提取图像上的网格角 点，平面模板与图像间的网格角点对应关系，确定了单应性矩阵 (Homography)，平面模板可以用硬纸板，上面张贴激光打印机打印的 棋盘格。模板图案常采用矩形和二次曲线（圆和椭圆）。 标定通过拍摄一个事先已经确定了三维几何形状的物体来进行，也就 是在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的 定标参照物(标定物)，经过对其图像进行处理，利用一系列数学变换 和计算方法，求取摄像机模型的内部参数和外部参数。这种定标方法 的精度很高。用于定标的物体一般是由两到三个相互正交的平面组成。 但这些方法需要昂贵的

7、标定设备，而且事前要精确地设置。 l不管怎样分类，标定的最终目的是要从图像点中求出物体 的待识别参数，即摄像机内外参数或者投影矩阵。然而， 不同应用领域的问题对摄像机定标的精度要求也不同，也 就要求应使用不同的标定方法来确定摄像机的参数。 l例如：例如： 在物体识别应用系统中和视觉精密测量中，物体特征的相 对位置必须要精确计算，而其绝对位置的标定就不要求特 别高； 在自主车辆导航系统中，机器人的空间位置的绝对坐标就 要高精度测量，并且工作空间中障碍物的位置也要高度测 量，这样才能安全导航。 来自于光源(如太阳)的光入射到物体表面并被表面反射。反射光 进入人眼，最终导致了我们对颜色的感知 l在计

8、算机视觉中，利用所拍摄的图像来计算出三维空间中被 测物体几何参数。图像是空间物体通过成像系统在像平面上 的反映，即空间物体在像平面上的投影。 l图像上每一个像素点的灰度反映了空间物体表面某点的反射 光的强度，而该点在图像上的位置则与空间物体表面对应点 的几何位置有关。这些位置的相互关系，由摄像机成像系统 的几何投影模型所决定。 l计算机视觉研究中，三维空间中的物体到像平面的投影关系 即为成像模型成像模型，理想的投影成像模型是光学中的中心投影， 也称为针孔模型。 l假设物体表面的反射光都经过一个针孔而投影到像平面上， 即满足光的直线传播条件。 l针孔模型主要由光心（投影中心）、成像面和光轴组成。

9、 l小孔成像由于透光量太小，因此需要很长的曝光时间，并且 很难得到清晰的图像。实际摄像系统通常都由透镜或者透镜 组组成。 l两种模型具有相同的成像关系，即像点是物点和光心的连线 与图像平面的交点。因此，可以用针孔模型作为摄像机成像 模型。 针孔摄像机针孔摄像机 空间点O是投影中心，它到平面的距离是f。空间点M在平面上的投影 (或像)m是以点O为端点并经过点M的射线与平面的交点。 平面：摄像机的像平面 点O：摄像机中心(光心) f：摄像机的焦距 以点O为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的 交点p称为摄像机的主点 成像平面成像平面 摄摄 像像 机机 坐坐 标标 系系 Z X Y

10、 O M m p f 摄像机坐标系：O-XcYcZc 图像坐标系：O1-XY 根据三角形相似原理，有 c c z y fy c c z x fx 1 1 , 0100 000 000 y x m z y x XXf f z fy fx mz c c c cc c c c c ，其中 像机矩阵的矩阵，通常称它为摄是一个其中，矩阵 则上式可表示为如果记 43 ,), 0 , )(1 ,( P PXmIffdiagP c ),(yxm c Y c X c Z 1 O Y X ),( ccc zyxM 图1 摄像机标定中常用坐标系 图1 表示了三个不同层次的坐标系统： 1. 世界坐标系 2. 摄像机坐

11、标系 3. 图像坐标系（图像像素坐标系和图 像物理坐标系）。 三个层次的坐标系统 （1）世界坐标系（Xw，Yw，Zw）：也称真 实或现实世界坐标系，或全局坐标系。它是 客观世界的绝对坐标，由用户任意定义的三 维空间坐标系。一般的3场景都用这个坐 标系来表示。 （2）摄像机坐标系(xoy)：以小孔摄像机模 型的聚焦中心为原点，以摄像机光轴为oz 轴 建立的三维直角坐标系。x，y 一般与图像 物理坐标系的， 平行。 （3）图像坐标系，分为图像像素坐标系和 图像物理坐标系两种： a)图像物理坐标系：其原点为透镜光轴 与成像平面的交点，X 与Y 轴分别平 行于摄像机坐标系的x与y 轴，是平面 直角坐标

12、系，单位为毫米。 b)图像像素坐标系计算机图像（帧存） 坐标系：固定在图像上的以像素为单 位的平面直角坐标系，其原点位于图 像左上角, Xf，Yf 平行于图像物理坐标 系的X 和Y轴。对于数字图像，分别为 行列方向。 其中，T是世界坐标系原点 在摄像机坐标系中的坐标， 矩阵R是正交旋转矩阵 111213 212223 313233 01 111 0001 xww yww T ww z rrrtxx x rrrtRTyyy zzzrrrt 222 111213 222 212223 222 313233 1 1 1 rrr rrr rrr R满足约束条件： 正交旋转矩阵实际上只含有三个独立变量R

13、x ，Ry，Rz，再加上tx ,ty ,tz 总 共六个参数决定了摄像机光轴在世界坐标系中的坐标，因此这六个参数 称为摄像机的外部参数。 摄像机坐标系中的一点p在图像物 理坐标系中像点P坐标为： / / Xfxz Yfyz 齐次坐标表示为： 000 000 000 1 00101 fx X fy zY fz 将上式图像物 理坐标系进一 步转化为图像 坐标系： 0 0 / / xx yy uuXds X vvYds Y 其中，u0，v0是图像中心（光轴与图像 平面的交点）坐标，dx ，dy分别为一个 像素在X与Y方向上的物理尺寸，sx=1/dx ， sy=1/dy 分别为X与Y方向上的采样频率，

14、 即单位长度的像素个数。 因此可得物点p与图像像素坐 标系中像点pf的变换关系为： 0 0 / / xx yy u ufs x zf x z v vfs y zf y z 其中，fx=fsx，fy=fsy分别定义为X和Y方 向的等效焦距。fx、fy、u0、v0这4个参数 只与摄像机内部结构有关，因此称为摄 像机的内部 0111213 313233 212223 0 313233 wwwx xwwwz wwwy ywwwz u ur xr yr ztX ffr xr yr zt r xr yr zt v vY ffr xr yr zt 转化为齐次坐标为： 0 012 00 00 01 1 001

15、0 1 w x w y T w x fuu RTy zvfvM MXMX z 这是针孔模型或者中心投影的数学表达式。在摄像机内部参数确定的条件 下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的内 部和外部参数。 三维重建三维重建主要目的：从图像出发，求出所有的主要目的：从图像出发，求出所有的X 摄像机摄像机标定标定：从图像出发，求出内参数：从图像出发，求出内参数M1 摄像机标摄像机标定位定位或运动参数求解或运动参数求解：从图像出发，求出运动参数从图像出发，求出运动参数M M2 2 l照相机的成像过程是一个射影变换(透视 或中心射影)的过程： 物体与其影像不同，但是又有着一些共同的

16、几何性质。 射影几何是三维计算机视觉的数学理论基础 l几何是：研究某个空间里的图形在变换几何是：研究某个空间里的图形在变换 之后保持不变的性质的之后保持不变的性质的 学科。学科。 常见的旋转和平移是欧氏变换，研究在欧氏变换下 保持不变的性质（欧氏性质）的几何，是欧氏几何。 比如长度、角度、平行性等都是欧氏性质。 Euclid（约公元前约公元前330-275） 原本，欧氏几何学原本，欧氏几何学 整理、归纳、升华 照相机的成像过程不保持欧氏性质 例如:平行线不再平行 平行线交于一个无穷远点; 平行平面交于一条无穷远直线; l在一条直线上只有唯一一个无穷远点. 所有的一组平行线共有一个无穷远点. 无

17、穷远点无穷远点 无穷远无穷远 l在一个平面上, 所有的无穷远点组成一条 直线, 称为这个平面的无穷远直线. 平行线 无穷远直线 l3维空间中所有的无穷远点组成一个平面, 称为这个空间的无穷远平面. 无穷远平面无穷远平面 平行线平行线 平平 行行 平平 面面 和和 直直 线线 对 n 维欧氏空间加入无穷远元素, 并对有 限元素和无穷远元素不加区分, 则它们共 同构成了 n 维射影空间维射影空间. 1维射影空间是一条射影直线, 它由我们所看到 的欧氏直线和它的无穷点组成; 2维射影空间是一个射影平面, 它由我们所看到 的欧氏平面和它的无穷远直线组成; 3维射影空间由我们所在的空间与无穷远平面 组成

18、. 在欧氏空间中建立坐标系后, 便有了点与 坐标间的一一对应, 但当引入无穷点以后, 无穷远点无坐标, 为了刻化无穷远点的坐 标, 我们引入齐次坐标. 在 n 维空间中, 建立欧氏坐标后, 每一个 有限的点的坐标为 , 对任意 n+1 个数 , 如果满足: 则 被叫作这个点的齐次齐次 坐标坐标. ),.,( 1n mm 01 ,.,xxx n .,.,0 0 1 0 1 0n n m x x m x x x ),.,( 01 xxx n 相对于齐次坐标 , 被称作非非 齐次坐标齐次坐标. 不全为0的数 组成的坐标 被称作无穷远点的齐次坐标齐次坐标. ),.,( 1n mm n xx ,., 1

19、 )0,.,( 1n xx 例如: 在欧氏直线上的普通点的坐标为 x , 则适合 的两个数 组成的坐标 为这个点的齐次坐标, x 为这个点的非齐 次坐标. 对任意的 , 则 为无穷远点的齐次坐标. xxx 01 / 01, x x ),( 01 xx 0 1 x )0,( 1 x 引入齐次坐标后, l在二维平面上, 如果直线的方程为: 则直线的齐次方程为: 无穷远直线的方程则为: 0 21 cxbxa 0 021 xcxbxa 0 0 x l在三维空间中, 如果平面的方程为: 则平面的齐次方程为: 无穷远平面的方程则为: 0 321 dxcxbxa 0 0321 xdxcxbxa 0 0 x

20、对于 n 维空间中的任意一条直线, 如果 是它上的任意两个取定的点, 则它 上的任意一个点 可以由 线性生 成: 其中 分别是 的齐次坐 标, 是两个不全为零的常数. 21,P P P21,P P 2211 XcXcX 21, ,XXX 21, ,PPP 21,c c 比例 被叫作 关于 在这条直 线上的射影参数射影参数. 如果 , 则射影参数为 . 2 1 c c P21,P P 0 2 c 对于共线的4个点 , 比例： 被叫作 关于 的交比交比，记为 其中 分别是 ， 的射影参数。 4321 ,PPPP )( )( 4132 4231 ),( 43 PP),( 21 PP ),;,( 43

21、21 PPPP i i P4.1i l定理：设四个不同的共线点中的三点及 其交比值为已知，则第四点必唯一确定。 记 是两个由点组成的射影空间, 是由 到 的映射. 如果 保持: (i) 点和直线的结合关系. 比如: 点在直线上; 直线通过点; 等等. (ii) 共线的四个点的交比. 则 被叫作 n 维射影变换维射影变换. , nn SS T n S n ST T 两个射影空间 可以是同一个空间, 则 是同一个空间里的变换. n S n S n S n S T , nn SS T T l点用齐次坐标表示, 则射影变换可用一个 (n+1) (n+1) 的矩阵表示: l 的行列式非零, 则它是一个非

22、退化的非退化的 射影变换射影变换, 否则是个退化的射影变换. PTP x x x tt tt x x x n nnn n n , , 0 1 )1)(1(1)1( )1(111 0 1 T l照相机的成像过程是一个从3维空间到2 维空间的退化的射影变换。 成像平面成像平面 摄摄 像像 机机 坐坐 标标 系系 Z X Y O M m 射影几何射影几何是：研究射影空间中在射影变 换下保持不变的性质的几何学。 射影变换射影变换 射影空间射影空间射影空间射影空间 几何性质几何性质/数量数量几何性质几何性质/数量数量 = l“点”与“直线”叫作射影平面上的对偶对偶 元素元素。 l“过一点作一直线”与“在

23、一直线上取一 点”叫作对偶作图对偶作图。 l在射影平面里设有点，直线及其相互结 合和顺序关系所组成的一个命题，将此 命题中的各元素改为它的对偶元素，各 作图改为它的对偶作图，其结果形成另 一个命题，这两个命题叫作平面对偶命对偶命 题题。 l对偶原则对偶原则：在射影平面里，如果一个命 题成立，则它的对偶命题也成立。 l例如： 命题：通过不同两点必有一直线。 对偶命题：两不同直线必有一交点。 l共线的四个点有交比, 根据对偶, 共点的 四线也有交比. L1 L2 L3 L4 P1P2 P3 P4 (P1, P2; P3, P4)=(L1, L2; L3, L4) 如果点对 和 的交比是-1, 即:

24、 则称 与 是调和调和的. ),( 21 PP),( 43 PP 1),;,( 4321 PPPP ),( 21 PP),( 43 PP 点对 与 是调和的, 当且 仅当: 其中 分别是 , 的射影参 数. ),( 21 PP),( 43 PP )( 2)( 43214321 i i P 4.1i l一线段的中点为无穷远点关于这个线段 的两个端点的调和点。 l因为调和关系是由交比定义的，所以它 是射影不变的。 l例如：利用这种不变的调和关系，我们 可以求出无穷远点的像。无穷远点的像 可以用来对照相机进行标定。 成像平面 摄 像 机 坐 标 系 Z X Y O P p 记射影平面上点的齐次坐标为