摄像机标定张正友课件

1、摄像机标定张正友 张正友标定算法张正友标定算法 及其改进算法及其改进算法 组员： 摄像机标定张正友 1摄像机标定简介 2成像变换与摄像机模型、参数 3张正友标定算法原理 4程序实现 5改进型算法（基于三个非共线点的标定 方法） 摄像机标定张正友 1摄像机标定摄像机标定:求解摄像机参数的过程，建立摄像机 图像像素位置与场景点位置之间的关系，其途径 是根据摄像机模型，由已知特征点的图像坐标求 解摄像机的模型参数。 2 摄像机标定的目的摄像机标定的目的：三维重建，就是指从图象出 发恢复出空间点三维坐标的过程。 1 摄像机标定简介摄像机标定简介 w X w Z w Y w O O O u u x x

2、y y v v c X c Z c Y 1 O 摄像机标定张正友 坐标系坐标系 三个坐标系： www ZYX, vu,yx, x,y,z Xw,Yw,Zw x,y,zu,vx,y x y Z=0考虑径向失真 摄像机标定张正友 3 几种标定方法的介绍：几种标定方法的介绍： 1.传统的摄像机标定方法 利用已知的景物结构信息，与图片坐标对比， 常用到标定块。 精度高，过程复杂，需要高精度已知信息。 2.主动视觉摄像机标定方法 已知摄像机的某些运动信息。可线性求解，鲁 棒性高，但大多数场合不能得到摄像机运动信息。 3.摄像机自标定方法 靠多幅图像之间的关系进行标定，灵活性强， 非线性标定， 鲁棒性不高

3、。 摄像机标定张正友 2 成像变换与摄像机模型、参数成像变换与摄像机模型、参数 图像数字化图像数字化 sin cot 0 0 dy y vv dx y dx x uu d dd 为 1 Ovu, 00,v u dydx, 1 O 0 u d y d x 0 v d Y d X 1100 sin/0 cot 1 0 0 d d v uu y x vf uff v u dy f dx f vu 1 , 1 摄像机标定张正友 成像模型与参数 MtRAm , s 二维坐标任意数内参矩阵旋转矩阵平移矩阵三维坐标 T vu ,m图像二维坐标 世界三维坐标 T ZYX,M S为深度比例因子，方便计算，可消去

4、。 摄像机标定张正友 摄像机的内参数矩阵摄像机的内参数矩阵 A 摄像机外参数矩阵 R t 1 100 sin/0 cot 1 0 0 w w w A v uu c z y x vff uffff v u ztR 1 1000 coscoscossinsinsincoscossincos cossincoscossinsinsincossinsin sinsincoscoscos 1 0 0 0 z y x z y x z y x 摄像机标定张正友 3 张正友方法简述张正友方法简述 单应性矩阵H 假如世界坐标与摄像机坐标的XY平面重合，即Z=0，有： 1 1 0 1 s 21321 Y X tr

5、rA Y X trrrAv u 我们假定： 则原式可化为： trrA 21 H MHms 这里，矩阵H就是从世界坐标系到图像坐标系的33大 小的单应性矩阵。对H再次进行变形，假设h1,h2,h3是 H的列向量，有： trrAhhhH 21321 摄像机标定张正友 trrAhhhH 21321 0 1 133221 2 3 2 2 2 1 rrrrrr rrr 2 1 2 1 1 1 1 1 hAr hAr 0 21 rr T 1 21 rr 旋转矩阵R=r1,r2.r3;分别为xyz方向的旋转向量；我 们将用上述性质得到求解内置参数矩阵的约束方程。 MHms 上式中包含XY 两个方程；H为3乘

6、3矩阵，包 含一个齐次坐标与8个未知数，要求出H，至 少需要8个方程，也就是说，一幅图片至少需 要已知的4个点才能求出H。 摄像机标定张正友 求解内置参数矩阵A 0 2 1 1 hAAh TT 2 1 2 1 1 1 1 1 hAr hAr 0 21 rr T 1 21 rr 2 1 21 1 1 hAAhhAAh TTTT 求出 后，可应用上 述的约束矩阵来求解内置参数矩阵A。 trrAhhhH 21321 100 0 0 0 v u A A中有5个未知数，我们需要 至少5个方程，也就是说至少 需要3幅图片求解。 摄像机标定张正友 1 )( 2 )( )(1 1 2 2 0 22 2 00

7、2 0 2 00 2 00 2 0 22 00 222 2 00 22 332313 232221 131211 1 vuvvuvuv vuv uv BBB BBB BBB AAB T 100 0 0 0 v u A 很显然，B是一个对称矩阵，我们假定： T BBBBBBb 332313221211 我们假定： 摄像机标定张正友 T iiii hhhh 321 设H矩阵中第i列的向量为 bvhBh T ijj T i 带入到 0 2 1 1 hAAh TT 中有： 解得： 333223311322122111jijijijijijijijijiij hhhhhhhhhhhhhhhhhhv 2

8、1 21 1 1 hAAhhAAh TTTT 0 2 1 1 hAAh TT 0 12 bv T 0)( 2211 bvv T 0 )( 2211 12 b T vv T v 0Vb 摄像机标定张正友 / / )/( / /)( )/()( 2 1300 2 12 2 12221111 11 11231113120 2 3133 2 122211231113120 uv vu v u fBfsvu ffBs BBBBf Bf BBBBBvBB BBBBBBBv 矩阵的解出，相机内参矩阵A也就求解出，从而每张图像的 R，t也迎刃而解 2 1 1 1 3 1 213 2 1 2 1 1 1 11

9、hAhA hAt rrr hAr hAr 摄像机标定张正友 畸变校正模型 )()( 222 2 22 1 yxkyxkxxx )()( 222 2 22 1 yxkyxkyyy )()()( 222 2 22 10 yxkyxkuuuu )()()( 222 2 22 10 yxkyxkvvvv vv uu k k yxvvyxvv yxuuyxuu 2 1 222 0 22 0 222 0 22 0 )()( )()( 由于透镜的中心对称 性，所以式中考虑x 方向上与y方向上的 径向畸变率是相同的 摄像机标定张正友 dDk 然后，通过线性最小二乘的方法求出径向畸变系数： dDDDk TT1

10、)( 摄像机标定张正友 程序实现程序实现 张正友标定方法流程 1.打印一张标定板，然后附加到一个平坦的表面上。 2.通过移动相机或者平面拍摄标定板各种角度的图片。 3.检测图片中的特征点 4.计算5个内部参数和所有的外部参数 5.通过最小二乘法先行求解径向畸变系数。 6.通过求最小参数值，优化所有的参数 摄像机标定张正友 改进型算法改进型算法 以上讲述张的方法为基于匹配的方法，它是张在1999年的论文A Flexible New Technique for Camera Calibration提出来的， 目前已经得到广泛应用。它至少需要4个已知点来求解每张图片 的单应性矩阵H，至少需要3张图片

11、求解内置参数矩阵A。那么能 不能以更少的已知匹配点来求解参数呢？ 张正友等人在2008年的一篇论文 Camera Calibration With Three Noncollinear Points Under Special Motions中提出了至少只需要3个已知非 共线的点，和2幅图片的方法。 摄像机标定张正友 基于三个非共线点在特殊运动下的摄像机标定 我们知道至少三点可以确定一个平面，而张正友 的标定方法正是基于两个平面的匹配，所以三个 非共线点的标定方法理论是可行的。 该方法步骤：该方法步骤： 1 旋转3个非共线点 2 得到中心点O与o坐标 3 根据约束条件建立方程 4 求解内参矩阵

12、K 5 求解外参R，t 图像的成像模式： 摄像机标定张正友 三个非共线点旋转 1.假如我们已知世界坐标中三个非共线的点（A，B，C）和图像 坐标中对应的点（a,b,c）坐标。 （A,B,C）可以得到一个向量（l1,l2, ），如图： 该方法求解参数的该方法求解参数的 约束方程将从上述约束方程将从上述 向量得到。向量得到。 摄像机标定张正友 旋转轴的选取： 1.三个非共线点绕垂直于支持平面的轴旋转180 度 2.将非共线点绕某条边转 第一种情况：第一种情况： 轴L为可以由（A,B,C）所表示的垂直于平面的直线，点O为轴 交平面的交点。旋转前为（A(i),B(i),C(i)）,旋转后为（A(j),

13、B(j),C(j)） 对应的图像坐标点为（a(i),b(i),c(i)）, （a(j),b(j),c(j)）与点o. 摄像机标定张正友 按图（a）的情况，则o的坐标可表示为： 其中 因为噪声的影响，图片中三条线不会准确的交于 某个点，所以需要用最小二乘法计算。 按图（b）的情况，则有： 与o的坐标： Zo为比例因 子，计算可 消去。 摄像机标定张正友 上式两端分别叉乘a,b,c 摄像机标定张正友 约束条件： 由右图可得： 、 根据 上式转化： 摄像机标定张正友 将（8）（9）（10）带入上式有： 其中 现在只有K 内含有5个 未知数，所 以至少只需 要两幅图片 即可求出K 摄像机标定张正友 第二种情况 将非共线点绕某条边转： O点坐标可表示为： O坐标可表示为： 摄像机标定张正友 按第一种情况相同的方法可以得到: 其中h1,h2与第一种情况有相同结构。 将三式代入约束 条件，得到 摄像机标定张正友 求解内参矩阵K的方法和张正友的前期方法相同， 不再介绍。 摄像机标定张正友 外参矩阵的求解 根据 并且已知K，我们可以得到 （A(i),B(i),C(i)）用G表示. 用(8)(9)(10)或者(16)(17)(18)式