科学网摄像机标定笔记

1、科学网摄像机标定 (camera calibration) 笔记一 作用建立 3D 到 2D 的映射关系， 一旦标定后， 对于一个摄像机内 部参数 K( 光心焦距变形参数等， 简化的情况是只有 f 错切 =0, 变比=1，光心位置简单假设为图像中心 )，参数已知， 那么根 据 2D 投影，就可以估计出 R t ；空间 3D 点所在的线就确定了，根据多视图(多视图可以是 运动图像)可以重建 3D 。如果场景已知，则可以把场景中的虚拟物体投影到 2D 图像 平面( DLT ，只要知道 M 即可)。或者根据世界坐标与摄像 机坐标的相对关系， R,T ，直接在 Wc 位置渲染 3D 图形，这 是 AR

2、 的应用。因为是离线的，所以可以用手工定位点的方法。二 方法1 Direct linear transformation (DLT) method2 A classical approach is Roger Y. Tsai Algorithm.It is a2-stage algorithm, calculating the pose (3D Orientation, and x-axis and y-axis translation) in first stage. In second stage it computes the focal length, distortion coeff

3、icients and the z-axis translation.3 Zhengyou Zhangs a flexible new technique for camera calibration based on a planar chess board. It is based on constrains on homography.4 个空间：世界，摄像机 （ 镜头所在位置 ） ，图像（原点到镜头 中心位置距离 f ），图像仿射空间（最终成像空间） ，这些空 间原点在不同应用场合可以假设重合。具体说来， 前两个空间是 R t 关系，6 个变量搞定； 第二到第 三空间用相似三角形投影到

4、平面上，如果没有变形，光心在 图像中心上，到这里为止其实就够了， K 就一个参数。K 是摄像机坐标系到图像平面的转换函数，叫内部参数（intrinsic parameter） 。标定就是求上三角矩阵 K 的 5 个参数的 过程。用齐次（Homogeneous）坐标表示这个关系：（实际二维点是u,v=U/W , V/W)-fa -fb -u0xc/zcUa b -u0-fxc/zcxc/zcub=V=0 c -v0-fyc/zc =0-fc -v0yc/zc= K *yc/zcW0 011 0 01 1 1 世界坐标系到图像坐标系的转换有平移矢量 t 和旋转 R 矩阵组成，R,t是外部参数（ex

5、trinsic parameters），表示摄像机姿态， 包含 6 个自由度,R t 各 3 个。Xc=xc yc zc= R(Xw-t),表示转置。把两个合起来zc*ub=zc*U V W= K*R(Xw-t)把三维点 Xw 表示成齐次坐标， Xwb=Xw,1, 则Uub=V = K*R |-K*R*tXw 1 =M*Xw 1 = M* XwbW(K*R |-K*R*t 也可写成 KR t 串联的形式 )3X 4矩阵M称为投影矩阵，这样三维点P到二维平面的投影就由上式的线性变换表达了。摄像机标定就是求 K ， K 是 与 R,t 一起耦合在 M 中的。常用的方法是已知场景3D点和图像二维点，

6、求M。如Tsaigrid 方法。根据至少 6 个对应点，建立方程组 :alpha*u v 1 = M * x y z 1写成 2n x 12 矩阵 l*mij=O 的形式(叫 Direct Linear Transformation (DLT) ： P1 | 0 | -u*P1m110|P1 | -v*P1* m12 = 0. . ( 矢量 Pi 表示第 im34个三维点 Xi,Yi,Zi,1)方程解是l*l的最小eigenvalue对应的eigenvector,|m|2=1，很 多书上提到用 SVD 分解， l=UDV ，V 就是特征矢量矩阵。其实，I*匸VDUUDV=VDDV,V=inv(

7、V),所以 l*l*V=VDA2 ,这就是特征矢量的求法。很明显， l 的 singular vector 是 l*l 的特征矢量的平方根。(PCA,K-L 变换 和 SVD 之间的关系。边肇琪模式识别 提到人脸识别降维的例子时，讲到如果样本数小于特征维 数，要用 SVD 提取特征向量。在这里协方差矩阵为 l*l ，是 12X 12的矩阵，l矩阵的短边为 9,而且计算 M(Homography 矩阵 )时，点对要经过 Normalize, 完全可以参照人脸的例子。 SVD 总是和最小二乘，伪逆 Ax=b- A*Ax=Ab- x=inv(A*A)*A*b ，联系在一起。 )M=K*R 卜K*R*

8、t=A|b,A = K*R, 用 QR 分解(或 SVD)将 A 分解为上三角矩阵 K 和单位正交阵 R.实际上M只有11个参数(Rt6个，K5个)。如果把摄像头 畸变也考虑进去， mij 变成 16个值,则需要更多的对应点。 如果3D点在一个平面上,l is singular,那么退化成9个参数。 已知场景3D点pattern拍一张照片，点分布在2到3个pattern 平面上。以上参考 milan sonka 的 Image processing 一书。 实际上现在大家都是用张正友的方法，将网格点构成的pattern 预先打印在一张纸上 ,对它拍摄不同方向照片 （至少两 张）。网上有 mat

9、lab calibration 包， OpenCV 也有对应的实现，可 以同时求摄像机的内部参数和外部参数 （姿态估计 ）。 具体用到梯度下降方法， 尽管 R 有 3*3=9 个数，但只有 3 个 自由度，用 rodrigues formula 转为 3 维矢量，计算 Jacobi 更 方便。具体参考：1 Rodrigues Formula otation.html2 OpenCV 函数说明 ion_and_3d_reconstruction.html3 Camera Calibration Toolbox for Matlab 如果只有平面 4 个点，如何计算构造 DLT ，求 Homogr

10、aphy 矩阵 mij ？1 左边 8 x 9 矩阵 A, m 为 9 个数。rank 8, i.e. they have a one-dimensional null-space.The solution can be determined from the null-space of A. svd 分解 A=UDV,D 为 singular valuies ，mij 的解为 V 中最小 的 singular value 对应列。2 退化成一个平面到另一个平面的透视变换u = (L1*X + L2*Y + L3)/(L7*X + L8*Y + 1) ;v = (L4*X + L5*X + L

11、6)/(L7*X + L8*Y + 1) ;姿态估计 :基本思想是用 3D 点 align 到 2D 点上， 使误差最小。 已知 3D 场景点，估计摄像机姿态，或者 3D 场景点关于摄像机坐标 系的相对位置。比如， marker 可以构成世界坐标系， 4 个点坐标已知。它们 相对于摄像机空间的坐标（Xa,Ya,Za）求出，xy轴可以求出，用右手法则 z 轴可以求出。这样世界坐标系的 3 根轴已知， 就可以渲染 3D 场景了。（ AR 应用）具体参见 Hybrid camera pose estimation combining square fiducials localisation technique and orthogonal iteration algorithm或 OI 算法 都是类似梯度下降的迭代算法， 可以利用前一帧 的参数作为初值，实时估计 R 和 T。重建 3D 场景：2D对于多个未经标定的