张氏标定法原理及其改进1

1、张正友算法原理及其改进由于世界坐标系的位置可以任意选取，我们可以假定世界坐标系和摄像机坐标系重合，故定义模板平面落在世界坐标系的Z0平面上。用r表示R的每Wi列向量，那么对平面上的每一点，有：sv1XWYW012XWYW1这样，在模板平面上的点和它的像点之间建立了一个单应性映射H,又称单应性矩阵或投影矩阵。如果已知模板点的空间坐标和图像坐标，那么就已知m和M，可以求解单应性矩阵H。(X,Y,l)(u,v,1)wwu因为sv1XWHYW1h11其中Hh21h31h12h22h32h13h231可推出：suhX+hY+h11W12W13svhX+hY+h21W22W23shX+hY+131W32W

2、故，hX+hY+hu11W12W13hX+hY+1TOC o 1-5 h z231W32WhX+hY+h HYPERLINK l bookmark85v_W2-W23hX+hY+131W32W将分母乘到等式左边，即有uXh+uYh+uhX+hY+hW31W3211W12W13vXh+vYh+vhX+hY+hW31W3221W22W23又令h=zhhhhhhh1，则1112132122233132XY1000-uX-uYhuWWWW000XY1-vX-vYv1WWWW11多个对应点的方程叠加起来可以看成Sh，d。利用最小二乘法求解该方程,即h(StS)-1STd，进而得到H。摄像机内部参数求解在

3、求取单应性矩阵后，我们进一步要求得摄像机的内参数。首先令h表示Hi的每一列向量，需要注意到上述方法求得的H和真正的单应性矩阵之间可能相差一个比例因子，则H可写成：hhh,XArrt12312又因为r和r是单位正交向量，所以有12hTA-TA-h2=01hTA-TA-ih=hTA-TA-ih1122这样就为内参数的求解提供了两个约束方程下面，令BBBB=A-tA-i=1a2-v一u0011B21B3112BB22BB32-3333v一u9&u)v2-0-21a注意到B是一个对称矩阵，所以它可以由一个维向量来定义，即b=bBBBBB卜111222132333设H的第i列向量为h=h,h,ht，因此

4、有其ii1i2i3hTBh=VTbijij中V=i1+那jT就可以将内参数的两个约束写成关于b的两个方程为:Vt12b=0Vt-Vt1122如果有n幅图像的话，把它们的方程式叠加起来，得到Vb=0其中，V是一个2nx6的矩阵。当n3时，一般情况下，b可以在相差一个尺度因子的意义下唯一确定；当n=2时，此时的方程的个数少于未知数的个数,我们可以加上一个附加约束=0，即B=0，因此可用010000b=012作为式的一个附加方程。方程的最小二乘解即是VtV的最小特征值对应的特征向量，将该向量归一化即得到要求的b，进而得到B；当n=1时，两个方程只能解两个未知数，我们可以假定光心投影在图像的中心，从而

5、求出摄像机在水平和垂直方向上的最大倍数。一旦b被求出，就能根据下面两种方法计算出摄像机的内参数矩阵A:由b构造出B，再利用Cholesky矩阵分解算法求解出A-1，再求逆得到A。由b构造出B，在相差个尺度因子的意义下B，A-tA-1其中为尺度因子)由,绝对二次曲线的性质，很容易求出摄像机的内部参数：v，(BB-BB)/(BB-B2)012131123112212，B-B2+v(BB-BB)/B22130121311231111(B1122-B2)12=Bf2f/12xyu，v/fBf2/00 x13x摄像机外部参数求解由每幅图像的单应性矩阵H和上一节的计算结果就可以求得每幅图像的外部参数。一旦

6、A求得后，根据式(3.6)，每幅图像的外部参数很容易求出：r，A-ihr，A-ihr，rrt，A-ih11223123这里的尺度因子，1/A-1h，1/A-1h。当然，由于图像必然有噪声，因12此这样解得的R，r,r,r并不能完全满足旋转矩阵的性质，所以要从一个给定123的矩阵求解一个最佳的旋转矩阵。非线性优化(优化内参)以上我们所得到的摄像机的内参数矩阵和每幅图像对应的外参数矩阵都只是一个粗糙解，没有具体的物理意义，可以通过最大似然估计对所有参数进行非线性优化，进一步求精。在这里可以假定有n幅关于模板平面的图像，模板平面上有m个标定点，那么可建立评价函数:C，工区mm(A,R,t,M)iji

7、ji=1j=1其中m是第i幅图像中的第j个像点，R是第i幅图坐标系的旋转矩阵，t是ijii第i幅图坐标系的平移向量，M是第j个点的空间坐标，mA,R,t,M)是通过jij这些已知量求得的像点坐标。由于旋转矩阵有9个参量但是只有三个自由度，因此可用三个参量的矢量来表示，即一个旋转可由一个三维向量即旋转向量来表示，他的方向就是旋转轴的方向，他的模等于旋转角。由三个欧拉角参数确定，r(r,r,r)t是旋转矩阵的罗德里克表123示，R与r之间的关系由公式给出：R，I+sin0/0r+(1cos0)/02r2xx其中，旋转向量，(x,y,z)T，定义由它构成的反对称矩阵为0-zyr=z0-x,x-yx0

8、其中X2+y2+z2=11门I是旋转角。使评价函数最小的A,R,t,M就是这个问题的最优解。这是一个经典的非线ij性最小二乘问题，对式求极小值仍采用算法来求解，其初始估计可利用上面线性求解的结果。很明显可以看出，计算顺序依次是投影矩阵、内部参数、外部参数，最后进行优化。对径向畸变处理(u,v)理想像素坐标，(u,v)为实际的像素坐标，同样(x,y)和(x,y)为理想和实际的图像坐标。x=x+xk(x2+y2)+k(x2+y2)2V_12y=y+yk(x2+y2)+k(x2+y2)212其中，k,k为径向畸变，对于中心点畸变同样适用：12u=u+(uu)k(x2+y2)+k(x2+y2)2012

9、v=v+(vv)k(x2+y2)+k(x2+y2)2012可以通过下面的方法求解畸变系数：(u一u)(x2+y2)(u一u)(x2+y2)200(v-v)(x2+y2)(v-v)(x2+y2)200k1k2u-uv-v高斯一牛顿方法优化：可以利用极大似然估计来得到畸变系数工迟IImm(A,k,k,R,t,M)IIij12iiji=1j=1非线性优化的过程：采用高斯一牛顿方法，而没有用LevenbergMarquardt(LM)法是因为在实际应用中发现，如果没有先验知识，LM法阻尼因子u不知道去什么值合适，而随意的取值使得方程在求解时收烟速度慢。而高斯一牛顿法在求解的附近一般收敛速度快，虽然对初

10、始值要求严格，当初始值与实际值偏离的太远，其系数阵JTJ容易出现病态解，但是，所以参数的初始值必须要做优化。|耐-用(広瓦兄為必；=i这里m(K,K,R,T,M)是点M按照投影公式在第i幅图片上的投影，Kciijj是摄像机标定内参数矩阵，K是畸变系数矩阵，R、T是第i副图像的外参数Kciic矩阵，其中R通过Rodrigues公式用三个参数的旋转向量r来表达。优化的步骤：(1)、首先确定目标函数。这里的优化的目的是使优化后的外参数，按照本文建立的摄像机模型将空间点投影到图像平面上时，投影点与实际获取的图像控制点之间的残差平方和最小。不妨设投影函数为其中K是摄像机内参数矩阵，是畸变系数矩阵，mJ是

11、旋转向量，T是平移矩阵，-二小，“是模板平面上控制点M的坐标。皿-门是投影点图像像素坐标，该点实际的图像坐标是iM汁门,LI，共口个控制点。要优化外参数则最后需要的偏导数系数acobia矩阵m./r和m./T得II步，组合，而函数tK.K.r.T.X)然是个复合函数，因此这实际上是个复合函数求偏导的问题。下面针对第一次迭代即r=r0、T=T0为初值时的一个点来分步求解第一步，是r与R的转换。由Rodrigues公式可以求出=Rodrigties(r和观血仁，因为R冇9个元而有了个儿显然dRjdrr是个9x3的矩阵,如(432)。SRsin_“1-cos八】;di/dxSrjdy8r/&(4.3

12、1)8(x,y.z)T二(4.32)第二步，是世界坐标系到摄像机坐标系的转换。由坐标转换公式求出摄像机坐标系下的坐标及相应偏导数系数阵：(4.33)Md=RMi+TQdR前J*.宀亠.8M_dRdMdRdrdT订胡(434)f匸斤!i-3：-皆这里偏导数矩阵中的下标i表示求出偏导数矩阵后，再将当前点（即第i点）各相应坐标代入以求得偏导数系数矩阵。设胚=（雄兀ZJJM=Xy,Zj,则很容易求得r魂/诃珑/西=dYjdR吐/芮此/瓦idZjdR返/西.为为育3个冗而R有9个兀，且是次函数，所以上式的结果是很明显的同理，8他/莎是3幻加陆而冃显然是个常系数矩阵，等丁单位倉崗,同时可以看出，若直接以R

13、为参量，因为复合函数求偏导是偏导矩阵相乘的关系，则由于几口/是3*9矩阵而小化爪杲中匚第三步，将厉M.转化为归一化图像坐标。设M.的归一化图像坐标为M.，cicini可得M.的计算公式及其偏导数系数阵：ni注意：表示qxp系数矩阵B将与矩阵A中的所有分块矩阵A（i=l,2,n,j=l,2,m均相ij乘，其中分块矩阵A（i=1,2,n,j=1,2,m的行数等于系数矩阵B的列数p。ij第四步，计算考虑有图像畸变的归一化图像坐标。设j儿，则含有畸变的归一化图像坐标和偏导数系数阵可由归一化公式（4.38）式来计算（4.39）（4.40）：并乩可以算得瓦中“（1+切仃心尹+禺尸）+衬（2十4血尸+6妬巧

14、+（2內元+6戸忑儿氏璟曲+%H+%F4）十（2p&+印也儿z切2屁+4血尸+6血尸）+（2卩耳+6亦;儿川二（1+斤严*F+右門*对口阳我苛仃荻尸）+（6#氏+2p忑）对畸变系数的优化：dm-ndxr2n2yr2n4xr4n一4yr4n端胡端斋叽迟dr抑札0/叫/兀第五步，求迭代计算出的投影点图像像素坐标川二和偏导数系数阵，按照（4.18）式进行计算：九（和+0几）+叫f九+岭(4.4firndmaT5?5m叽dr(4.42)oZ.dmdlfdmnd,禺0fv若是对内部参数的优化为：xndyndOK000dmOKc_(OmOm)OmndOKnd100亍i到ii匕我们得到了第一次迭代求得的像素

15、戌坐标和迭代增皿公戍中所需的Jacobiin阵.即优化外部参数：dm8mll优化全局参数：OmJ_iOKOm,Om,Om|i,r0,T0OKOrOTc第六步，求第一次迭代产生的偏差，并由式：(4.44)A0_(JtJ)iJti计算参数迭代增量，为下一次迭代做准备。耳=m.-m.(4.46)然甌从第步开始，用参数初始值时殆+必邛珀+钗替代张T,进行第次迭代,不断循环，宜到得到合适的参量值后结束。需要注明的是对(4.44)称为高斯一牛顿法。若制=(厂J+uiylJT则为Levenberg-Marquardt法,=m一miii改进的方法具体介绍(1)、改进的平面模板两步法标定摄像机毛剑飞，邹细勇，诸

16、静该方法张正友提出用平面模板两步法来标定摄像机。该方法能高精度地标定摄像机，且简便易行，可以说是两步法标定的代表，但其算法模型仅考虑了镜头径向畸变，其对切向畸变较大的场合，如鱼眼镜头成像，则不适用。为此，通过改进其摄像机模型，提出了一种改进的两步法，该方法先用图像中心附近点求取初值，由于图像中心附近点畸变很小，故求取的初值能很好地逼近准确值，然后采用一种基于内部映射牛顿法的子空间置信域法通过求精来得到所有参数。由于两步法要求一个比较好的初值，若初值选择不当，则算法难以收敛或只能收敛到局部最小，从而大大降低标定精度。zhang的方法缺点在求取初值中，虽先不考虑各种畸变，而是先将所有点代入求解，但

17、由于远离图像中心的像点畸变很大，如将这些点也看作没有畸变的像点代入，显然会加大求解初值的误差，但由于考虑到图像中心附近点的畸变很小，因此可以先利用图像中心附近点求取初值。本文算法正是基于这点考虑的，由于本文算法准确地计算了初值，因此接下来的全面考虑各参数的非线性最小化计算就能很快收敛。仿真摄像机的特性：分辨率为768X576像素，真实实验使用三星SCC-421P型彩色摄像机，分辨率为576X768,模板是用激光打印机打印7X10的国际象棋图案，并贴在硬塑料板上制成的标定模板，每格边长2.5000cm。因为整个包括角点检测的标定程序已经编好，所以只要让模板对着摄像机随意转动几次，即可完成标定，时

18、间不到10s。用本文提出的模型和算法进行标定,其结果如表1、表2所示。表中S表示重建后的图像点与实际图像点的平均距离，其是将内外参数代入优化模型计算后求平均得出的，由于利用优化模型式也可求出o(S)，所以S和o(S)表示了算法的收敛效果。表2重建图像点后的误差对比误施橫标第丨-第23幅第2Z幅文献/4/算法本算法文献/4/算法本算法文献/4/算法本算法0.00001S-0.000000-0.000528-0.0000000.000251-0.000000-0-000斗方-0.000000-0.000000-0.0000000.000226-0.000000S0.2605950.2599300.：U54470.VHS050.3136700.3136M