摄像机一维标定加权线性算法研究版

StudyontheWeightedLinearAlgorithms CameraCalibrationwith1DStudyontheWeightedLinearAlgorithms CameraCalibrationwith1D KunfengADissertationSubmittedUniversityofChineseAcademyofInpartialfulfillmentoftheForthedegreeDoctorofInstituteofAutomation,ChineseAcademyof 独创性声明本人声明所递交的论文是我个人在导师指导下进独创性声明本人声明所递交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论作了明确地说明并表示了谢意签名 日期 关于论文使用授权的说明本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即：国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅；可布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论（保密的论文在解密后应遵守此规定签名 导师签名 日期 摘摘摄像机标定是计算机视觉中的基本问题之一，它是三维重建、机器人导航、虚拟现实等视觉应用的必要步骤。在基于参考物的标定方法中，一维物体因制作简单以及不发生自遮挡的优点而被广泛使用。本文讨论如何利用加权技术进一步提高基于一维物体的摄像机标定的精度，主要贡献能被概括如下：1．加权线性算法的一阶误差分析。根据一阶误差传播理论，发现简单加权线性算法的一阶误差项不受权重的一阶误差项影响，进而得到一阶误差项的简单形式。然后将此结摘摘摄像机标定是计算机视觉中的基本问题之一，它是三维重建、机器人导航、虚拟现实等视觉应用的必要步骤。在基于参考物的标定方法中，一维物体因制作简单以及不发生自遮挡的优点而被广泛使用。本文讨论如何利用加权技术进一步提高基于一维物体的摄像机标定的精度，主要贡献能被概括如下：1．加权线性算法的一阶误差分析。根据一阶误差传播理论，发现简单加权线性算法的一阶误差项不受权重的一阶误差项影响，进而得到一阶误差项的简单形式。然后将此结论应用到最优加权线性算法，发现最优加权算法与迭代最优加权算法有相同的一阶误差项，因此最优加权线性算法在保证一阶精度的前提下极大地降低了计算量。这些结论是加权线性算法设计和分析的理论基2.基于一维物体的单摄像机标定的加权线性算法。为了提高现有线性标定算法的精度，提出了两个加权线性算法。首先，为一维物体标记点的相对深度给出了一个相似不变的估计量，使用该估计量标准差的倒数作为绝对二次曲线的像的约束方程的权重，得到简单加权线性算法；然后，对相对深度约束方程和绝对二次曲线的像的约束方程都进行最优加权，得到最优加权线性算法。这两个算法都是相似不变的，并且最优加权线性算法与捆绑调整算法有相当的标定精度3.基于线段的多摄像机标定和欧氏提升的加权线性算法。首先，通过对基于线段长度的非线性标定方程进行线性化，得到一个比现有线性算法有更高精度、更鲁棒的线性算法；然后，基于一阶误差分析对这个新线性算法进行简单加权和最优加权，得到两个更高精度的加权线性算法；最后，根据线段长度约束给出了一个加权非线性算法，进一步提高了加权线性算法的精关键词摄像机标定，一维物体，加权线性算法，一阶误差-i摘-摘-iiisnecessarytomanyapplicationsofcomputervisionsuchas3Dreconstruction,mobilerobotnavigation,isnecessarytomanyapplicationsofcomputervisionsuchas3Dreconstruction,mobilerobotnavigation,andvirtualreality.Amongthecameracalibrationmethodsbasedonreferenceobjects,cameracalibrationwith1Dobjectsisusedwidelybecause1Dobjectshavetheadvantagethattheyareeasytomanufactureandimmunetoself-occlusion.Thisthesisinvestigateshowtouseweightedalgorithmstofurtherimprovetheaccuracyofcameracalibrationwith1Dobjects,andthemaincontributionsinclude:Thefirst-ordererrortermsofweightedlinearalgorithmsareanalyzed.Basedonthefirst-ordererrorpropagationtheory,wefindoutthatthefirst-ordererrortermofthesimplyweightedlinearalgorithmisnotinfluencedbythefirst-ordererrortermsoftheweights,andthenobtainacompactexpressionforitsfirst-ordererrorterm.Next,weapplythisconclusiontotheoptimallyweightedlinearalgorithm,andfindoutthatithasthesamefirst-ordererrortermastheiterativelyandoptimallyweightedlinearalgorithm,whichshowsthattheoptimallyweightedlinearalgorithmcanreducethecomputationalloaddramaticallywhileensuringthesamefirst-orderaccuracy.TheseconclusionsarethetheoreticalbasesofthedesigningandanalysingofweightedlinearTofurtherimprovetheaccuraciesoftheexistinglinearalgorithmsforsinglecameracalibrationwith1Dobjects,twoweightedlinearalgorithmsareproposed.First,asimilarity-invariantestimatorfortherelativedepthsofthemovingendpointsisintro-duced,andthereciprocalofthestandarddeviationoftheestimatorineachposeisusedastheweightofthecorrespondingconstraintontheimageoftheabsoluteconic(I-AC),resultinginasimplyweightedlinearalgorithm.Then,theconstraintequationsontherelativedepthsandtheIACarebothoptimallyweighted,resultinganoptimallyweightedlinearalgorithm.Thesetwoweightedlinearalgorithmsarebothsimilarity-invariant,andtheoptimallyweightedlinearalgorithmachievescomparableaccuracytothebundleadjustmentalgorithm.Twoweightedlinearalgorithmsformulti-cameracalibrationandEuclideanup-gradingwithsegmentsareproposed.First,thenonlinearcalibrationequationsderivedfromtheknowledgeofsegmentlengthsarelinearized,resultinganewlinearalgorith-mwhichachieveshigheraccuracyandrobustnessthantheexistinglinearalgorithms.Then,thisnewlinearalgorithmaresimplyweightedandoptimallyweightedbasedonthefirst-ordererroranalysis,resultingintwoweightedlinearalgorithmswithhigh-eraccuracy.Atlast,weproposeaweightednonlinearalgorithmbasedonthelengthconstraints,whichfurtherimprovestheaccuraciesoftheweightedlinearalgorithms.KeyWords:Cameracalibration,1Dobjects,weightedlinearalgorithm,first-ordererroranalysis-iii111223467799绪研究背景和意义............................111223467799绪研究背景和意义.............................预备知识.................................射影空间与视觉几何................................................................................................................................................................................参数估计算法.................................................................... ........................................................................................................................................................................................................加权线性算法的一阶误差分析.....................加权齐次线性方程组...........................................实验结果.......................................................... ......................本章小结..............................................................................................一维标定的基本原理......................-v.......................................................................................................归一化对相对深度估计量的影响.......... ..........标记点个数对FNLA............................................相对深度的新估计量..新估计量的精度分析........................................J=3时的精度分析.................J>3时的精度分析...............................................................................................关于IAC.......................实验结果.................................................................................................................................本章小结...............................................................................................................................................基于QoS的算法.........................C1S和C1A......................C2A.........................线性算法DLT-Like.........................................................线性化...........................................................DLT-Like算法与现有线性算法的关系.............................................. ......................-vi ............... .................................................................................................实验结果...................................................................................................................................本章小结..........................................................................................i致-vii-viii-viii插图目1-1-1-1-1-1-1-1-............插图目1-1-1-1-1-1-1-1-......................3456678针孔摄像机模型.................................................双目摄像机成像示意图..................................................三种常用标定物............................. .........................2-二次曲线的图像及用于拟合的30个图.............3-3-3-3-3-3-3-3-3-一维标定物成像示意图.........................k(J)随J变化的趋势...........................std(ˆ(3))随J.........................istd(ˆ(3))和std(ˆ(4))随J...................ii模拟实验中三个标记点时的精度比较.................模拟实验中多个标记点时的精度比较.........................................................................4-4-4-4-4-4-4-4-4-............................................................标定物一个姿态在两个视图中的图像.................146个线段的端点在两个视图中的图...............重建的146个线段和摄像机姿.............................................-ix-x-x表格目1- .表格目1- .........................三种...........三种˜...........一维标定线性算法的对比........................2-2-3--xi-xii-xii第一绪论 研究第一绪论 研究依据待标定摄像机的数目，摄像机标定可以分为单摄像机标定和多摄像机标定这两类。通过使用预先标定的单摄像机进行自由移动以拍摄物体在多个角度下的图像，可以重建出其三维结构[1–3]、确定摄像机自身的移动轨迹[4–7、在物体的图像中添加虚拟元素以实现虚拟现实8,9等。使用内外参数预先标定的多摄像机，可以更加精确地获得其公共视野中物体的三维结构014]5,16]。在计算机视觉的以上应用中，摄像机的高精度标定对于系统的精度及鲁棒性非常重要。为了获得摄像机的高精度标定结果，通常需要使用度量信息已知的物体来作为标定物7–3]。在这些标定物中，一维物体具有制作简单、携带方便及不会发生自遮挡等优点，所以基于一维物体的摄像机标定尤其是多摄像机标定具有广泛的应用价值。在摄像机标定过程中，一维物体的尺寸、标记点个数、运动次数都会影响最终的标定精度，其中一维物体应当在不超出摄像机的可视范围的前提下尽量长；标记点应在保证其能被鲁棒检测并较精确定位的前提下尽量多；一维物体应当在不影响方便性的前提下使运动次数尽量多。当一维物体在一定运动次数下的图像给定，并且提取出其标记点的带噪声的测量值，此时使用不同的算法利用这些测量值进行摄像机标定也会具有不同的精度。现有线性算法的精度受图像点噪声的影响比较严重，因而本文的研究方向 预备在本节及本文后续章节中，标量使用斜体表示（例如x,y,z），列向量使用黑斜体表示（例如x,y,z），矩阵使用黑体表示（例如X,Y,Z），xT（XT）示向量x（矩阵X）-1 射影空间与视觉 欧式平面坐标系中的一个点可以用二维坐标来表示，例如点x2)T 射影空间与视觉 欧式平面坐标系中的一个点可以用二维坐标来表示，例如点x2)T直线的一般方程为ax1bx2c=0，其中(abc)为描述直线的参数。令x(x1x21)Tlabc)T，则直线的一般方程ax1bx2c0(1-lTx=在(1-1)如果对x或l的三个分量同时乘以一个非零系数k等式关系依然成立。于是，(x1x21)T和k(x1x21)T表示同一个点，(abc)T和k(abc)T表示同一条直线。这里称x和l为分别为点和直线的齐次坐标，相应地称˜=(x1,x2)T为点的非齐次坐标。使用符号“∝”表示齐次坐标间的等价关系，即(x1x21)T∝k(x1x21)T，(abc)T∝k(abc)T。任意一个最后一维非零的三维向量(x1x2w)T(w6=0)都表示欧式平面一个点。另外定义无穷远点为齐次坐标的最后一维为零的点，其齐次坐标的形式为(x1,2,0)T。所有无穷远点都在一条直线上，这条直线称为无穷远直线，其坐标为∞=k(0,,1)T。所有欧式平面中的点加上无穷远直线构成二维射影空间，也称为射影平面二维射影空间中的一个二次曲线上的点满足C11x212C12x1x2+C22x22(C13x1C23x2C33=0，也可以写成xTCx=0，其中C是二次曲线的系数矩C11C12C(1-=0仍然成立，这表示表示的也是二次曲线的齐次坐标。经过点x且与C相切的直线由lCx给出。对于非退化二次曲线，C是可逆矩阵，因而x=C−1l，可以验证lTC−1l=0。这x=H21H22H31H32(1--2H为k(0,0,1)T时，这种特殊的射影变换称为仿射变换。可以验证在仿射变H为k(0,0,1)T时，这种特殊的射影变换称为仿射变换。可以验证在仿射变下无穷远点保持为无穷远点，即无穷远直线保持不变。对于一般的射影变换，无穷远直线在射影变换下不再具有不变性。然而，射影变换保持点的共线关系[24,25]对图像点做变换x0=Hx之后，则相应地直线l在变换后的坐标为l0H−Tl，二次曲线C在变换后的系数矩阵为C0=H−TCH−1。这里H−T是(H−1)T0及0T01(HT)−1的简写。可以验证0T=0、0T0==0上、点在二次曲线上及直线与二次曲线相切依然成立，如图1-1HCxl 图1-二维射影变换保留点、直线、二次曲线 在三维欧式空间中，一个点的非齐次坐标为 =(X1,X2,X3)T，=k(X1X2X31)T。点与所在的平面的关系可以表示应的齐次坐标为为π1X1π2X2+π3X3+π4=0(π1π2π3π4)为表示平面的参数。令π=(π1π2π3π4)TπTX=(1- 0)T。所有无穷点都在一个平面上，这个平面称为无穷远平面，其坐标为π∞=k(0001)T三维射影空间中的一个二次曲面上的点满足Q11X2+12Q12X1X2+Q22X22Q13X1X32Q23X2X3Q33X22(Q14X1Q24X2Q34X3Q44=03-3以写成XTQX=0，其中QQ11Q12Q13Q(1-Q以写成XTQX=0，其中QQ11Q12Q13Q(1-Q13Q23Q33Q14Q24Q34因为对Q中的元素整体乘以一个尺度因子之后，0仍然成立，这表示 表示的也是二次曲面的齐次坐标。经过点X且与二次曲面Q相切的平为π=QX。可以验证所有与Q相切的平面都满足的是二次曲面QH11H12H13=0，此处Q−1H21H22H23H24H31H32H33H41H42H43XX=(1-其中变换矩阵H为任意4阶可逆矩阵。当H的最后一行是k(0,0,0,1)T时，此时的即无穷远平面保持不变。对于一般的射影变换，无穷远平面在射影变换下不具有不变性对射影空间做(1-6)所示的射影变换后，平面π和二次曲面Q在变换后的坐标分别为π0H−Tπ和Q0H−TQH−1。可以验证π0TX00、X0TQ0X00及0T01=0，于是点在平面上、点在二次曲面上及平面与二次曲面依然成立，如图1-2QHXπ图1-三维射影变换保留点、平面、二次曲面 针孔摄像机模型是最简单的成像模型，其成像过程如图1-3所示。在针孔-4YXXvuxCZ1-3针孔摄像机模像机模型中，空间点XXYZ1)T于Z轴且与原点距离为ff00fYXXvuxCZ1-3针孔摄像机模像机模型中，空间点XXYZ1)T于Z轴且与原点距离为ff00f00uv1ff1˜x==(1-在数码摄像机中，成像元件CCD或者CMOS传感器作为成像平面。由于图像坐标系的定义不同以及成像元件的制造工艺限制，通常空间点X的图点x具有以下形γ0001˜=K˜(1-x其中K称为摄像机内参数矩阵，fv)表示图像平面上两个坐标轴的尺度因子，主点(u0,v0)表示Z轴上点的像，γ[26]对下世界坐标系可以任意选择。同一个空间点在摄像机坐标系下的坐标Xc世界坐标系下的坐标Xw存在以下关RXc(1-X1以上变换关系如图1-4所示将方程(1-9)代入到(1-8)，得到世界坐标系下空间点Xw与其图像点x的关为(1-x∝K[R,t]Xw=其中，P称为摄像机的投影矩阵，R和t称为摄像机的外参-5R,Z1-4世界坐标系与摄像机坐标R,Z1-4世界坐标系与摄像机坐标三维空间中绝对二次曲线Ω∞为无穷远平面∞上的一条二次曲线，在欧式坐标系中Ω∞上的点X=(XYZ0)T满足X2+Y2+Z2=0。绝对二次曲线Ω∞在摄像机P中的像为ω=K−TK−1，这里ω的形式与摄像机外参数R，t无 假设两个摄像机的投影矩阵分别为P1=K1[I|0]和P2=K2[R|t]，此时世界 =K1RTt且e2 =K2t。空间点X在两个摄像机中的图像分别为x1=P1X及x2=P2X。图1-5为双目摄像机成像示意图。XC21-5双目摄像机成像示-6对于任意的空间点X，其两个图像点x对于任意的空间点X，其两个图像点x1及x2均满足如下关(1-其中矩阵F[e2]×K2RK11=K−2TRK1[e1]×称为两个摄像机的基础矩阵，其秩为2且e1和e2分别为F的右零向量和左零向量。基础矩阵F仅仅由两个摄像机内参数及相对姿态决定，与世界坐标系的选取无关。当两个摄像机的内参数已知时，定义两个摄像机中的归一化图像点分为1=K11x1及2=K21x2，此时x01和x02满足如下关0 Ex=(1- 其中矩阵E=[t]×R=R[RTt]×1-6多摄像机成像示当摄像机个数为n(n≥2)时，使用Pi=Ki[Ri|ti](i=12n)表示第i个摄像机的投影矩阵，xi=PiX表示X在第i个摄像机中的图像，如图1-6同n=2时如(1-11)所示关系类似，在n=3和n=4 摄像机标 单摄像机标定即确定其内参数矩阵或者其投影矩阵。这个过程通常需要借助于一个度量结构已知的物体即标定物。常用的标定物按照其标记点的维度分为三维标定物、二维标定物及一维标定物，如图1-7所示。图1.7(a)[17][27,28]-7(a)三维标(b)二维标(a)三维标(b)二维标1-7三种常用标定(c)一维标个能够精确控制位移的平面图案，这个标定装置也等价与一个三维标定物。三维标定物上每个标记点的三维坐标是已知的，因而可以通过方程(1-10)求解摄像机投影矩阵并最终分解得到摄像机的内外参数。使用三维标定物进行摄像机标定仅仅需要摄像机拍摄其一幅图像，并且因为使用三维标定物容易获得较高的标定精度，所以三维标定物常用于摄像机高精度标定中。三维标定物虽然在标二维标定物,19]中的相对位置已知的标记点都位于一个平面内，如图1.7(b)所示。标定摄像机的五个内参数需要拍摄二维标定物至少3次不同姿态的图像。这个标定过程通常分为三步：首先计算二维标定物上标记点在欧式坐标系下的坐标与其在每幅图像中对应投影点坐标的单应矩阵，然后利用这些单应矩阵构造关于绝对二次曲线的像的线性约束并求解，最后利用绝对二次曲线的像分解得到内参数矩阵。摄像机不同姿态的外参数也可以在求解内参数矩阵后方便地恢复出来。二维标定物的制作工艺比三维标定物简单因此造价更低，并且也更容易制作成较大的尺寸。对于一般的标定精度要求，甚至可以使用普一维标定物0–22,29]由多个共线的点构成，如图1.7c)所示。在标定单摄像机时，一维标定物上至少需要有三个距离已知的标记点，并且需围绕其中一个标记点旋转或者保证其中一个或者全部标记点在平面内运动。一维标定的一般步骤是首先构造对绝对二次曲线的像的线性约束然后求解并分解得到摄像机内参数，在这个过程中一维标定物的运动参数也可以恢复出来。一维标定物的制作非常简单，仅仅需要固定几个标记点在一个直杆上。一维标定物也容易制作成较大的尺寸，并且其占用的空间小、方便携带。由于一维标定物具有以上优点，近年来基于一维标定物的摄像机标定获得了广泛的关注[30–32]-8 在多摄像机标定方法中，自标定方法不需要借助于单摄像机标定时所 在多摄像机标定方法中，自标定方法不需要借助于单摄像机标定时所必需的标定物，然而需要对摄像机的内参数,33–36]或者摄像机的运动方式7–39]做一些约束。自标定方法一般通过求解绝对二次曲线的像或者绝对二次曲面来升级射影重建到欧式重建并标定摄像机的内外参数。由于自标定方法不需要借助于标定物，使用自标定方法进行多摄像机标定具有较大的灵活性。但是，一般情况下自标定方法的标定精度不高，所有其大部分应用都是在不方在使用标定物（三维标定物、二维标定物及一维标定物）进行多摄像机标定时，可以通过以下步骤完成整体标定：首先分别标定各个摄像机的内参数及其相对于标定物的外参数；然后把各个摄像机的外参数统一到一个公共的世界坐标系中,41]。以上过程通常需要多个摄像机同时观察到标定物上的所有标记点，否则统一各个摄像机的外参数到一个公共的世界坐标系时需要增量式地逐步添加以上摄像机，这个增量式过程会带来误差累计而影响整体标定精度。当待标定的多个摄像机环绕其公共视野区域时（如图1-8所示），使用三维物体和二维物体会因为自遮挡而造成标记点不能同时被全部摄像机观察到，然而一维物体可以从各个角度观察到而无自遮挡情况。在使用一维物体进行多摄像机标定时，一维标定物可以做任意运动42–47]，并且其标记点个数可以进一步减少到两个[23]。只有两个标记点的一维标定物比传统的一维标定物更容易制作，但是现有的标定算法3]的精度受图像点噪声影响较大且容易发生标定失败的情况，因此本文将研究如何提高使用两个标记点的一维物体做多摄像机标参数估计算在第1.2.2节中的摄像机标定问题以及计算机视觉中其他参数估计问题-91-8多摄像机系统示数据xi(i=121-8多摄像机系统示数据xi(i=12N)与模型的参数的关系可以写成Fx)=0的形式，因此以上参数估计问题的任务就是从数据xi反推出参数值θ。通常从图像中提取得到的观测值xi会不可避免地存在定位误差，因而当数据的个数N超过确定θ所需的最少数目时，一般不存在θ使得Fxi;θ)=0对于所有的xi都成立。此时，使用不同的算法来估计θ会得到不同的估计精度 三焦张量等）的估计问题中，数据xi与模型的参数θ的关系F(xiθ)=0可以写ξTθ=(1-i二次曲线一般方程为C11x21+2C12x1x2+C22x2+2(C13x1+C23x2)2C330ξ=(x2,2x1x2,x2,2x1,2x2,12θ=(C11,C12,C22,C13,C23,(1-令平面标定算法[18]中图像点与棋盘格标记点的单应矩阵H-10二次曲线的像ω分别h11h12h31h32h33ω11ω12ω12ω22ω二次曲线的像ω分别h11h12h31h32h33ω11ω12ω12ω22ω13ω23Hω(1-则H与ω满hTωh2=1T(1-2=1=(h11h21,h11h22+h12h21,h12h22,h11h23+h13h21,+h13h22,ξ(2)=,2h11h12,h2,2h11h13,2h12h13,2θ=(ω11,ω12,ω22,ω13,ω23,(1-例1.1及例1.2分别给出了在二次曲线拟合和摄像机一维标定的线性算法中参令矩阵A为[ξ1,ξ2,...,ξn]T，于是从(1-13)得到关于θ的齐次线性方程Aθ=(1-因为θ为零向量时精确满足方程组(1-18)，但这个零向量不是有意义的解，所需要对θ的尺度施加约束。在约束θTθ=1下，方程组(1-18)2=argmin s.t.θθ=(1-θ通常较低。文献[48]提出对数据xi(1-=i=1,2,...,i-11使用归一化的数据点x0构造归一化参数θ0的方iA0θ0=然后通过奇异使用归一化的数据点x0构造归一化参数θ0的方iA0θ0=然后通过奇异值分解来获得θ0在尺度约束(1-0=1下的最小二乘解D0D对进行反归一化得到参数θ的估计量θNLS1。这种对数据进行归一化处理文献[49–57]基于对θ估计量偏差的分析提出直接对θ约束θTNθ=1下，计算方程组(1-18)的最小二乘解θNLS2=argmin(1-s.t.θNθ=θMθ=(1- 在估计θ的线性算法中，最小二乘解对应的目标函X (1-i X (1-i其中加权矩阵W=Diag(w1w2wn)。最小化目标函数(1-25)与最小化(1-都需要约束θ的尺度。目标函数(1-25)在约束θTNθ=1θWLS=argmin(WAθ)TWAθs.t.θTNθ=(1-θ方法是使用数据点xi(i=12n)不确定度来确定相应的权重wi。权重wi设-12据xi的不确定度。在文献[20,58]中，权重wi1wi=(1-其中)为xi的协方差矩阵的迹。利用这种权重计算方法的加权线性算称为简单加权线性算法，该算法不需要对θ的据xi的不确定度。在文献[20,58]中，权重wi1wi=(1-其中)为xi的协方差矩阵的迹。利用这种权重计算方法的加权线性算称为简单加权线性算法，该算法不需要对θ的初始估计，且在加权求得θWLS后不需要迭代。简单加权线性算法的精度能够比未加权的线性算法的精度有显著提高且计算量基本相当。然而，在不同数据点xi具有相同的不确定度时，简在文献[51,59]的迭代最优加权线性算法中，计算权重wi的代数残差与几何残差在一阶近似中等价，其中权重wi1wi=(1- ∂ξTixi组得到θ的新估计量之后，文献[51,59]更新权重以迭代计算θ的新估计量，直至nVi(1-∂ξV∂ξ|Ti| iθ¯表示xθξ x=其中，ξ 分别表示、¯处的衡iiiiii以上迭代最优加权线性算法中的迭代加权过程会引入较大的计算量。文献60]提出利用θ的初始估计量计算最优权重i，在求解加权线性方程组之后不再迭代，这种非迭代的最优加权线性算法避免了使用迭代加权因而计算量更小。然而，现有文献未对其估计量的一阶误差项的协方差矩阵作分析。实际上，不采用迭代加权的最优加权线性算法解的一阶误差项的协方差矩阵也等于CR简单加权线性算法以及最优加权线性算法比线性算法具有更高的精度，并且都比基于迭代优化的非线性算法–69]的计算量小，因而在对计算量要求严格的应用场合具有更大的优势。另外，非线性算法也需要其提供的初始值，一般情况下精度高的初始值会增加非线性算法收敛到全局最优解的可能，同时也会降低非线性算法的迭代次数。本小节三种加权线性算法的对比，如表1-1-13示一不需一能需多能1-1加权线性算法的论示一不需一能需多能1-1加权线性算法的论文的研究内容及组织论文的1、加权线性算法的一阶误差分析。首先对简单加权线性算法的一阶误差项做分析，发现权重的一阶误差项不影响加权线性算法的一阶误差项，从而得到计算简单加权线性算法的一阶误差项的简洁表达式；然后将以上结论应用到最优加权线性算法中，发现最优加权线性算法与迭代最优加权线性算法具有相同的一阶误差项，因而最优加权线性算法可以在不影响精度的前提下降低了计算量2、基于一维物体的单摄像机的加权线性算法。首先为一维标定物移动端标记点的相对深度提出一个具有相似不变性的估计量，并基于该估计量提出一个标定精度更高的线性算法；然后利用相对深度估计量标准差的倒数对该线性算法中线性方程组进行加权，得到一个简单加权线性算法；最后对相对深度和绝对二次曲线的像的线性方程组都进行最优加权，进而提出一个最优加权线性算3、使用线段标定多摄像机的加权线性算法。线段是只有两个标记点的一维物体，在多摄像机标定中不易发生自遮挡。首先为使用线段进行欧式升级并标定多摄像机的约束方程提出新的线性化方法，进而得到一个新的线性算法；然-14对以上线性算法的结果进行优化，最终得到精确的欧式升级和多摄像机系统标定的结果。论文的对以上线性算法的结果进行优化，最终得到精确的欧式升级和多摄像机系统标定的结果。论文的-15-16-16第二章第二加权线性第二章第二加权线性算法的一阶误差 引一般情况下计算机视觉问题中的图像点测量值都不可避免地存在定位误差，这些定位误差也称为图像点测量值的噪声。计算机视觉问题使用这些带噪声的图像点测量值来进行参数估计，得到的估计量也会受到这些噪声的影响而产生估计误差。参数估计量的好坏可以使用其误差的统计特性来衡量。当待估计参数为标量时，常用的统计特性有偏差、标准差、方差、均方根误差等；当待估计参数为一个向量时，常用的统计特性有偏差向量、协方差计算机视觉中许多基本问题（例如估计单应矩阵、基础矩阵、摄像机投影矩阵等）都存在线性算法。线性算法能直接给出参数的估计量且计算量较小，又可以作为其他非线性算法的初始值，因而具有广泛的应用。线性算法虽然计算简单，然而其估计精度通常比非线性算法低。为了进一步提高线性算法的精度，对其线性方程组进行加权进而可以得到加权线性算法。对线性算法和加权线性算法进行统计意义下的精度分析，可以给出其误差的可能范围。另外，通过对比线性算法和加权线性算法误差的不同可能范围，也有助于研究加权对精在图像点噪声的幅度相对较小的情况下，线性算法解的偏差一般都小于其标准差7]，因而此时可以使用其一阶误差项来近似表示误差。当线性算法使用齐次线性方程组时，文献,58]给出了其一阶误差项的简洁形式；当线性算法使用非齐次线性方程组时，文献[70]基于奇异值分解的一阶误差传播模型来计算其一阶误差项。由于奇异值分解的一阶误差传播模型计算量大，所以有必在分析加权线性算法的一阶误差项时，理论上可以将其加权线性方程类比线性算法中的线性方程组，然后应用文献,,70]权线性算法的权重也受噪声影响时，采用以上方法求解一阶误差项的过程会变得更加复杂。文献]给出了迭代最优加权线性算法的一阶误差项，但是没有-17误差项的简洁形式。然后，分别对使用齐次线性方程组和使用非齐次线性方程组的简单加权线性算法解进行分析，得出简单加权线性算法的一阶误差项不受权重的一阶误差项影响的结论。最后，通过将这一结论应用到最优加权线性算法中，得到最优加权线性算法与迭代最优加权线性算法具有相同一阶误差项的参数估计量的协方在参数估计算法中参数θ的估计量是关于图像点测量值x的函数，表示¯=¯∂(2-误差项的简洁形式。然后，分别对使用齐次线性方程组和使用非齐次线性方程组的简单加权线性算法解进行分析，得出简单加权线性算法的一阶误差项不受权重的一阶误差项影响的结论。最后，通过将这一结论应用到最优加权线性算法中，得到最优加权线性算法与迭代最优加权线性算法具有相同一阶误差项的参数估计量的协方在参数估计算法中参数θ的估计量是关于图像点测量值x的函数，表示¯=¯∂(2-∆x+O(∆xx)∂θˆ表示x的偏导数矩阵或者Jacobian•|x=x¯表示在x=¯处量，O(∆xT∆x)表示∆x的二阶无穷小项。在∆x趋向于零的过程中，∆θˆ由ˆ ∆x来主导。因而在图像点真实值一阶项¯的邻域内可以使∂(2-ˆˆ定义图像点测量值x的协方差矩阵为Vx，则其误差项∆x的协方差矩阵也为Vx。利用表达式(2-2)中的近似，可以得出的协方差矩阵∂∂(2-表达式(2-3)表明计算参数估计量的协方差矩阵Vθˆ时，关键在于计算其ˆ|¯不道，通常使用以下两种方法来近似∂x|x=x¯：第一种方法是在测量值x差分计算偏导数矩阵；第二种方法是首先用解析法求出∂θˆ的表达式，然后代ˆ作为[58,71]线性算法的一阶误齐次线当线性算法中的参数θ是齐次形式时，使用图像点xi(i=12n)-18第二章造一组关于θAθ=方程组(2-4)在尺度约束θTNθ=1(2-2=argmin(2-s.t.θNθ=θ其中N为对称矩阵。当矩阵N第二章造一组关于θAθ=方程组(2-4)在尺度约束θTNθ=1(2-2=argmin(2-s.t.θNθ=θ其中N为对称矩阵。当矩阵N取值为单位矩阵时，对应的线性算法就性算法。当对图像点使用Harty的归一化方法48]进行预处理之后再计算最小二乘解时，也存在一个N使得带约束的最小二乘算法与归一化线性算法等价。文献9–7给出了更多的关于的选取。另外，文献7]也指出无论怎么选取˜1,˜2,,˜n献[57,58]中给出的线性算法解的一阶误差项的形式，很容易推导出θLS关于系数矩阵A中元素的偏导数在x的真实值¯处的衡量：−¯(2-[25]，符号“⊗”其中vec(A)为A中的元素按行优先的顺序组成的一个列向量 [72]，¯¯A)(2-= ⊗θ¯¯+T这里∂vec(A)具有分块对角的形式，其第i个子矩阵是 。在将图像测量数据x∂˜i入到(2-7)估计真实值处的偏导数时，因为矩阵伪逆的计算依赖矩阵秩的确所以在计算¯+时需考虑到¯不满秩。令参数θ的维度为r，则¯的秩为¯−1，非齐次线性方当线性算法中的参数使用非齐次形式时，使用图像点xi(i=12n)以构造一组关于的约束方程ξ0T˜(2-(i=1,2,...,i令矩阵A0为[ξ10ξ20ξn0]T，向量b为[b1b2bn]T，于是得到关于的非齐次A0˜(2-在计算非齐次线性方程组(2-9)的最小二乘解时，不需要对的尺度做约束。非-19次线性方程组(2-9)的最小二乘解b(2-为了计算θ˜LS对A0中元素的偏导数，首先计算+中元素对A0中元素的偏数∂+ ∂T01T)=∂0∂0=(I⊗A0)∂T01)⊗I]∂T[(0)∂0∂T次线性方程组(2-9)的最小二乘解b(2-为了计算θ˜LS对A0中元素的偏导数，首先计算+中元素对A0中元素的偏数∂+ ∂T01T)=∂0∂0=(I⊗A0)∂T01)⊗I]∂T[(0)∂0∂T∂0∂000000=−(I⊗A)[(AA ⊗(AA ][(I⊗A+ ⊗⊗I]∂T0)0A)0)∂0(0A)0T∂T[(0A)1(0A)∂0⊗I]∂T∂0⊗+T0T]∂T⊗I]∂T0A++T0)=∂0∂0(2-0)+0T∂T++T∂0然后根据复合函数偏导数的链式法θ˜LS对A0中元素的偏导数∂˜LS ∂+∂0∂0){[(A0)+0T∂T++T∂0+0T+bT)]∂T0)+A∂0∂T∂0˜T T00T(2-=[(AA +b— ¯¯¯∂LS−[¯0+(2-θ˜LS对b的偏导数在真实值¯处的结果∂=¯+(2--20第二章θ˜LS关于x的偏导数在真实值¯处衡量∂−(¯˜T+¯+(2-0这里具有分块对角的形式，其第i个子矩阵是ξi。在将图像测量数据x∂˜i¯以直接用0第二章θ˜LS关于x的偏导数在真实值¯处衡量∂−(¯˜T+¯+(2-0这里具有分块对角的形式，其第i个子矩阵是ξi。在将图像测量数据x∂˜i¯以直接用0+来近似¯0。 加权线性算法的一阶误差分加权齐次线性方在对齐次线性方程组(2-4)进行加权时，通常做法是在对θ的尺度施加约束条件下最小化代数残差的加权范数，即θ估计量的一般形θWLS=argmin(Aθ)TMAθs.t.θTNθ=(2-θ其中矩阵M通常是对称正定矩阵，因而可以对其进行Cholesky分解表示为=WTW。于是，可以得出θWLS是下述加权线性方程组在约束=1(2-在文献[51,59,60]的加权线性算法中，加权矩阵W会受到数据点x噪声的影响，因此本节接下来分析加权矩阵W的一阶误差项如何影响θWLS的一阶误差项。根据复合函数偏导数的链式法则，在数据点的真实值量θWLS关于x的偏导数 ¯处，估 ∂θWLS∂vec(W)+(2-.= 估计量θWLS在x=¯处关于vec(W)和vec(A)=[−(¯¯T](I¯−(¯¯)+(T¯T)=(2-=-21[−(¯¯][¯−[(¯¯¯(2-因此，无论加权矩阵W是否受数据点x噪声的影[−(¯¯][¯−[(¯¯¯(2-因此，无论加权矩阵W是否受数据点x噪声的影响，表达式(2-18)都可以简写−{[(¯¯¯¯T}(2-将测量数据x代入到表达式(2-21)，估计真实值¯处的偏导数矩阵时同第2.3.1节类似。最后，可以利用表达式(2-21)及(2-3)估计出θWLS的协方差矩阵令(k≥1)为第k次迭代得到的估在迭代最优加权线性算法中，计量，表示由线性算法提供的初始值θLS。使用(k≥0)计算WAθ的逆协方差矩阵的Cholesky分解，是代数残差的最优加权矩阵即W(k)=(k≥0)在图像点真实值x=¯ )≥opt。使用最优加权矩阵W(k)opt进行加权得到的新估计量为 ≥真实值x=¯ −{[(¯¯¯¯T}(2-(k≥根据表达式(2-22)，可以得出下述结论结方差矩阵能够达到理论下限VKCR结论2.1表明，在齐次线性方程组的迭代最优加权线性算法中，使用一次最加权非齐次线性方程同上小节中的加权齐次线性方程组(2-17)类似，加权的非齐次线性方程组A0˜(2-0+b(2--22第二章根据复合函数偏导数的链式法则，估计量˜WLS关于测量值x的偏导数在实值x=¯!∂WLS∂∂0=++ ∂0(2-，˜WL¯0第二章根据复合函数偏导数的链式法则，估计量˜WLS关于测量值x的偏导数在实值x=¯!∂WLS∂∂0=++ ∂0(2-，˜WL¯0∂WLS∂=+[−(¯¯0)+˜T¯0T]¯¯0)+(IbT)−(¯¯0)+[˜T¯¯¯0)+¯¯¯(−˜T¯¯T=(2-∂WLS∂WLS∂0=A0[−(¯¯0)+˜T¯−[(¯¯¯(2-∂∂==(¯¯0+¯(2-表达式(2-26)表明加权矩阵W的一阶误差项不影响˜WLS的一阶误差项。通过把表˜WL阵在真实值x¯∂−{[(¯¯¯˜T+[(¯0)+¯(2-在将测量值x代入到(2-29)中估计真实值¯处的偏导数时，因为矩阵¯A¯0和WA0具0+(¯¯及(2-3)可以估计出˜WLS的协方差矩阵。在迭代最优加权线性算法中，令˜(k(k≥1)为第k次迭代得到的估计量表示由线性算法提供的初始值θ˜LS。使用˜(k(k≥0)计算的最-23是代数残差A0˜(k优加权矩阵—b的逆协方差矩阵的Cholesky分解，即W(k)=˜((k≥0)在图像点真实值x¯是代数残差A0˜(k优加权矩阵—b的逆协方差矩阵的Cholesky分解，即W(k)=˜((k≥0)在图像点真实值x¯(k≥0)的真实值都相等，其真 0A˜都等于其真实值θ，所以最优加权矩W实值在这里表示为opt。使用最优加权矩阵W(kop)t进行加权得到的新估计量表示为˜(k1。根据本小节之前对加权线性算法解的一阶误差分析，当k˜(k¯∂k¯¯opt]⊗θ =−¯¯0)+¯根据表达式(2-30)，可以得出下述结论k≥(2-结矩阵能够达到理论下限VKCR结论2.1和2.2表明，无论最优加权线性算法使用齐次线性方程组还是非齐次 实验本节以从多个图像点拟合二次曲线为例，验证对线性算法和加权线性算法的一阶误差分析。从图像点拟合二次曲线与摄像机标定中估计绝对二次曲线的像具有类似的形式，因而对二次曲线拟合的讨论具有一般意义。本节待拟合的二次曲线为一个椭圆，其中心坐标为(25,25)T，半长轴和半短轴的长度别为20和8像素，且长轴与v轴的夹角为的30个图像点如图2-1所示齐次形二次曲线的方程为C11u2+2C12uv+C22v2+2(C13u+C23v)+C33=0，其中θ=(C11C12C22C13C23C33)T为二次曲线的参数，(u,v)T(u2,2uivi,v2,2ui,2vi,1)θ=ξTθ=(2-iii-24500u图2-1二次曲线的图像及用于拟合的30个图对图2-1中的500u图2-1二次曲线的图像及用于拟合的30个图对图2-1中的椭圆进行参数化时，齐次形式θ的真实5.679×3.496×4.193×−2.294×−1.922×109.996ׯ假设30个图像点的噪声为独立同分布的零均值高斯噪声且标准差则由这30个图像点的非齐次坐标组成的60维测量数据x的协方差矩阵 σ2I60×60。使用一阶误差分析，得出线性算法解θLS、最优加权线性算为为-25v解θOWLS1、迭代最优加权线性算法解θOWLS的协方差矩阵的预测值分别0.3682−0.0789−0.0789解θOWLS1、迭代最优加权线性算法解θOWLS的协方差矩阵的预测值分别0.3682−0.0789−0.0789−0.0101−3.9731 −0.0577Vpredict=10−80.3228−0.0653−0.0653−0.0082−3.5395 −0.0529=Vpredict=10−8 V 、 以上对角线元素可以看出θOWLS1和θOWLS中参数的方差小于θLS中对应参数的 p为0.8767,0.8716,0.8500,0.8936,0.8536,0.9353 0.3683−0.0792−0.0792−0.0099−3.9660 −0.0576-26第二章0.3227−0.0654−0.0654−0.0081−3.5324 −第二章0.3227−0.0654−0.0654−0.0081−3.5324 −0.05270.3227−0.0654−0.0654−0.0081−3.5323 −0.0527−8=10 协方差矩阵预测相应的测量VritS1Vpdt值Vθeasure、Vmθeasure、Vmeasure这里为了评价预测值与测量VVk−kFkVkF 差别程度0.1314%0.1295%表2-1三种的协方差矩阵预测值与测量值的差别另外，最优加权线性算法和迭代最优加权线性算法的解θOWLS1和θOWLSVθOWLS1—F=VF非齐次形式参在对二次曲线C11u2+2C12uv+C22v2+2(C13u+C23v)+C33=0进行参数化时也可以采用非齐次形式参数化。因为θ=(C11C12C22C13C23C33)T齐次形式，所以在本小节中固定其最后一维C33为1。于是，新的参数向量-27˜˜220θ=ξθ=˜˜220θ=ξθ=(2-(u,v,v,,)1iiiiiii对图2-1中的椭圆进行参数化时，非齐次形式的真实值5.682×3.498ט4.195×假设30个图像点的噪声为独立同分布的零均值高斯噪声且标准差为σ，则由这30个图像点的非齐次坐标组成的60维测量数据x的协方差矩阵为Vxσ2I60×60。使用一阶误差分析，得出线性算法解˜LS、最优加权线性算法解˜OWLS1、迭代最优加权线性算法解˜OWLS的协方差矩阵的预测值分别0.3686−0.0789−0.07890.1316Vpredict=10−8−0.0101−3.97941.7848−2.67990.3232−0.0653−0.06530.1147=Vpredict=10−8−0.0082−3.5452 1.5667−2.2861、 LS、 θ c以上对角线元素可以看出˜OWLS1和˜OWLS中参数的方差小于θ˜LS中对应参数的prdict 和Vpr˜edict中的对角线元素与Vpred˜ict中的对应对角线元素的比 θθ 零均值高斯噪声，以测量各个算法解的协方差矩阵。θ˜LS、˜OWLS1、˜OWLS的-28第二章−0.07920.1316Vmeasure=10−8−0.0099−3.9722第二章−0.07920.1316Vmeasure=10−8−0.0099−3.9722−2.6796−0.06550.1147−0.0081−3.5379−2.2859−0.0655−3.5379协方差矩阵预测相应的测量值 rdictLS、 、VOWLSc值Vm˜easure、Vme˜asure、Vmea˜sure都非常接近。这里为了评价预测值与测量θθ θ值之间的差别程度，对于每一个估计量θˆk VkF别程度。三个估计量协方差矩阵的预测值与测量值的差别程度如表2-2所示 0.1314%0.1285%表2-2三种θ的协方差矩阵预测值与测量值的差别另外，最优加权线性算法和迭代最优加权线性算法的解θ˜OWLS1和θ˜OWLS VF=VF-29 本章 本章本章主要研究计算线性算法和加权线性算法受图像点噪声影响的一阶误差项。首先，通过对使用非齐次线性方程组的线性算法进行分析，给出其一阶误差项的简单形式。然后，分别对使用齐次线性方程组和非齐次线性方程组的简单加权线性算法进行分析，发现其一阶误差项不受权重的一阶误差项影响，从而得到简单加权线性算法的一阶误差项的简洁形式。最后，通过将这一结论应用于最优加权线性算法，得出最优加权线性算法与迭代最优加权线性算法具有相同一阶误差项的结论，进而证明最优加权线性算法的一阶误差项的协方差矩阵也能达到理论下限CR。本章也从大量模拟实验中统计出的各个算法解的协方差矩阵测量值，并将其与使用一阶误差分析得到的预测值相比较，实验结验证了以上结论的-30第三基于一第三基于一维物体的单摄像机标定的加权线性 引单摄像机标定即确定它的内参数矩阵，是三维重建中重要的一步。使用场景在多个未标定摄像机下的投影对应关系只能得到这个场景的射影重建。如果预先对这些摄像机的内参数进行标定，则可以得到这个场景的欧式重建。摄像机标定方法通常可以被分为两类：自标定方法和基于标定物的方法。自标定方法不需要对场景几何结构的任何知识但需要对摄像机的内参数,33–36]或者摄像机的运动方式的一些先验知识37–39]；基于标定物的方法使用度量结构已知的标定物，例如三维标定物7,27,28]、二维标定物,19]和一维标定物,43,46]。同自标定方法相比，基于标定物的方法由于利用度量信息通常能提供更高的标定精度。使用一维物体进行单个摄像机标定最早由文献0]提出，这里的一维物体至少有三个距离已知的标记点，通过围绕其中一个固定的标记点的旋转进行摄像机标定。一维物体在每个姿态下的图像都可以为绝对二次曲线的像（iagefthesolteconic,C）提供一个线性约束。当给定六个以上姿态的图像后就可以线性求解出C，进而标定摄像机的五个内参数并重建一维物体上的标记点。当使用摄像机的简化模型使得待标定的内参数个数减一维标定物的尺寸较大且不易发生自遮挡，相比于平面标定物或者三维标定物，一维物体在摄像机标定中具有更加灵活的优点，因而被广泛应用。文献]对使用旋转一维物体进行摄像机标定时的退化配置进行了简单的分析，而文献73]对退化配置进行了更深入的研究。文献21]从几何的角度对文献20]中的标定方程进行改写，从而得到了一个与原来算法精度相当的新算法。另外，文献]也指出当一维物体在一个平面内运动时也能进行摄像机标定。在文献[22,29]一维物体上的一个标记点在平面内运动。一维物体除了可以用于标定普通的针孔摄像机，也可以用于标定反射折射摄像机74–77]，此时一维物体可以做任意2–在标定单个针孔摄像机时，使用一维物体的旋转仅仅需要一个固定的支-31点，比约束所有或者单个标记点在平面内运动更加方便实现。由于文献0]中的线性算法对图像点噪声非常敏感，并且捆绑调整算法使用其进行初始化后迭代优化时也容易陷入到局部极值，所以许多研究工作专注于提高其标定精度。文献]提出使用图像点归一化8点，比约束所有或者单个标记点在平面内运动更加方便实现。由于文献0]中的线性算法对图像点噪声非常敏感，并且捆绑调整算法使用其进行初始化后迭代优化时也容易陷入到局部极值，所以许多研究工作专注于提高其标定精度。文献]提出使用图像点归一化8]做预处理来提高线性算法的精度，该算法显著地提高了标定精度。为了避免线性算法得到的C的估计量不是正定矩阵而造成不能通过Colesy分解得到内参数矩阵，文献1]提出在正定矩阵的约束下最小化代数残差，然后对这个带约束的最小二乘问题进行松弛并转化为二次规划问题。文献32]使用eteroscedasticerroiariales方法来优化线性算法的解，该迭代算法比捆绑调整算法更容易全局收敛，但是其计算复杂度仍然比线性算法高许多。文献[78]提出利用交比不变性校正镜头畸变以提高一维标定由于线性算法具有能直接求解和计算量小的优势，本章专注于降低一维标定线性算法对噪声的敏感度以提高其精度。文献0]中的归一化线性算法比文献0]中的线性算法只多了一步数据点归一化的预处理过程，另外两个算法都需要首先估计一维物体上自由移动端标记点与固定端标记点的深度比值（简称为固定端标记点的相对深度），然后构造对C的线性约束方程。因此，本章首先分析数据归一化带来精度提升的原因，然后提出固定端标记点的相对深度的精度更高的估计量，并使用这个估计量得到一个相似不变性的线性标定算法。最后，为了进一步提升该线性算法的精度，提出了以下两种加权线性算法：对关于C的约束方程组进行加权得到简单加权线性算法；对关于相对深度的约束方程组和关于IAC的方程组都进行最优加权得到最优加权线性算一维标定的现有算一维标定的基本γ0001K(3-其中(fu,fv)表示图像纵横轴的尺度因子，γ是摄像机成像元件的倾斜系数，(u0v0)T表示主点的位置。一维物体上标记点的个数记为J(J>其旋转次数记为I(I>6)．固定端的标记点的非齐次坐标和齐次坐标分别记-32为˜1=(X1Y1Z1)T和X1X1Y1Z11)T，第j个标记点在第i置的非齐次坐标和齐次坐标分别记为˜i=(XiYiZi)T和Xi=(XiYiZij j (i=1I,j=2J)，其与固定端标记点˜1的距