基于投影矩阵的数码相机定位

1、基于投影矩阵的数码相机定位摘 要本文根据数码相机定位的相关数据图像，建立了一个多坐标系下投影矩阵的相机定位模型，并对模型进行了检验，使用立体几何的方法解决了双目定位。1.针对问题一，根据图像坐标系、摄像机坐标系与世界坐标系之间关系及摄像机标定原理，引入了投影矩阵：导出了世界坐标系中的点与其投影点之间的关系：其中投影矩阵至少需要6个控制点才能确定。2.问题二是在问题一的基础上，利用仿射变换的不变性，通过公切线交点法，确定出投影矩阵，从而得到靶标上圆的圆心在图像坐标系和摄相机坐标系中的坐标。如下表： 图像坐标系（322.37，191.52）（423.55，194.44）（645.71，214.19

2、5）（585.725,502.305）（284.62,501.39）摄相机坐标系（-50.2,50.925,417.20）（-23.4,50.15,417.20）（35.375,44.925, 417.20）（19.505,-32.295,417.20）（-60.155,-31.055,417.20）3.针对问题三，先求出靶标平面上特殊点（即控制点）在像平面上的坐标，然后将其与在像平面上相应点的距离作为检验模型的参数。通过测定得出该模型的误差小于3个像素，由此得出该方法有较高的精度和稳定性。4.针对问题四，建立以靶标为面的空间直角坐标系，根据靶标及其对应的像，采用立体几何的方法建立了相机相对位

3、置的数学模型，确定了两个相机在坐标系下的坐标以及其光轴与靶标平面的夹角。关键字：世界坐标系 投影矩阵 控制点 几何分析一 问题重述数码相机定位在交通监管（电子警察）等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。标定的

4、一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形，则必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。（1）建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；（2）对由题中给出的图像分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机

5、的像距（即光学中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024×768；（3）设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论；（4）建立用此靶标给出两部固定相机相对位置的数学模型和方法。二 模型假设（1）靶标为物平面；（2）相机在拍照时，机身不晃动且靶标也是静止的；（3）在拍照时，光线充足；（4）不考虑拍照时发生畸变；（5）相机的焦距是不变的。三 符号说明靶标中某一点的坐标（世界坐标系）像坐标系下点的坐标摄像机坐标下点的坐标投影矩阵、外部参数矩阵、内部参数矩阵一个像素在轴和轴上的物理尺度光学中心在向坐标系下的坐标旋转矩阵三维平

6、移向量焦距与一个像素物理尺寸的比旋转矩阵中的元素靶标上圆共切线的切点靶标上圆共切线的切点的像靶标上圆的像靶标上圆的其它切点圆对应像中的切点靶标所在平面方程的系数、靶标平面法向量与轴和光轴的夹角，垂点及光轴与靶标平面的交点四 模型分析建立与求解4.1问题一由于物平面（靶标）与相机像平面是分离的，而且靶标中的点与像平面中的点是一一对应的关系，据此我们可以求得靶标中的点与像平面中的点满足的矩阵方程式，只要确定投影矩阵，就可以确定靶标上任一点（例如圆的圆心）在该相机像平面的像坐标。这就是解决问题的相机模型。这里中的是图像上定义的直角坐标系，每一个像素的坐标分别是指该像素在矩阵中的列数和行数，而坐标1是

7、指三维图形所形成平面的像，称为齐次坐标。4.1.1题目使用的四个坐标系（1）世界坐标系 图一中，在世界坐标系中，三维空间中的一点可以表示为。在本题中，靶标上的点就是在世界坐标系中度量的。（2）照相机坐标系 图一中，该坐标系以相机镜头的光学中心为原点,光轴为轴。摄像机坐标系上的一点可以表示为。（3）像素坐标系图一中，每一个像素的坐标分别是指该像素在矩阵中的列数和行数。由于只表示像素位于矩阵中列数和行数，并没有用物理单位表示出该像素在图像中的位置，因而需要建立以物理单位（毫米）表示的图像坐标系。（4）图像坐标系图1中，该坐标系以图像内某一点为原点，轴与轴分别与轴平行，表示以毫米为单位的图像坐标系坐

8、标。本题中，原点定义在相机的光轴与图像平面是交点，该点为与图像的中心处。图14.1.2 四个坐标系之间的相互联系（1）图像坐标系与像素坐标系如图2所示，若在坐标系（像素坐标系中）的坐标为，每一个像素在轴和轴上的物理尺度分别为，则图像中任意一个像素在两个坐标系下的坐标满足如下公式：将公式（1）用齐次坐标表示：图2（2）相机坐标系与世界坐标系在整个空间区域中，相机可安放在任何位置，从4.1.1中知道，世界坐标系是一个最为普遍意义的坐标系，是一个基准坐标系，根据相关资料2，设法找到相机坐标系与世界坐标系的关系。相机坐标系与世界坐标系之间的关系可以用旋转矩阵尺和平移向量来描述，满足下式：对（3）式的几

9、点说明：1）分别表示两个坐标系下的齐次坐标；2），为三维平移向量；3）是由相机所处外界环境决定的，称为外部参数。（3）相机坐标系与像素坐标系相机坐标系与像素坐标系之间的关系是由相机自身的参数决定的，相机自身的参数主要有：焦距，像素是物理长度，光轴与像平面的交点。根据相关资料2，得到相机坐标系与像素坐标系之间的关系：注 上式中，为相机焦距，分别是每一个像素在轴和轴上的物理尺度；，称为相机内部参数。4.1.3计算投影矩阵由（3）（4）两式，得到像素坐标和空间某一点的世界坐标的关系：其中为投影矩阵且，即已知空间点的世界坐标和图像坐标可求得矩阵。对于世界坐标系中的任意一点，只要求出矩阵，即可求出该点在

10、相机像平面上成像的像素位置，还可以根据（2）式得到图像坐标系中具体坐标。4.1.4相机内外参数（、）的求解（1）由，可得：其中，矩阵中共含有17个未知参数，只要确定出这17个参数，就可求出矩阵。（2），得到部分约束条件如下：旋转矩阵中虽然有9个未知参数，但只要确定其中三个，根据（7）式，另外的参数就可由这三个求得，即矩阵中有三个独立参数。综上所述，矩阵中需要确定的未知量有11个，这里定义控制点3：世界坐标系中某点所对应像素坐标系里的某点，这两个点称为一个控制点。一个控制点可以确定两个方程（u方向v方向各一个），所以只需要取6个控制点便可以求取相机内部参数和外部参数，从而求出投影矩阵，即找出世界

11、坐标系内6个点和它们所对应像素坐标系内6个点的坐标，便可得矩阵。求得投影矩阵，根据（5）式，对世界坐标系内的任意点，都可以给出这点在像素坐标系的坐标，进而得到图像坐标系中的坐标，如果像距已知，就是这点在相机坐标系中的坐标。4.2问题二 本题是问题一的模型在实际问题中的应用，解题思路是找出在原图与照片中满足几何上一一对应的点，这些点称为控制点，找到控制点，用解方程组的办法确立（5）式的各个系数。根据题意，确定了（5）式的各个参数，也就得知模型的旋转矩阵、平移向量，进而得到投影矩阵，这样，（5）式就变为一个方程左边是像平面坐标（像素坐标系）右边是物平面坐标（在世界坐标系下，或者称为靶标平面）的矩阵

12、方程，此时，只要知道物平面上任意点坐标（在世界坐标系下），就可以得到像平面坐标。4.1.1问题分析由题意，（5）式中的内部参数是可以确定的：（1）照片分辨率是1024×768，按照图2建立像素坐标系，则（5）式中，；（2）每个像素的大小；（3）在相机坐标系里相机光学中心（原点）到像平面的距离为，根据题意，；（4）视相机焦距为未知参数进行求解。综上，（5）式中独立的未知参数只有7个（旋转矩阵有3个独立的未知参数，平移向量有3个未知参数，焦距未知），每个控制点能确立两个方程，最少需要找到四组控制点才能将7个参量确定。4.2.2模型建立求解4.2.2.1确定控制点首先要找到控制点，就是找到

13、物平面某点（世界坐标）与对应像平面的像（相机坐标）的坐标。找控制点的步骤：1）引理：若物平面上一直线经过某点，则该点在像平面上的像一定在的投影直线上；反之，若直线不经过点（光轴与共面的情况除外），则像平面上点的投影点一定不在直线在像平面的投影上。这个定理等价于直线所成的像仍然是直线（除直线与光轴重合的情况）。用反证法能简单证明（证明略）。2）分析原图（靶标），如下图所示，做出过靶标中两个圆的公切线，公切线的交点分别为，五个圆在像平面的像分别命名为，如下图，由上面定理可知，原图中的公切线在像平面的像仍然是闭合曲线的公切线，的像是闭合曲线的公切线的交点。我们取的原则是使点的分布尽量均匀，减小由于切

14、线判断造成的误差。图3在世界坐标内的坐标根据题意可直接读出，在像平面（像素坐标系）的坐标可以用Matlab软件处理照片得到。3）确定要在像素坐标系内找到照片中闭合曲线的公切线的交点，公切线必须精确找到，寻找公切线产生误差会对结果造成很大影响。采用Matlab命令分析和图像观察不失为寻找公切线的一个办法。用绘图软件Photoshop能准确描绘出公切线，然后把照片导入Matlab，用imtool命令分析照片，用Pixel Region观察放大后的照片像素点，这样就可以直接在像素图上读取，如下图：图4用这种方法，读出图3中八组数据，数据见下表，这样就有了八个控制点，表1组别像素坐标（287，146）

15、（682，177）（242，537）（609，534）组别像素坐标（327，467）（598，246）（556，470）（358，232）4.2.2.2模型求解四组控制点就可以确定投影矩阵，我们分别以，分别计算投影矩阵，然后取均值，由于时间仓促，我们并没能够做出很多组值来降低误差，但是我们发现这两组数据求得的投影矩阵很相似，而且求得的最后圆心的像坐标也很相似，所以将两种方法求得的均值作为结果。（1）第一组数据求解用Matlab中fsolve函数求旋转矩阵和平移向量，得如下结果：，由（8）（9）两式求投影矩阵将和投影矩阵代入（5）式得靶标上的点在像素坐标系中的坐标，由（1）式还可以确定图像坐标系

16、坐标，由于在相机坐标系中轴垂直于像平面，且像距为1577/3.78=417.20(mm)，可以确定相机坐标系坐标：表2像素坐标系坐标（318.25，189.46）（417.78，187.64）（640.96，211.34）（583.67，503.27）（280.56，502.65）图像坐标系坐标（-51.32，51.47）（-24.93，51.95）（34.12，45.68）（18.96，-33.55）（-61.23，-31.39）相机坐标系坐标（-51.32，51.47，417.20）（-24.93，51.95，417.20）（34.12，45.68，417.20）（18.96，-33.55

17、，417.20）（-61.23，-31.39，417.20）（2）第二组数据求解，旋转矩阵，平移向量，投影矩阵分别为：， 求出像素坐标系坐标、图像坐标系坐标、相机坐标系坐标，这里只列出了像素坐标系坐标和相机坐标系坐标：表3像素坐标系坐标（326.49，193.58）（429.32，201.24）（650.46，217.05）（587.78，501.34）（288.68，500.13）相机坐标系坐标（-49.08，50.38，417.20）（-21.87,48.35，417.20）（36.63，44.17，417.20）（20.05,-31.04，417.20）（-59.08,-30.72，41

18、7.20）对于表2表3的数据取均值，得到结论：表4 像素坐标系坐标（322.37，191.52）（423.55，194.44）（645.71，214.195）（585.725,502.305）（284.62,501.39）相机坐标系坐标（-50.2,50.925,417.20）（-23.4,50.15,417.20）（35.375,44.925,417.20）（19.505,-32.295,417.20）（-60.155,-31.055,417.20）4.3检验模型方法 4.3.1检验模型在我们模型中，我们是选取八个公切线的交点，然后计算出投影矩阵，用投影矩阵计算圆心的像点坐标。对这个模型的可

19、行性进行检验。如图7所示，在模型中用求解得到投影矩阵，为检验模型的可行性，在靶标上，取另外的公切线交点，用投影矩阵计算出这两点在像平面的像点，而像平面上对应的公切线交点，比较和坐标之间的距离，距离越短，重合程度越高，我们在问题二中的模型越合理。如图7，举例说明图5，经计算在像平面的投影为误差小于3像素，说明我们的模型是合理的。4.3.2分析检验方法的精度和稳定度通过分析，影响检验方法精度和稳定度主要在两个方面：（1）世界坐标系变换的算法本身的精度；（2）在求解的过程中用到的切线的描绘。参阅相关资料12，这个算法的精度和鲁棒性（稳定性）都是非常好的，即使系统有大的波动，也能较好地恢复靶标的欧式度

20、量（坐标系的转换）。所以在分析检验方法的精度主要考虑切线描绘的精度，也就是说，检验方法的精度和稳定度在受到切线误差的影响越小，那么检验方法的精度和稳定度就越好。在求每条公切线的时候，都有可能产生误差，这是因为在照片处理的过程中，不可能存在绝对圆滑的图形，图形的边缘或多或少都是有“颗粒”的。所以误差的出现是随机的，这个误差可以认为是系统误差，所以减小系统误差的办法就是多次测量，多次的试验。在本题中，公切线有很多交点，可以选择很多对点对模型进行度量，然后可以取像平面上点的参差平方和检验模型。所以，这种大量点检验的方法是精度较高稳定性较好，也是合理的。4.4问题四要根据题中所给的正方形靶标建立确定两

21、相机方位的模型，只需求出相机透镜光学中心（假设相机的位置由光学中心决定）在我们建立统一坐标系下的坐标，由于相机还有镜头的方向性，故我们还要得到它镜头的朝向。由于题中只给了一台相机所拍摄的靶标的像，所以这台相机的位置和方向是可以根据我们要建立的模型去确定的，而另外一台相机的方位的确定采用类似的方法，即可得到它们的相对位置，确立的基本算法如下：第一步，由题中所给的图2、3，以及第二问求得的五个圆心所在像的坐标（这里坐标系的原点在相机的光学中心），根据光学中透镜成像的原理（图五），设靶标所在面的方程为，将所得到圆心的像沿反方向与靶标平面相交一点，这样可以得到五个圆心的位置，又因为这五个圆圆心的连线要

22、满足图2中正方形（边长为100mm）这一要求，就可以列出对应的方程组，用相关的matlab软件工具可以得到的值即唯一确定靶标的平面方程。图 6第二步，在确定了靶标平面方程以后，由于前面解决问题都是建立在以相机镜头的光学中心为原点的空间坐标系中的，要确立相机的方位，我们需要建立另外一个参考坐标系，从而来得到相机在这个坐标体系下的具体位置，我们考虑将新坐标系的原点定在靶标平面正方形的中心位置上，以垂直靶标平面的轴为轴。在最初的坐标系（原点为镜头的光学中心）下，已知靶标平面的方程，由此确立了该面的法向量，可以求出其与轴方向单位向量的夹角，从而计算得出光轴与靶标平面的夹角。第三步，从镜头的光学中心（相机所在位置）引靶标平面的垂线并做出光轴在其面上的投影，设垂点为，光轴与靶标平面的交点为，现设定轴，以平行边为轴，以垂直边为轴。图7第四步，确定相机的位置，首先确定坐标