2008赛题9组任毅.doc

基于质心算法提取特征点解决数码相机定位问题摘要数码相机定位已经在公路交通、铁路运输、安防系统等领域有广泛的应用。为了解决数码相机在上述领域中的定位问题。提出了一种基于提取任意靶标的特征点的几何标定方法。根据题意，本文首先定义了四种坐标系，即世界坐标系，相机的光学中心所在的坐标系为相机坐标系，利用同一点在不同坐标系下的坐标变换，确定世界坐标系与相机坐标系间的关系，进而确定该相机的内部参数和外部参数，可用转换矩阵和平移向量表示，由该相机的外部参数和内部参数建立了单一相机定位模型。根据构建的模型带入相机的外部参数后得到靶标上圆的圆心在像平面上的像坐标为：，。通过给出一种质心算法提取各个圆在像素坐标下的圆心坐标，经过坐标转化，可得到像坐标，以此数据检验构建的模型，从相对误差、绝对误差的具体数据和误差的传播理论两个方面讨论算法的精度与稳定性。最后应用最小二乘原理、根据均方误差最小为准则建立三维坐标系下的固定两部相机相对位置的双目定位数学模型，并通过讨论本质矩阵与相机的相对位置关系来标定双目数码相机。关键词转换矩阵 质心算法 最小二乘法 双目标定正文一、问题的重述 数码相机定位技术在交通监管、卫星遥感定位等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。标定的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形，如图1所示，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。 有人设计靶标如下，取1个边长为100mm的正方形，分别以四个顶点（对应为A、C、D、E）为圆心，12mm为半径作圆。以AC边上距离A点30mm处的B为圆心，12mm为半径作圆，如图2所示。用一位置固定的数码相机摄得其像，如图3所示。图 1 靶标上圆的像 图 2 靶标示意图 图3 靶标的像 二、基本符号说明与基本假设2.1 基本符号说明：转换矩阵；：平移向量；：相机坐标系中光学中心到像平面的距离，即像距；：右投影点所对应的左投影平面内的极线；：左投影点所对应的右投影平面内的极线；：为图象连续象素起始位置；：为图象连续象素中止位置；2.2 基本假设及合理性分析2.2.1基本假设1）假定数码相机模型为理想的针孔透视变换模型；2）假设没有畸变现象产生；2.2.2 合理性分析摄像机的几何畸变是指在图像平面上图像点在几何位置上的误差，从而造成成像系统不能使图像与实际景物在全视场范围内严格满足针孔透视成像模型，使中心投影摄像发生弯曲。为了得到理想的针孔透视变换模型，所以假设没有畸变现象产生。三、问题分析和基本思路21 问题分析和建模思路为了解决数码相机的双目定位问题，我们需要包括4个主要步骤：第一个步骤，给出单一数码相机的标定，建立数学模型确定一般情况下靶标上圆的圆心在该相机像平面的像坐标；此问题关键在于如何选取坐标系，坐标系的选取与模型的建立及模型求解的难易程度密切相关。第二个步骤，由题中给出的图像和数据，推导求出该相机的内部参数和外部参数，用第一步建立好的数学模型，计算出靶标上圆的圆心在像平面的像坐标；此问题关键在于如何确定该相机的内部参数和外部参数。第三个步骤，给出一种图像处理的质心算法，求出靶标圆心在像平面的像坐标，并以此检验上述模型，并对此算法的精度和稳定性进行讨论；第四个步骤，应用最小二乘法建立三维坐标的数学模型，用此标靶给出固定两部相机相对位置的数学模型和方法。此问题重点在于，如何讨论本质矩阵与外部函数间的关系，即可求得固定两部数码相机相对位置的数学模型。22 思路流程图图表 1 思路流程图单一相机标定模型内部参数外部参数靶标与像平面特殊点对应关系双目定位模型质心算法求出坐标结果适当选取坐标稳定性分析带入数据四、模型的建立与求解41建立单一相机的标定模型世界坐标系：图中的，空间中的任意一点可用表示，世界坐标系的原点为靶标面上正方形的中心。相机坐标系：图中的，其中为相机的光心中心，轴与光轴共线。像平面坐标系：图中的，与相机坐标系平行，其原点与像素坐标系的中心重合。图表 1 四种坐标系的建立方案像素坐标系：图中的。为世界坐标系与照相机坐标系的转换矩阵，为世界坐标系与照相机坐标系的平移向量，则。其中，可得，其中。设像平面上的理想像点的坐标为，光学中心到像平面的距离为。由光学现象的知识可知物点、像点、光学中心在同一直线，则物点与像点相应的坐标值成比例（图表2），即 即，同理可得，所以 （1）假设像点在像素坐标系中的坐标为，即像点在图像中的第行第列，设相机的分辨率为，则，。只要确定相机的像距、转换矩阵、平移向量，就可以由世界坐标系中物点的坐标求得该物点在像平面的像点坐标。42 求解靶标上圆的圆心在像平面上的像坐标在该问题中，由图5易得靶标上圆的竖坐标，所以模型（1）简化为 （2）即转换矩阵中列向量为任意值。问题中给出该相机的像距（即焦点到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，即。世界坐标系中任意一点在像素坐标系中对应的像素坐标为，由像素坐标系与像平面坐标系之间的变换关系，可以确定像素坐标为与物点之间变换关系： （3）在本题中，代入（3）式并化简为： （4）我们运用作图的方法可以确定靶标上各个圆的切点在像素坐标系上的像素坐标，即将已知的物点和像点的像素坐标代入（4）式，求解得出转换矩阵和平移向量。，。靶标上各个圆的圆心坐标分别为：，代入（3）式求得各个圆心的像平面上的像坐标：，。43 用质心算法检验模型，并对该方法的稳定性进行讨论431 质心算法应用质心算法，可以把靶标上各个圆的圆心在像平面上的像坐标通过计算机图像处理的方法寻找出来，其算法如下。1首先把标靶的像设维二值图象，其中目标部分为A，背景部分为B。即： (5)经过二值化处理的图象信号，规格化为1024768的区域，可令目标质心坐标为。已知：为目标图象连续象素点数，为图象连续象素起始位置，为图象连续象素中止位置。其中： （6）令 （7）其中 （8）所以列号 （9）其中 行号 432 用质心算法对上述模型进行检验由质心算法在像平面坐标系下，求得各个圆心在像平面的像坐标。并对上述模型进行检验，求出对应圆心坐标的误差。结果表明，两种方法给出的在像坐标系下的圆心横、纵坐标的绝对误差小于0.685687，相对误差小于0.029121。表格 1 模型求解值与质心算法求解值横坐标模型求解值质心算法求解值相对误差绝对误差-50.39828562-50.027830690.0074050.370455-22.86034516-23.546031750.0291210.68568733.5663773533.835820110.0079630.26944319.009127718.712407410.0158570.29672-59.97516382-60.141349210.0027630.166185纵坐标模型求解值质心算法求解值相对误差绝对误差51.7351250451.456746030.005410.27837949.667893349.486164020.0036720.18172945.4320241845.197830690.0051820.234193-31.78946349-31.47682540.0099320.312638-31.19983698-31.156904760.0013770.04293433 对质心算法的精度和稳定性分析此质心算法为简单的加法、乘法及除法运算，不存在乘方运算、指数运算。从误差分析角度讲，误差不会被放大，因此，此算法是较为稳定的。44 建立双目定位模型441 模型准备由2台数码相机组成的双目数码相机的数学模型如图所示。将测量坐标系建立在左数码相机上，右数码相机坐标系为。左数码相机的投影坐标系为，右数码相机的投影坐标系为。设空间点在左数码相机和右数码相机的投影分别为和 。 在中的齐次坐标为， 在中的齐次坐标为。的齐次坐标为 ， 的齐次坐标为 。由数码相机模型得到 （10）与之间的欧氏变换可表示为 （11）式中 33正交旋转矩阵3l平移矢量由式(10)和(11)可知， 与和之间的关系分别为 （12） （13）式中34左数码相机投影矩阵34右数码相机投影矩阵图表 2 双目标定的坐标系统33单位矩阵如图3所示，、和 确定一个平面，空间点在两个投影平面内的投影对应点满足极线约束关系。平面为极平面，为右投影点所对应的左投影平面内的极线，为左投影点所对应的右投影平面内的极线。共面极线约束可以表示为，相应的代数表示为： （14）式中 本质矩阵，由以上分析可知，包含了的全部参数，通过分解，可以得到 。然后由两个数码相机获得的投影坐标，根据式(12)和(13)，采用最小二乘方法可以计算出空间点的三维坐标。2441 求解两台数码相机的相对位置关系首先考察本质矩阵的性质。定理1 若左右数码相机的投影矩阵分别是和，那么相应于这两台数码相机的本质矩阵为。由这个定理知道，本质矩阵可以分解为一个满秩的方阵与一个反对称矩阵的乘积，即。以下的定理表明，这样的分解几乎是惟一的(最多相差一个尺度因子)。定理2 若一个33的方阵能够有两种的分解方法，其中 是非零反对称矩阵， 是满秩的方阵，那么必然有，并且，如果，那么，是某个3维的向量。定理3 若左右数码相机的相对位置固定，和是两组不同的投影矩阵，那么和对应于相同的本质矩阵Q当且仅当存在着一个满秩的44的方阵，使得且34。4.4.2 利用本质矩阵标定双目数码相机上面定理反映了一个事实：两数码相机的相对位置关系与本质矩阵几乎是等价的。即给定了两台数码相机的相对位置关系和 ，就给定了系统的本质矩阵；反之，给定了本质矩阵，两台数码相机的旋转平移关系和 也几乎确定了，最多相差一个比例常数因子。“几乎”的意思就是 和 的确定还需要标定一个比例因子 。文献5给出了一个方便的通过求解和 的方法，即先把进行特征值分解，得，根据上节定理1，得到,其中，是把平移矩阵 的3个元素看成向量。如此，我们确定了旋转和平移关系的基本形式，。而，与 ， 相差一个比例因子 ，即 ， 的标定，可以借助世界坐标中已知距离的两个和,再通过最小二乘法求得两部相机的相对位置关系。五、模型的进一步讨论和改进在实际生活中，所有的镜头在成像时都会产生畸变，而完全不产生畸变的镜头是不存在的。依据透视投影理论，可知在三维空间中直线的透视投影为直线或一点。然而在实际中照相机照出的图像往往会发生变形，导致三维空间的直线的透视投影畸变为曲线。这种现象是由于照相机镜头的畸变形成的。镜头的畸变一般包括径向畸变和切向畸变，而一般情况下切向畸变很小，只考虑径向畸变，则其畸变模型为： 其中为理想像点的坐标，为畸变图像的坐标。、分别为一阶径向、二阶径向和三阶径向的畸变参数，为畸变半径，即6。依据畸变参数等求出畸变图像的坐标，由于时间关系在此不做讨论。六、模型的推广通过对题目的解读我们不难发现这是一类系统标定问题。我们先建立了一个单一相机的标定模型，然后对其进行求解和验证，最后建立了一个双目的定位模型。仔细分析我们建立的模型不难发现：这些模型不仅仅适用于数码相机定位问题，它对双目立体视觉标定的问题也起到了指导作用。 本文模型的建立是为了解决数码相机双目定位的问题。通过建立单一相机的标定模型，我们就引出了双目定位的模型。 本题的求解是一个典型的系统标定问题，我们模型的使用范围非常广泛，可以应用于工件的完整性、表面平整度的测量；微电子器件（IC芯片、PC板、BGA）等的自动检测；软质、易脆零部件的检测；各种模具三维形状的检测；机器人的视觉引导等。参考文献1 宋克欧，王凤踢,二值图象目标质心快速下降造代搜索,7卷2期：56-62，1994。2周富强，张广军，魏振中，江洁,基于未知运动一维靶标的双目视觉传感器标定,机械工程学报，42卷9期：3-42006。3 HARTLEY REstimation of Relative Camera Positions forUncalibrated Cameras l A JProceedings of IEEE Conferenceon Computer Vision and Pattern RecognitionCs1：sn，19927617644 LONGUETHIGGINS H CA Computer Algorithm for Reconstructing a Scene from Two ProjectionsJ，Nature，293（42）：133135，1981。5SONKA M，HLAVAC V，et a1Image Processing，Analysis and Machine Vision(2nd Edition)M，New York：Thommn P