双目立体视觉系统的标定

双目立体视觉系统的标定葛动元;姚锡凡;李凯南【摘要】基本矩阵的估计是机器视觉中一项重要的研究课题，在立体视觉与图像运动分析中是一个很重要的矩阵;在双目视觉系统的标定时，常规的方法需要将单摄像机的投影矩阵分解成旋转矩阵和平移向量.通过反对称矩阵，求得图像投影点的极线方程，以及双目立体视觉系统的基本矩阵，得到两个摄像机之间的相对位置关系.【期刊名称】《机械设计与制造》【年(卷)，期】2010(000)006【总页数】2页(P188-189)【关键词】双目立体视觉系统;基本矩阵;反对称矩阵;极线【作者】葛动元;姚锡凡;李凯南【作者单位】华南理工大学机械与汽车工程学院广州,510640;邵阳学院机械与能源工程系邵阳,422004;华南理工大学机械与汽车工程学院广州,510640;邵阳学院电气工程系,邵阳,422004【正文语种】中文【中图分类】TH16;TP151.211引言在立体视觉系统中，三维重建的先决条件是要建立两幅图像的对应关系，其中一个重要的约束条件为极线约束，两摄像机之间的关系可以用基本矩阵表示，它在机器视觉中具有重要的作用，比如基于结构光的深度信息的获取、机器人视觉伺服控制等［1-2］。2摄像机透视投影模型在机器视觉系统中，大多数采用针孔模型，将摄像机的非线性模型转换为线性模型，如图1所示。OUV表示以像素为单位的图像坐标系，O1xy表示以毫米为单位的图像坐标系，OCXCYCZC为摄像机坐标系，OWXWYWZW为世界坐标系。x，y轴分别与u，v轴XC，YC轴平行，ZC轴为摄像机的光轴，摄像机焦距f为OCO1，O1在OUV坐标系中的坐标为（u0，v0），每一个像素在x轴与y轴方向上的物理尺寸分别为dx和dy，摄像机坐标系与世界坐标系的关系用旋转矩阵R与平移向量t来描述。设某点P在世界坐标系下的齐次坐标为（Xw，Yw，Zw，1），其投影点在以像素为单位的图像坐标系的齐次坐标为（u，v，1），则它们的关系可表示为［3~5］:图1摄像机透视投影模型3双目立体视觉系统3.1立体视觉系统模型如图2所示，假设两个摄像机各自的内外参数已经标定，其外参数分别用正交单位矩阵和平移向量R1、t1、R2、t2表示双目视觉系统中两摄像机坐标系与世界坐标系之间的相对位置。对于任意一点P,如果它在世界坐标系、C1坐标系与坐标系下的非齐次坐标分别为Xw、Xc1、Xc2，则消除Xw化简，两个摄像机之间的几何关系可用式（4）表示通过式(4),视觉系统中双摄像机的相对几何位置R与t可由上式计算。现根据反对称矩阵的基本性质，采用基本矩阵，以及极线方程的方法来描述双摄像机相对位置，只要已知相应摄像机的投影矩阵，不需要分解其的外部参数。在立体视觉系统中，I1与I2为两个摄像机的图像平面，p1、p2是空间同一点P在两个图像上的投影点，p2为p1的对应点；同理p1是p2的对应点，如图2所示。在图2中，空间点P与两摄像机光心01、02组成的三角形在平面n上，由于p1、p2在直线01P与02P上，所以p1、p2也在n上。设n与图像I2平面的交线为12，则p1点的对应点p2必然在12上；12被称为图像I2上对应点的极线。同理，I2上的点p2,11为图像I1上对应于p2点的极线。由于极线给出了对应点的重要约束条件，在基于结构光的三维重建中具有重要的作用，若双目视觉系统的两个摄像机的投影矩阵M1与M2已知，则可采用反对称矩阵求解极线与基本矩阵。图2双目立体视觉系统设xp为空间某点P在世界坐标系下的齐次坐标，即xp=(Xwp,Ywp,Zwp,1)记作xp=(XT,1)T,其中x=(Xwp,Ywp,Zwp,1)T;u1、u2分别为空间点P投影于左右图像平面I1与I2的p1、p2点的图像齐次坐标。将M1、M2矩阵中左面的3x3部分记作Mi1(i=1,2),右边的3x1部分记作mi(i=1,2);则由式(1)可得：化简可得将上式右边的向量记作m，即假设向量m=[mx,my,mz]T，将由m定义的反对称矩阵记作[m]x,则：将反对称矩阵[m]x左乘式（7）两边，由于[m]xm=0T,则其中，0T=[000]T，将上式两边除以Zc2,记，得式（10）右边向量为[m]xu2=mxu2,该向量与u2正交，将左乘上式两边，并将所得式两边除以Zc后得到双目立体视觉系统中两摄像机的位置关系：式中：[m]x一反对称矩阵一基本矩阵，由双目立体视觉系统中两个摄像机的相对位置决定。3.2标定实验假设在双目视觉系统中，两摄像机的投影矩阵已知，即摄像机C1、C2的投影矩阵分别为M1、M2,如表1、表2所示。表1C1的投影矩阵M1表2的投影矩阵则可得基本矩阵，如表3所示。表3基本矩阵在给定u1的情况下，式（11）是一个关于u2的线性方程，即I2图像上的极线方程；同样，在给定u2的情况下，式（11）是一个关于u1的线性方程，即I1图像上的极线方程；即在给定u1（或u2）时，极线方程只与M1与M2矩阵有关。通过图像处理，可得空间某点P在图像平面11、I2的投影点p1、p2的齐次坐标分别为（153.5822,92.1907,1）、（148.8456,94.6513,1）,则点p1的对应极线12为：0.26u+1.14v-1464.2=0;点p2对应的极线11为：-2.1675u+9.7353v-564.6213=0。由于任意位于O2P上的点（例如点P'）在I2上的投影都是p2，对I2上的任一点p2，它在I1上的对应点不能完全由约束唯一确定，只能求出与其对应的极线l2，具体位置则与空间点P'在O2P直线上的位置有关。因此，式（11）给出了两个摄像机对应点pl、p2的齐次坐标u1与u2所必须满足的关系；将对应的齐次坐标（153.5822,92.1907,1）、（148.8456,94.6513,1），以及基本矩阵代入式（11），可得=8.3260x10-4，基本满足约束条件。4结论对立体双目视觉系统，只需要已知两个摄像机的投影矩阵M1与M2,则描述双摄像机相对位置的基本矩阵和极线方程均可从M1与M2矩阵求出，基于基础矩阵与极线约束的立体匹配，是三维数据拟合的一个新方法与基础。参考文献【相关文献】1林学訚，陈向荣，朱志刚等.基于双外极线的结构光深度信息快速获取[J].清华大学学报（自然科学