双目视觉三维重构公式

双目视觉三维重构总结1照相机成像过程数码照相机的成像过程可通过四个坐标系的三次转换来表达，这四个坐标系分别为：（1）世界坐标系—根据自然环境所选定的坐标系，坐标用（X,y,Z）来表示。（2）光心坐标系（相机坐标系）一以相机www的光心O为坐标原点，X轴、y轴分别平行于CCD平面的两条垂直边，ccZ轴与相机的光轴重合，坐标用（X,y,Z）来表示。（3）图像坐标c ccc系一坐标原点O在CCD图像片面的中心，X轴、Y轴分别为平行于CCDl平面的两条垂直边，坐标用（x，y）表示。（4）像素坐标系一坐标原点o在CCD图像平面的左上角，U轴、V轴分别平行于图像坐标系的oX轴、Y轴，坐标用（u，V）来表示，该坐标值为离散的整数值。图表1数码相机成像坐标系三个转换过程分别是：（1）将世界坐标系中的信息转换到光心坐标系。（2）光心坐标系中的信息按照针孔模型规律转换到图像坐标系。（3）最后由图像坐标系转换成像素坐标系。光学成像的理论模型是针孔模型，根据这个模型，空间任一点P由光心坐标系向图像坐标系的转换过程符合中心射影或透视投影理论，在图像坐标系中的投影P可以用光心O与P点的连线与图像坐标系平面的交点来表示，数学表达如下：f∙xX= CZCf∙yy二 c∙ZC其中（x,y）是P点的图像坐标，（X,y,Z）为空间点P在光心坐标系下的坐标，CCCf为相机焦距。可以用齐次坐标与矩阵表示上述中心影身寸关系:xyZ0000010f0xy1f00cZccc1图像坐标系与像素坐标系之间的转换关系如下:Xu——+udx0V—上+Vdy0其中dx、dy分别是表示CCD在X和丫方向的像素点间距。齐次坐标及矩阵表示如下:uV1

dx

0001dy0xy1逆过程可写成:XdX0y=0dy100-udx

0-Vdy01uv1相机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述，空间中某一点P在世界坐标系与相机坐标系中的转换关系如下:XcyCZC1XwywRt0T1Zw1其中(X,y,Z,1)T和(X,y,Z,1)t分别是空间点P在世界坐标系和相机WWW CCC坐标系中的齐次坐标，R为3X3的正交单位矩阵，t为三维平移向量，t=(t,t,t)T,0=(0,0,0)T为0向量。XyZ由此可以得到以世界坐标系表示的P(X,y,Z)点与其投影点P在像WWW素坐标系中的坐标(u,v)之间的关系。ZCZCUV1UV11

dx0001dy0000010XWyWZW1U0V01t1XXXWWWy=NHy=MyWWWZZZWWW11L1u厂0fV0U00f0Rt0T1aX0000a0Ry00T0L这就是针孔模型下数码相机的成像模型，其中a=f/dX,a=f/dy,X ya0N=6a00u00V0010Rt0T1N称之为内部参数矩阵，H称之为外部参数矩阵，M为综合矩阵。2空间点的三维重构空间点是构成三维空间结构的最基本单元，理论上可以由点形成线，由线形成面，再由各种面构成三维立体结构。计算机视觉中的三维重构，无论是全像素的重构，还是三维图形的重构，空间点的重构是其最基本的内容。在许多场合，三维空间结构中有许多特征点，确定了这些特征点的位置，也就能够确定这个三维结构，连接这些特征点就能形成空间结构图形。假定空间任意点P的世界坐标为：（X,y,Z）,www点P在两个相机的成像平面上的像点分别为P1与P2,P1和P2的像素坐标分别为：（u1,v1）和（u2,v2），C1和C2相机的投影矩阵分别为：图表2空间点在双相机中的成像关系mim1m1mi11121314M二m1m1m1m1121222324m1m1m1mi31323334m211m212m213m214M=m2m2m2m2221222324m2m2m2m231323334根据相机的成像模型有：ZΓu11v=Γm111m1m112m1m113m1m1114m1Γx1wywc1121222324zL1Jm1m1m1m1w313233341ZΓU12v=Γm211m2m212m2m213m2m2114m2Γx1Wywc2221222324ZL1JLm2m2m2m2W31323334L1J其中zc1和zc2分别为空间点P在两个相机的光心坐标系中沿光轴方向的坐标值。展开得到：ZU=mix +miy +m1Z+m1c11 11w12w13w14Zv=m1x+m1y+m1Z+m1c11 21w22w23w24Z=m1x+m1y+m1Z+m1c1 31w32w33w34Zu=m2x+m2y+m2Z+m2c22 11w12w13w14Zv=m2x+m2y+m2Z+m2c22 21w22w23w24Z=m2x+m2y+m2Z+m2c2 31w32w33w34整理得到：(um11 31一mι)x+(Umι一mι)y+(Umι一mι)Z11w1 31 12w133 13w=m1一Um114 1 34(vmι-mi)x+(vmι

1 31 21w1 31一m1)y+(Um1一m1)Z22w1 33 23w=m1一vm124 1 34(um2-m2)x+(um2-m2)y+(Um2-m2)Z2 31 11w2 31 12w2 33 13w(vm2-m2)x+(vm2-m2)y+(vm2-m2)Z2 31 21w2 31 22w2 33 23w=m2-Um214 2 34=m2-vm224 2 34两个线形方程是三维空间的两个平面方程，两个平面方程式的联立为空间直线方程，即为两平面的交线。实际中，由于在提取已知数据时总是有噪声的影响，这里多数都采用最小二乘法来求解，用矩阵形式表示如下：Kq=lK=Um1一m1Um1-m1Um1-m1131111 321213313vm1一m1vm1-m1vm1-m113121132221 3323Um1一m2Um1-m2Um2-m2231112321223313vm2-m2vm2-m2vm2-m2231212321223323xwq=ywZwlmι一Umι14 134m1一vm124 134m2—Um214 2 34m2-Vm224 2 34q=(KTK)-ιKτl3对极几何双目配准以及极点求解在双目立体视觉系统中，数据是两个摄像机获得的图像，即左图像和右图像，如果Pa和Pb是空间同一点P在两个图像上的投影点，称为Pa,Pb为互对应点。如图所示，Oa,Ob分别为左右摄像机的透视中心，。@,。6和空间物点P构成一个平面，城为外极平面。外极平面与左右像平面的交线Paea、Pbeb分别为投影点Pa、Pb在左右像平面上的外极线。OaOb与左右像平面的交点ea、eb叫做左右像平面的极点。同一像平面上的所有外极线都应相交于e点，称为像平面的外极中心。对任意一点在世界坐标系，左摄像机坐标系和右摄像机系下的非齐次坐标分别为X,X,X

wlr由X=Rx+T

llwlX=RX+TrrwrX=R-1(X—T)

wllLX=RR-1X-RR-1T+Trrllrllr可以得到左到右的旋转矩阵和平移矩阵R=RR-1

rlT=T-RR-1T

rrll再由X=RX+T

llwlX=RX+TrrwrX=R-1(X-T)wrrrX=RR-1X-RR-1T+Tllrrlrrl可以得到右到左的旋转矩阵和平移矩阵R=RR-1lrT=T—RR-1Tllrr左右摄像机坐标系变换关系左摄像机到右摄像机的变换关系:xbxb=rab1rab4rab2rab5rab3rab6ya+tabxtabyxrrrZtbLab7ab8ab9」aLabz」右摄像机到左摄像机的变换关系:Xrrrxtaba1ba2ba3bbaxx=rrry+taba4ba5ba6bbayXrrrztaba7ba8ba9bbaz右极中心求解(tt)f∙f,^by∙ftbtbabz abz左极中心求解(ttt-Z∙f,3∙ftata)baz baz如果左像平面上一条斜率为ka并通过左外极中心ea的直线与右像面上一条斜率为kb并通过右外极中心eb直线对应，则这两条直线分别为同一外极平面与左右像平面的交线，它们有如下对应关系:t(r+r×k)—t (r +r×k)k二一baz ba4 ba5 b bay