从单幅图像中提取世界坐标

1、3.9.4 3.9.4 从单幅图像中提取世界坐标从单幅图像中提取世界坐标 专业：应用数学专业：应用数学 姓名：孙卓姓名：孙卓 立体重构立体重构 一般情况下只有使用多个摄像机在不同空间上同一般情况下只有使用多个摄像机在不同空间上同 时拍摄同一物体的两幅或多幅图像，才可以进行这时拍摄同一物体的两幅或多幅图像，才可以进行这 种测量，这种方式称为立体重构。种测量，这种方式称为立体重构。 使用标定后的摄像机可以在世界坐标系内进行未使用标定后的摄像机可以在世界坐标系内进行未 失真的测量失真的测量。 使用多个摄像机拍摄同一物体来重构使用多个摄像机拍摄同一物体来重构两幅图像中对应点的三两幅图像中对应点的三 维

2、坐标时可以实现吗？维坐标时可以实现吗？ 可以实现可以实现 因为由两个摄像机光心与两幅图像中在成像因为由两个摄像机光心与两幅图像中在成像 平面上的对应点可以定义两条光线，这两条光线平面上的对应点可以定义两条光线，这两条光线 在三维空间中的交点就是图像中相应的三维位置。在三维空间中的交点就是图像中相应的三维位置。 安装安装1 1个摄像机时个摄像机时如何如何得到被测物体在世界坐标系得到被测物体在世界坐标系中中的尺寸的尺寸？ 第一就是使用远心镜头拍摄被测物体；第一就是使用远心镜头拍摄被测物体； 第二就是如果使用针孔摄像机或线阵摄像机，此时第二就是如果使用针孔摄像机或线阵摄像机，此时 必须将被测物体放在

3、一个已知平面上。必须将被测物体放在一个已知平面上。 原理原理 n 通过光线（视线）与已知被测平面相交来解决问通过光线（视线）与已知被测平面相交来解决问 题。就算测量平面与光轴之间有一定的倾斜角度，题。就算测量平面与光轴之间有一定的倾斜角度， 也可以进行测量。也可以进行测量。 远心摄像机 n远心镜头 远心镜头是为纠正传统镜头的视差而设计的特殊镜 头，具有放大倍数恒定、无视差等特点，常常应用 于微小物体测量。 n远心镜头实现世界坐标系到图像坐标系的平行投 影。 n远心摄像机就是摄像机和远心镜头的组合。 平行投影平行投影 n概念：平行投影概念：平行投影是在一束平行光线照射下形成的是在一束平行光线照射

4、下形成的 投影投影。 n特征：平行投影特征：平行投影的投影线是平行的。的投影线是平行的。 n分类：斜投影和正投影。分类：斜投影和正投影。 如何使用远心摄像机来测量被测物体在世界坐标系中的尺寸如何使用远心摄像机来测量被测物体在世界坐标系中的尺寸？ n 平行投影完全不受深度信息的影响。因此我平行投影完全不受深度信息的影响。因此我 们不可能使用这种方式得到物体与摄像机之间的们不可能使用这种方式得到物体与摄像机之间的 距离，也就是说不能得到物体在摄像机坐标系中距离，也就是说不能得到物体在摄像机坐标系中 的的z z坐标。然而我们可以得到物体在摄像机坐标系坐标。然而我们可以得到物体在摄像机坐标系 中中x

5、x和和y y坐标，也就得到了物体在世界坐标系中的坐标，也就得到了物体在世界坐标系中的 尺寸。由于点的尺寸。由于点的z z坐标不可求，只需将坐标不可求，只需将 看作是世看作是世 界坐标系中的一个点即可。界坐标系中的一个点即可。 c P 如何如何求求 ？ n1.1.将该点坐标从图像坐标系转换到成像平面坐标将该点坐标从图像坐标系转换到成像平面坐标 系；系； n2.2.使用使用 消除径向畸变的影响，得到成像平面上未失真的坐消除径向畸变的影响，得到成像平面上未失真的坐 标；标； n3.3.最终计算得到点最终计算得到点 的坐标的坐标. . c P c P 2 2 )(1 1 v u vuk v u 如何如

6、何求求 ？ n 1 n 2. n 3. c P x x y y c s u c s v c r yy xx ccs ccs v u 2 2 )(1 1 v u vuk v u yy xx ccs ccs vuk v u )(1 1 2 2 TT cccc vuzyxP)0 ,(),( c c y x v u 注意： 上面的方法其实相当于通过点 并且与成像平 面 垂直的光线与平面z=0相交得到的交点。 T vu0 , T 1 , 0 , 0 如何使用针孔摄像机确定物体在世界坐标系中的尺寸？ 原理：光线与已知平面相交。 在许多应用中，被测物体都放在摄像机前面的 一个平面上，如传送带。我们假设此时这

7、个平面的 位置与方向（位势）已知。这个测量平面由它的原 点以及一个局部坐标系来表示，也就是三个直角向 量，其中一个向量垂直于测量平面。 原理： n我们需要使用图像上某点所对应的光线与该测量 平面相交，需要知道定义该光线的两个点。 两个点 n第一个点：摄像机的投影中心，在摄像机坐标系 中的坐标为 n第二个点：将点 从图像坐标系转换到成像 坐标系中。考虑到成像平面在光心前，距离光心f处， 光线上第二个点的坐标为 两点确定一条光线： T 0 , 0 , 0 T cr, Tfvu, TT c fvuL,0 , 0 , 0 为什么要将两点转换到世界坐标系中？ 我们的目的是光线与平面相交，求交点，也就是图

8、 像的世界坐标。最好将光线 的方程建立在世界坐 标系中，因为在世界坐标系中测量平面就是z=0. c L 将 和 转换到世界坐标系中 T 0 , 0 , 0 T fvu, TRPP wc TPRTPRP c T cw 1 TRTRO T T T w 0 , 0 , 0 TfvuRI T T w , wwwwww DOOIOL z 0 0 / / zyzy zxyx w ddoo ddoo P 0 zzwz doL zz do / 0 zzwz doL zz do / 标定板 1.在机器视觉、图像测量、摄影测量、三维重 建等应用中，为校正镜头畸变； 2.确定物理尺寸和像素间的换算关系； 3.确定空

9、间物体表面某点的三维几何位置与其 在图像中对应点之间的相互关系，需要建立 相机成像的几何模型。 被测物体的测量平面的位姿 n 由于我们使用平面标定对象，通过摄像机标定得 到这个位姿，如果在用来标定的其中一副图像中 标定板直接放在测量平面上，那么这幅图像中标 定板的外参基本上等同于上面所需要的测量平面 的位姿（忽略标定板的厚度）。 n 考虑标定板的厚度d，平移向量T变成RD+T 3.9.5 3.9.5 摄像机参数的准确度摄像机参数的准确度 一是摄像机参数的准确度 二是调整摄像机焦距和光圈对摄像机参数 的影响 摄像机参数的准确度 什么影响摄像机参数的准确度？ 1.标定板放置的不恰当 2.用于进行标定摄像机的图像数量（最主要因素） n 1.摄像机参数的准确度随着图像数量的增加而明 显增加。 n 2.为了使得到的摄像机参数更加准确，就需要有 相当多的标定图像。 n 如果标定板能够在标定图像中覆盖图像的每个角 落，可以使计算得到的径向畸变系数 更加准确。 n 如果标定板可以覆盖较大的深度范围，那么所有 的