数码相机定位08A课件

1、数学建模竞赛题选讲(3-2)数码相机定位（2008 年全国大学生数学建模竞赛 A 题） 数码相机定位在交通监管 (电子警察)等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。 标定的一种做法是：在一块平板上画若干个点，

2、同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的点”.实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形, 如图1所示, 所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。 图 1 靶标上圆的像 有人设计靶标如下，取1个边长为100mm的正方形，分别以四个顶点(对应为A、C、D、E)为圆心，12mm为半径作圆。以AC边上距离A点30mm处的B为圆心，12mm为半径作圆，如图2所示。图 2 靶标示意图图3 靶标的像

3、 用一位置固定的数码相机摄得其像，如图3所示。请你们： 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面； 对由图2、图3分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距(即光学中心到像平面的距离)是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768； 设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论； 建立用此靶标给出两部固定相机相对位置的数学模型和方法。赛题说明 注1 A题相机分辨率应为1024768。 第一小问和第二小问中 的焦点一词应该是光学中心.

4、问题分析方法提要 首先对数码相机双目定位问题进行了研究，建立了合理的数码相机成像的具体数学模型与算法。 针对问题一,根据透镜成像原理，在合理假设的基础上，首先建立像素图像、物理图像、相机、空间世界4坐标系并推导出坐标转换公式，进而确定了相机成像的线性几何模型。 针对问题二利用 Matlab 读图，选取五个圆的上下左右各四个边界点作为特征点，其次通过 Excel 像素模拟图得到各特征点的像素图像坐标，利用最小二乘法求的模型一中坐标变换的最优矩阵参数。然后通过坐标变换求得靶标圆心像素图像坐标系下的坐标。 问题三根据问题二中得到的圆心的像坐标，通过坐标变换逆运算得到世界坐标系下的圆心坐标，分析两圆心

5、之间距离的平均值与标准差以检验模型的合理性。其次利用蒙特卡罗模拟的方法进行了稳定性分析，多次迭代以精确检测模型的稳定性。 问题四中利用模型一对两相机系统外参数进行求解，建立了相机空间相对位置关系模型。 关键词 坐标变换 透视投影模型 Excel 像素模拟图 蒙特卡罗模拟创建模型将图像用 Excel 进行处理，建立像素模拟图表模型精度检验与稳定分析建立相机空间相对位置关系模型求解参数矩阵，求出靶标圆心坐标一、模型假设1、假设数码相机成像原理为透镜成像原理；2、假设相机成像镜头不会产生镜头畸变造成光学畸 c变误差；3、假设光学中心、焦点及数码相机屏幕中心的像平 c面共线，称该线为光轴；4、假设所讨

6、论的照相设备是最简单的情形，不具有c广角等功能。二、符号说明 1、 Qw 世界坐标系 2、 Qc 相机坐标系 3、 Qp 像坐标系 4、 T 平移向量 5、 R 旋转矩阵 6、 M 空间转换矩阵 7、 f 焦距 8、 (XW,YW, ZW) 任意物点P在空间世界坐标系中的坐标 9、 (XC ,YC , ZC) P点在相机的坐标系中坐标10、(x, y) P点在物理图像坐标系中坐标11、(u, v) P点在图像像素坐标系中的坐标12、(u0,v0) 光轴与图像平面的交点在图像像素坐标系中的坐标三、模型的建立假设相机镜头透镜很小，光学系统为针孔成像系统。3-1 坐标系的引入 在假设基础上建立四个坐

7、标系：空间世界坐标系、相机坐标系、物理图像坐标系以及图像像素坐标系。 世界坐标系以靶标中心为原点o，以靶标平面为xw-yw平面，单位为mm。 相机坐标系：以相机光心为原点O,其XC轴和YC轴与物理图像坐标系的 x 轴，y 轴平行，ZC轴与图像平面垂直。光轴与图像平面的交点即为物理图像坐标系的原点。 物理图像坐标系，其原点为透镜光轴与成像平面的交点，X 与Y 轴分别平行于摄像机坐标系的 x 与 y 轴，是平面直角坐标系，单位为毫米。 图像像素坐标系，固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角, u，v 平行于图像物理坐标系的X 和Y轴。对于数字图像，每个像素点的坐标(u，v

8、)分别表示该像素点在坐标系中的行数与列数。3-2 坐标的变换3-2-1 图像像素坐标与物理图像坐标的变换 若物理图像坐标系原点在像素坐标系中的坐标为(u0, v0) , 每一个像素在 x 轴与 y 轴方向上的物理尺寸为(dx, dy) , 则图像任意一个像素的像素坐标与物理图像坐标有如下变换：(u, v)将上式用齐次坐标与矩阵形式表示，即：通过矩阵变换的知识可以得到上式逆关系为：3-2-2 相机坐标向物理图像坐标的转换 按透镜透视投影成像原理，由相机坐标向图像坐标的转换过程符合中心影射或透视投影，可用齐次坐标与矩阵表示为：3-2-3 空间世界坐标系与相机坐标系变换 由于数码相机可安放在环境中任

9、何位置，在环境中应该选择一个基准坐标来描述数码相机的位置，并用它描述环境中任何物体的位置，该坐标线之间的关系可以用旋转矩阵A与平移向量T来描述。因此，空间某一点在世界坐标系与数码相机坐标系下的齐次坐标如果分别是(XW,YW, ZW)与(XC ,YC , ZC),于是存在下列关系：齐次坐标可表示为： 其中，A为33正交单位矩阵， 又为旋转矩阵. 式中，A1，A2，A3分别表示照相机坐标围绕空间世界坐标系XC ,YC , ZC轴的旋转矩阵；、与旋转矩阵对应的三个角度。所以便可以得到矩阵A为：AA=I；A的各行是单位向量且两两正交 乘以一个向量时改变向量的方向但不改变大小的效果的矩阵 其中 T 为三

10、维平移向量，3 个分量分别表示相机坐标系原点在XW ,YW , ZW方向上的三个偏移量，为矩阵。所以，空间世界坐标到图像像素坐标的转换为 其中M1与相机内部有关称为内部参数，M2含有和T 六个由空间世界坐标系与相机坐标系相对位置所决定的六个参量，一旦建立给定的空间世界坐标系，即为常数。上式也可写成 上述方程描述了三维世界坐标点(Xw，Yw，Zw，1)与相应图像 (u,v,1) 之间的关系。故也可写成 如果已知三维世界坐标和相应的图像坐标，将变换矩阵看作未知数，则共有12 个未知数。又因为世界坐标系的X-Y平面与物体所在平面坐标系重合，即Zw=0，所以它的系数对结果不影响,可设为0，因此只有八个

11、参数。3-3 问题二的处理 在第一问模型基础上根据题靶标和靶标的像，求算靶标上圆的圆心在像平面上的像坐标，可分三步进行。 第一，读取靶标的像图，确定边界点的位置。 用 matlab 中的 imread 图像处理工具读取像图，得到像图中每个像素点亮度值的矩阵。对上述矩阵进行二值化处理，将数据导出至 excel 中，然后跟据像素调整行宽和列高并对中间图像部分进行涂色得到像素模拟图表。该像素模拟图表的优点在于，它可以利用 excel 的表格对图像的像素进行模拟，直观展现出每个像素点位置及亮度情况。 第二，利用靶标、像素模拟图中边界点的坐标对应关系，对上式系数进行拟合，然后求出圆心的坐标。根据物理成像

12、原理可知原图中的边界点在像图中仍为边界点。选取五个圆的上下左右四个边界点共20个点作为特征点如下：图4.2.1 选取点散点图(x-y)单位：毫米 图4.2.2 对应像点散点图(u-v)，单位：像素 将以上数据代入模型一的式(12) 对m11、m12、m14、m21、m22、m24、m31、m32、m34这八个系数进行线性拟合，由于参数矩阵乘以任意不为零的常数对结果没有影响，故制定m34=1。计算结果如下：具体坐标数据表点xyuv点xyuv1-506212055115038233922-625010470126250248763-50381198413-50-321061714-38501346

13、914-62-50911855-20621575815-50-621041966-32501427316-38-501191827-2038155861750-322161738-850170711838-5020218695062237651950-62212196103850222802062-50226182带回到式(12)求得圆心坐标，结果如下： x y u v-5050102.431 359.964 74-2050140.556 365.441 585050236.667 079.248 34-50-50104.302 2183.534 4050-50248.858 1214.964

14、 40 第三，结果检验及校正。根据附表一的模拟图像，可以近似比对圆心坐标结果，可知误差仍在允许的范围之内。3-4-1 检验算法及求解从像素图像坐标到空间世界坐标 在以上模型的求解过程中，并没有利用图形中给出的全部信息就得到了结果，在以上求解圆心坐标时，只利用了圆上某四个点所映射出的点确定圆心的像位置。这里面暗含了一个假设，即像上的点都是由求得的靶标位置上的圆的点形成的。但是求得的靶标的位置是不精确的，因此三维空间内圆上的点与像上圆上的点可能会有偏差。因此精度检验可以转换为像上的图形与靶标上的圆的映射关系的检验。 C 具体方法是，首先将像上的点投射到以上模型求得的靶标上，然后计算靶标上相应的圆心

15、距离这些点的平均距离和标准差，平均距离和标准差越小，说明模型越准确。3-4 模型检验和稳定性分析 由问题二的求解，可得到靶标上五个圆的圆心在像素平面坐标系中的坐标，设为 利用模型一中得到的坐标变换，进行坐标逆变换，可求的5个像圆心在靶标上对应的空间世界坐标，进而求的与靶标圆心之间的距离，计算公式如下：3-4-2 计算映射点与圆心距离的均值与方差 有上述可得所有像圆心在靶标上对应点与靶标圆心之间的距离OAi，并计算出所有这些点距离相应圆心的距离的均值与标准差。故可得下数据表： 从以上表可以看出，以 OAi 的平均偏差都不大于一个像素，标准差也控制在2 像素左右标准差系数非常小，说明像平面上的点映

16、射到靶标平面上，得到的点比较好的拟合了原靶标平面上的五个圆，因此有理由相信，经过以上算法计算得到的像平面上的圆心精度很高。%计算精度误差 bound_zb;qj;wc=;jl=;jlj=;nzb=;yx=oA;oB;oC;oE;oD;for i=1:5for j=1:length(zb_boundi(:,1)h=-oa*inv(xs2wl(zb_boundi(j,2),zb_boundi(j,1),1577;ab;ac);nzb=-h(1)*xs2wl(zb_boundi(j,2),zb_boundi(j,1),1577;jl=norm(nzb-yx(i,:);jlj=jlj;jl;endwc

17、=wc;mean(jlj),std(jlj);jlj=;endwcwc(:,1)-12*3.78wc(:,2)./wc(:,1)3-5 稳定性分析 相机在实际拍摄物体时往往有一定的角度，为了便于说明，定义数码相机垂直拍摄物体时所看到的面为基准面。用数码相机进行拍摄，看到的平面都与基准面有一定的夹角，如右图： 图中的平面A表示基准面，物体的形状没有发生变化，但在实际生活中摄像所看到的平面通常是平面，平面和平面之间的夹角为，也即是我们的视线与平面法线的夹角；夹角的变化范围是 0。 其中， 为在世界坐标系中到坐标原点(Xw,Yw,Zw)的距离， 为在像平面中到坐标原点的距离，(x, y)为放大或者缩

18、小的比率。其中，为在世界坐标系中到坐标原点的距离，为在像平面中到坐标原点的距离，k 为放大或者缩小的比率。此时，可以运用蒙特卡罗思想来进行多次模拟，迭代次数至少在1 000 次以上，随机产生满足以上约束的像平面上的坐标的预测值，此产生出来的坐标与问题一中的得到的坐标进行对比，得出结论。 设物体上的点在空间世界坐标中的坐标设为(Xw,Yw,Zw) ，世界坐标系的坐标原点为；图像坐标系的原点为。世界坐标中的相对应的点为，那么它们与相应坐标原点存在着如下的关系：如果用两相机同时观察同一立体对象，可有第一问中单一相机标定方法得出两个相机坐标系与空间世界坐标系的相对位置关系参数 A 和 T.1.建立空间世界坐标系，设原点为靶标圆心，垂直靶 c标面为 Z 轴。2.由坐标转换,利用问题二求出的圆心坐标和靶标圆心 c 在空间世界坐标系中的坐标，可建立5个方程组。3.最小二乘法可求的上述方程参数 M 的最优解，而内 c 参数矩阵 M1 已知，故可求的外参数矩阵 M2，即旋 c 转矩阵 A 和平移向量 T.四 、相机相对定位法4-1求两相机外参数矩阵M24-2 求两相机的几何关系A,T, 两个摄像机之间的几何关系可用以下的A 和T 表示： 由此可由 A1,