利用共面特征点进行迭代姿态估计

1、利用共面特征点进行迭代姿态估计引言照相机的位置及姿势的计算（姿势推定）从一个单一的图 像相对于一个已知的对象在照相机校正，物体识别，并从航 空影像摄影重要的应用。当n个特征点的相对几何形状使用 时，这个问题被称为视角-N点问题（PNP） 3，12，7。本文着重点共面情况下的退化。能够解决这种退化的情 况在实践中是很重要的。在空中的图像，例如，特征点的传 播可能是较大的海拔差。即使地图显示地面不平面或特征点 可采取在建筑物顶上和地面上，这些特征点应如果描述特征 点的几何矩阵可以被认为是2 级而不是3 考虑共面；这个决 定可以通过奇异值 9 的分解矩阵的奇异值对应的振幅采 取。一个通用的算法假定这

2、些特征点共面和未检测到这种情 况是退化的可能产生不准确的摄像机位姿估计。对于共面的特征点的情况下，研究人员已配制封闭形式 解的三个特征点和四个特征点的配置。（三共线点）的P3P 问题可以有多达四种可能的解决方案6,4, 11。另一方面, 在P4P问题有一个单一的理论解3, 12, 1,5当共面点是在 一个普通的结构（无3点共线场景，非共线图像点）。显然，有封闭形式的计算补偿四共面点的单一问题的解 决方法。这个问题可以通过以下推理检测：随着缩放正投影，总有两个可接受的解决方案;两个 姿势互为镜像相对于平行于所述图像平面的平面。对于配置中的对象到摄像机的距离，与其同其沿光轴 方向的深度进行比较的对

3、象的到相机的距离相比是大的，缩 放的正投影是已知的真实透视投影的良好近似。因此，对于这些配置，封闭形式的计算也产生两解。单一的封闭形式解为共面P4P问题点依赖透视信息从图 像选择一个姿势。然而，如果在摄像机距离物体深度之比过 大，这情景可能小于噪声级。在图像中加入随机误差小，单 一的精确解析解将翻转或姿势，会有一个很好的机会结束与 错误的姿势。因此，在这样的结构中，分析方法，提供一个 单一的构成共面的点是不可靠的，应该避免的。本文提出了一种迭代算法，进行同样的短距离和长距离 的图像。这是我们以前的工作2对共面点的应用。从一 个比例正交投影近似的计算，这个过程是能够找到解决方 案，都是可以接受的

4、相机距离物体的深度比在大。在这种情 况下，只有少数的迭代（校正的比例正交投影近似效应）是 必要的收敛，满足透视投影模型的解决方案。如果，在另一方面，照相机靠近观察对象时，图像具有 较强的透视性和算法需要几个迭代收敛于一个单一的可能 的解决方案。一个可能的对象，一是没有更好的算法，提供了两个同 样可能带来比的算法，选择其中两个姿势和一个单一的姿势 是错50%的时间。然而，假设一个计算机视觉系统，旨在帮 助在航母上降落的飞行员；远离载体，跑道的图像可能不包 含足够的信息以允许相对于跑道的飞机构成一个明确的答 案。我们认为，该算法提供两个可能的构成比的算法，是时 间的错50%更有用；通过提供两个可能

5、的构成，第一种算法 有效地警告说，需要更多的信息，将模糊系统，例如从飞机 的惯性传感器。这些额外的信息可以拒绝的姿势，并且系统 可以将其他的姿势在其登陆计划。该算法提供了一个单一的 姿势，没有警告的姿态可能是错的。附加信息还可以被用来 检查的姿势，但是如果姿势拒绝，系统没有姿态信息的着陆 计划。符号在图 1 中，我们显示的针孔相机模型的经典，与它的中 心投影的图像平面，它在距离F （焦点的长度）从Ox和Oy, 指向其轴沿列和列的相机传感器，及其第三沿光轴轴 Oz 的 指责。这些单位是三轴矢量（I, J和K在图中，在焦点的长度和交叉的光学轴与图像平面图像的中心（C）是假定是已知的。M片Mg；mP

6、iCxOFIG. 1. PerspeM片Mg；mPiCxOFIG. 1. Perspeclive projection (叭)and scaled orlhographic projection (pi) (or an ubjecl point 就 and a reference point A/”.图一 透视投影（MI）和比例正交投影（PI）的目标 点Mi和参考点M0。一个物体的特征点M0，Ml,，MI，MN位于 摄像机视界。参照坐标系（ M0u, M0v, M0w） 。我们称之为 M0为对象的参考点。坐标（Ui , Vi , Wi）在参照坐标系的 已知点米。点的图像被称为MIMI，和他们的

7、图像坐标(xi, yi)是已知的。坐标(Xi , Yi , Zi)在摄像机坐标系下的 坐标点的 MI 是未知的,因为在摄像机坐标系统对象构成是 未知的。在下文中,我们将展示如何直接找到对象的旋转矩阵和 平移矢量,没有明确解决的糜点的坐标( X i , Yi , Zi)。 这种方法隐含使用点Mi的缩放正投影PI。构建PI,我们在 从投影 O 的中心处的点 Mi 由正交投影投影 K 上在 Pi 的距离 Z0通过M0平行于图像平面G.这平面是绘制一个平面K。那 么点 Pi 通过透视投影投影到图像平面 G 在圆周率。会得到 同样的结果，如果该对象已被压扁成平面K：近似透视投影 与缩放正投影达假设的不同

8、点 Mi 与摄像机坐标对象的深处 Zi(Xi , Yi , Zi)不是很不同，并且可以全部设置为对象 的基准点M0的深度Z0。定义O投影相机中心G摄像头的图像平面f摄像头的焦距C图片中心Ox, Oy 摄像头的坐标轴相机系统Oz 平行于相机传感器轴坐标系沿光轴 i, j, k 摄像头的单位向量Mo 坐标参考点对象(Mou, Mov, Mow) 对象坐标参照系Mi 物体的特征点(Ui,Vi,Wi ) 点 Mi 的物体坐标坐标参照系(Xi,Yi,Zi) 点 Mi 摄像头坐标系mi 点 Mi 由透视投影图像(疋;) mi 的图像坐标Pi 对象点Mi的缩放正投影图片(塔；) 点 Pi 的图像坐标R旋转矩

9、阵对象T对象平移向量 i视角和缩放正投影之间的校正因子K平行于图像平面 G 平面通过 M0PiMi平面上K的正投影I, J矢量i和j成正比A坐标矩阵(Ui,Vi,Wi )中的对象点Mix矢量与第 i 个坐标xi(1+i)-xoy矢量与第 i 个坐标yi(1+i)-yoB矩阵 A 的伪逆D平面物体的面HxiI 的投影Q点对应的伪逆系统解决方案Io,Jo 伪逆矢量解决方案u 单位矢量正常对象的平面 D入 从I到u的坐标p 从J到u的坐标C复数等于入+ipP, 0 极坐标表示为CR, 0 极坐标表示为C平方a摄像头的仰角卩相机的方位角U, V, W世界坐标中相机位置U, V, W摄像头位置绝对误差E

10、1,E2,E相对误差措施i,j,k 单位矢量为坐标照相机的系统中的第二位置3。问题定义我们的目标是计算旋转矩阵R和翻译对象的向量T。 对象的旋转矩阵R矩阵的行坐标的单位向量,j,k相机坐标系 表示的对象坐标系统(Mou, Mov, Mow)。旋转矩阵可以写成:1Aiw计算旋转，我们只需要计算i和j在物体坐标系。矢量k 然后通过交叉积得到i*j.平移向量，T是凸起，O-的中心之间的向量OMo,与基准 点的Mo，对象的原点坐标的参考帧。它的摄像头坐标是XO, YO, ZO。由于Mo的图像是公知的图像点mo，这种平移矢量 T的对准矢量OM0并等于（的Zo/ ） OMo。因此，要计算对 象的翻译，我们

11、只需要计算其z坐标的Zo。因此，目标姿态 完全由I, J，XO, yo,和ZO所定义。特征点Mi在相机和对象坐标的关系的坐标系可以表示为广p r卜=4jT +r0 bkT0打基本方程我们定义一个确切的姿势作为对象构成，其中目标点弥落在视线的像点英里的线路。这个条件可以通过等式来表示和类似的等式为y坐标。第二平等可以通过使用方程进行扩入_ M仆M厂十竝 展。（1）插入由Z0影响的分数都会导致I=tI=tL勻=、T（）M厂k因此，有充要条件由I, J, X0, Y0和Z0 （其中X0和Y0定义对象原点的图像的位置）这些量满足所定义的位置是一个确切的位置，为Mi,方程MM厂 I =坨（1 + i）

12、- x0,M（）Mi J =必（1 + ）旳以及 k=i*j5。假定算法我们首先注意的是，在基波方程的右边边，术语xi（l+ i ）和yi（1+ i ），点pi的实际上的坐标x i和y i， 它们的特征点的缩放正投影Mi （图1）。事实上在 i的表 达，M0Mi*k 是 MOMI, Zi-Zo 的 z 坐标；k Zo T ,此外，在透视投影Xi=/Xi/Zi。因此（1 k Zo T ,此外，在透视投影Xi=/Xi/Zi。因此璟1 +目）=处/%点Pi是点Pi,其具有相同的x坐标Xi为Mi的透视投 影，和z坐标等于Z0。因此，x坐标的精确公式x； =fXi/ZQ,在所提出的方法的基本思想是，如果

13、给定值是，Eqs。 （2）和（3）提供的方程中唯一的未知数分别为 i 和 j。 I 和J已经被计算的坐标的线性系统，I和J是通过规范I和 J,和Z 0是从I或J称这种算法得到规范，发现一个近似 的姿势，通过求解线性系统，POS （姿势的正字法和缩放）。 事实上，利用我在Eqs的固定值发现物体的姿态。（2） 和（3）发现的姿势，MI有点规模的正投影的图像点P坐标 xi（l+ i ）和yi（l+& i ），正如我们刚刚看到的。POS算法只是 i值不准确的近 似的解决方案，但 有和J已经计算未 知数，更精确的值 可以为 i 我用式 计算（4），和方 程可以用这些更 好的价值又解决 了。最初，我们设

14、置 I= 0。假设我为 意味着 Xi=Xi， Yi=Yi 相当于假设PI和MI相吻合，即，该图像点规模的正投影的对象点。图 2描述了这种配置。我们称这种迭代算法假定（POS与迭代）。 该算法一般使I的值，J值收敛到对应于在几次迭代值正确 的固定值.迭代姿态算法可以由下面的伪代码描述: i(0)=0, n=1Beginning of loopSolve for i, j, and Z 0 using Eqs. (2) and (3) (see next section).When the object points are coplanar, the additional equality i?

15、j 5 0 must be used, and two approximate poses are found.Compute (n) = (l/Zo )MoMi*k, with k二i*j. When the object points are coplanar, two sets of i with opposite signs are found (see Section 8).If | i(n)- i(nT) |二 Threshold, Exit.Else n二n+1. Go to step 2.Exact pose(s)=last approximate pose(s).这种迭代算法

16、的几何解释,见2。求解方程组(POS算法)在前一节中描述的迭代算法，我们必须解决方程同由条件8 i知道值在每个迭代。我们表达这些方程的向 量的点积坐标在对象坐标参考框架:U K w(itl iv 人T =扪(1 + 肉)一札Ui Vi WrJ(I JvJwr = yf(l 4-环)一旳.这些都是线性方程，其中未知数是矢量I和矢量J.其他 参数已知坐标：Xi, Yi, X0, Y0是关于相机中的已知坐标 Mi和M0(MI和M0的图像)坐标系和UI，VI，无线是Mi点 在物体坐标参照系的已知坐标。写公式(5)关于n物点，Ml, M 2, Ml, ，Mn为他 们的图像,由此产生线性系统坐标的未知矢量

17、 I 和 J,Al = 口 AJ = y；(6)其中，A是物点Mi在对象坐标的矩阵坐标参照系中， X为与第i个向量坐标Xi (1+8 i) -XO, Y为与第i个向量 的坐标Yi (1+8 i) - Y0。如果我们有至少三个可见点以外 的M 0,且所有这些点都非共面，矩阵A将具有秩3和线性 系统在最小二乘意义上的解决方案将被赋予I = Bx , J = By其中B是矩阵A的伪逆。我们称之为 B 的对象矩阵。参见2关于非共面的点的情 况下,详细信息。在本文中,我们集中在那里的对象点被称 为是共面的情况。在这种情况下,矩阵 A 的秩为 2,并且所 述组方程被不适于确定超定方程组。然后我们研究使用几

18、何 解释这种退化的局面,必需附加约束。7。一个几何观点我们发现下列关于I的方程有xi=xi (l+si) -xo。几何，这种表达指出，如果I 的尾部取为在 M 0， I 上 M0Mi 项目在点 Hxi 的代数措施所 限定的首位。换句话说，I的前面必须垂直于M0 M I处于Hxi (图3) 属于平面。如果对象有四个非共面特征点， M 0， M l， M 2 M 3,然后I会完全垂直于M 0定义为其尾部向量在M 0和 它的头三个平面的交集M 1, M 0 M 2,和M0 M3中，在分 别为Hxl, Hx2,和Hx3。解析，我们将解决的三个方程的系统，并且该系统的矩阵将具有秩 3。Plane pii

19、mllcl In Lhft image planeCameraFIG” 4” Two object poses giving ihc same image under the SOP ap* proxi mat i on 系统，并且该系统的矩阵将具有秩 3。Plane piimllcl In Lhft image planeCameraFIG” 4” Two object poses giving ihc same image under the SOP ap* proxi mat i on Object pl an已Object plane 2然而，如果特征点属于相同的平面D （但不对齐），

20、那 么矢量 M 0， M 1， M 0 M 2，等等。是共面的，并且垂直于 它们的平面处于HX1, HX2等（如上所定义）的所有相交 于一个单一的直线或接近的平行线是垂直于平面D.矩阵a 的秩仅2.最简单的这样的配置，当我们使用功能M 0 M 1 M 2 只一个三角形。该系统的伪逆的解决方案（7）是一个点 Q 也位于平面D,它最大程度地减少其距离到平面，我们要求 的相应矢量解10 （图3）。显然，这种解决方案的系统不是 唯一的，因为所有的矢量I,其磁头投影到在Q平面D仍然 投射到M0 M1按照HX1,到M0 M2在HX2,等。换句话说 任何矢量I,其在M0尾并且将首部垂直于Q平面D上的线 的解

21、决方案（图 3）。8.共面点的系统解决方案这样的解决方案可以被写为I = Io + Au,（8）其中u是一个单位矢量垂直于D和2在沿着U坐标I的前面。同样由于 L 和 E 是未知的。由于向量 u 是平面 D 的法线，我 们有 M0MI*u=0 因此矢量 u 是矩阵 A 的空间的，该方法的奇 异值分解所提供的第二正交矩阵的最小奇异值大致是在那 里的目标点是不完全共面的情况下是有用的。此计算是对于 给定的分数分布仅进行一次，在同一时间作为对象的矩阵 B 的计算。与此相反，以非共面的特征点的情况下，一般的公式2， 我们现在必须用额外事实，即I和J,必须公式（1）是正交 和公式（2）是相同的长度，以便

22、计算所述未知量 I 和 J 第一 个条件。和第二个条件的结果A2 - M2 =屈-喙胡滕洛赫尔8 发现相同的两个方程三个目标点使用一个完全不同的方法的限制的情况下，并通过平方所述第一方程式，并消除在两个条件之间的未知量的一个解决它们。平 方等式引入了新的解决方案，以使所有的解决方案，必须对 原有的方程进行检查。我们建议，不需要平方所述第一方程 式的替代方法。我们注意到的复数的平方C =九+讥是C2 = A2 - m2 + 2认仏 id C2 = J - I - 2do* JD.因此，我们可以发现L和E作为实部和虚份的平方根的复数的C2的。寻找平方根需要编写C2在极 坐标形式：C2= R, ,withR = (J - I)2 + 4(Io * Jq)2)1/2, and 0 = Arctan ( f if Jo - Io 0, and 0 = Arctan ( j孑J) + 兀 if 必一用 v 0(if Jg - Ig =