基本矩阵的估计和图像矫正(共14页)

1、基本矩阵的估计(gj)和图像矫正Atsuhiko Banno , Katsushi Ikeuchi Information Sciences 183 (2012) 140150 基本(jbn)矩阵（F矩阵）是计算机视觉领域中最基本和最重要的工具之一。传统的估计矩阵的方法是采用八点算法。首先，对于一个(y )近似矩阵的线性求解需要计算至少八个成对的点。这种线性优化算法缺乏一个基本属性，“基本矩阵秩等于2”的约束，一个基于奇异值分解的方法是强行给它家上约束。但是这样用奇异值分解在最后会造成额外的噪声。几种方法参数体系考虑到秩等于2的约束和非线性五奇异值分解的优化。在本文中，我们提出一个新的包含这个

2、约束条件的非线性最优化参数法。我们采用双四元（DQ）和一个标量参数设定。此外，通过所提出的参数化，我们可以得到2个输入图像的变换。这些变换导致估计的极线矫正的图像对的新方法。这中矫正方法可以处理任何图像对无论极点是在图像内部或外部的。 F矩阵描述的关系是从不同拍摄点拍摄同一场景的图像，它还提供有关位置和摄像机参数的信息。计算F矩阵最常用的是八点算法。要得到至少八个对应的图像点对。在这种算法下，我们可以很容易的使用线性方法来估计矩阵。但是八点算法对额外噪声十分敏感。为了克服这一缺点。哈特利引入一个坐标使图像标准化归一化。但是这种线性方法有一个缺点，那就是排除了秩等于2的约束。为了强加约束，这个F

3、矩阵最终是有奇异值分解重建的。问题是，这个重建的步骤产生了额外的噪声。为了减少噪声，非线性优化应用了七个变化参量来满足秩等于2的约束。关于那七个变量参数有很多先关的方法，我提出用一个标量的双四元数来描述矩阵。这些参数代表对一个图像缩放和旋转。 我们得到的另一个含义：在这些操作矩阵的两个转换与图像。 通过使用这些转换，我们引入了一个新的图像矫正方法。对于立体匹配来说，图像矫正是不可或缺的部分。它把任务由二维搜索变为一维搜索，减轻了任务量。流行的整改方法大致可以分为两类：平面和极性方法。平面矫正地图图像进行透视变换，这是可以理解的，易于实现。然而，这些方法不能处理那些极点位于图像内部的图像对。另一

4、方面，极点矫正能够处理这种情况，但他们需要根据极点的位置进行一些繁琐的预处理。 基本矩阵最麻烦的地方在于它的秩等于2，没有逆矩阵。为了计算基本矩阵，人们提出了八点算法。这是一种易于实现的线性算法，但是对噪声太过敏感。人们又提出一种基于图像坐标归一化和非线性最优化的八点算法。还有很多其他成本函数最小化的方案。一些人采用另一种参数化的七自由度的方法来满足秩等于2的约束。对于线性求解，七点匹配是可以用于基本矩阵的。一行（或列）的矩阵可以表示为其他两行的线性组合（或列）。最近，另一个参数化的七自由度提出了。图像矫正技术与基本矩阵关系密切，所以密集点的匹配是不可或缺的。通过矫正，两图片中所有的极线会水平

5、对齐，将二维搜索变为一维搜索，使得任务大大减轻。本质上来讲，图像矫正是一种转换，如果能通过立体的匹配而抓住对应的图像点对，就可以重建虚拟图相对。 另一方面，一些整改的方法已经(y jing)适用于非标定图像对。非标定图像的矫正(jiozhng)比标定图像更有用，因为准确的估计的相机(xingj)参数是困难的，哪怕只有一个像素的错误就不利于准确匹配。因此，最关注的未校准的图像对矫正方法。正如上面提到的，受欢迎的矫正方法大致分为两种类型：平面和极性的方法。平面矫正方法利用射影变换地图的极点无穷。这些方法很容易实现，但他们不能处理的极点都位于图像区域图像对。极性矫正方法解决了这个问题，将图像的直角坐

6、标系为极系统原点的极点。而这些转变偏离原来的图像矫正的概念，没有问题可以实现准确匹配。不过这些方法需要一些繁琐的预处理根据极点的位置。对极几何对极几何描述的是场景中的三维点和一对两个图像之间的关系。给定一个场景中三维点P被映射到I和I0两图像中，这三个实体包括一对极几何（图1）。点C和C0表示分别图像I和I0相机中心。三点P，C和C0组成平面，这就是所谓的核面。每个图像平面与极平面相交，交线在图像平面上，称为极线；一点投影在一个图像会有一个对应点位于其他图像平面的极线上（极线约束）。这个约束是指当我们有两个图像I和I0，和一点P在I上，如果我们要寻找在i0上对应点p0，仅沿极线搜索就可以了。假

7、设I平面上的点对图像和I0平面上的点都是是P的投影点，增加了齐次坐标的二维图像坐标，这样笛卡尔坐标下P和P转换为射影坐标和。采用这种画法，极线约束表现为以下形式： F是一个3x3的基本矩阵。基本矩阵的有秩等于2的约束，这是由于所有极线必须通过图像的极点。八点算法的重新审视 对于(duy)给定的图像对，常用八点算法来线性的估计基本矩阵。对应的点和，由线性系统得到(d do)方程： （2）其中(qzhng) 其中f由基本矩阵获得： f是一个九维向量，因为基本矩阵有一个模糊尺度，所以有八个独立变量，因此在许多情况下，加强制约束获得至少八个对，我们可以通过求解线性方程（2）的估计矩阵。在这个阶段，该矩

8、阵不满足秩等于2约束。为了满足这一矩阵的秩2约束，选取满足约束和的Frobenius范数最小的作为F矩阵。首先，对无秩2约束条件下的优化矩阵进行奇异值分解分解（SVD）如下： 如果有在上述过程中无噪音，第三个奇异值，应该是0。换句话说，第三个单数值可以被带到噪音。因此，以下矩阵可以取代作为约束矩阵的秩等于2： （7）这个重构矩阵被视为基本矩阵。本程序给出了估计矩阵的秩为2的约束，但它引入附加噪声。 为了解决这个问题，大多数工程在下一步采用非线性优化方法。基于约束对应点必须位于极线，下面的最小化代价函数： （8）表示(biosh)极线上点P0和对应(duyng)点P在图像(t xin)的坐标系统

9、下的距离的平方。提出了2阶矩阵的参数化方法 我们所提出的方法的出发点是公式的形式（7）。这种形式表示的矩阵由两正交矩阵SO（3）和秩等于2的对角矩阵。如果不失一般性，我们可以指定对角矩阵为（1，s，0），其中 因为一个基本矩阵规模含糊。在一般情况下，当一个正交矩阵的行列式是1，矩阵是一个旋转矩阵，可以用一个单位四元数描述。四元数其中，旋转矩阵可以表示如下： （9）独立变量的数目是三；例如q1，q2和q3，对旋转矩阵的表示。如果公式（7）中的正交矩阵U和V是旋转矩阵，我们可以采用双四元（DQ）来参数化。 不幸的是，不是所有的正交矩阵都是旋转矩阵。正交矩阵的行列式可以是1个或1，正交矩阵的行列式是

10、1的不是一个旋转矩阵。 然而，我们总是能把公式（7）中的两个正交矩阵转换为两旋转矩阵，通过改变对角矩阵中的另一个参数的标志s。 如果在方程（7）中的U是1，你是U用（1,1,1）U替代，S被S转换。这种转换时不合适的，因为基本矩阵具有尺度模糊。有四种情况要考虑，根据组合两者的决定因素： 应用上述程序，方程（7）成为两旋转矩阵和对角矩阵的乘积。旋转矩阵用式（9）那样的有三个参数的单位四元数描述，而对角矩阵只需要单参数。因此，七自由度的一个矩阵是：采用上述参数，几何成本(chngbn)函数，方程（8），改写与七参数如下：然后，上述的成本函数(hnsh)可以通过参数使其最小，同时(tngsh)保持秩

11、等于2约束： 图2一个原始图像变换；图像I使用齐次坐标是位于和图像的旋转是由转化来的。 图3。极线。它们被表示为变换后的图像和平面之间的交叉(jioch)线，包括线x= y= 0；平面包括线x = y = 0被称为(chn wi)核平面。在这个图中，我们展示了两个核平面和两个极线。图片(tpin)矫正 由两个旋转矩阵和对角的参数化产生一种新的矫正方法使所有极线平行。 （14）作出以下替换：式（14）改写如下： 上述方程表示如下比例关系： （16）更具体 （17）在符号，代表二维矢量组成的前两个元素，即，x和y作为的三位矢量的元素。方程（16）的几何解释如下。首先，图像I使用齐次坐标是位于和图像

12、的旋转是由转化来的。我们称由和映射而来的图像平面作为变换后的图像。值得注意的是，三维空间的原点不是相机的中心，而是投影坐标系统的（0,0,0）。然后，变换后的图像进行垂直投影到平面上的Z = 0。这个正交投影是基于Z分量消失的。式（17）和方程（16）表明，任何一对在投影平面上的对应点位于同一穿过原点的直线。换句话，由转换后的I平面和一个含x=y=0的直线的平面有一条交线，这条交线就是极线。由变换后的平面和同一含x=y=0的平面相交于一线，这就是相对应的极线。那个包括线x = y = 0平面被称为核面。上述考虑导致一种新的图像矫正。让我们考虑一个任意平面平行线x = y = 0：Z轴。我们称这

13、种平面为参考平面。所有参考平面和极线之间的交线（其中包括线x=y= 0），应平行于彼此。将转换后图像平面上的一个点沿着线（核平面与平面z =常数之间的交线）投影到参考平面。图4中箭头所示的投影。然后再投影点在参考平面上满足式（16）。因此(ync)，任何从转换后平面再投影到参考平面的投影点满足方程（14）并且这个在参考平面上的重投影的图像和极线平行。通过保持在重新推算过程中的Z值，所有重新投影点在参考平面上的构成矫正图像。通过改变(gibin)Z的值，矫正过程是可逆的：由一个矫正后的点可以找回它对应的原始点，唯一的。 图4。矫正图像：图像重投影到参考平面的矫正图像。在重新投影的过程中，一个(y

14、 )像素在变换后的图像平面映射沿极线平面和垂直于Z轴。实验通过模拟数据评价矩阵 为了评价DQ方法，同时为了比较其他现有的方法，我们利用一些人工数据集。如现有的方法有七个参数，我们选择了以下三种方法：极点参数华（EP），两极点参数（BEP）和巴托丽的参数化（BP）。EP(18)为了确保一个矩阵是奇异的，一列被描述为其他两列的线性组合。方程（18）有八参数；af最大绝对值被设置为1。BEP （19） 图5。相机(xingj)配置。配置1（平行）和配置2（垂直）。 图6。算法(sun f)仿真结果。上限：配置1，较低：配置2。在这个(zh ge)参数化，两极点位于（，ad中绝对值最大的置1。BP(2

15、0)这个参数是基于式（7）。巴托丽 4 提出使用一个(y )标量的六个旋转矩阵表示欧拉角。例如，R（x）代表一个(y )欧拉角X绕X轴旋转矩阵。这四个参数化方法（EP，EP，BP和DQ），我们最小化成本函数（8）方法。作为非线性最小化的初始解，我们利用线性解的秩等于2约束根据式（7）。平均计算时间（毫秒）计算一个矩阵的结构1，N= 30 = 2。为了模拟，我们准备了一些人工数据集。我们随机产生N个点在三维世界和人工图5中的480个640像素的图像对，一个平行的相机对（配置1）和一个直的（配置2）。首先，我们用线性求解器来估计初始解与虚拟图像上的重新投影点。然后，我们用四参数化方法得到最终的基本

16、矩阵。在估计的基本矩阵后，这些方法基于剩余误差量的计算。误差被定义为一个点的极线和其他图像上的对应点之间的距离。通过改变噪声的水平和数字，我们比较了这些方法的准确性。在本文中，我们重复100次为3维点，并利用平均残余误差。 图6显示结果。上图是下配置1，较低的是在配置2。在这些图，“svd”指由方程（7）的初始解。关于噪声的水平，我们将点数固定为30，并增加了高斯噪声的研究像素的投影点的二维图像坐标值。虽然错误是RG上升增加，这四种方法（EP，EP，BP和DQ）有大约在配置相同的精度。 有关用于计算基本矩阵点数量，我们使用RG = 2。它被发现的精度这四种参数化方法几乎是相似的。这些结果表明，

17、我们的参数化方法是有竞争力的与其他现有方法。为了明确四种方法的性能，我们进行了T检验。根据结果证实，1%个显著水平无显著差异。 表1显示了计算时间使用Athlon64 X2运行在2.41 GHz。他们是平均处理时间计算一个矩阵的结构1，n = 30和R = 2。这表明(biomng)，该方法比两种方法对BP的方法和竞争性的竞争。实验(shyn)结果 我们使用三个图像集，证明所提出(t ch)的方法，称之为“house”，“棱角”和“wall”。我们用手持相机捕获这些图像。所有的图像是480个640像素的大小和采取的商业数字相机，佳能IXY数码。在所有的图像集，有趣的点是由Harris算子 13

18、 和候选提取通过一个窗口匹配的基础上归一化互相关。然后，线性求解器的常规的八点算法被施加到得到的初始溶液。八个对应的对被用作输入材料包括噪声。拒绝总离群，我们使用RANSAC 10 ，从而获得可靠的初始估计。给定一组图像对，因此相应的对的列表可以自动获得。 我们可以使用任意平面平行于z轴作为参考平面的图像矫正。要确定参考图像独特的，我们需要一个含有相应的变换后图像平面形心的参考平面；该参考平面的法线向量图像的house 图相对（图7（a）是这类研究的一个典型；它是由照相机拍摄的一个大致平行的运动和旋转的线代表一分钟；用我们的方法得出的极线。图7（b）显示变换后的图像沿Z轴被观察到。在这些二维图

19、像，直线通过原点（x = y = 0）对应一个极线；此外，任何一对与图像相同的线斜率对应的极线。图显示在两个图像三对相同斜率的线分别对应极线。这个图展示了我们一个重要的事实：在3.4节中描述的转换是把极转换到的Z轴。矫正后的图像如图7所示。我们发现任何匹配的区域位于同一水平线，显示了极线水平对齐。注意，所提出的方法得到的矫正图像不类似于由平面矫正或极性矫正得到的图像。 图像集“棱角”被相机光轴运动约束。这样的运动必然位于极点的里面的图片（图8（a）。通过使用我们的方法，我们可以使用相同的程序，这样的图像对。图8（b）显示变换后的图像观察到沿Z轴；注意极点已经移动到原点。 我们的方法矫正的图像显

20、示在图8（c）。所提出的方法的一个关键的优势是，该方法适用于这样的图像对，即使是其极点的位置，没有任何必要的预处理。沿着图像的水平扫描线，我们可以在这两个矫正图像找到匹配的区域。图7。（a）house”。线是极线。（b）转换(zhunhun)后图片在Z=0平面上的正交投影。每个线通过原点（x = y = 0）对应(duyng)一个极线。此外，在两幅图像中同一梯度的线对应极线。（c）我们的方法矫正的图像。图8。（a）样本(yngbn)图像对集“棱角(lngjio)”。（b）极点位于图像内的投影图像。在这种情况下，任何(rnh)过原点的线也是一个极线。（c）影像经我们的方法纠正。图9。（一）样本图

21、像对集合的wall ，这是一个平面的主要场景。（乙）我们的方法(fngf)纠正的图像。表2图像(t xin)矫正的平均误差（像素）。第三(d sn)样本集的wall”，在图9所示，是一个主要的平面场景。这种情况被认为是估计基本矩阵时最难的一个场景时。这些数字表明，使用双四元数和一个标量参数可以正确估计极线。表2通过四个参数化方法获得的三个真实图像集显示的平均误差（21）。所有的非线性优化方法实现误差小于一个像素，同时保持秩2约束。该表表明，在这四个参数化方法的精度是相似的，所提出的方法与其他现有的方法是有竞争力的。 至少一个已知的限制的方法是在DQ。如果极点位于图像坐标系的原点（在大多数情况下是位于左上角的图像区域），我们的方法不适用。这是因为在该方法中，如图7（b）和图8（b），极点移动到Z轴。当极点位于原点，由和根据式（17）变换而来的平面垂直于Z轴，这意味着对变换后的图像平面上的所有点都具有相同的Z值。 因此，矫正后的图像转换成一条线。幸运的是，有极少数的情况下，极点位于左上角。结论 我们提出了一种估计矩阵涉及双四元数和一个标量的新方法。该方法包括保持秩2约束的非线性优化。由于F矩阵由两个3X3旋转矩阵与一个秩为2的对角矩阵组成，我们揭示两张图像之间的转换。这些转换产生一种新的图像矫正。我们的矫正方法适用于以同样的方式图像对，