Repmatch：城市建筑中重复结构的三维重建(汇报总结)

2019Repmatch:城市建筑三维重建汇报人：问题提出问题：在城市建筑三维重建中存在相同重复结构（如：建筑的窗户都为相同结构，单纯依靠匹配重建会出现相同结构的误匹配，导致重建失败）这个问题可以追溯到特征匹配器，它需要匹配不存在独特特征的结构，在匹配中要保证宽基线且避免中断序列，同时要保证模糊的重复结构特征的正确匹配。概述本文提出Rapmatch（前提条件：重建图像均为相机移动拍摄获得）1）通过基线引导特征匹配应对重建中的重复结构，通过RANCAS方法来引导曲线匹配一致性来区分匹配是否正确。通过所有最近邻匹配的集合，RepMatch可以在较宽的基线上获得大量匹配结果。这反过来又为姿态估计提供了稳定性。【特征匹配需要获得大量的宽基线匹配，以防止图像序列分裂。】2）通过使用5点法或者8点法，通过最小匹配集来估计多个姿态，再次期间可以通过RANSAC在获得合理的姿态估计。然而，RANSAC能够容纳的错误匹配的数量是有实际限制的。由于RANSAC算法本身依赖于随机估计的异常值删除。所以，RANSAC很少应用于最近邻匹配集中。为什么在Repmatch中不使用Ransac在现代城市建筑环境中，特征匹配的质量仍然不够。这表现为城市建筑中重复结构与周围相似结构匹配鲁棒性差的特点，从而造成破碎的重建。RepMatch的灵感来自非常成功的向导匹配框架，在已知三维点的情况下，能够可靠地传播姿态如图所示：图（a）为破碎重建结构图（b）使用Repmatch方法获得的重构图像图（c）为稠密重建图使用BF匹配和RANSAC离群去除组合作为特征匹配方案，从非常嘈杂的匹配中产生全局匹配一致性函数。虽然通常是准确的,BF易受重复结构的影响，容易引起大面积的错配。对于重复结构问题，我们观察到，重复的结构往往包含微观纹理，这使得通过非常严格的BF参数获得一组可靠的匹配(通常严重褶皱)成为可能。这些方法被用来训练带有嵌入极外约束的局部BF曲线，以验证周围区域的几何一致性匹配。如图所示：比较具有相同输入匹配的三种方法。匹配对在两个视图中以相同的颜色着色为正确匹配关系。BilateralFunctionsandMatchConsistencyInnovative创新点

RepMatch全局运动建模的双边函数创新1：RepMatch引入了一种可靠地获取核心匹配集的方法。创新2：整合BF与対极几何积分找到一个适用于一般的双视图姿态估计引导方法存在难度。

基于引导关系的二维平面搜索已经在论文[Ultra-widebaselineaerialimagerymatchinginurbanenvironments.]中进行了相关研究，但它们都是场景特定的，而且在定义平面数量或划分平面边界时，常常会产生显着的公式复杂性。关注于极外几何制导也存在相关研究[Matchselectionandrefinementforhighlyaccuratetwo-viewstructurefrommotion.]。虽然这可以给出非常精确的解，但是如果没有良好的匹配关系，就很难确定极限几何，这反过来又使性能不可预测。BilateralFunctionsandMatchConsistencyRepMatch主要在BilateralFunctions函数上构建而成。重复结构的重建问题将其解释为匹配一致性。重复的结构会导致大量一致但错误的匹配，产生如图(c)所示的大量错误一致的匹配错误。图(b)所示，极外约束也可以去除许多错误匹配，但也会留下大量的错误对应。这就引出了我们的重新匹配框架，用于集成极线和匹配一致性曲线。RepMatch1）RepMatch引入了一种可靠地获取核心匹配集的方法，即使是对于具有显著重复结构的图像对具有挑战性的情况也是如此。2）提出了一种利用径向基函数与极上几何相结合的方法，对核集进行鲁棒扩展。ReMatch在没有运动的情况下，视觉上完全重复的图案的图像可以无错误地匹配。通过捕捉微观灰度差值作为特征点的描述子。为什么可以通过微观灰度变化可以处理重复结构匹配问题？

我们之前的猜想都是重复的结构匹配问题是由于多个相同的描述符造成，但是事实却是，在重复的结构中由于细微的描述符变化被图像噪声(由运动或其他源引起)忽略这种变化才出现的结果。RepMatch大致的概述重复结构匹配问题分成三个单独的健壮步骤来确保稳定性。(a)核心匹配，由于严格的BF阈值，Score可以可靠地恢复。(b)用极线(位姿)进行几何验证。核心匹配可能是简化后的核心区域，不正确的姿态估计可能会丢弃正确的匹配点。因此，几何验证使用RANSAC搜索与核心区域匹配和每个子集之间的几何关系。这避免了正确的匹配点，但可能保留一些误匹配。(c)通过局部BF曲线进行训练，可以去除剩余的误匹配点对，发现更多匹配。(d)所有经过验证的匹配点对合并。RepMatch匹配一致性的解释如图所示，由于图像的重复性，许多不匹配会出现“一致性”然而，即使在重复的场景中，错误的匹配也可以被随机分配到许多潜在的重复结构的相似位置，这使得错误模式不太可能与原有的正确模式相一致。匹配的扩张计划一旦核心集特征点找到后，理论上就有可能从核心集估计的极外几何(pose)中恢复更多的匹配假设。实际上，将核心集匹配与匹配假设聚类合并用于联合几何验证。如果我们使用联合几何验证方法就无法避免引入错误的特征点，但是，在我们实际中我们将保留这些存在错误的特征点集合，虽然这些点集鲁棒性较差。然而我们可以通过将剩下的不太可能是一致的特征点集合，通过最后一个BF匹配一致性检测步骤来删除错误点。由此RepMatch的框架本质上是具有强大鲁棒性，因为它避免了BF对假匹配一致性的脆弱性和对极几何对外点影响的脆弱性。匹配的扩张计划----核心区域棋盘匹配。

图1与加高斯噪声的自适应噪声相匹配。噪声方差是即时对比的一个百分比。平滑的颜色表明，重复结构的核集估计具有很强的抗噪能力。Experiments01实验部分Structure-from-MotionSystems

探讨了RepMatch在较少控制的现代城市图像上的表现，以及它在整个SfM管道中的作用。将从三个现代场景的重构:(1)室内;(2)街;(3)绕着一个街区走进行重建三维结构。所采用的稀疏重建系统是视觉SfM。显示性能与RepMatch,BF和可视化SfM的默认匹配。虽然没有一个序列是特别宽的基线，但视觉SfM有多个中断，显示了现代城市侦察结构的困难性质。实验部分Structure-from-MotionSystems

采用BF对应减少了断裂，但重构后的点云存在严重的杂散框架和虚墙误差。实验部分Structure-from-MotionSystems

采用RepMatch允许非碎片，高质量的重建。即使在重复结构很少的室内环境中，RepMatch也能改善断裂的图像的重建性能。实验部分Structure-from-MotionSystems

两种算法对比试验，我们可以观察发现，采用BF的三维重建不能很好的处理特相关重复区域的重建问题。但是我们的算法可以很好的处理这种宽基线重建问题实验部分Structure-from-MotionSystems

这为基于深度相机的楼层平面图恢复提供了图像信息补充的可能性LOREMIPSUMLOREMIPSUMLoremipsumdolorsitamet,consecteturadipisicingelit.LoremipsumdolorsitametLoremipsumdolorsitamet,consecteturadipisicingelit.Loremipsumdo