ORBSLAM2学习总结.PPT

1、.1 orb-slam 2 orb-slam 2：用于单目，双目和rgb-d相机的开源slam系统.2目录01 背景02 orb-slam2主要贡献03 双目slam和rgb-d slam 发展状况及特点04 系统框架05实验结果对比.3背景视觉slam仅仅通过一个单目相机就能够完成，然而深度信息无法从单目相机中观测到；由于不能从第一帧当中进行三角化，单目视觉slam系统的启动往往需要多视角或者滤波技术才能产生一个初始化的地图；单目slam可能会造成尺度漂移（scale drift）,以及在探索中执行纯旋转（pure rotations）的时候可能会失败。 通过使用双目或者rgb-d相机将会解

2、决这些问题，并且能够成为一种更加可靠的视觉slam的解决方案。.4orb-slam2主要贡献 这是第一个基于单目，双目和rgb-d相机的开源slam方案，这个方案包括，闭环检测，重定位和地图重用；基于rgb-d结果表明，光束平差法（ba）比基于迭代最近点(icp)或者光度和深度误差最小等最先进的方法更加精确。通过匹配远处和近处的双目点和单目观测，双目的实验结果比直接使用双目系统更加精确。针对无法建图的情况，提出了一个轻量级（lightweight）的定位模式 ，能够更加有效的重用地图。.5双目slam（ stereo ）发展状况：最早双目slam系统是paz等人 ，基于条件独立分割和克服扩展卡

3、尔曼滤波slam， 特点能够在大场景中运行，第一个使用近特征点和远特征点的双目slam系统，使用逆深度参数化进行估计； strasdat等人采用在关键帧的内部窗口和外部窗口的姿态图上执行ba联合优化。 mei等人提出了（rslam），提出了在活跃区域执行ba相关优化，即使在全局一致性没有被执行时，也能够进行闭环，同时也会扩大回环两侧的活跃区域.6双目slam pire等人最近的s-ptam运用了局部ba，但是，这种方法缺少大量的回环检测； engel等人最近的lsd-slam，是一种半稠密直接方法，对高梯度的图像区域中的光度误差最小化。 优点：不依赖特征，能够在纹理不清（poorly text

4、ured）或者运动模糊（motion blur）的环境中获得更高的鲁棒性。缺点：受滚动快门或者非朗伯反射的未建模效应影响而严重下降。.7双目slam我们的双目slam工作： 对局部关键帧集采用ba优化； 当闭合一个回路时，我们的系统首先在回环的两端进行校准； 之后进行姿态图优化，通过全ba将回环产生的累积漂移最小化.8 rgb-d slam发展状况：最早 rgb-d slam系统是由newcombe等人提出的kinectfusion，该方法将传感器的所有深度数据融合成一个体积稠密模型，该模型使用icp算法来跟踪相机姿态。缺点：由于体积的表现形式和缺乏回环检测，只能工作在小的工作场所。 whel

5、an 等人提出kintinuous，能够在大环境中运行。通过使用滚动循环缓冲器和包括使用位置识别和姿态图优化的回环检测来完成。.9rgb-d slam第一个流行的开源rgb-d slam是由endres等人提出，基于特征的系统，前端采用提取和匹配特征点和icp算法来计算帧与帧之间运动。后端采用闭环检测约束来执行姿态图优化。 kerl 等人提出dvo-slam，在关键帧与关键帧约束之间优化姿态图，这种约束通过视觉里程计计算最小化光度和深度误差来实现。最近whelan等人提出的elasticfusion，建立在基于surfel的环境地图，一种以地图为中心（map-centric）的方法。忽略了姿态

6、以及利用对地图的非刚性形变来执行回环检测，重建和定位的精度十分优秀。.10rgb-d slam我们的rgb-d slam工作： 目标是长时间并且全局一致定位，而不是建立有很多细节的稠密地图； 后端是基于ba优化以及建立一个全局一致的稀疏地图重建； 更加轻量级，能够在标准的中央处理单元（cpus）上面运行；.11系统框架.12系统框架 建立在基于特征的单目orb-slam的基础上（增加了双目和rgb-d接口） 三个主要的并行线程： 跟踪模块：对相机的每一帧图像进行定位，寻找局部地图的特征匹配，应用纯运动ba使重投影误差最小化； 局部建图：运用局部ba管理局部地图并且优化它； 闭环检测：执行姿态图

7、的优化检测大回路和纠正累计漂移误差。 在姿态图优化之后，会启动第四个线程来执行全ba（full ba），计算整个系统最优结构和运动的结果。.13orb slam2系统特点基于dbow2的嵌入式位置识别模型，能够达到重定位，防止跟踪失败（如遮挡），已建图场景重初始化，回环检测；使用相同的orb特征进行跟踪，建图和位置识别任务。这些特征在旋转和尺度上有良好的鲁棒性，对摄像机的自动增益（autogain）和自动曝光（autoexposure）以及光照变化具有良好的不变性；能够迅速的提取和匹配特征，满足实时操作的需求，在基于词袋模型的位置识别过程中，显示出良好精确/召回性能。.14orb-slam v

8、s orb-slam2 单目orb-slam可能出现尺度漂移，而双目或者深度的信息将会使得尺度信息可观测。对输入的特征预处理，处理双目特征点，分成远处特征点和近处特征点。近双目特征点的定义是：匹配的深度值小于40倍双目或者rgb-d的基线，否则的话，是远特征点。特点：近特征点对每一帧进行三角化。远特征点提供准确的旋转信息，但尺度和平移信息较弱。.15orb-slam vs orb-slam2使用双目和rgb-d相机可以仅仅从一帧中获得深度信息，我们不需要像单目情况中那样做一个特殊的结构来进行运动初始化。 利用纯运动ba(motion-only) 优化跟踪线程中相机姿态； 利用局部ba优化关键帧的局部窗口和局部建图线程的特征点; 利用全ba（full ba）在回环检测之后优化所有的关键帧和特征点，如果在优化运行时检测到新循环，我们将中止优化并继续关闭循环，这将再次启动全ba优化。.16实验结果对比 .17 在 kitti 08序列中估计轨迹monocular orb-slam stereo orb-slam2估计轨迹（黑色）实际运动轨迹（红色）.18其他先进方法准确性比较我们的方法是唯一一种基于光束平差法的，并且在大多数序列中比其他的方法都更加优秀.19实验结论orb-slam2是第一个开源视觉slam系统，它可以使用单目、双目和rgb-d输入。系统重定位能力对已知环