大模型具身智能机器人ORB-SLAM3基本原理与安装运行

大模型具身智能机器人ORB-SLAM3基本原理与安装运行1主要内容23ORB-SLAM3基本原理ORB-SLAM3库文件安装ORB-SLAM3编译安装与运行4UMI示例数据集1ORB-SLAM3基本原理ORB-SLAM3系列算法演进4PTAM（ParallelTrackingandMapping），首次实现了跟踪和建图的并行化，使用非线性优化，引入了关键帧机制ORB-SLAM（ParallelTrackingandMapping），在PTAM架构基础上，增加了地图初始化和回环检测的功能，优化了关键帧选取和地图构建的方法ORB-SLAM2，在ORB-SLAM架构基础上，增加了地图初始化和回环检测的功能，优化了关键帧选取和地图构建的方法VI-ORB-SLAM，ORB-SLAM2基础上，增加了惯性测量单元IMU（InertialMeasurementUnit）ORB-SLAM-Atlas，在ORB-SLAM2基础上，增加了无限量断开的子地图管理系统并可以将它们无缝合并ORB-SLAM3，在ORB-SLAM2基础上，增加了对单目、双目、RGB-D和鱼眼相机的支持，引入了惯性测量单元(IMU)来辅助单目视觉SLAM并且增加了Atlas多地图的支持；同时，回环检测为了支持多地图的模式，提供了一种叫WeldingBA的优化方式。PTAM（ParallelTrackingandMapping）算法5跟踪线程：不修改地图，只是利用已知地图来快速跟踪；建图线程：专注于地图的建立、维护和更新PTAM架构及流程1.并行化跟踪和建图：PTAM成功地将相机跟踪和环境建图的过程并行化处理，这提高了处理效率和实时性。传统的方法通常是串行处理跟踪和建图的步骤，而PTAM通过并行化这两个过程，能够在进行跟踪的同时不断更新地图。2.使用非线性优化：PTAM是第一个在后端使用非线性优化方法，而不是传统的滤波器（如卡尔曼滤波器）的方案。非线性优化方法能够更准确地处理复杂的相机运动和环境变化，从而提高系统的稳定性和精度。3.关键帧机制：PTAM引入了关键帧机制，而不是处理每一帧图像。关键帧机制的核心思想是只选择一些重要的图像帧（关键帧）进行精细处理和建图。通过连接这些关键帧，可以有效地估计相机轨迹和构建环境地图。不仅减少了计算量，还能保持地图和轨迹的准确性。ORB-SLAM（OrientedFASTandRotatedBRIEFSLAM）算法6基于特征点的单目视觉SLAM，在PTAM架构基础上，增加了地图初始化和回环检测的功能，优化了关键帧选取和地图构建的方法ORB-SLAM架构及流程1.特征提取和匹配使用ORB(OrientedFASTandRotatedBRIEF)特征，ORB是一种高效且具有旋转不变性的特征描述子。提取关键点并计算其描述子，用于跟踪和匹配图像帧之间的特征点。2.跟踪（Tracking）线程通过提取ORB特征点，在视频流中逐帧跟踪这些特征点。使用初始位姿估计和重定位技术来确定相机的初始位置。跟踪局部地图并进行优化，根据规则输出关键帧。3.局部建图（LocalMapping）线程插入新关键帧，并验证和修剪最近生成的地图点。使用局部BA(BundleAdjustment)进行优化，创建新的地图点并修剪冗余的关键帧。4.回环检测（LoopClosing）线程分为回环检测和回环校正。使用BOW(BagofWords)快速匹配回环闭合。使用Sim3计算和转换，最后进行回环融合和优化，实现地图的全局一致性。ORB-SLAM2算法7在ORB-SLAM架构基础上，增加了地图初始化和回环检测的功能，优化了关键帧选取和地图构建的方法ORB-SLAM2架构及核心优化1.多类型相机支持支持单目、双目和RGB-D相机2.完整的SLAM方案不仅能实时构建地图，还能重复使用已创建的地图，提供回环检测和重新定位功能，增强系统的鲁棒性和长期性能。3.光束法平差优化（BA）在后端采用光束法平差（BA）来优化相机轨迹和地图。BA方法在单目和双目摄像头输入下都能实现米级尺度的精确轨迹评估。4.轻量级定位模式此模式允许系统在未知区域中进行视觉里程计追踪，即使在未建图的情况下也能保持定位。VIORB-SLAM（Visual-InertialMonocularSLAMwithMapReuse）算法8在ORB-SLAM2基础上，增加了惯性测量单元（InertialMeasurementUnit），实现了一种紧耦合的视觉惯性同步定位与建图（Visual-InertialSLAM）系统VIORB-SLAM优化方法1.闭环重用提出了一种紧耦合的视觉惯性同步定位与建图（Visual-InertialSLAM）系统，能够实现闭环和地图重用，从而在已经映射的区域实现零漂移定位。2.IMU初始化方法提出了一种新的IMU初始化方法，能够在几秒钟内高精度地计算尺度、重力方向、速度以及陀螺仪和加速度计的偏差。ORB-SLAM-Atlas算法9在ORB-SLAM2基础上，增加了无限量断开的子地图管理系统并可以将它们无缝合并等操作。ORB-SLAM-Atlas架构及流程1.多地图管理Atlas拥有不限数量的子地图关键帧的词袋数据库。词袋数据库（BagofWords,BoW）技术通过描述子地图中的关键帧，确保了高效的场景重识别。这样，当相机重新进入已建图区域时，系统能够迅速识别并定位。Atlas可以管理多个不相连的子地图，提升在追踪丢失或动态场景下的鲁棒性和准确性。2.多地图操作新地图生成：相机跟踪丢失时，系统不会停止建图，而是立即生成一个新的子地图。地图融合：Atlas能够无缝地融合不同子地图，将多个子地图（或局部地图）合并成一个全局一致的地图。混合地图中的重定位：当相机在环境中丢失跟踪后，Atlas能够重新确定相机在地图中的位置和姿态。ORB-SLAM3算法10在ORB-SLAM2基础上，增加了对于IMU融合的支持，兼容鱼眼相机模型，并且增加了Atlas多地图的支持；同时，回环检测为了支持多地图的模式，提供了一种叫WeldingBA的优化方式。ORB-SLAM3架构及流程1.多种相机类型支持单目相机：单个相机；双目相机：两个相机立体视觉，能够更准确地感知深度信息；RGB-D相机：RGB-D相机，既获取颜色信息（RGB），又获取深度信息（D），提供更丰富的环境感知能力；鱼眼相机：能够获取更大视角的图像。2.惯性测量单元(IMU)结合了惯性测量单元（IMU），特别是与单目相机结合使用。IMU提供加速度和角速度数据，可以补充视觉信息。3.Atlas多地图支持系统可以同时管理和使用多个地图。4.WeldingBA算法用于回环检测（loopclosure）线程，在多地图模式下优化地图之间的连接和一致性，确保整体地图的准确性和优化效果。2ORB-SLAM3库文件安装ORB-SLAM3相关库文件安装流程112ORB-SLAM3需安装的依赖项包括：Eigen3、Pangolin、Boost、OpenCVEigen是C++开源的线性代数库，提供了快速的有关矩阵的线性代数运算,包括解方程等功能。许多上层的软件库都使用Eigen进行矩阵运算，包括DBoW2、g2o、Sophus等优化方法，因此版本要求3.1.0以上。两种安装方式：1.apt安装方式；2.源码编译安装方式下载：gitclone/eigenteam/eigen-git-mirror编译以及安装：cdeigen-git-mirrormkdirbuildcdbuildcmake..sudomakeinstall移动头文件：sudocp-r/usr/local/include/eigen3/Eigen/usr/local/includeDBoW2、g2o和Sophus在Thirdparty文件夹里面;DBoW2是一个图像数据库，离线训练好了ORB库和SIFT库;g2o是一个图优化库，将非线性优化与图论结合起来;Sophus是基于Eigen开发的李代数库，支持关于李群和李代数运算。ORB-SLAM3相关库文件安装流程213ORB-SLAM3需安装的依赖项包括：Eigen3、Pangolin、Boost、OpenCVPangolin是基于OpenGL的计算机图像学的函数库，用于3D绘图。下载：gitclone/stevenlovegrove/Pangolin安装Pangolin所需依赖项：sudoapt-getinstalllibglew-devsudoapt-getinstalllibboost-devlibboost-thread-devlibboost-filesystem-dev3.编译以及安装：mkdirbuildcdbuildcmake..make-jsudomakeinstallORB-SLAM3相关库文件安装流程314ORB-SLAM3需安装的依赖项包括：Eigen3、Pangolin、Boost、OpenCVBoost是为C++语言标准库提供扩展的一些C++程序库的总称。Boost库是一个可移植、提供源代码的C++库，为标准库的后备，是C++标准化进程的开发引擎之一。官网下载下载后解压：tar-xzvfboost_1_83_0.tar.gz3.进入解压完的文件开始安装：sudo./bootstrap.shsudo./b2installORB-SLAM3相关库文件安装流程415ORB-SLAM3需安装的依赖项包括：Eigen3、Pangolin、Boost、OpenCVOpenCV是图像处理、计算机视觉的函数库，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。版本建议安装4.4.0及以上。（演示使用的为4.8.0）官网下载opencv,GitHub下载opencv_contrib将Opencv4.8.0及opencv_contrib压缩包解压（注意解压完的文件要到opencv_contrib-4.8.0），：

安装依赖项：sudoapt-getinstallbuild-essentialsudoapt-getinstallcmakegitlibgtk2.0-devpkg-configlibavcodec-devlibavformat-devlibswscale-devsudoapt-getinstallpython-devpython-numpylibtbb2libtbb-devlibjpeg-devlibpng-devlibtiff-devlibjasper-devlibdc1394-22-devsudoaptinstallcmake-qt-gui在opencv4.8.0文件夹中新建文件，命名为build；打开build文件夹，在终端中执行以下命令（最好在build文件下打开终端执行，并且如果多次执行下面cmake指令可能出现问题，解决方法就是直接将build文件夹删除，重新运行）：mkdirbuildcdbuildcmake-DCMAKE_BUILD_TYPE=Release-DCMAKE_INSTALL_PREFIX=/usr/local-DOPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-4.8.0/modules-DOPENCV_GENERATE_PKGCONFIG=ON..ORB-SLAM3相关库文件安装流程416ORB-SLAM3需安装的依赖项包括：Eigen3、Pangolin、Boost、OpenCV完成build之后，执行下面的指令进行编译及安装：make-j$(nproc)sudomakeinstallsudoldconfig设置：PKG_CONFIG_PATH:exportPKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig验证opencv4是否安装完成（查看版本信息）：pkg-config--modversionopencv4最终测试，为了验证OpenCV是否正确安装好，在opencv-4.8.0/samples/cpp/example_cmake文件夹下打开终端，输入指令：cmake.make./opencv_example3ORB-SLAM3编译安装与运行ORB-SLAM3编译安装18打开源码文件，开始分步安装：1.在ORB-SLAM3文件夹下，执行下面命令完成DBoW2的编译：cdThirdparty/DBoW2mkdirbuildcdbuildcmake..-DCMAKE_BUILD_TYPE=Releasemake-j2.在ORB-SLAM3文件夹下，执行下面命令完成g2o的编译：cdThirdparty/g2omkdirbuildcdbuildcmake..-DCMAKE_BUILD_TYPE=Releasemake-j3.在ORB-SLAM3文件夹下，执行下面命令完成Sophus的编译：cdThirdparty/Sophusmk