SLAM技术及应用介绍

超全SLAM技术及应用介绍

SLAM(simultaneouslocalizationandmapping),也称为CML(ConcurrentMappingand

Localization）,即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放

入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，所谓完

全的地图（aconsistentm叩）是指不受障碍行进到房间可进入的每个角落。SLAM最早由Smith、

Self和Cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现

真正全自主移动机器人的关键。

词语解释

SimultaneousLocalizationandMapping

SimultaneousLocalizationandMapping,同步定位与建图。

SLAM问题可以描述为：机器人在未知环境中从一个未知位置开始移动,在移动

过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式

地图，实现机器人的自主定位和导航。

ScanningLaserAcousticMicroscope

ScanningLaserAcousticMicroscope,激光扫描声学显微镜。

激光扫描声学显微镜是一种强有力的广泛应用于诸如工业用材料和生物医学领

域的无损检测工具，其使用的频率范围为10MHz~500MHzo

LymphocyteActivationMolecule

LymphocyteActivationMolecule,医学用语。

SupersonicLowAltitudeMissile

SLAM—SupersonicLowAltitudeMissile（超音速低空导弹）的缩写，是美

国的一项导弹研制计划。

SymmetricallyLoadedAcousticModule

SLAM是SymmetricallyLoadedAcousticModule的英文缩写[1],中文意

思是平衡装载声学模块。

SatelliteLinkAttenuationModel

SLM是SatelliteLinkAttenuationModel的英文缩写[2],中文意思是卫

星链路衰减模型。

实时SLAM的未来以及深度学习与SLAM的比较

第一部分：为什么SLAM很重要？

视觉SLAM算法可以实时构建世界的3D地图，并同时追踪摄像头（手持式

或增强现实设备上的头戴式或安装在机器人上）的位置和方向。SLAM是卷积

神经网络和深度学习的补充：SLAM关注于几何问题而深度学习是感知、识别

问题的大师。如果你想要一个能走到你的冰箱面前而不撞到墙壁的机器人，那就

使用SLAM。如果你想要一个能识别冰箱中的物品的机器人，那就使用卷积神

经网络。

SfM/SLAM基本原理：一个场景的3D结构是根据点观察和固有的摄像头参数，从摄像头的估

计的运动中计算出来的.

SLAM是SfM（运动恢复结构:StructurefromMotion）的一种实

时版本。视觉SLAM或基于视觉的SLAM是SLAM的一种仅使用

摄像头的变体，放弃了昂贵的激光传感器和惯性测量单元。单眼

SLAM仅使用单个摄像头，而非单眼SLAM通常使用一个预校准的固

定基线的立体相机套件。SLAM是计算机视觉领域所谓的几何方法中

最好案例。事实上，卡内基梅隆大学的机器人研究所将研究生水平的

计算机视觉课程分成了一个基于学习的视觉方法和一个单独的基于几

何的视觉方法的课程。

L运动恢复结构vs视觉SLAM

运动恢复结构（SfM）和SLAM所解决的问题非常相似，但SfM传

统上是以离线形式进行的，而SLAM则已经慢慢走向了低功耗/实时

/单RGB相机的运行模式。今天许多运动恢复结构方面的专家都在为

世界上一些最大的科技公司，帮助打造更好的地图。如果没有关于多

视图几何、SfM和SLAM的丰富知识，像谷歌地图这种成功的地图

产品根本就不可能出现。典型的SfM问题遵循：给定一个单个室外

结构（如大剧场/大体育馆）的大型照片集合，构建该结构的3D模

型并确定每个相机的姿势。这个照片集合以离线形式处理，而且大型

结构重建所需时间从几小时到几天不等。

SfM软件：Bundler是最成功的SfM开源库之一

这里给出一些流行的SfM相关的软件库:

Bundler：一个开源的运动恢复结构工具包

Libceres：一个非线性最小二乘极小化工具（对束调整（bundleadjustment）问题很有用）

AndrewZisserman的多视图几何MATLAB函数

2.视觉SLAMvs自动驾驶

研讨会的组织者之一AndrewDavison表示，尽管自动驾驶汽车是SLAM最重要

的应用之一，但用于自动化载具的SLAM应该有其自己的研究轨道。（而且正如

我们所见，研讨会的展示者中没有一个谈到了自动驾驶汽车。）在接下来的许多

年里，独立于任何一个圣杯级的应用而继续在研究的角度上研究SLAM是有意义

的。尽管在自动化载具方面存在着太多的系统级细节和技巧，但研究级的SLAM

系统所需的不过是一个网络摄像头、算法知识和一点辛劳而己。视觉SLAM作为

一个研究课题对数以千计的博士生的早期阶段要友好得多，他们将首先需要好几

年的使用SLAM的实验室经验，然后才能开始考虑无人驾驶汽车等昂贵的机器人

平台。

谷歌无人驾驶汽车的感知系统

第二部分：实时SLAM的未来

现在是时候正式总结和评论实时SLAM的未来研讨会上的演讲了。

AndrewDavison以一个名叫基于视觉的SALM的十五年的精彩历

史概述开篇，他的幻灯片中还有一个介绍机器人学课程的好内容。

你也许不知道Andrew是谁，他是伦敦帝国学院独一无二的

AndrewDavison教授。他最知名的成就是其2003年的

MonoSLAM系统，他是第一个展示如何在单个摄像头上构建SLAM

系统的人，而那时候其他所有人都还认为打造SLAM系统需要一个

立体的双目摄像头套件。最近，他的研究成果已经对戴森（Dyson）

等公司的发展轨迹和他们的机器人系统的能力产生了影响（如全新的

Dyson360）。

我还记得Davidson教授曾在2007年的BMVC（英国机器视觉大

会）上给出了一个视觉SLAM教程。让人惊讶的是，和主要的视觉

大会上其它机器学习技术的纷繁成果相比，SLAM的变化真是非常之

少。过去八年里，对象识别已经经历了两三次小型变革，而今天的

SLAM系统和其八年前的样子看起来并没有多大不同。了解SLAM

的进展的最好方法是看最成功和最让人难忘的系统。在Davidson的

研讨会介绍演讲中，他讨论了一些过去10-15年里科研界所打造的

典范系统：

MonoSLAM

PTAM

FAB-MAP

DTAM

KinectFusion

1.DavisonvsHorn：机器人视觉的下一篇章

Davison还提到他正在写一本关于机器人视觉的新书，这对计算机视觉、机器人

和人工智能领域的研究者来说应该是一个激动人心的好消息。上一本机器人视觉

的书是由B.K.Horn写的（出版于1986年），现在也到该更新的时候了。

9.K.Horn.1986etulM20042005

机器人视觉的一本新书

尽管我很乐意阅读一本重在机器人视觉原理的巨著，但我个人希望该

书关注的是机器人视觉的实用算法，就像Hartley和Zissermann

的杰作《多视图几何》或Thrun.Burgard和Fox所著的《概率机

器人学》那样。这本关于视觉SLAM问题的书籍将会受到所有专注

视觉研究者欢迎。

演讲一：ChristianKerl谈SLAM中的连续轨迹

第一个演讲来自ChristianKerl,他提出了一种用于估计连续时间轨

迹的密集跟踪方法。其关键观察结果发现：大部分SLAM系统都在

离散数目的时间步骤上估计摄像头的位置（要么是相隔几秒的关键帧，

要么是相隔大约1/25秒的各个帧。

连续轨迹VS离散时间点SLAM/SfM通常使用离散时间点，但为什么不使用连续的呢？

Kerl的大部分演讲都集中于解决卷帘式快门相机的危害，而Kerl演

示的系统还对建模给予谨慎的关注并消除了这些卷帘式快门的不利影

响。

解决视觉SLAM中卷帘式快门相机的危害

演讲二:JakobEngel谈半密集直接SLAM（Semi-DenseDirect

SLAM)

LSD-SLAM（大规模直接单眼SLAM）在2014ECCV上公开，也是

我现在最喜欢的SLAM系统之一！JakobEngel在那里展示了他的

系统并向观众展示了当时最炫酷的一些SLAM可视化。对SLAM研

究者来说，LSD-SLAM是一个非常重要的系统，因为它不使用边角或

其它任何本地特性。通过使用一种带有稳健的Huber损失的由粗到

细的算法，直接跟踪可由图像到图像对准完成。这和那些基于特征的

系统非常不同。深度估计使用了逆深度参数化（和许多其它系统一样）

并使用了大量或相对小的基准图像对。该算法并不依赖于图像特征，

而是靠有效地执行纹理跟踪。全局映射是通过创建和解决姿态图形的

束调整优化问题而执行的，而且这所有都是实时工作的。这个方法是

半密集的，因为它仅估计靠近图像边界的像素深度。LSD-SLAM输出

比传统的特征更密集，但并不如Kinect类型的RGBDSLAM那样

完全密集。

KrTTIoo<Fu«lSLAM)00:00:13.600

(3M«p<k»d)

工作中的LSD-SLAM:LSD-SLAM同时生成一个摄像头轨迹和一个半密集的3D场景重建。这种方

法实时工作，不使用特征点作为图元，并执行直接的图像到图像对准。

Engel概述了原来的LSD-SLAM系统以及一些新成果，将它们最初

的系统扩展成更有创造性的应用并实现了更有趣的部署。

全方位LSD-SLAM是LSD-SLAM的一种延伸，因观察到针孔模型

不能用于大视场的观测而被创造出来。这项成果提出于IROS2015

（2015年智能机器人和系统国际大会）（Carus。是第一作者），

能用于大视场（理想情况下可超过180度）。Engel的演讲很清楚

地表示，你可以拿着相机以芭蕾舞般的动作极限旋转在你的办公室内

走来走去。这是窄视场SLAM最糟糕的应用场景之一,但却在Omni

LSD-SLAM中效果良好。

全方位的LSD-SLAM模型

立体LSD-SLAM是LSD-SLAM的一种用于双眼摄像头套件的延伸。

这有助于获得没有限制的规模，而且其初始化是瞬时的，强烈旋转也

不存在问题。尽管从学术的角度看，单眼SLAM是很激动人心，但

如果你的机器人是一辆30,000美元的车或10,000美元的无人机

原型，你应该有足够的理由使用一套带有两个乃至更多摄像头的套件。

StereoLSD-SLAM在SLAM基准上表现出了相当强的竞争力。

StereoLSD-SLAM在KITTIvehicle-SLAM数据集上得到了优异结果

StereoLSD-SLAM相当实用，能优化SE(3)中的姿态图形，并包含

了对自动曝光的校正。自动曝光校正的目标是让误差函数相对于仿射

光照变化而不变。颜色空间仿射转换的基本参数是在匹配过程中估算

出来的，但也被扔掉以估计图像到图像变换中的错误。Engel在演讲

中称，离群值（outliers）（通常是由过度曝光的图像像素造成的）往

往会带来问题，需要很仔细才能处理它们的影响。

在他后面的演示中，Engel让我们一窥了关于立体和惯性传感器的整

合新研究。为了了解详情，你只能跟踪arXiv上的更新或向

Usenko/Engel本人了解。在应用方面，Engel的演示中包含了由

LSD-SLAM驱动的自动化四轴无人机的更新视频。其飞行一开始是上

下运动的，以获得对尺寸的估计，然后又使用了自由空间的三维测绘

（octom叩）以估计自由空间，从而让该四轴无人机可以在空间中为

自己导航。

运行StereoLSD-SLAM的四轴无人机

LSD-SLAM的故事也是基于特征vs

直接方法的故事，Engel给了辩论双方公正的待遇。基于特征的方法

被设计用在Harris那样的边角之上，而直接方法则是用整个图像进

行对准。基于特征的方法更快（截至2015年），但直接方法在并行

处理上效果很好。离群值可以通过追溯的方法从基于特征的系统中移

除，而直接方法在离群值处理上没那么灵活。卷帘式快门是直接方法

的一个更大的问题，而且使用全局快门或卷帘式快门模型是有意义的。

基于特征的方法需要使用不完整的信息进行决策，而直接方法可以使

用更多信息。基于特征的方法不需要很好的初始化，而直接方法在初

始化上需要更巧妙的技巧。对直接方法的研究只有4年，稀疏方法

则有20多年的历史了。Engel乐观地认为直接方法未来将上升成为

顶级方法，我也这么想。

ComparisonTUT1

Feature-BasedDirect

canonlyuse&reconstructcornerscanuse&reconstructwholeimage

fasterslower(butgoodforparallelism)

flexible:outlierscanberemovedinflexible:difficulttoremove

retroactively.outliersretroactively.

robusttoinconsistenciesinthe•

model/system(rollingshutter)..

decistons(KPdetection)basedondecision(linearizationpoint)based

lesscompleteinformation.onmorecompleteinformation.

noneedforgoodinitiaUzation,

―20+yearsofintensiveresearch~4yearsofresearchksyeszs

Jafecrt*D***CSSLAML

SLAM系统构建上，基于特征的方法vs直接方法

在Engel演讲最后，Davison问到了语义分割方面的问题，而Engel不知道语

义分割是否可以在半密集的接近图像边界的数据上直接执行。但是，我个人的看

法是，有更好的方法可将语义分割应用到LSD类型的SLAM系统上。半密集

SLAM可以专注于靠近边界的几何信息，而对象识别可以专注于远离这同一边界

的可靠语义，从而有可能创造出一个混合了几何和语义的图像解读。

演讲三：TorstenSattler谈大规模定位与地图构建面临的挑战

TorstenSattler的演讲谈论了大规模定位与地图构建。这项工作的目

的是在已有的地图内执行六个自由度的定位，尤其是移动定位。演讲

中的一个关键点是：当你使用传统的基于特征的方法时，存储你的描

述很快就将变得非常昂贵。视觉词汇表（记得产品量化吗？）等技术

可以显著减少存储开销，再加上某种程度的巧妙优化，描述的存储将

不再成为存储瓶颈。

Sattler的演讲给出的另一个重要的关键信息是正确数据的数量实际

上并不是相机姿态估计的很好的置信度测量。当特征点全都集中于图

像的单一一个部分时，相机定位可能会在千里之外！一个更好的置信

度测量是有效正确数据计数，其可以将正确数据所在的区域作为整体

图像区域的一个部分来进行审查。你真正希望得到的是整体图像上的

特征匹配——如果信息散布在整个图像上你能得到更好的姿态估计。

Sattler对未来实时SLAM的演讲是这样的：我们应该关注紧凑型的

地图表征，我们应该对相机姿态估计置信度有更好的理解（如树上权

重下降的特征），我们应该在更有挑战性的场景中研发（如带有平面

结构的世界和在白天的地图上的夜间定位）。

Real-timecameralocalisationagainst

posetracking

移动定位：Sattler的关键问题是使用单张智能手机图片在大城市里定位你自己

演讲四：Mur-Artal谈基于特征的方法vs直接方法

ORB-SLAM的创造者Mur-Artal的演讲内容全部围绕着SLAM

领域内基于特征的方法vs直接方法的争论，而他显然站在基于特征

的方法一边。ORB-SLAM可通过一个开源的SLAM软件包获取，而

且它很难被击败。在他对ORB-SLAMvsPTAM的评价中，似乎

实际上常常失败（至少在基准上）

PTAMTUMRGB-D0LSD-SLAM

在TUMRGB-D基准上的错误通常远高于预期。

Feature-BasedSLAMDirectSLAM

MinimizeFeatureReprojectionErrorPhotometricError

SparseReconsirucuonSemiDenseIDenseReconstruction

基于特征的方法VS直接方法

演讲五：Tango项目和用于图像到图像限制的视觉环路闭合

简单来说，谷歌的Tango项目是世界上第一个商业化SLAM的尝

试。来自GoogleZurich的SimonLynen（之前属于ETHZurich）

带着一个Tango现场演示（在一台平板电脑上）来到了研讨会，并

展示了Tango世界的新内容。你可能不知道，谷歌希望将SLAM能

力集成到下一代安卓设备中。

谷歌的Tang。项目

Tango项目展示讨论了一种

通过在图像到图像匹配矩阵中寻找特定的模式以进行环路闭合的新方

法。这个方法是来自没有固定位置的位置识别成果。他们也做带有基

于视觉的环路闭合的在线束调整。

Tango项目里的循环闭合

这种图像到图像矩阵揭示一种寻找环路闭合的新方法。可在该YouTube视频中查看工作中的算法。

Tango项目的人也在研究将谷歌多个众包地图结合起来，其目标是将

由不同的人使用配置有Tango的设备创造的多个迷你地图结合起来。

Simon展示了一个山地自行车轨迹跟踪的视频，这在实践中实际上是

相当困难的。其中的想法是使用一个Tango设备跟踪一辆山地自行

车，并创建一份地图，然后后续的目标是让另外一个人沿着这条轨迹

走。这个目前只是半有效状态——当在地图构建和跟踪步骤之前有几

个小时时间时有效，但过了几周、几个月就没效果了。

在Tango相关的讨论中，RichardNewcombe指出Tango项目

所使用的"特征"在更深度地理解环境上还是相当落后的，而且看

起来类似Tango项目的方法无法在室外场景中起作用一一室外场

景有非刚性大量光照变化等。所以我们有望见到为室外环境设计的不

同系统吗？Tango项目将成为一个室内地图构建设备吗？

演讲六：ElasticFusion是没有姿态图形的密集型SLAM

日asticFusion是一种需要Kinect这样的RGBD传感器的密集型

SLAM技术。2-3分钟就能获得单个房间的高质量3D扫描，这真

是相当酷。许多SLAM系统的场景背后都使用了姿态图形，这种技

术有一种不同的（以地图为中心）方法。该方法专注于构建地图，但

其诀窍是其构建的地图可以变形，也因此得名ElasticFusion（弹性

融合）。其中算法融合的部分是向KinectFusion致敬——

KinectFusion是第一个高质量的基于Kinect的重建方式。Surfels

也被用作底层的基元。

图片来自Kintinuous,Whelan的ElasticFusion的早期版本

恢复光源：我们一窥了来自伦敦帝国学院/戴森机器人实验室的尚未发

表的新研究成果。其中的想法是通过探测光源方向和探测镜面反射，

你可以提升3D重建的结果。关于恢复光源位置的炫酷视频显示其最

多能处理4个独立光源。

演讲七：RichardNewcombe的DynamicFusion

RichardNewcombe（他最近成立的公司被Oculus收购）是最后

一位展示者。RichardNewcombe是DTAM、KinectFusion和

DynamicFusion背后的人，见到他真是非常酷；他目前从事虚拟现

实领域的研发

Newcombe的DynamicFusion算法。该技术在声望很高的CVPR2015中获得最佳论文奖。

2.研讨会演示

在演示会议期间（在研讨会中间举行），许多展示者展示了他们的

SLAM系统工作中的样子。这些系统中许多都是以开源软件包的形式

提供的，所以如果你对实时SLAM感兴趣，可以尝试下载这些代码。

但是，最亮眼的演示是AndrewDavison展柜上他的来自2004年

的MonoSLAM演示。Andrew不得不恢复了已有15年岁月的计

算机（运行的是RedhatLinux）来展示他原来的系统，运行在原来

的硬件上。如果计算机视觉社区将决定举办一场复古视觉的演示会议，

那我马上就将会提名Andrew应得最佳论文奖。

Andrew复古的视觉SLAM配置

看着SLAM系统专家挥动自己的USB摄像头真是一件有趣的事一

—他们在展示他们的系统围绕他们的笔记本电脑构建周围桌子大小区

域的3D地图。如果你仔细看了这些专家移动摄像头的方式（即平稳

的圆圈运动），你几乎就能看出一个人在SLAM领域工作了多长时

间。当一位非专家级的人拿着摄像头时，跟踪失败的概率明显更高。

我有幸在演示会议期间和Andrew进行了交谈，我很好奇这一系列

的成果（过去15年中）中哪一个最让他感到惊讶。他的回答是PTAM

最让他吃惊，因为其表明了实时束调整执行的方式。PTAM系统本质

上是MonoSLAM++系统但因为采用了一种重量级算法（束调整）

而显著提高了跟踪效果并做到了实时一一在2000年早期Andrew

还认为"实时"是不可能办到的。

第三部分：深度学习vsSLAM

SLAM小组讨论真是乐趣无穷。在我们进入重要的深度学习vs

SLAM讨论之前，我应该说明每一位研讨会展示者都同意：语义对构

建更大更好的SLAM系统是必需的。关于未来的方向，这里有很多

有趣的小对话。在争论中，MarcPollefeys（一位知名的SfM和多

视角几何研究者）提醒所有人，机器人是SLAM的一个杀手级应用，

并建议我们保持对大奖的关注。这令人非常惊讶，因为SLAM传统

上是适用于机器人问题的，但过去几十年机器人并没有什么成功（谷

歌机器人？），导致SLAM的关注重点从机器人转移到了大规模地

图构建（包括谷歌地图）和增强现实上。研讨会上没人谈论过机器人。

L将语义信息集成到SLAM中

人们对将语义整合到今天最出色的SLAM系统中有很大兴趣。当涉

及语义时，SLAM社区不幸地卡在了视觉词袋

（bags-of-visual-words）的世界里，而在如何将语义信息整合进他

们的系统上没有什么新想法。在语义一端，我们现在已经看到

CVPR/ICCV/ECCV上冒出了很多实时语义分割演示（基于卷积神经

网络）；在我看来，SLAM需要深度学习，而深度学习也一样需要

SLAM0

人们经常谈到将语义整合进SLAM但说起来容易做起来难。图片来自Moreno的博士论文（142

页）:密集型语义SLAM

2.端到端学习会主宰SLAM吗？

在SLAM研讨会小组讨论结束时，ZeeshanZia博士提出了一个震

惊所有人的问题，并引发了一场充满能量的讨论，令人难忘。你应该

看看小组成员们脸上的表情。那就像是将一个深度学习的火球投向一

群几何学家。他们的面部表情表达出了他们的困惑、愤怒和厌恶。他

们想：你怎么敢质疑我们？正是在这些稍纵即逝的时刻，我们才能真

正体会到大会的体验。Zia的问题基本上是：在构建今天的SLAM系

统时，端到端学习很快就将取代大部分人工劳动吗？

Zia的问题非常重要，因为端到端的可训练系统已经慢慢进入到了很

多高级的计算机问题中，相信SLAM会是一个例外是没有道理的。

有好几位展示者都指出当前的SLAM系统过于依赖几何，以至于让

完全基于深度学习的SLAM系统看起来不合理了——我们应该使用

学习技术得到更好的点描述，而不要管几何。你可以使用深度学习做

一个计算器，并不意味你应该这么做。

通过卷积神经网络学习立体相似度函数，来自YanLeCun及其合作者

2.端到端学习会主宰SLAM吗？

在SLAM研讨会小组讨论结束时，ZeeshanZia博士提出了一个震

惊所有人的问题，并引发了一场充满能量的讨论，令人难忘。你应该

看看小组成员们脸上的表情。那就像是将一个深度学习的火球投向一

群几何学家。他们的面部表情表达出了他们的困惑、愤怒和厌恶。他

们想：你怎么敢质疑我们？正是在这些稍纵即逝的时刻，我们才能真

正体会到大会的体验。Zia的问题基本上是：在构建今天的SLAM系

统时，端到端学习很快就将取代大部分人工劳动吗？

Zia的问题非常重要，因为端到端的可训练系统已经慢慢进入到了很

多高级的计算机问题中，相信SLAM会是一个例外是没有道理的。

有好几位展示者都指出当前的SLAM系统过于依赖几何，以至于让

完全基于深度学习的SLAM系统看起来不合理了——我们应该使用

学习技术得到更好的点描述，而不要管几何。你可以使用深度学习做

一个计算器，并不意味你应该这么做。

通过卷积神经网络学习立体相似度函数，来自YanLeCun及其合作者

尽管许多小组讨论发言人都使用了有些肯定不行回应，但让人惊讶的

是，却是Newcombe声援了深度学习和SLAM联姻的可能。

3.Newcombe的提议：使用SLAM助力深度学习

尽管Newcombe在深度学习可能如何帮助SLAM上没有提供很

多证据或想法，但他却为SLAM如何可能为深度学习提供帮助给出

了一条清晰的路径。想想看我们使用大规模SLAM已经构建出的地

图以及这些系统所提供的对应——这难道不是一个构建能帮助深度学

习的万亿级图像到图像相关数据集的清晰路径吗？其基本思路是：今

天的SLAM系统是大规模的对应引擎，可以用来生成大规模数据集，

而这正是深度卷积神经网络所需要的。

第四部分：结语

这次ICCV大会上主流的工作（重在机器学习）和本次实时SLAM

研讨会所呈现出现的工作（重在束调整等几何方法）之间存在相当大

的脱节。主流的计算机视觉社区在过去十年内已经见证了多次小型变

革（如：Dalal-Triggs、DPM、ImageNet、ConvNets.R-CNN）,

而今天的SLAM系统和它们八年前的样子并没有很大的不同。

Kinect传感器可能是SLAM领域唯一的最大的彻底变革的技术，但

基础算法仍旧保持着原样。

集成语义信息：视觉SLAM的下一个前沿.来自ArwenWallington博客的脑图

今天的SLAM系统能帮助机器在几何上理解眼前的世界（即在本地坐标系中构

建关联），而今天的深度学习系统能帮助机器进行分类推理（即在不同的对象实

例之上构建关联）。总的来说在视觉SLAM上我与Newcombe和Davison

一样兴奋，因为基于视觉的算法将会将增强现实和虚拟现实转变成一个价值数十

亿美元的产业。但是，我们不应忘记保持对那个万亿美元市场的关注，那个将重

新定义"工作”的市场——机器人。机器人SLAM的时代很快就要到来了。

SLAM的前世今生

SLAM的前世

我之前从本科到研究生，一直在导航与定位领域学习，一开始偏重于高精度的惯

性导航、卫星导航、星光制导及其组合导航。出于对实现无源导航的执念，我慢

慢开始研究视觉导航中的SLAM方向，并与传统的惯性器件做组合，实现独立设

备的自主导航定位。

定位、定向、测速、授时是人们惆怅千年都未能完全解决的问题，最早的时候，

古人只能靠夜观天象和司南来做简单的定向。直至元代，出于对定位的需求，才

华横溢的中国人发明了令人叹为观止的牵星术，用牵星板测量星星实现纬度估计。

1964年美国投入使用GPS,突然就打破了大家的游戏规则。军用的P码可以达到

1-2米级精度，开放给大众使用的CA码也能够实现5-10米级的精度。

后来大家一方面为了突破P码封锁，另一方面为了追求更高的定位定姿精度，想

出了很多十分具有创意的想法来挺升GPS的精度。利用RTK的实时相位差分技术，

甚至能实现厘米的定位精度，基本上解决了室外的定位和定姿问题。

但是室内这个问题就难办多了，为了实现室内的定位定姿，一大批技术不断涌现,

其中，SLAM技术逐渐脱颖而出。SLAM是一个十分交叉学科的领域，我先从它的

传感器讲起。

I离不开这两类传感器

目前用在SLAM上的Sensor主要分两大类，激光雷达和摄像头。

Sens。令类

•激光雷达：单线、多线

Sens。令类

•摄像头：单目、双目、单目结构光、双目结构

光、ToF

这里面列举了一些常见的雷达和各种深度摄像头。激光雷达有单线多

线之分，角分辨率及精度也各有千秋。SICK、velodyne.Hokuyo以

及国内的北醒光学、Slamtech是比较有名的激光雷达厂商。他们可

以作为SLAM的一种输入形式。

这个小视频里展示的就是一种简单的2DSLAM

这个小视频是宾大的教授kumar做的特别有名的一个demo,

是在无人机上利用二维激光雷达做的SLAM。

而VSLAM则主要用摄像头来实现，摄像头品种繁多，主要分为单目、

双目、单目结构光、双目结构光、ToF几大类。他们的核心都是获取

RGB和depthmap(深度信息)。简单的单目和双目(Zed,leapmotion)

我这里不多做解释，我主要解释一下结构光和

ToFo

I最近流行的结构光和TOF

结构光原理的深度摄像机通常具有激光投射器、光学衍射元件（DOE）、

红外摄像头三大核心器件。

结构光原理

3a于单目虹夕卜结构光库理的淙度掘像

头可以同时拿到技探场索的RGB及QepS

Map

这个图（下图）摘自primesense的专利。

一结构光原理

可以看到primesense的doe是由两部分组成的，一个是扩散片，一

个是衍射片。先通过扩散成一个区域的随机散斑，然后复制成九份，

投射到了被摄物体上。根据红外摄像头捕捉到的红外散斑，PS1080

这个芯片就可以快速解算出各个点的深度信息。

这儿还有两款结构光原理的摄像头。

结构光原王里

第一页它是由两幅十分规律的散斑组成，最后同时被红外相机获得,

精度相对较高。但据说DOE成本也比较高。

还有一种比较独特的方案（最后一幅图），它采用mems微镜的方式，

类似DLP投影仪，将激光器进行调频，通过微镜反射出去，并快速改

变微镜姿态，进行行列扫描，实现结构光的投射。（产自ST,ST经

常做出一些比较炫的黑科技）。

ToF（timeofflight）也是一种很有前景的深度获取方法。

传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线

发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度

信息。类似于雷达，或者想象一下蝙蝠，softkinetic的DS325采用

的就是ToF方案（TI设计的），但是它的接收器微观结构比较特殊，

有2个或者更多快门，测ps级别的时间差，但它的单位像素尺寸通

常在lOOum的尺寸，所以目前分辨率不高。以后也会有不错的前景，

但我觉得并不是颠覆性的。

好，那在有了深度图之后呢，SLAM算法就开始工作了，由于Sensor

和需求的不同,SLAM的呈现形式略有差异。大致可以分为激光SLAM

（也分2D和3D济口视觉SLAM（也分Sparse.semiDense、Dense）

两类，但其主要思路大同小异。

SLAM分类

Dense

这个是Sparse（稀疏）的

这个偏Dense（密集）的

ISLAM算法实现的4要素

SLAM算法在实现的时候主要要考虑以下4个方面吧:

1.地图表示问题，比如dense和sparse都是它的不同表达方式，这个需要根

据实际场景需求去抉择

2.信息感知问题，需要考虑如何全面的感知这个环境，RGBD摄像头FOV通

常比较小，但激光雷达比较大

3.数据关联问题，不同的sensor的数据类型、时间戳、坐标系表达方式各有

不同，需要统一处理

4.定位与构图问题，就是指怎么实现位姿估计和建模，这里面涉及到很多数

学问题，物理模型建立，状态估计和优化

其他的还有回环检测问题，探索问题(exploration),以及绑架问题

(kidnapping)0

这个是一个比较有名的SLAM算法，这个回环检测就很漂亮。但这个

调用了cuda,gpu对运算能力要求挺高，效果看起来比较炫。

I以VSLAM举个栗子

一种简单的RGBDSLAM原理框图

我大概讲一种比较流行的VSLAM方法框架。

整个SLAM大概可以分为前端和后端，前端相当于VQ视觉里程计）,

研究帧与帧之间变换关系。首先提取每帧图像特征点，利用相邻帧图

像进行特征点匹配，然后利用RANSAC去除大噪声然后进行匹配，

得到一个pose信息（位置和姿态），同时可以利用IMU（Inertial

measurementunit惯性测量单元）提供的姿态信息进行滤波融合

后端则主要是对前端出结果进行优化，利用滤波理论（EKF、UKF、

PF）、或者优化理论TORO、G20进行树或者图的优化。最终得到最

优的位姿估计。

后端这边难点比较多，涉及到的数学知识也比较多，总的来说大家已

经慢慢抛弃传统的滤波理论走向图优化去了。

因为基于滤波的理论，滤波器稳度增长太快，这对于需要频繁求逆的

EKF（扩展卡尔曼滤波器），PF压力很大。而基于图的SLAM,通常

以keyframe（关键帧）为基础，建立多个节点和节点之间的相对变

换关系，比如仿射变换矩阵，并不断地进行关键节点的维护，保证图

的容量，在保证精度的同时，降低了计算量。

列举几个目前比较有名的SLAM算法：PTAM.MonoSLAM,

0RB-SLAM,RGBD-SLAM,RTAB-SLAMfL