面向室内场景的空地多机器人协作环境感知

1、面向室内场景的空地多机器人协作环境感知出，其中大部分方法都是基于被动的视觉传感器。Quattoni和Torralba提出了一种基于单目视觉的场景识别模型2，它成功地结合了局部的和全局的判别信息；为了处理机器人穿过相同的区域由于方向的变化而导致认知的失败，文献3提出了一种用于描述>1同场景的精简的全局特征；Cummins和Newman使用全景摄像头提出了一种基于图像特征的地图构建算法t4; Cadena等人5提出一种基于bag-of-words和条件随机场的立体视觉系统很好的完成了场景认知任务。尽管被动的视觉传感器非常有效，并且被广泛的使用在移动机器人导航任务中，但是它不能工作在黑暗的环境

2、中，而且对于光照的变化非常敏感。除了采用视觉传感器进行场景认知以外，激光传感器也被广泛的使用。相比较于视觉传感器，激光传感器具有更为广阔的视角，不受到光线条件的影响，同时它们可以提供被测场景中物体的详细距离信息。大量小?同的深度传感器被幵发用于移动机器人获取周围环境信息，例如2-D激光测距仪（例如SICK或Hokuyo)、PMD、Kinect以及LeciaHDS3000激光传感器等。在参考文献6中，采用2-D的深度图对3-D激光进行表述，并在其中提取特征点用来表述场景从而完成认知任务；Magnusson等人提出了一个新的场景认知算法，采用法方向分布变换作为3-D扫描数据的全局描述；Spin i

3、mages是一种经典的3-D激光特征描述方法，用于表述3-D点云的局部几何特征，然后通过匹配的方式完成场景和物体的识别认知四旋翼飞行器的研究热点主要有两个方面：（1)飞行控制算法的研究。主要目的在于保证四旋翼飞行器具有稳定的飞行姿态，以及在受到外界干扰时可以保持飞行的稳定性并快速回到预设的姿态。（2)基于四旋翼飞行器上配备的视觉、激光等传感器，完成其自主导航、地图构建以及环境探索等功能。由于本文并未涉及四旋翼飞行器的姿态控制算法的设计，因此主要针对上述的第二个方面给予讨论介绍。四旋翼飞行器的悬停是其执行其他更为复杂任务的前提，有大量的论文在这方面做出了很好的研究。文献9通过机载摄像头和IMU究

4、成四旋翼飞行器自动悬停在指定标志上方的任务。为了估计四旋翼飞行器的姿态，采用图像处理的方法对指定的标志进行检测与估计。在标志检测部分采用了标志的几何特征作为约束条件检测出图像中标志的位置，然后结合IMU数据，釆用几何形变分析估算出四旋翼飞行器与地面标志的相对位姿，最后将获取的姿态信息传递给PID控制器，实时调整飞行器的运动姿态，完成自主悬停的任务。采用两个同心圆作为标志完成飞行器的位置估计，实现其自主悬停的功.能文中采用了图像处理中的区域增长算法对图像进行分割，并釆用图像矩究成标志的识别，然后通过圆形标志的形变分析完成其相对位置估计，最后使用LQG-LT控制器_ 2 -大连理工大学硕士学位论文

5、实现了其自主悬停的任务。霍夫线变换和颜色分割算法被用来对人工构建的路面区域进行提取，通过计算得到的路面边缘线完成四旋翼飞行器的高度和位置的估计，同时釆用光流法来估算其相对于路面的速度，最后使用分层的控制策略完成了四旋翼飞行器的悬停控制11。文献12中的四旋翼飞行器系统结合了基于视觉的飞行控制和基于前向立体视觉的障碍物检测模块有效地完成了视觉定位、障碍物检测等问题。文中系统的关键在于使用硬件时间戳电路同步了 IMU和视觉数据，有效的解决了 USB传输图像数据的延迟问题，提升了基于视觉的位姿估计的准确性和鲁棒性。通过结合视觉和IMU信息估算出飞行器在三维空间中的位置和速度信息，通过非线性控制器完成

6、了自主悬停的任务。视觉算法中采用了经典的Lucas-Kanade金字塔算法进行速度分析，同时通过对图像中标志的几何分析得到了位置信息13。为保证四旋翼飞行器与地面移动机器人长期的协同工作，需要四旋翼飞行器可以自主的降落在地面移动机器人上，以减少四旋翼飞行器不必要的作业时间，同时可以为四旋翼飞行器进行电力补充。SIFT(Scale Invariant Feature Transform)特征匹配的方法被用来完成地面降落平台的标志检测，使用单应性技术和随机釆样一致性算法(Ransac)来估计飞行器相对于降落平台的三维方位，然后将该信息反馈给飞行器的姿态控制器，从而完成飞行器以期望的方位和速度降落到

7、移动平台上的任务14。文献15采用机载的球面相机和IMU获取四旋翼飞行器周围环境信息和自身的姿态信息，通过平均光流并结合IMU姿态解算的数据，估算出四旋翼飞行器的相对运动状态，从而利用非线性PI控制器完成了自主悬停的功能。为了完成垂直降落，文中采用了垂直光流作为四旋翼飞行器的运动观测，使用了非线性控制器作为四旋翼飞行器的自主降落控制器。文献16利用机载的两个朝下的摄像头作为图像传感器，结合了两种不同的图像处理方案估计四旋翼飞行器与降落表面的距离，以实现其自主降落的功能。首先将两摄像头采集到的图像使用直方图匹配的方法，寻找匹配重叠区域，进而估算相对距离。为了精化估算结果，采用模板匹配的方法来实时

8、跟踪两图像中的特异物体（采用标志），来进一步精化其相对距离，从而完成自主降落的任务。使用同心圆作为自主降落标志，通过图像处理技术对图像中的同心圆进行检测识别，进而完成四旋翼飞行器的位置估计，同时利用光流传感器、声纳获取的相对速度信息和高度信息，采用级联HD控制器完成了对速度和位置的控制，从而实现了四旋翼飞行器自主降落和位置控制等任务I7。文献18提出了一个空地多机器人系统，完成了飞行器自主起飞、跟踪和降落到地面移动机器人平台上等任务。根据飞行器所处高度的不同，采用了基于地面标志和光流互补的方法，完成了其三维位置、运动状态的估计，并利用EKF完成了多传感器数据的融合。-3 -面向室内场景的空地多

9、机器人协作环境感知此外，通过安装在四旋翼飞行器上的视觉传感器，采用KLT特征跟踪算法构建了一个视觉里程计，用于完成自然场景中四旋翼飞行器的位置控制“9;为完成四旋翼飞行器对未知运动目标物体的跟踪，文献20提出了一种基于光流计算的方法很好的完成了任务。文献21为四旋翼飞行器构建了一个基于视觉的导航系统，主要通过四旋翼飞行器预先采集得到的序列图像建立场景路径数据库，然后当它再次经过该路径的时候，通过局部特征点提取、匹配的方式找到数据库中最相似的场景，从而完成了其定位的功能。1.3本文主要工作本文提出了一个空地协作环境感知系统，完成的主要工作如下。(1)提出了地面移动机器人的场景认知方法。移动机器人

10、釆用3-D激光作为环境感知传感器，为获得更多的局部纹理、轮廓等信息，将3-D点云数据转化为2-D的方位角图（BA图）进而在其上提取ORB局部特征对场景进行表述，然后结合从场景的3-D激光数据中提取的全局特征，完成了测试场景的数据库场景匹配，最后通过将匹配对映射回激光点云图进行匹配度的计算，从而完成了场景认知的过程。(2)设计并完成了四旋翼飞行器对地面目标的检测、跟踪与相对位姿估计。在本论文中为实现相对位姿的估计，地面目标采用人工设计的起落标志，通过采用阈值化、轮廓提取和标志识别方法完成了在自然场景中对标志物的检测过程，但由于检测算法的局限性，其对于相似的标志以及标志存在局部遮挡时，无法获得正确

11、的识别，因此将该检测算法与跟踪算法相结合，有效的克服了上述问题，同时进一步的提高了算法的运行效率。在检测得到起落标志的位置后，采用了图像矩对标志中的字母r进行分析，估算出了四旋翼飞行器与地面移动机器人的相对偏航角，最后对起落标志外圆环的进行圆形形变分析，得到了四旋翼飞行器的剩余的5自由度相对位姿，为接下来四旋翼飞行器的跟踪、悬停、起落、协同认知等工作打下了坚实的基础。(3)完成了四旋翼飞行器与地面移动机器人协同工作的系统方法设计以及软硬件平台的构建。本文完成了四旋翼飞行器的硬件改造，使其可以获取视觉数据、高性能的机载计算能力以及远程的地面监控站，采用跨平台的QT软件实现了获取飞行器数据、实时显

12、示、处理图像算法的地面站软件平台。与此同时，本文给出了四旋翼飞行器与地面移动机器人之间协同工作的系统方法，包括为完成协同任务四旋翼飞行器的控制系统设计。由于该系统相对较为复杂，因此对于完成特定任务（跟踪、悬停、自主降落以及协同感知等）的控制器部分正处在编码和调试阶段。本文共包含四章，其主耍内容安排如下所示：-4 -1绪论1.1研究背景与意义自从1961年美国Unimation公司生产推出了第一台工业机器人以来，机器人技术在人类的生产与生活中得到了广泛的实际应用，帮人类解决了很多人力无法完成的任务。其中地面移动机器人的应用研究是机器人领域内重要的研究课题之一。其研究内容涉及计算机视觉、控制理论以

13、及多传感器数据融合等诸多领域。地面移动机器人具有广泛的应用价值，它可以在条件恶劣甚至危险的环境中很好的完成任务。例如，危险环境的勘察，灾区救援，森林火灾的监控等方面。而移动机器人的环境感知是其执行复杂任务的前提条件，一般在其上配备视觉传感器、里程计、红外传感器、激光传感器等多种传感器设备，但由于其本身条件的限制，其感知得到的数据通常具有严重的局限性。例如在室内环境下，由于其自身高度的限制，对于处在较高的桌面上的物体无法获取其信息，则无法完成与之相关的任务；在室外环境下，地面机器人只能观测到其所在局部场景的环境信息，且观测的角度受限，使其在复杂的环境下无法得到决策所需的足够信息。但是由于地面移动

14、机器人对载重没有过多的限制，因此可以携带较重的化学电池以保证其长久的续航能力。.四旋翼飞行器是最近几年内机器人领域研究的热点，它是一种电动的、能够垂直起降的多旋翼式遥控/自主飞行器。由于其具有良好的飞行灵活性和机动性能，因此特别适合在室内、城区和丛林等近地面环境幵展监视、侦查等任务，具有良好的军事和民用前景。其上通常配备GPS、惯性测量单元（IMU)、电子罗盘、气压计以及摄像头等多种传感器。由于四旋翼飞行器具有一定的飞行高度，因此其感知得到的视觉数据通常是周围环境的全局信息，丢失了很多的局部信息。相比较于地面移动机器人，四旋翼飞行器载重通常有所限制，因此无法携带续航能力较强的化学电池，以至其作

15、业时间较短，无法完成长时间的任务。综上所述，地面移动机器人与飞行机器人在环境感知方面虽然存在各自的感知缺陷，但是两者感知的数据具有很大程度的互补性，同时通过四旋翼飞行器降落在地面移动机器人上进行充电，可以弥补其续航能力较短的缺陷，因此基于两者的协同工作就显得非常的必要与重要。1.2国内外研究现状与发展趋势对于地面移动机器人本文主要究成了其自主场景认知的工作。自主场景认知与机器人的导航、定位以及地图构建息息相关。大量的用于复杂室内环境的场景认知算法被提- 1 -大连理工大学硕士学位论文第一章简要介绍了地面移动机器人与四旋翼飞行器协同工作的意义，分别给出了地面移动机器人和四旋翼飞行器近期的发展现状

16、，并给出了本文的主要工作。第二章对本文提出的地面移动机器人场景认知方法进行了详细的论述。该方法的一大特色在于采用3-D激光传感器进行环境感知，然后采用计算机视觉的方法对其进行处理，很好的结合了两者的优势与特点。同时为提高系统的计算效率，在比较了 SIFT、SURF和ORB描述符的鲁棒性与运算时间后，本文采用了鲁棒性较强且时效性最好的ORB特征作为场景的局部描述符，最后给出了整个认知系统的框架及干扰实验和算法的时间统计。第三章中提出了四旋翼飞行器对地面目标的检测与跟踪系统。为实时完成人工标志的检测，本文采用了几种经典的图像处理算法完成了标志的检测过程，但由于为了保证时效性采用的检测算法相对没有那

17、么复杂，导致其在相似标志出现以及标志出现遮挡时无法正确识别，从而为其引进了实时的压缩跟踪算法，最后通过两个干扰实验说明了该检测跟踪系统的鲁棒性与实时性。为完成四旋翼飞行器与地面移动机器人的协同工作，需要对两者的6自由度相对位姿进行实时的估计，在论文第四章中给出了相应的估计算法。同时本章介绍了四旋翼飞行器的硬件改造和软件系统的设计与实现。为验证本文中使用的相对位姿估计算法的有效性，本章的最后给出了相应的定性实验分析。-5 _面1?室内场景的空地多机器人协作环境感知2地面移动机器人自主场景认知自主场景认知与机器人的导航、定位和地图构建等任务有着密切的关系。当机器人在复杂的环境中执行任务时，可能会因

18、为各种未知的干扰而造成其定位失败。若已知机器人所处环境的先验地图，则可以通过识别出当前场景在先验地图中的位置来恢复其定位，进而继续完成它的任务，因此机器人的自主场景认知具有重要的意义。对于室内场景，尽管没有室外场景中存在的大量复杂干扰，但室内场景中存在大量凌乱的物体以及频繁发生的动态干扰，也为鲁棒的室内环境认知带来了巨大的挑战。本章提出了一个基于3-D激光的场景测量技术和一个新的位置识别方法，有效的解决了场景中动态行人或其他物体带来的随机千扰，可以实时存效的完成室内场景认知任务。2. 1 3-D激光点云数据的表述2. 1. 1 3-D数据表述方法概述本文采用自行构建的3-D激光传感器作为地面移

19、动机器人获取环境信息的传感器，如图2.1 (a)所示，主要通过电机云台旋转带动一个2-D激光传感器（SICK LMS 291,180°扫描，0.5°分辨率）获得3-D激光数据，并将其安装在一个SmartR0B2移动机器人上构成了本文的地面移动机器人平台。图2.1 (b)给出其激光传感器的极坐标系统。a I 1 IilBIImm,(a)(b)图2. 1文验平台。（a)搭载3-D激光传感器的SniartR0B2移动机器人；（b)激光传感器的极标系统Fig. 2.1 Experiment platform, (a) SrnartROB2 mobile robot with a 3

20、-D laser scanner, (b) Correspondpolar coordinates of laser scanner.-6 -大连理工大学硕士学位论文通过电机控制激光传感器俯仰角度从-30°到+30° ,则可获得大约60000多个激光点的3-D点云数据，见图2.2所示。为了能够有效的进行场景认知，我们需要对该3-D激光点云进行表述，以方便后面的特征提取等处理。通常可以采用两种方式进行表述。第一种方式是3-D数据表述，除了原始激光点云表述外，通常还可以采用立体栅格进行表述。该方法主要采用八叉树等方法在3-D空间中划分区域，然后将原始激光数据点进行栅格分配，最后

21、采用精简的栅格数据对原始点云进行表述。采用3-D数据表述虽然可以获得场景的深度以及几何信息，但其缺少了场景中物体的颜色、纹理等局部信息，因此造成了在该表述下，特征大多数为全局或局部的几何信息，其特异性与鲁棒性较差，不便用于场景认知的工作。除此之外，3-D点云数据也可以釆用2-D图像进行表述，常用的方法有深度图和方位角图（BA图）22。虽然采用2-D的图像形式进行3-D点云的表述损失了原始3-D点云中的深度信息，但也带来图像局部纹理、轮廓等明显的图像信息，这类特征更具有稳定性和特异性，同时可以方便我们采用图像中的特征提取技术对其进行处理，因此本文的场景认识系统采用了 2-D的图像表述。图2. 2

22、原始3-D点云的室内场景表述Fig. 2.2 Indoor scene is represented by raw 3-D laser point cloud.2.1.2 3-D激光点云的2-D表述对于3-D的激光点云数据，常用的2-D表述方式有深度图和BA图两种。深度图是通过将激光测距仪测量得到的深度值映射为灰度图上的灰度所形成的二维图像，将图2.2的原始3-D点云数据映射为灰度图，如图2.3 (a)所示。由于激光测距仪测量得到的深度范围要大于8位灰度图像上的像素值的范围，因此导致距离相近的深度值对应在深度图中具有相同的灰度值，这就造成了在同一个平面上的激光点对应于深度图上具有相似的灰度值，

23、使得图像失去了很多局部的细节，例如纹理，轮廓等信息。相比较之下，-1 -面向室内场景的空地多机器人协作环境感知BA图的计算更加依赖于相邻激光点之间的位置关系，其形成的2-D图像具有更好的图像细节与清晰的轮廊，因此本文采用BA图对原始激光点云进行表述，相应的图2.2的BA图见图2.3 (b)。其计算方式是将某个激光点的扫描线与该激光点与其邻域激光点连线构成的夹角映射到灰度图像中。在文献22中邻域激光点主要采用了水平的和竖直方向上的激光点，这里所说的相邻的激光点是指其存储结构上的相邻，实验中激光点的存储釆用了二维的向量容器，对应的第(/J)点表示在激光扫描过程中第/次扫描的第j个激光点。通常单独使

24、用水平的或竖直方向的BA图则只关注在一个方向上梯度的变化情况，为了综合考虑两个方向的影响，本文采用45°邻域方向上的激光点构造夹角生成凡4值，则具体的计算公式如下所示：狀丨-拉、+-么川 xcos(pBA丨,-arccos、丨、(2.1 )(乂,./一+丨,./+丨)+(少/J-只+1,./+1),/+1.7 + 1 又:+1,./ + 1 少/,./ ) /,/+1.7+1 ?少/+1,/+1) + 1 ?-/,/+1,./ + 1 )(p - arcsm .,=(2.2)+尤+< 乂心片丨+少二“丨+心“丨其中(X, z, ,)表示点(/,_/)在3-D激光坐标系中的空间坐

25、标。譯,(a)(b)图2.3图2. 2原始激光点Z；?的2-D表述。（a)深度图；（b)BA图Fig. 2.3 Raw laser point cloud of Fig. 2.2 is represented by 2-D representation, (a) Range image, (b)Bearing angle image.2. 2 ORB特征提取在得到原始激光点云的BA阁后，需要在其中寻找稳定的局部特征点，用于进行场景的匹配识别。对此常用的图像局部特征是SIFT (Scale-Invariant Feature Transform) 23】禾丨I SURF (Speeded-Up

26、Robust Feature) l24】特征，SIFT特征自提出以来一直被广泛使用- 8 -大连理工大学硕士学位论文在物体识别，图像拼接和视觉地图等方面，可是由于其过重的计算负担，因此很难应用于实时的系统中；而SURF特征即是对SIFT特征计算时间的加速，虽然其有效的降低了计算时间，但对于实时系统的应用仍然存在效率问题。本文采用计算速度更快，鲁棒性与SURF同等程度的ORB (Oriented FAST and Rotated BRIEF) 进行局部特征的提取。2. 2.1 Or i ented FAST 特征点提取ORB 的特征点检测器建立在 FAST (Features from Acce

27、lerated Segment Test)特征检测器丨26】的基础上，FAST特征点检测器以其优异的计算特性而被广泛使用在诸多实时应用系统中。FAST特征点检测器实质上是一种角点检测器，主要通过将候选角点P与以其为圆心，r为半径的圆周上的像素点进行比较而得。通常选取半径r = 3的圆周，共16个像素点，如果在圆周上存在个连续的像素点比候选点P的像素值/,加阈值/还要大，或者比/p-/还要小，则将当前候选点定义为特征点，图示说明见图2.4所示。为了加速算法的计算过程，首先仅测试候选点P圆周上的4个像素点，即图2.4中编号为1，5, 9和13的像素，若四个像素点中的至少3个点的像素值比/p+/大或

28、比/-/小，则认为当前点有可能是一个特征点，然后下一步按照之前的准则进行测试；若不满足条件，则认为当前候选点不是一个特征点。國画I . 醒HSfllH-穩_腰圃醒.賵國_ a ?醒 mamH? H 睡_匪 KK'' HlHBBS图2. 4 12个点的分割测试角点检测Fig. 2.4 12 point segment test corner detection.FAST特征点能产生较强的边缘响应，ORB特征采用Harris角点测量127】对其关键点-9 -面向室内场景的空地多机器人协作环境感知进行排序。若要产生个关键点，则设置其阈值让其产生多于个关键点，然后根据Harris测量对

29、其进行排序，取出前TV个关键点。Harris角点测量即对FAST找到的特征点计算其Harris角点响应，然后根据计算得分进行排序。下面对Harris角点检测器做简单的介绍。设灰度图为/，采用一个带权值的窗口（通常采用高斯窗口函数）Mx,>0在图像上移动，设其在x轴方向上移动距离为U在；方向上移动距离为V，由此可以定义图像像素强度变化的公式如下：E(u,v) = wx,y)lx + u,y + v)-Ix,y)f(2.3)其中w(x,_y)是定义在点(X,处的高斯窗口函数；I(x, V)为图像在(X，V)点处的像素值。由于我们要找的是角点，而它通常出现在像素值变化较大的地方，因此需求解如下

30、公式：max E(u,v) = max wx, y)lx + u,y + v) Ix,y)(2.4)对/(x + v，_y + v)在(x,y)点处进行泰勒展开，可得以下公式：(?,V) ? w(x,；;)/(X,y) + ul + v/? J(x，夕)2(2.5)对上述公式展幵可得(u,v)l +2WV/Z,+V2/、2(2.6)将上述公式写成矩阵的形式Eu,v) % u vIM(2.7)|_v其中矩阵M的表达式如下所示：M = Ywx,y)广，;、.（2.8).Y,V.X V由此可以得到点(x，:iO处的得分,当及大于某个给定的阈值的时候则认为到前点位一个角点，得分的计算公式如下所示：R

31、= ditM)-ktraceM)f(2.9)-10 -大连现工大学硕士学位论文其中det(M)为矩阵M的行列式，由矩阵的两个特征值计算得到det(M) = ； traceM)是矩阵M的迹，=A：是手动选取的一个固定值，通常满足0.04,0.06=许多特征点检测器都包含有方向的操作，比如最为经典的两个特征SIFT和SURF,但是FAST不提供方向操作，这就降低了该特征的方向不变性。通常来说有很多的方法来建立一个特征点的方向，比如像SIFT特征通过统计特征点邻域范围内梯度的方向直方图来计算，或是采用SURF的方法通过区域模式的估计来分配特征点的方向。这些特征点方向的建立方式通常具有计算复杂度高或效

32、果不佳等缺陷。相比之下ORB特征是基于图像矩的概念为其特征点加入了方向（图像矩的定义详见本文4.2.1节）。对于离散的二维图像，一个图像区域的图像矩定义公式如下所示："V = 1 f 30( 2.10 ).、.V对应的由其定义的图心c如下所示：(2.11)、所00 ”bo J从而可以构建一个从特征点到点C的向量,以此向量作为当前特征点的方向，其方向角6>定义如公式2.12所示：6 = tan"'(2.12)'?10由于FAST特征无法提供多尺度的特征，因此ORB采用了图像的尺度金字塔，让FAST特征在金字塔的每一层上提取特征点，构造多尺度特征。2. 2

33、. 2 Rotated BR IEF 描述符建立ORB特征的描述符建立在BRIEF描述符的基础上，通过对其多次的改进，形成了 Rotated BRIEF特征描述符，该描述符有效地解决了原始BRIEF描述对于方向变化的敏感性。BRIEF描述符是对图像区域的位串描述，它通过一系列的二值强度测试来完成描述符的建立，所谓的二值强度测试，其定义公式如下所示：尔洲(2.13)0 :px)>py)-11 -大连理工大学硕士学位论文至此就得到了对原始BRIEF描述符的添加了方向不变性的描述steered BRIEF。通过对大量的BRIEF和Steered BRIEF描述符的统计分析可知，BRIEF描述符

34、具有一个较好的性质，即其描述符的每一位分布具有较大的方差和接近0.5的均值分布，而相对于Steered BRIEF其方差较小，均值分布较为均匀。因为对于某一种二值测试模式来说，使用该模式在很多不同的图像区域中进行测试的结果应该差异性较大，即其方差较大，则可以表明当前的二值测试具有较强的特异性，除此之外，各种不同的二值测试之间也应该有较大的;<相关性，这样才能使得每一个中测试模式对于最后的结果有独立的贡献，因此我们期望得到方差较大、二值测试之间相关性较小的二值测试。为了得到构成最终描述符的较好的二值测试，我们不采用BRIEF的高斯分布二值测试，而是通过离线的训练出较好的二值测试模式。首先选

35、取出一些ORB特征需要处理的自然场景的图片，使用前文描述的oFAST特征点检测器在这些图像上寻找角点，为每个寻找到的角点建立图像区域，然后在每一个图像区域上遍历计算所有可能的点对选取模式，设共有iV个图像区域，所有可能的点对选取模式为则可以形成一个jVxm的矩阵r,其中每一列为一种选取模式在TV个图像区域中进行二值测试的结果，并将其列向量按照均值进行排列（列向量均值越靠近0.5则越排在前面），然后采用贪心搜索算法在其中寻找到256个较好的选取模式。其基本的搜索过程为：（1)将r矩阵中第一列的点对选取模式放入选取模式矩阵中；(2)从r矩阵中选取下一列，将其与中已经存在的选取模式的列向量计算相关系

36、数，若其值小于某个事先设定好的阈值，则将当前选取模式加入到中；（3)重复以上过程，直到/“中存在了 256种测试为止。最后得到了 256种方差大，相关性小的选取模式。至此ORB特征的Rotated BRIEF描述符构建完毕，下图给出了在图2.3 (b)的BA图中提取ORB特征的结果，其中每个ORB特征点用红色的圆圈表示。图2. 5图2. 3(b)所示场景屮提取ORB特征Fig. 2.5 ORB feature extraction of the scene from Fig. 2.3(b).-13 -面向室内场景的空地多机器人协作环境感知2.3机器人自主场景认知2. 3. 1场景认知系统框架本

37、文提出的场景认知系统框架如下图所示。在使用3-D激光传感器获取当前场景激光数据后，在该原始激光点云中提取场景的全局空间特征（后文将对其详细说明），基于该全局特征对数据库中己存在的场景进行优先级排序，排在最前面的场景是最有可能匹配测试场景的候选场景，然后将3-D激光数据转化成BA图，在该图中提取ORB特征，然后依次与候选场景进行匹配，然后计算其匹配的得分，若得分大于某个设定的阈值，则认为当前测试场景为已知的某个场景，否则将其视为新的场景加入到场景数据库中，这样很好的提升了该系统的实时更新能力与适用性。Wf_8l 测试场景的上掛激光数批I数<全时征mmw) ji 全)? 特祉 i j_. j

38、m方_全咖狐二二 _ ?._ ? 一，i 部特 iiK；wwM ： .BfFSf - SIS!:W釀特候选场(pM部特征-工IIndex理§_ 丨匹配X兵j l?dc+l j、 .叫画.VI场较识別兒成图2. 6室内场景认知系统框架Fig. 2.6 Indoor place recognition framework.-14 -面向室内场景的空地多机器人协作环境感知其中p(;c)为图像区域;？中，位置为X的像素的灰度值。即所谓的二值测试就是在图像的某个区域中，按照某种方式采样两个像素点（BRIEF描述符采用中心在图像区域中心的高斯分布进行空间点采样），然后对其进行比较得到0、1两种值

39、，此值作为该次二值测试的结果。由于图像中存在噪声干扰，因此在做二值测试之前要对图像进行平滑滤波，尽管采用了滤波对图像进行平滑，但是使用图像中单个像素点进行比较仍然容易受到干扰而造成描述符的不稳定，因此ORB在进行采样的时候要在图像区域中采样更小的区域，以此区域的均值作为参与比较的对象，可以更好的滤除干扰的影响。当多次二值测试完成之后，需要这些测试结果联立起来形成描述符，其具体公式如下所示：/,(）_?= 5 2'(2.14)其中参数/7为进行二值测试的次数，算法中采用 = 256，因此就形成了一个256位的二进制串，即使用32个字节进行描述。由于BRIEF描述符对于旋转变化非常敏感，而

40、在实际的自然图像中，位于+同图像中的特征点又经常出现旋转变化，因此对其进行改进添加旋转不变量。借鉴SIFT特征对于旋转问题的解决方案，即在建立描述的时候以特征点的主方向为准建立邻域形成描述符，ORB采取了相似的策略。设在图像区域;7中的次二值测试的采样点为(x,，_y,)，可以定义如下2x?的矩阵fx X )5= “(2.15)只J使用图像区域的方向角0构造相应的旋转矩阵将原始采样位置旋转到&，公式如下所示：Sg = RgS(2.16)形成的新的采样点矩阵Sp虽然对应于图像区域的坐标发生了变化，但其在图像区域中的分布模式并未发生变化,为了使该描述符具有统一性,其采样模式由最初确定后就&

41、gt;1<发生变化。为了加速处理速度，将360°的角度区间以12°为一个间隔划分成30份，提前计算好对应的旋转矩阵，由于采样的模式是固定的，则采样点矩阵5；可根据对应的角度离线生成，在实际计算时，通过查表得方式获得，从而避免了频繁的矩阵乘积运算，提筒了计算的速度。-12 -面向室内场景的空地多机器人协作环境感知验分析与讨论。本实验对测试场景中的五个场景以及其对应的数据库中的场景分别按照；同的特征点个数提取ORB特征，最后进行匹配对个数与时间统计，具体数据见下表。表2.2 ORB关键点个数选取Tab. 2.2The number of ORB keypoints测试房间

42、 设定关键点数匹配对数关键点提取时间(ms)匹配时间(nis)1001412i30035149611500671623】0008918139mi1423005171061250018233010006527154m8M2300392714613500593030100010133138m86i3003918156175005920301000101241171024230037268634500622230100014926155通过对上述表中数据的分析，当选取的特征点的个数少于300时，其对应的匹配对数相对较少，当特征点个数取得500时，相比于300的情况其匹配对数有明显的增加，且其匹配的对

43、数对于场景认知来说己经足够了，虽然使用1000个特征点的时候匹配个数更多，但考虑系统实吋性的要求，其匹配时间相对500点时增加明显，因此本实验提取ORB特征时，选取500个特征点。2.4.2场景认知实验本文提出的场景认知方法可以有效的解决动态干扰的影响，同时对于移动机器人每次采集数据时的位置与角度具有一定的抗干扰能力，本实验综合考虑了采集测试数据时-18 -大连理工大学硕士学位论文对于激光点AeA与;?,'e厂，使用角邻域定义其相对位置关系，即以;V ；丨分别与激光坐标原点的连线之间的夹角作为其角邻域值，若该值小于某个阈值77 (本文设为3° )则认为，；在的角邻域内，P;点

44、角邻域表示如下：M = p,Angp?p)<r(2.17)则一个点对的得分计算公式如下所示：0,Angp,p)>riAngp?p) 1 (2.18)(1-)；Angip.,p.)<ri其中Dp ,Dp.分别是激光测距仪的中心到点p,，p、的距离；D眶是场景中激光测距仪到激光点的最大距离；是权值系数，用于消除由于激光距离产生l + (minD,D./Z)_)的不准确性，这里借鉴了 Butterworth低通滤波器的公式进行构造。据此最后两幅场景的匹配得分公式如下所示：T" SA=' ，?>175=(,-17)=(2.19)、 ,?<17. n其中为

45、了避免当匹配点对个数较少时，几对较好的匹配对就可以使其场景匹配得分较高，因此当匹配对个数小于17 (实验确定的阈值）时，对其进行高斯惩罚；若特征点对个数大于17对时，则直接将每对特征点的匹配得分累加即可。2.4实验结果与分析本文提出的室内场景认知方法被应用在了 SmartR0B2移动机器人上(如图2.1 (a)所示)，本实验的测试环境为大连理工大学创新园大厦六楼30个办公室和实验室。2. 4. 1 ORB特征选取实验由于在提取ORB特征时，需要预先设定要获取的特征点的个数，而特征点个数的小?同会导致最后场景匹配的效果；4<同，因此本节首先对ORB特征点选取的个数进行实-17 -面向室内场

46、景的空地多机器人协作环境感知证计算出更加准确有效的旋转平移矩阵。该算法先选取出满足条件的4个激光点对：(1)4个激光点对中两两间欧式距离不小于阈值a; (2) 4激光点对为顶点的二角形面积小于/?。选取结束后对每组点对分别求取旋转平移矩阵，则可得到旋转平移矩阵列表=。为了提高计算效率，本文只计算求取一定数量的旋转平移矩阵对，然后采用K-means算法将其聚成两类，结果中数量较大的类再次进行二分聚类，最后当其数量小于50对的时候聚类算法终止，同时此50对作为最后较为准确的旋转平移矩阵。表2. 1 Ransac算法流程Tab. 2.1 Flow of Ransac AlgorithmRASAC算法

47、蹄选最大内点集C謝设 ，C, , p,eF, p P , p? Pfor k = 1 to L do清空c,从3-D点对C屮随机选取叫个点对釆用SVD分解求取旋转平移矩阵(/?，：0将P投影到候选场景屮形成点集P. ： P' = PR + Tfor / =丨 to n doif disp,p) < 0.15将点对(p,，p,')加入C,end ifend forif C,屮点对个数大十C,屮点对的个数c, = C,end ifend for在求得50对旋转平移矩阵之后,使用每组旋转平移矩阵将测试场景中的特征点集P转换到最佳候选场景中形成集合P',然后根据P'

48、;和最佳候选场景中的P的相对位置关系给出其匹配得分，最后将得到50组匹配得分，其最大的得分值即作为两个场景最终的匹配得分，若此得分大于某个阈愤（本文使用0.47)则认为两场景真正E配，则完成了场景认知的任务。下面给出和两组点集的匹配得分的计算过程。-16 -大连理工大学硕士学位论文2. 3. 2基于全局特征和局部特征的场景认知方法当数据库中场景的数据个数TV很大时，若只是使用局部ORB特征进行场景匹配认知，则最糟糕的情况需要进行TV次匹配，这样难以满足机器人实时性的需求。因此为了加速场景认知的过程，本文首先基于全局特征的对数据库中的场景进行优先级排序。本文所采用的场景全局特征是在原始3-D激光

49、点云中提取得到的。由于该全局特征是为了加速场景认知的过程，因此需要此特征易于提取，方便计算和比较。考虑到本文的应用背景为室内结构化的房间，而移动机器人进行场景扫描时通常处于房间的入口处，因此本文的全局特征采用3-D激光扫描面中面积（扫描面面积的计算通过累加相邻激光束构成的三角形面积获得）最大的一个作为其全局特征，因为面积最大的扫描面往往位于整个房间的对角线处，而这个方向上的遮挡又较小，非常适合最为全局特征。当获取了测试场景的全局特征后，利用该全局特征对数据库中的候选场景进行排序，面积相差最小的场景放在最前面，作为最佳候选场景。通过实验证明了釆用全局特征进行场景优先级排序后，再使用ORB进行精细

50、匹配认识的场景最多不超过3个。以30个场景为例，测试场景与数据库中一个场景进行匹配需要大约20ms,因此若没有场景的优先级排序的过程，在最糟糕的情况下（数据库中的所有场景都需要进行比较），需要大约600ms的时间来完成场景的认知过程。相比较之下，若采用场景优先级排序策略最多不超过6()ins的时间用来认知场景，综上所述，采用场景优先级匹配策略很好的提升了本文提出的认知系统的实时性。当使用全局特征与局部特征完成了场景的认知后，我们便可以获得当前场景的最佳候选场景，此时并不认为与当前场景匹配的最佳候选场景就是同一个场景，我们将进一步的对其进行评价，下面将对其进一步说明。当我们找到测试场景在数据库中的最佳候选场景后，便可以获得其对应的ORB特征点对，然后我们将得到的BA图像上的对应点对反投影到对应的3-D激光数据中，便可获得3-D点云数据中对应的3-D点对C，通过其中4对三维点对我们便可以使用SVD分解求出两个场景坐标系的旋转矩阵i?与平移矩阵r，但是由于通过O