点云映射使用Kinect RGB-D测量传感器和Kinect融合视觉测距

点云映射使用Kinect RGB-D测量传感器和Kinect融合视觉测距摘要：RGB-D相机像Kinect提供RGB图像实时以及逐像素深度信息。本文使用Kinect融合由微软研究院开发的3D重建场景实时使用MicroKinect相机和它作为一个援助申请视觉里程计的机器人车辆,没有外部引用像GPS是可用的。关键词:Kinect; Kinect融合; 测程法; 机器人; 视觉1.介绍 视觉运动的研究是计算机视觉的核心技术推进各种关键技术。这些包括三维重建、跟踪监测、识别、导航和控制等等。域的重建方法,利用结构与运动技术、光学flow提供信息使用二维三维场景的运动预测。为单个相机使用光流限制但是存在,防止运动的可靠估计的三维场景。提供的解决方案是使用立体声或多个摄像头同时估计结构和运动增加这些技术的鲁棒性。这些方法的缺点是复杂的,需要映射的帧数,如束调整迭代细化步骤,减少不确定性,缺乏从表面平滑由于二维参数化等等。 随着时间的可用性的飞行RGB-D(色彩深度)相机使用结构光传感、近年来,实时获取三维信息和帧率已成为可能。这权证与重建的方法和公式。因为深度相机可用,传感器提供的结构信息和表面不需要估计。早期的方法是基于颜色的位移模式。还有其他几个优点,其中之一就是引入动能融合算法2密度及其扩展,使3 D扫描使用一个移动的体积和表示不使用标准的八叉树迭代最近点(ICP)从而能够在实时工作。 在本文中,我们提出使用Kinect融合由微软研究院开发的3 D重建场景实时使用微Kinect摄像头和它作为一个援助申请视觉导航的机器人车辆,没有外部引用像GPS是可用的。2.相关工作 视觉传感器显示潜力提供构成的信息(通过航迹推算)在结构领域和杂乱的环境中,传统的GPS可以退化和/或否认。不同方法之间的三种常见方法有受到更多的关注:视觉算法3,基于视觉的同步位置和建图4和从运动应用程序结构6。在这些技术中,视觉测程法是一种低延迟和低成本的方法,优于其他两种方法的计算复杂度和硬件。相比之下,后两种方法是计算密集型和需要映射的帧数,如束调整迭代细化步骤,减少不确定性等等。 视觉测程法可以分为两类:a)稀疏的测程法和b)茂密的测程法。稀疏方法提取一组稀疏点探测器像哈里斯使用功能,快速或特征描述符如加快健壮的特性(冲浪)、尺度不变特征变换(筛选)。之间的通讯功能是建立在连续帧之间的时间。假设如果错误匹配块之间的点是最小的。从一组良好的通讯描述的平移和旋转的变换矩阵,计算帧到帧。 相比之下,密集的测程法方法使用密集数据集或整个图像数据。转换数据帧之间的光测量的误差。分别使用了一种不同的方法,获得表面之间的几何误差描述刚体变换。这种方法的一个缺点是,他们需要结构化表面和更进一步的问题是,他们需要一个计算昂贵的近邻搜索创建点对应。为了克服这个问题,3D表面被表示为2 D深度地图。一个点对应的第二个深度地图是发现通过应用刚体运动和投射到二维坐标。这些方法受到长期漂移,因此在运动估计过程中积累错误。 幸运的是微软Kinect的可用性和其他RGB-D使用结构光传感器感应导致获取三维信息导致更可靠信息实时重建过程和结构。这开辟了新的可能性和机会的跟踪和导航。重大进展之一是动力学的发展融合算法5已展示了其潜力密度实时扫描室内静态场景。的进一步获得一直表示算法的分层八叉树(锥体结构)来实现更快的计算和并行化。利用这一点,本文提出使用RGB-D相机,容易为视觉测距应用程序可用。由于结构信息是现成的,我们从两个连续帧计算摄像机运动。3.方法 目前的工作是基于Kinect融合生成3D健壮重建一个机器人在实时的环境。这是移动微软Kinect传感器获得的真实的场景。Kinect融合算法的输入是一个时间序列的深度地图Kinect传感器。该算法只使用深度地图和没有颜色信息,并且不妨碍照明条件下,允许Kinect融合功能甚至在完全黑暗。下面的图1显示了Kinect得到融合结果。 实时算法运行30fps和提供了一个表面表现为每个当前帧深度精炼全球模型通过合并新的表面在每个时间步使用ICP算法。双边滤波器用于平滑图像,消除噪音的深度图代替强度值在图像中每个像素的加权平均强度值附近的焦油ls。结果是一个平滑深度保持锋利边缘的地图。深度地图转换为三维点云与顶点和正常信息使用分层的金字塔八叉树算法,因此结果包含不同层次的细节。 连续匹配的点云到一个3D模型,6景深相机姿势估计得到的映射过程中在每个时间t。连续调整的点云(我们可以叫它为源和目标点云)我们必须选择第一个点云作为参考模型。然后新到达的点云是符合这个模型使用一个名为ICP的迭代法。迭代最近点(ICP)算法最小化欧几里得的平方误差源和目标点之间的点云。这允许算法在GPU并行时跑得更快。 这第一场比赛后,修改后的ICP算法计算两个点云之间的错误使用点对平面度量方法而不是点对点的标准。ICP变体,每个点之间的距离平方的总和源云计算和相应的目标点的切平面目标云是最小化的若干次迭代,直到一个足够接近匹配被发现。 连续点云又投射到相机模型的图像帧。点落在相同的像素被认为是匹配的。Kinect融合使用点对平面度量方法8而不是点对点标准9中每个点之间的距离平方的总和源云计算和相应的目标点的切平面目标云是最小化的若干次迭代,直到接近找到匹配。4.测程法登记 在这种情况下,我们获得同步采集的点云数据在每一个时间步的“t”测程法变换矩阵“t”组成一组旋转和翻译。小角度近似形式的矩阵写成移动和旋转的点如果这样移动点和之间的距离定义的切向飞机表面法线倪很小: 这里,是标量的产品,ni 是di 法向量。表面法线是现成的Kinect融合深度图像。5.实验和结果 决定每一个的质量生成的点云,首先进行合成实验数据集和一个开源软件“云对比”10是用来计算分数反映多少生成的3 d点云对应于地面真理3 d模型。图1显示了一个典型的数据云从Kinect融合。之间的平均距离米现在的方法和参考模型是0.038米。 图2显示了RGB图像和深度图像获得Kinect用于重建三维点云实时地图。帽状云意味着距离为每个框架的抓住云是0.0824米,0.087米和0.073米。图3显示了6自由度轨迹反演得到的点云变换矩阵的实时三维点云。获得的结果与事实模型有很好的协议。参考文献1 J. Shi and C. Tomasi, Good Features to Track, IEEE Conference on Computer Vision and Pattern Recognition, pp. 593600, (1994).2 Richard A. Newcombe, Shahram Izadi, OtmarHilliges, David Molyneaux, David Kim, Andrew J. Davison, PushmeetKohli, Jamie Shotton, Steve Hodges and Andrew Fitzgibbon, Kinect Fusion: Real-Time Dense Surface Mapping and Tracking, IEEE ISMAR, October (2011).3 D. Nister, O. Naroditsky, J. Bergen, Visual Odometry, Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, CVPR 2004, vol. 1, pp. 1652, 27 June (2004).4 J. Artieda, J. M. Sebastian, P. Campoy, J. F. Correa, I. F. Mondragon, C. Martnez and M. Olivares, Visual 3-D SLAM from UAVs, Journal of Intelligent and Robotic Systems, vol. 55(45), pp. 299321, 1 August (2009).5 Z. Zhang, Microsoft Kinect Sensor and its Effect, MultiMedia, IEEE, vol. 19(2), pp. 410, February (2012).6 J. Oliensis, A critique of Structure-from-Motion Algorithms, Computer Vision and Image Understanding, vol. 80(2), pp. 172214, 30 November 2000.7 E. Ezra, M. Sharir and A. Efrat, On the Performance of the ICP Algorithm, Computational Geometry, vol. 41(1), pp. 7793, 31 October (2008).8 S. Y. Park and M. Subbarao, An Accurate and Fast Point-to-Plane Registration Technique, Pattern Recognition Letters, vol. 24(16), pp. 296776, 31 December (2003).9 F. Bosche, Automated Recognition of 3D CAD Model Objects in Laser Scans and Calculation of As-Built Dimensi