计算机视觉三维测量与建模 课件 【ch06】点云滤波与分割

第六章计算机视觉三维测量与建模点云滤波与分割南京航空航天大学研究生教育教学改革专项（优质教学资源建设）项目资助01采样点云特性】9随着数据采集设备的不断更新发展，三维点云的获取变得越米越便捷，采集数据的设备包括数码摄像机、结构光扫描仪、LiDAR扫描仪以及彩色深度（RGBD）摄像机等，然而数据获取方式的差异也使采样点云具有不同的属性，同时包括各种潜在的数据缺陷，是表面重建工作需要面临的重要挑战。接下来概括描达采样点云通常存在的一些典型问题，如图6.1所示，以一个点云片段的截面为例。采样点云特性嗓音（Noise）点云噪声通常是指数据点随机分布在靠近真实表面位置的情况典型的噪声受以下因素的影响：传感器的系统性问题、观测目标的材料散射特性、深度值测量质量、传感器与目标之间的距离等。0102外点（Outliers）外点也叫作异常值或者野值，它是指远商真实表面的采样点。小点的产生通常是由于在数据采集的过程中出现了结构性的错误。主要表现为随机地分布生真实表面周團的离散点，通常这部分点的密度低于正常采样数据的密度。外点也可以是戏群存在的，比如以较高密度点集群存在于远离真实表面的位置。03采样缺失（Missing）采样缺失是由于在扫描过程中传感器的采样范围有限、目标具有高吸收特性、目标形状遮挡等因素造成的。这使得部分目标表面没有采样数据，主采样密度为零的区域。采样点云特性密度不均（UnevenDensity）对目标物表面进行扫描采样时，点云在对应物体表面约密度分布被理解为采样密度。三维扫描产生的点云通常会具有采样密度不均匀的特点，这可能是由于采样目标与扫描仪的距离变化、扫描仪摄影方向变换、采样目标的自身形态特征等因素引起的。0405配准错位（Misalignment）有时数据采集不是一次性完成的，而是利用多角度或者多频次的采样拼接得到整个目标场景的点云数据的。采样点云特性采样点云特性】9从程序实现的角度出发，将待估计距离直接用平方项进行比较，避免开平方运算的消耗,可大大提高算法效率。几乎所有的ANN方法都基于对全空间的划分，迅速找到查询点所在的子空间,并将查询点与子空间内的数据点进行比较计算。对于具体的应用而言,邻域查询还被分为两种类型的查询,即:找到离查询点p，最近的k个点，不考虑这些点的分布范围；找到距p，小于半径r的至多k个点,此时查询结果的个数可能小于k个。采样点云特性在这些结构当中，八叉树和KD树是三维点云数据组织中应用最为广泛的两种。八叉树数据结构是由二维空间的四叉树数据结构推广到三维空间而形成的，它是种树形结构，在空间分解上具有很强的优势。采样点云特性KD树是一种用于组织＆维空间中离散数据点的数据结构，它是一种二叉搜索树，在最邻近搜索上具有非常高的效率。采样点云特性02点云滤波增强】96.1节所述的建模算法对扫描点云的采样密度、表面法向量和噪声分布等特性都有一定的要求，虽然许多隐式建模算法都可以容忍一定程度的点云密度的稀疏分布和法向量的方向翻转错误的情况，但当存在大面积连续的法向量估计错误时，表面重建结果会有显著的缺陷。因此，准确的法向量估计以及优化的点云空间结构，对于表面建模工作具有十分重要的意义。在本节中，将介绍与点云结构增强相结合的法向量估计优化算法,可以提高离散点云数据质量。点云滤波增强点云的法向量信息对于采样点云的平面拟合、特征提取、表面分割、表面建模以及信息提取等研究来说有极其重要的作用。光滑表面在每一点上的法向量都有唯一的定义，即垂直于该点的空间切面的方向，在一个给定的点上切面空间的直观表示是一个局部表面近似。表面法向量可以是有向的，其中每个法向量始终指向表面的内侧或外侧；法向量估计的结果也可能是无向的，即具体指向不确定。有向的法向量为重建算法提供了非常有用的线索，然而如果与点云相关的某些信息是不存在的，那么要得到一个方向明确的法向量是非常困难的。点云滤波增强主成分分析算法确定法向量的指向点云滤波增强最小生成树(MST)算法使用Kruskal算法生成MST的方法可以称为“加边法”，初始最小生成树的边数为0，每迭代一次就选择一条满足条件的最小代价边，加入最小生成树的边集合里。具体步骤如下：（1）把图中的所有边按代价从小到大排序；（2）把图中的n个顶点视为独立的由n棵树组成的森林；（3）按权值从小到大选择边，所选的边连接的两个顶点应属于两棵不同的树，则成为最小生成树的一条边，并将这两棵树合并为一棵树；（4）重复上一步，直到所有顶点都在一棵树内或者有1-1条边为止。点云滤波增强一点的局部欧氏坐标系点云滤波增强01基于统计学的方法一种简单的基于统计学方法的原理是假设点云里的所有点到其邻域点的平均距离值的概率服从高斯分布，其形状由均值和标准差决定。在算法处理时，首先将输入点云数据中的每一个点到其邻近点的距离分布情况进行计算，得到各点到它所有邻近点的平均距离。然后，将平均距离在标准差范園之外的点定义为离群点，进而将这些离群点从点云中删除。02基于表面重采样的方法经典的表面重采样方法从计算机图形研究领域被推广到了三维点云处理领域。基于表面重采样的方法将点投影到估计的局部曲面。点云滤波增强03基于深度学习的方法它通过将点斑投影到一个基于学习得到的局部框架下，并在有监咨的环境中使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)将点斑移动到曲面上来，达到去噪的效果。另一种方法使用PCPNet将噪声点云投影映射到一个千净的点云曲面。此外，也有学者以人造目标为对象，研究用基于深度学习的方法提取边特征，然后在保持边特征的前提下对点云进行重采样。点云滤波增强异常值（Outliers）检测在许多领域都被应用，比如统计分析、机器学习、模式识别和数据压缩等。采样点云数据通常具有不同的点密度，此外测量误差会引起稀疏的异常值和退化的结果。点云滤波增强主成分分析（PrincipalComponentAnalysis,PCA）算法是典型的协方差矩阵估计算法，它对观测噪声十分饭感，当噪声强烈或有异常点存在时，所计算的结果会存在严重误差。因此，下面提出了基于局部优化投影采样算法的点云增强算法来滅小噪声和异常点给法向量估计带来的不利影响。点云滤波增强】9点云滤波增强03点云超体素分割】9点云分割的目的是将点云集合中的点分割成具有感知意义的符合目标边界划分性质的若干区域子集。在同一个区域中的点应该拥有相同的性质。该技术在机器视觉中有很多应用，例如，智能交通、现代测绘和自动导航。超体素（SuperVoxel）是一种集合,超体素聚类分割的目的不是完整地分割出某种特定目标,而是对点云实施一种过分割（OverSegmentation）。点云超体素分割】9依据马尔可夫随机场或条件随机场条件，基于图的算法将点云内部的上下文关系与对象级的类别先验知识合并在一起，近些年来获得了广泛的研究应用。虽然这些技术的使用取得了显著的进展，但有一个缺点，即在这些图上进行推理的计算成本通常会随肴图的节点数量的增加而急剧增大。这意味着求解以每个点为一个节点的图变得非常困难，这限制了算法在需要实时分割的应用中的使用。点云超体素分割超体素分割可以提供超体素过分割形式的节点，代替原始的点，减少了进行推理时必须考虑的节点数量，从而减小了后续处理算法的计算成本。基于超体素的后续分割或建模算法必须考虑重构数量，并且信息损失最小。点云超体素分割分割方法利用了观测数据点之间的三维几何关系，有时也包含附加的投影颜色或深度信息，分段区域内必须具有空间连接性的约束。点云的体素类型包含规则格网化的体素，这类体素可以认为是一种对空间规则划分的具有等尺寸的立方体。另一类体素是不规则的过分割形式的体素，在本节讨论的超体素指的就是不规则的过分割超体素。点云超体素分割】9首先考虑相似性度量，通常它是以法向量、曲率和离散度等属性信息构成的特征空间中的特征向量来进行计算的，当点云数据的附加信息中具有影像纹理亮度时，亮度参数也被包含到点的特征向量中。下一步对所有点进行聚类判断，不同于传统的后均值聚类算法对将每个点与所有聚类中心做判断，本算法中的原始点只与3倍搜索半径内的种子点做相似性判断。之后的运算与化均值聚类相似，利用相似性度量和距离度量判别聚类关系，并迭代更新聚类中心的位置，直到察类结果收敛。点云超体素分割构建邻接关系图。构建邻接关系图是VCCS的一个关键步骤，这一步能够确保各个超体素不会跨越在空间中不相连的对象的边界。在体素云化的三维空间中，有3种相邻的形式，分别是6相邻、18相邻和26相邻，它们分别共享一个面或边，以及面、边或顶点。0102选择种子点。点云超体素分割设计特征空间和度量函数。0304基于约束的迭代聚类。05更新聚类中心，再选代直至收敛。点云超体素分割点云超体素分割04目标级别分割】9点云分割是将拥有相似特征的同质点划分为独立的区域，这些分割的区域具有语义层面同属的意义。分割结果将有助于从多个方面分析一个场景，例如，定位识别物体和场景事件理解。良好的三维点云分割算法应当具有以下三条性质。第一，算法要能够使用几种不同种类的特征，例如，树与车这两种目标物有者不同的特征。当特征的数量变多时，分割算法要能够学会如何自动地调整它们；第二，针对那些在采样稀疏区域的点，分割算法需要能够根据应用领域的先验信息推断点的类别；第三，良好的分割算法需要适用于数据采集时使用的不同类型的传感器，因为不同的传感器会产生不同质量的数据。目标级别分割人类可以轻松地从三维空间中感知物体的形状、大小和类别性质。然而,计算机自动从三维点云中分割物体是一项困难的任务。点云数据通常是充满噪声的和无序的。基于影像匹配和三维重建获得的三维点云，由于有标定参数的误差和同名像素匹配的误差，因此会存在比较明显的表面噪声;而用三维扫描仪获取的三维数据，由于具有不同的线速率和角速率，因此点的采样密度一般也是不均匀的。目标级别分割另外，表面形状可以是拥有尖锐特征的任意形状并且在数据中也没有统计学分布规律。受观测条件的限制，有时候前景和背景混杂在一起,还有遮挡造成的数据缺失，这些问题都为点云目标自动分割带来了很大的困难。目标级别分割01基于边缘的目标分割目标的边缘描绘了物体的形状特征。基于边缘的目标分割方法探测点云中的多个域的边界来得到分割点云。基于区域特性的目标分割方法利用应用领域的先验信息，合并那些有相似性质的邻近点，获取独立的区域。基于区域特性的目标分割方法比基于边缘的目标分割方法更加准确，但是它有过分割和分割不足的问题，在确定区域边界时也不够准确。基于区域特性的目标分割方法可分为两类：种子区域方法（自底向上）和非种子区域方法（自顶向下)。0203基于区域特性的目标分割基于特征空间聚类的方法基于特征空间聚类的方法是基于点云的独立特征，使用模式识别中的聚类算法对点云进行分割的算法。目标级别分割三维霍夫变换平面检测。三维霍夫变换平面检测是将二维的直线检测原理推广到三维空间中的平面检测，算法的关键在于寻找合适的平面基元的参数化表达式。在极坐标系下，使用原点到平面的距离和法线指向，构建平面方程0102随机抽样一致性检。目标级别分割01基于体素表示的点云分割深度学习方法目标的边缘描绘了物体的形状特征。基于边緣的目标分割方法探测点云中的多个域的边界来得到分割点云。基于区域特性的目标分割方法利用应用领域的先验信息，合并那些有相似性质的邻近点，获取独立的区域。基于区域特性的目标分割方法比基于边缘的目标分割方法更加准确，但是它有过分割和分割不足的问题，在确定区域边界时也不够准确。基于区域特性的目标分割方法可分为两类：种子区域方法（自底向上）和非种子区域方法（自顶向下)。02基于映射影像表示的点云分割深度学习方法目标级别分割（1）MV3D网络从不同的数据中提取3类特征，即提取俯视图特征、前视图特征和影像特征。（2）设计候选区域网络。（3）把候选区域分别与提取的特征进行整合，从而把俯视图候选区域投影到前视图和影像中。（4）融合网络。网络最后使用整合后的数据得到最终的目标检测框。02基于映射影像表示的点云分割深度学习方法目标级别分割03面向点设计的深度学习模型在自动驾驶领域中，车载载体常配有机械式的激光雷达IiDAR，也称为线扫式LiDAR。这类LDAR的核心硬件是由若干组可以旋转的激光发射器和接收器组成的，发射器发射的一条激光束称为“线”，激光束多使用在900nm左右的近红外波段。设备类型有单线、4线、16线、32线、40线、64线和128线等不同配置。04面向自动驾驶类LiDAR点云的目标检测分割