点云三维信息提取与应用

1、点云三维信息提取与应用感知环境，测绘先行,坐标如同温度无处不在消费者的生活习惯可以通过传感器数据来获得所有传感器都需要被测定位、感知、控制、管理现势性的数字世界是基础和关键智慧城市、无人驾驶、VR/AR、。SMART CITY点云是现实世界映射到数字世界不可或缺的重要数据资源99m 分特 出工JI 8 殴:回 fcl E 咼琏:m由tto2ps11302018/ICVII点云获取的主要手段LICSMARSLICSMARSLaser ScanningPhotogrammetryLICSMARS点云是数字化时代最具代表性的三维数据点云是通过一定的测量手段直接/间接采集的，且符合测量规则能够刻画 目

2、标表面特性的密集点集合，是继矢量、影像后的第三类空间数据。基本特性几何特性（x,y,z）或波形物理/生化特性（如：颜色，光 谱，强度等）离散、非结构化、冗余点云是数字化时代最具代表性的三维数据获取范围:获取平台：空、天、地室内外获取角度：多角度Why三维信息?智慧城市/城市精细化管理城市噪声Why三维信息?自动驾驶H4 M R MIMM H UHH高精度地图（厘米级）測绘遥感信亘工程国家II点实验室LICSMARSWhy三维信息?GNSS信号遮挡LICSMARSWhy三维信息?LICSMARSWhy三维信息?測绘遥感信亘工程国家II点实验室LICSMARS15019513550105$ky p

3、lot9075602225240-o Visible SVBlocked SVBoundary31300330315*GPS信号遮挡图LICSMARS三维信息提取的现状资源严重浪费：点云获取成本高，存储代价大。点云的可用性、好 用性，尤其是可重用性方面存在严重缺陷。点云特征描述：特征描述的层次性（尺度）、语义性、健壮性等存在欠缺。点云语义分割：分割结果的层次性、与认知结果的吻合度等不足。三维目标提取：提取方法的通用性、效率、准确性、种类等方面面 临较大的局限。測绘遥感信亘工程国家II点实验室面临的巨大挑战2000Autoomcus18902015 2015 - 2025手机越来越智能 点云能否

4、趣来趣智能 芦车越来越智能 架设地理信息（三维信息）与应用的桥梁,从人工智能（AI）走向智能 决策（IA） z服努重大需求从可视化量测到可计算分析从 AI 到 I A（Intelligent Action）测绘遥感信亘工程ML丄川U5丄|LICSMARS广义点云(Ubiquitous Point Cloud)概念的提出广义点云是指汇集摄影测量、激光扫描、众源采集等多平台空间数据,通过清洗、配准与集成，实现从多角度、视相关到全方位、视无关,建立以点云为基础，基准统一，且数据、结构、功能为一体的模型现实获取整合与增强提取与分类计算与表达占 Rea Iity Capture测绘遥感信亘工程国家重点实

5、验室LISMARS广义点云(Ubiquitous Point Cloud)概念的提出广义点云(Ubiquitous Point Cloud)概念的提出佑计电大数据云存储珀!二馥矢答4W棉能化应用三What, Where, Who, WhyBIM用点云特征层次化表达 Point-level feature4描述局部邻域点的空间分布信息 Structure-level feature4组成地物的各个部件（结构）的特征 Object-level feature*描述目标的整体特征 Context-level feature丄描述目标所在的上下文特征点云的多层次特征3D Binary Shape Co

6、ntext descriptor3D Binary Shape Context descriptor口目标提高局部特征描述子的鲁棒性和可区分 性同时保持较高的计算和内存效率 口关键步骤4关键点检测*局部坐标系建立丄坐标转换4坐标投影丄投影特征计算4特征比较(二值化)9程2实验室LICSMARS3D Binary Shape Context descriptor(e)# bit siringloioi in io! nooooi101100010101100100011100010101010100 lOOKWlOlllllWllOOllOOOOlKMJiHlOOl101101110100101

7、101(0局部特征描述子计算示意图(g)3D Binary Shape Context descriptor3D Binary Shape Context descriptor3D Binary Shape Context descriptorDaEMScannerQualityDara TypeOcclusionClurterBolognaSynthetic645HighMeshNOYESUWAMinolta Vivid550MediumMeshYESYESQueenNextEngine580LowPoint cbudYESYESWHUVZ-400416LowPoint cbudYESYES

8、3D Binary Shape Context descriptor3D Binary Shape Context descriptorLKfSMARS3D Binary Shape Context (BSC) descriptor3D Binary Shape Context (BSC) descriptor提高了局部特征描述子的鲁棒性具有较高的计算和内存效率(玄)3SU.2旨DescriptorMemory (byte)Time (ms)BSC480.004RoPS5402.68FPFH1320.67SI6133.02use792043.5SHOT14086.48空间效率和时间效率对比对噪

9、声的鲁棒性分析对遮挡的鲁棒性分析Z 叫以牛Yau* 2017lA novel binary shape context for 3D local surface description. ISPRS Jo彳沏京$h瞬僦畐扁晶不嚴5拆触Sensing 130,431-452对点密度变化的鲁棒性分析无靶标全自动配准測绘遥感信亘工程国家II点实验室LICSMARS无靶标全自动配准0止d: i-11w測绘遥感信亘工程国家II点实验室LICSMARS无靶标全自动配准測绘遥感信亘工程国家II点实验室LICSMARS无靶标全自动配准測绘遥感信亘工程国家II点实验室LICSMARS无靶标全自动配准測绘遥感信亘

10、工程国家II点实验室LICSMARS无靶标全自动配准測绘遥感信亘工程国家II点实验室LICSMARS无靶标全自动配准桥梁測绘遥感信亘工程国家II点实验室LICSMARS无靶标全自动配准河流平台无关 环境无关 密度无关 稳健、高 效、自动測绘遥感信亘工程国家II点实验室LICSMARS层次化三维目标精准提取利用多尺度超级体素代替原始点，提高计算效率分割并识别相互交错（重叠）的多类型城区目标层次化三维目标精准提取层次化三维目标精准提取原始点云1素多规则超级体素合并层次化三维目标精准提取区域显著性计算相邻区域合并基于语义规则的目标识别口类别指导下相邻区域再合并LICSMARS层次化三维目标精准提取L

11、ICSMARS层次化三维目标精准提取測绘遥感信亘工程国家II点实验室LICSMARS(i)(i)(k)(1)层次化目标提取实例层次化三维目标精准提取LICSMARS层次化三维目标精准提取2目标识别Miki 血XfiUzxqjniHrr測绘遥感信亘工程国家II点实验室LICSMARS结构化三维建模结构化三维建模建筑物点云几何基元提取结构提取模型增强结构化模型：可视化- 可计算可分析结构化三维建模提取室内结构元素，利用点云的可视性分析和结构约束逬行房屋分割激光扫描仪采集点云ceilinaswalls二二二doors and windows结构提取可视性分析楼房屋分割二楼房屋分割两层楼的怎刼结果LI

12、CSMARS结构化三维建模測绘遥感信亘工程国家II点实验室LICSMARS结构化三维建模房屋分割作为语义约束,同时利用多标记图割方法，完成室内房屋的自动 化结构建模。结构化模型要素ceilingsdoors and windows测绘遥感信亘工程国家重点实验室wallsroomsstructural modelrooms房屋分割作为语义约束,同时利用多标记图割方法，完成室内房屋的自动结构化三维建模结构化三维建模化结构建模。Cylin ders巡酚龍翻密鑑重点磁modelLICSMARSTLSRoom 卜Room modelBIM model点云智能化处理软件Point2Model广泛的用户好评

13、測绘遥感信亘工程国家II点实验室功能模块口 TB级点云和影像数据高效索引和快速可视化多视角TLS点云数据空间基准一致性整合口多类型道路要素高精度提取及矢量化口面向无人驾驶的高精地图自动化生产获批颂国家发明专利LICSMARS低成本无人机激光扫描系统（珞珈麒麟云|）基于低成本MEMS-IMU，融合视觉的 组合定位定姿算法自动标定 I MU-Camera-Laser口航高为70m,飞行速度5m/s单次航程15分钟，解算时间3小时品牌描述IMUXsens MTI-300Noise densityBias stabilitygyroscopes0.01 /sAHz10/haccelerometers6

14、0ughHz15ug相机Poin tgrey1280 x 1024, 5.3 pmKowa3.5mm/F1.4机载处理器Cortex-A9Velodyne VLP16测绘遥感信亘工程国家重点实验室LICSMARS无人机电力巡检智能诊断系统研发了绝缘子损伤在线实时检测和树障安全距离人工智能在线计算方法,实现了巡检.故障判读.报表输出实时处理,极大地降低了劳动强度无人机电力巡检智能诊断系统无人机电力巡检智能诊断系统LiDAR倾斜摄影红外热成像快速定位图片中可目1电力复杂背景紫外放电诊断子系统2杆塔定位Qb) fwinmxl 何心ru imp* d真三维飞控与电力走廊可视化三维地理环境 輪3D拟耽控

15、保作业安全+故尼点3毗費希电三维化测绘遥感信亘工程国家11点实验室 LICSMARS无人机电力巡检智能诊断系统无人机电力巡检智能诊断系统超限数据表格聂小距最大距鬲平均距髙标准差，2.22-*20 39*对应可见光相片1197244经现场测量与与无人机测量误差低于10%3.4773（龙人tu., mi *4ir. .跆他乙共冷 撕翕；77 3 m应号 位置1N40-N412N41-N42N42-N434N43-N44无人机检测/m2223.99/2.964.04/4.183.9/3.753.99/3.84.1/4.24.4/4.1供电局人员根据报告前往 实际超限点实地测量f确认 信息无误后进行消缺X缺陷等级紧急处理情况已清理树障已联系供电所配合降低380V线路该处跨越为380V线路,标准要求值为4m该处跨越为380V线路,标准要求值为4m总结展望准确计算单木三维结构参数胸径 树干干形source森林资源调查结构参数：树的位置树高为森林结构生态参数、生物量计算等提供了有效支持空、天、地、地下多平台传感器动态协同总结展望口融合移动测量与众包大数据的信息提取与分析总结展望口三维离散点云深度学习将