数据标注工程-概念、方法、工具与案例 课件 第7章 3D点云标注

人工智能技术应用核心课程系列教材数据标注工程——概念、方法、工具与案例第7章3D点云标注7.23D点云标注工具人工智能技术应用核心课程系列教材7.13D点云标注简介7.33D点云标注项目7.4本章小结7.5作业与练习点云，即“点”构成的“云”。一般来自激光雷达，也可以来自毫米波雷达，是利用激光雷达和雷达传感器生成的三维点的集合，可分为黑白和彩色两大类，如下图所示。点云数据（pointclouddata）一般由激光雷达等3D扫描设备获取空间若干点的信息，一般包括XYZ位置信息、RGB颜色信息和强度信息等，是一种多维度的复杂数据集合。7.13D点云标注简介第7章

3D点云标注黑白点云彩色点云雷达点云（1）双目视觉传感器：类似人的双眼，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，下图为双目视觉传感器实物图。上图中，左右两侧的摄像头共同构成了双目视觉传感器。7.1.1点云的获取方法7.13D点云标注简介第7章

3D点云标注（2）激光雷达：激光雷达（LightDetectionAndRanging，LIDAR），是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达实物图如下图所示。7.1.1点云的获取方法7.13D点云标注简介第7章

3D点云标注（3）深度体感设备Kinect：深度体感设备Kinect是一款类似三维摄像机仪器，具有实时动作追踪、图像识别、声音录入及辨别等功能。左右两边镜头分别是红外线发射器和CMOS红外线摄影机，识别的是一个深度场。其中每个像素颜色深浅表示该点距离摄像头的远近，距离摄像头较近的颜色较亮和深，距离摄像头较远的颜色较暗。Kinect实物图如下图所示。7.1.1点云的获取方法7.13D点云标注简介第7章

3D点云标注（1）多视图三维重建：多视图重建是利用多张一个场景的不同视角图像来恢复出场景三维模型的方法，自然场景的多视图三维重建一直是计算机视觉领域的基本问题，有着广泛的应用。下图为多视图三维重建示意图。7.1.2

3D点云应用7.13D点云标注简介第7章

3D点云标注（2）三维同步定位与地图构建（SimultaneousLocalizationAndMapping，SLAM）：主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题，三维同步定位与地图构建示意图如下图所示。7.1.2

3D点云应用7.13D点云标注简介第7章

3D点云标注（3）三维目标检测：与二维图像相比，3D点云数据的优势在于能够很好地表征物体的表面信息和一些深度信息。另外，由于3D点云数据的获取来源较多，因此对3D点云数据的研究得以迅速增长，进一步促进了使用深度学习实现3D点云目标检测，下图为三维目标检测示意图。。7.1.2

3D点云应用7.13D点云标注简介第7章

3D点云标注（4）三维语义分割：三维（3D）语义分割在医学、自动驾驶、机器人和增强现实（AR）等许多领域的广泛应用，下图为三维语义分割示意图。7.1.2

3D点云应用7.13D点云标注简介第7章

3D点云标注3D点云多以pcd、ply、stl等格式文件储存，编码方式为ASCII码、二进制。格式由设备而异，但都可以通过后期处理成标准的pcl文件格式*.pcd。目前可以识别ASCII，二进制，二进制压缩3种pcd格式。下表为3D点云存储格式及数据类型清单。7.1.3

3D点云的存储方式及数据类型7.13D点云标注简介第7章

3D点云标注（1）悉尼城市目标数据集：这个数据集包含用VelodyneHDL-64ELIDAR扫描的各种常见城市道路对象，收集于澳大利亚悉尼的中央商务区（CBD）。含有631个单独的扫描物体，包括车辆、行人、广告标志和树木等，下图为数据集样例。7.1.4

3D点云典型数据集7.13D点云标注简介第7章

3D点云标注（2）大规模点云分类基准数据集：该数据集提供了一个大的自然场景标记的3D点云数据集，总计超过40亿点。涵盖了各种各样的城市场景：教堂、街道、铁路轨道、广场、村庄、足球场、城堡等等。下图为数据集样例。7.1.4

3D点云典型数据集7.13D点云标注简介第7章

3D点云标注（3）RGB-D对象数据集：该数据集是300个常见的家庭对象的大数据集。该数据集是使用Kinect风格的3D相机记录的，该相机以30Hz记录同步和对齐的640x480RGB和深度图像。下图为数据集样例。7.1.4

3D点云典型数据集7.13D点云标注简介第7章

3D点云标注（4）纽约大学深度数据集：该数据集包括NYU-DepthV1数据集和NYU-DepthV2数据集，数据由来自各种室内场景的视频序列组成，这些视频序列由来自微软Kinect的RGB和深度摄像机。下图为数据集样例。7.1.4

3D点云典型数据集7.13D点云标注简介第7章

3D点云标注彩色图深度图（5）KITTI标准数据集：该数据集利用KIT的无人车平台采集的大量城市环境的点云数据集（KITTI），这个数据集不仅有雷达、图像、GPS、INS的数据，而且有经过人工标记的分割跟踪结果，可以用来客观的评价大范围三维建模和精细分类的效果和性能，下图为数据集样例。7.1.4

3D点云典型数据集7.13D点云标注简介第7章

3D点云标注第7章3D点云标注7.13D点云标注简介人工智能技术应用核心课程系列教材7.23D点云标注工具7.33D点云标注项目7.4本章小结7.5作业与练习3D点云标注能够实现3D单帧标注、2D-3D单帧映射、3D追踪标注等功能：（1）3D单帧标注：可以提供点云或者点云与时间对齐的图片，但只标注点云。（2）2D-3D单帧映射：2D和3D同一物体ID相同。（3）3D追踪标注：追踪同一物体ID一致。注：2D-3D映射需要提供校准信息，每个摄像头均要提供（摄像头的内参和到激光雷达坐标映射的外参）。7.2.1

3D点云标注工具的主要功能7.23D点云标注工具第7章

3D点云标注3D点云标注工具界面由工具栏、主视图、三视图、帧控制区域、状态栏、属性区、对象列表区等七部分构成，工具界面如下图所示。下面进行具体介绍。7.2.2界面布局和操作7.23D点云标注工具第7章

3D点云标注（1）工具栏：工具栏用于整体任务或者显示的控制。主要包括如下内容：①获取任务：获取一条数据用于标注；②保存：用于手工将标注数据临时保存在磁盘上，防止丢失；③提交：用于标注等工作完成后提交结果；④撤销：撤销上一个标注操作，最多可以10步。⑤恢复：恢复上一个撤销的操作。⑥删除图形：删除选中的对象。⑦隐藏标签：不显示所有对象的标签。⑧隐藏图形：主视图和街景中不显示所有对象。⑨合并ID：用于找回对象，把两个不同的ID合并为一个，复制之前的属性。其他功能包括工作量统计、类别统计、计时和到期时间等。7.2.2界面布局和操作7.23D点云标注工具第7章

3D点云标注（2）主视图：有两种模式，3D模式和俯视模式。主视图是3D点云的主要操作区域，可以查看、选中、新建、删除、修改对象。标注对象和街景中的选中对象是联动标注的。①3D模式下的操作：包括拖动整个3D空间、旋转视角、选中和删除功能；②俯视模式下的操作：拖动俯视视角3D空间、旋转、选中、新建对象、移动对象和删除。（3）三视图：用俯视图、正视图和侧视图去观察选中的对象。在三视图中可以移动和调整标注框，以便更加贴合。（4）属性区域：用于修改选中对象的属性。标注时需要选择属性的类别，如车辆类型，不同的类别可能拥有不同的属性，如车辆颜色、种类，以及人的着装等。7.2.2界面布局和操作7.23D点云标注工具第7章

3D点云标注（5）对象列表区：用来显示本条数据中已经标注的对象，前面是对象ID，后面是对象类别，这个同时也作为标签显示在主视图中。（6）帧控制区域：该区域可以把整条数据置为无效，或者把当前帧设置为无效：可以手动输入帧序号进行跳转，或者下一帧、上一帧、下十帧、上十帧、第一帧和最后一帧的跳转，也可以点击下方帧号进行跳转。（7）状态栏：状态栏对操作成功与否进行提示7.2.2界面布局和操作7.23D点云标注工具第7章

3D点云标注（8）快捷键：3D点云标注工具已定义快捷键，如下图所示。其中，1键代表3D视图，2键代表俯视图，3键和4键不调整目标框的位置，只选择新的朝向。W、S、A、D、R、F键分别代表微调所选择的目标对象框的前后左右上下4个面，向扩大的方向调整，每次调整4厘米。Q和E代表微调所选择框的旋转角度，每次调整2度。7.2.2界面布局和操作7.23D点云标注工具第7章

3D点云标注本标注工具输出格式为JSON，JSON格式类型可配置，不同类型可以有不同属性，属性可以分全局和当前帧属性，下图为JSON输出效果图。7.2.3标注输出格式7.23D点云标注工具第7章

3D点云标注第7章3D点云标注7.23D点云标注工具人工智能技术应用核心课程系列教材7.33D点云标注项目7.4本章小结7.5作业与练习7.13D点云标注简介项目背景：3D点云图像数据标注是在激光雷达采集的3D图像中，通过3D标注框将目标物体标注出来。目标物体包括车辆、行人、广告标志和树木等。自动驾驶标注规范：包含标注框规范、类别规范、属性规范。（1）标注框规范：需要6个面都贴合雷达点，不能出现漏点。（2）类别规范：包括车辆、公交、卡车、摩托车、行人、汽车人等。（3）属性规范：包括标注框的方向、大小、遮挡、截断、离开属性，以及目标对象的运动状态、TOS属性等。7.33D点云标注项目第7章

3D点云标注3D点云标注流程：（1）数据标注：以下步骤为数据标注的流程，下图为3D点云标注界面样例：①启动客户端；②点击“获取数据”来载入任务；③主视图切换到俯视模式，新建对象，在三视图中调整以贴合；④切换到其他帧调整位置，直到所有的3D和2D都完成追踪和映射后点击提交。

7.33D点云标注项目第7章

3D点云标注3D点云标注流程：（2）质检：质检包括两种方式：单标注框质检，单帧质检。①单标注框质检：单标注框质检过程中标注框默认为白色，表示当前目标标注框未被质检。质检合格时，标注框为绿色，质检不合格时，标注框为红色，质检不合格时需填写不合格原因。②单帧质检：单帧质检指对视频的某一帧进行质检。单帧质检合格则在帧号上显示绿色，不合格则在帧号上显示红色，返修后提交的帧帧号显示为黄色，帧不合格不影响帧内的框的颜色和质检结果。7.33D点云标注项目第7章

3D点云标注3D点云标注流程：（3）返修：对质检结果的查看，以及对不合格标注数据的修改。单标注框返修时需根据不合格原因修改标注对象，修改后标注框会变为橙色，表示已修正。完成所有修复后点击“提交”保存修复结果。“提交”时会检查是否修正全部不合格目标框以及帧，如果未全部修正则会有信息提示并且不允许提交。返修完成后可以将返修结果放入任务配置参数中，并且任务模式修改为质检，对返修结果再次进行质检。如质检不合格继续返修，如此往复直到质检合格为止。下图