智能网联汽车视频图像数据标注技术方法

4智能网联汽车视频图像数据标注技术方法本文件规定了智能网联汽车视频图像标注的内容及要求，包含常见的标注方法，也对标注合格性要求、传感器布置等依赖性内容进行说明。本文件适用于智能网联汽车视频图像数据标注。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T41871-2022《信息安全技术汽车数据处理安全要求》T/CSAE212—2021《智能网联汽车场景数据图像标注要求及方法》T/CAAMTB77-2022《汽车传输视频及图像脱敏技术要求与方法》3术语和定义下列术语和定义适用于本文件。3.1视频图像数据标注Videoandimagedatalabeling按照规则从视频或图像数据中获取信息，并将信息记录。3.2静态障碍物OD是指特定种类的静态障碍物，如锥桶、立柱、地锁、A字牌、垃圾桶、三角警示牌、防撞桶、石墩、车位限位器等。3.3交通参与者VRU是指道路上的交通参与者，通常包含汽车、二轮车、三轮车、行人、动物等。54视频图像数据标注内容及要求4.1视频图像标注内容4.1.1对象实例（Instance）标注：通过点/线/框（2D或3D）/多边形/分割等方式，勾勒标注出视频图像数据中的目标对象。4.1.2分类（Category）标注：基于标注规范的对象分类，给对象打上响相应的分类（Category）标签并保存。4.1.3属性标注：属性标注属于面向对象的细节标注，通过关键字保存值实现对象的细化属性标注。常见的属性包括对象的类别、朝向、遮挡等级、截断等级、动作属性、ID属性4.1.4对象ID标注：在连续帧标注中，同一对象在不同帧中的ID需要保持一致，通过“Tracking_ID”，在不同帧中实现对象追溯。比如：在初始帧中为标注对象按从左到右、从上到下的顺序以“0”为初始号进行编号，并在下一帧中，根据上一帧目标的位置将编号对应到当前帧的目标上，并为新增的目标按从左到右、从上到下的顺序编号。4.1.5图片集标注：是指对图片集进行分类，并赋予属性。包括：1)对图片集合进行二分类（AB制）标注；2)对图片进行二分类（正负例）标注；3)集合匹配。4.1.6视频标注：是指针对视频进行连续帧标注，以及对视频执行属性标注（分段属性、4.1.72D图片-3D点云关联关系标注：对2D图片上的框与3D点云框进行一对一匹配标注。4.2视频图像标注数据格式目前主流标注工具支持的标注数据种类包括：1)图片，包括：jpg、png格式、带有dependency依赖项的图片；2)视频，包括：视频mp4、视频avi、视频mkv、视频mov的格式（建议mp4格式）、带有dependency依赖项的视频；3)Lidar点云数据，包括：Lidar点dependency依赖项的tar包Lidar点云数据。图12D-3D联合标注TAR包结构64.3视频图像标注流程及保存格式4.3.1视频图像数据标注流程包括（如图21)数据准备及预标注：标签任务启动，原始数据（可能是图像、视频或点云）将被上传到一个对象存储桶（Bucket1并被压缩成要标记的数据并上传到另一个对象存储桶（Bucket2相关自动化标注在云端流水线执行；2)人工标注：人工标注依赖于标注客户端软件，当执行贴标任务时，该工具会将压缩的数据从Bucket2下载到本地硬盘，用于后续贴标操作：a)标注员使用标注工具获取标注数据包；b)按照标注规则要求的标注内容和方法对对象进行标注；c)标注完成后保存结果，进入下一帧对象的标注；d)完成整个数据包的标注后，申请获取下一个数据包，并重复步骤b)。3)贴标时标注结果存储在硬盘上，贴标机提交贴标结果后上传到云端数据库。此后，下载的数据将被删除；4)训练及评测等下游系统将访问来自Bucket1的原始数据和来自数据库的标记结果以供将来使用。图2视频图像标注数据流4.3.2视频图像数据的标注结果统一采用JSON格式，每一张图像的保存结果应包含但不限于“info”、“image”、“annotations”、“categories”4个部分：1)“info”保存年代、版本、描述、贡献者、地址、数据创建日期信息；2)“image”包含标注图像ID、文件名、分辨率、通道数、数据来源等内容；3)“annotations”保存了图像中每个目标的标注结果，不同类别目标的标注结果包含不同的关键字；4)“categories”对应的是数据集所包含的目标类别的名称、分配的ID。Json文件格式示例如下："x":11.816845893859863,"y":-3.726804256439209,"z":1.0500000715255737"rotation":{"pitch":0.4658752535525,"roll":0.152525285763,"yaw":0.14535897752357"size":{"x":3.5,"z":1.7000000476837158"tracker_id":1,"type":"tricycle",{"center":{"x":25.09449577331543,"y":4.181087493896484,"z":1.383333444595337"rotation":{"pitch":0.153538757545,"roll":0.04575878979979,"yaw":0.23527575757145"size":{"y":2.0999999046325684,"z":1.9666666984558105"tracker_id":2,"type":"vehicle",...]5视频图像数据标注方法5.1二维矩形框标注在对象周围拉框选四边形，以完成目标对象标注，是道路参与者VRU、静态OD的基础识别手段。二维矩形框保存值由中心点像素坐标、长度像素值和宽度像素值构成，为（x，y，w，h）形式的元组结构。5.2三维矩形框标注3D立方体标注还是基于二维对象的标注，通过对立体物体的边缘框定，获取物体相对距离等信息。三维矩形框保存值由8个顶点像素坐标构成，为[(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，(x6，y6)，(x7，y7)，(x8，y8)]形式的列表结构。85.3关键点标注关键点标注是指通过人工的方式，在规定位置标注上关键点。关键点常用于人脸识别，对图像中人脸的关键位置，如脸廓、眉毛、眼睛、嘴唇等标注，主要用于车载系统监控，统计乘客人员数据、司乘身份验证等。常见的关键点标注方式包含：人脸21点、人体十七点。关键点标注在对象轮廓上选择不同位置的多个关键点，记录它们的像素坐标，表示为（x，y实现对标线轮廓的圈定，同时保存轮廓部分的原始图像，保存值由这些关键点的像素坐标构成，表示为[（x1，y1x2，y2x3，y3…，(xN，yN)]的列表结构。5.4多线段标注多段线标注主要用于道路地标线的标注，可以帮助遵守车道规则行驶。多段线标注是通过记录每段线上不同位置的多个关键点（包括最近点、最远点）的像素坐标和类型，表示为（x，y，type保存值由这些关键点的像素坐标和类型构成，表示为[（x1，y1，typex2，y2，typex3，y3，typeⅆ，(xN，yN，type)]的列表结构。5.5多边形标注多边形是针对不规则物体的标注工具，较以上工具，多边形能更精准地框定目标，应用于更为精确的类别识别，如车辆细分类型（面包车、卡车、大客车、小轿车、消防车、拖挂车等）识别。多边形标注通常包含：1）对图画多边形（可限制多边形点数2）对比色填充；3）多边形属性标注；4）多个多边形序号标注。多边形标注可以通过在对象轮廓上选择不同位置的多个关键点，记录它们的像素坐标，表示为（x，y实现对标线轮廓的圈定，同时保存轮廓部分的原始图像，保存值由这些关键点的像素坐标构成，表示为[x1，y1x2，y2x3，y3…，(xN，yN)type]的列表结构。5.6语义分割标注语义分割与多边形相似，可对图片中复杂不规则类目进行标注，这些分类可能是“行人，车辆，建筑物，天空，植被”等等。此外，除了区域划分，语义分割还需标注不同对象的对应属性，可帮助车辆识别道路上的可行驶区域。可行驶区域轮廓采用语义标注的方式，在对象轮廓上选择不同位置的多个关键点，记录它们的像素坐标（x,y实现对可行驶区域轮廓的圈定，同时保存轮廓部分的原始图像。5.7Track_id、Space_track_id标注标注对象ID在一个场景中不同帧应保持一致，Track_id标注主要包括：1）单路相机图片标注Track_id；2）多路相机图片联合标定Space_track_id；3）视频连续帧标注Track_id；4）多路相机视频联合标定Space_track_id。在初始帧中对象目标按从左到右、从上到下的顺序以“0”为初始号进行编号，并在下一帧中，根据上一帧目标的位置将编号对应到当前帧的目标上，并为新增的目标按从左到右、从上到下的顺序编号。5.82D-3D点云联合标注在3D图像中将车辆,行人,障碍物等规范要求标注的对象标出,其所在位置直接映射到2D图像，并在该处形成矩形框。有映射关系的框在被选中激活时将同时显示为高亮，并在9上方的图片列表中对映射框所在对应图片高亮显示。主要包含：1）点云俯视图拉框（侧视图/背视图调整2）3d点云图标注；3）辅助2d图片标注（多张图片展示4）给框属性操作；5）2D-3D框映射。5.9通用性标注规则5.9.1不拉框规则如表1所示。表1不拉框规则.镜面/积水等反射形成的目标.影子.整体全部被玻璃.海报、车身广告、广告牌和壁画中镂空物体遮挡的目标，需要.天桥上的目标.上下楼梯爬上天桥的人.高架下的目标.立交桥上的目标对于出现在汇流口的目标、匝道存在上下坡的目标，需.只露出很小的局部部分：整个VRU只露出一只手/胳膊/小腿/鼻子/侧脸等，如果能够区分的是某个目标的部分，则整体拉框，实在区分不.站在车上的人，与车辆或者二/三轮车形成一个整体（例如洒水车上的人，坐在二/三轮车上的人不标注只露出很小的局部部分：整个VRU只露出一只手/胳膊/小腿/鼻子/侧脸等，如果能够区分的是某个目标的部.闭合的地锁.水泥水马：水泥材质的护栏墩子.较高的护栏：超过轿车底盘高度的5.9.2忽略拉框规则包括：1)拉框后纵向或者横向小于标尺尺寸的目标；2)无法区分目标是否属于标注类别的目标：经过多方判断，图片中人眼依旧分不清目标的类别；3)目标边界过于模糊，不能清晰确认拉框位置，但确实可以确定是属于标注目标类别范围的；4)多个挨着的目标均符合忽略框标注规则的情况下可以整体拉框；5)忽略框对贴合要求不高，可以接受略大于正常框的情况；6)忽略框不能涵盖有效框，如果会涵盖，可以拆分成多个忽略框；7)对于静态障碍物，如果可见部分小于一定比例（如≤20%拉忽略框（维持静态障碍物的规则8)对于一排紧密相连导致不区分边界的，能够区分边界的最外侧目标需要拉有效框，剩余的目标如果连起来的目标小于一定数量（如≤2个大于标尺需要整体拉一个有效框，如果整体小于标尺，拉忽略框；紧密相连导致不区分边界的，如果目标连起来的目标大于一定数量（如＞2个，目测即可整体拉忽略框。6视频图像数据标注合格性要求结合图像质量，2D框和3D框是否达标，按照如下流程进行判断。根据判断的结果，将标注任务区分为通过、困难、跳过三类，并配合符合、修框等进一步动作。图3标注结果分类6.12D框质量达标合格说明达标合格的图片中的2D框符合标注规则或者辅助框结果存在一些可以接受的小瑕疵，无需进行任何修改，框的质量等级优良。不合格的图片中的2D框是辅助框结果存在较大缺陷，必须进行修框操作，属于不合格质量，将该类数据进行修框后，可以达到合格质量要6.1.1合格的2d框的贴合要求2D的质量达标要求如下：1)合格达标的质量：弱紧致（比如20%）要求，框的边缘没有明显小于或者大于目标轮廓；2)不合格的质量：框的边缘明显小于或者大于目标轮廓并达到一定程度，常常表现为一个目标多个框；图4框的边缘明显小于目标轮廓（不合格质量）6.1.2辅助框漏掉的情况有些情况下，即使目标物体没有辅助框（漏检也能够属于合格质量。属于合格质量的情形：1)远距离小于标尺的目标没有辅助框；2)被严重遮挡的（如：被遮挡部分超过80%）目标没有辅助框。属于不合格质量的情形：1)近距离遮挡不严重；2)远距离大于标尺且满足自下而上100%可见部分的目标没有辅助框。图5远距离小于标尺的目标没有辅助框（合格质量）图6被严重遮挡的目标（合格质量）图7漏检严重的（不合格质量）图8远距离大于标尺且满足自下而上100%可见部分的目标没有辅助框（不合格质6.1.3标注目标类别错误标注目标类别错误分为合格质量的情形、不合格质量的情形、特殊情形三种。属于合格质量的情形：1)远距离小目标整体略微大于标尺的目标被标注为忽略框；2)被严重遮挡的（被遮挡部分超过80%）目标标注为忽略框；3)将有效框完全包络进忽略框内。图9将有效框完全包络进忽略框内（合格质量）属于不合格质量的情形：1)目标明显漏检，严重；2)误检框，将不存在的目标标注为其他类别的框。图10误检框（不合格质量）6.23D框质量达标合格说明6.2.13d框达标状态图片中的3d框是目标的3d结果在图像的投影，可以接受3d框的多检，漏检，误检以及轻微的3d框投影不紧致贴合。受到自车与目标车距离，自车行驶道路存在坡道和颠簸情况，图片中个别目标的3d框投影会存在与实际目标位置或者角度存在略微偏差的情况，如下情形也是属于达标状态：1)可以接受3d框投影轻微的平移和角度偏差，平移偏差小于1/8个车身，角度偏差2)可以接受3d框的多检，即图片中无需2d拉框的目标或者位置也显示了3d框投影，如被截断的位置或者被严重遮挡的目标；另外也包括同一个2d目标投影了两个甚至多个贴合的3d框；3)可以接受3d框的漏检甚至完全没有3d框，即图片中需要2d拉框的目标没有3d框投影（3d框漏检4)可以接受3d框误检，即将无需进行2d拉框的目标进行了投影。图113d框的多检图123d框漏检图13轻微平移偏移图14框的方向存在轻微的旋转6.2.23d框不达标状态3d结果不达标的唯一评判标准就是看投影的结果是否满足贴合要求：3d框的结果与图片中的目标存在上/下左/右/前/后3d框不达标，偏差大小超过1/8个车身，如果不通过放大图片即可看出明显的偏差，则可认为超过偏差范围；3d框的结果与图片中的目标存在明显的旋转偏差，旋转角度超过1/8，如果不通过放大图片即可看出明显的偏转，则可认为超过偏差范围；。图153d结果不达标的平移和旋转偏差示意图163d框不达标-平移偏差超过1/8个车身图173d框不达标-旋转偏差超过1/8个车身6.3图片质量筛选以下情况的图片，直接进行hard操作，包括如下几种情形：1)图片质量特别差的，按（hard）标记，表示此图片标注有标注困难；说明：由于图片质量太差（镜头有水滴把目标严重遮挡，图片过黑、马赛克严重、反光强烈、图片重影，图片颠倒歪斜等导致无法辨认完整目标轮廓。2)标注数据包中出现同一场景的连续帧图片（自车和画面中其他目标始终静止只取一张图片进行正常标注，其他重复连续图片，按（hard）标记，无需标注。图18模糊的图片示例图19相机逆光严重的图片示例图20严重歪斜或者颠倒的图片示例附录A相机布置需求表A-1相机布置规范要求相机类型安装布置要求前视HFOV100°~120°相机投影区域处于同一雨刷范围内，且相机投影边界距两个雨刷边缘均保持在一定距离（参考数值30mm以上）相机镜头视点在玻璃上的投影与车辆中心面（XZ面）的距离应该在一定距离内（参考数值≤100mm）车前盲区应小于一定范围（参考数字≤4000mm）垂直视野遮挡应有所控制（参考数值≤15%）Pitch、Yaw、Roll角为0相机垂直视野控制：参考数值，7500mm远处看到不低于7500mm高的直立完整相机视野投影范围内玻璃和水平面夹角应控制（参考数值，≤24°)前视相机HFOV30°安装位置与前视HFOV100~120°相机X、Z方向平齐，相机投影区域处于同一雨刷范围内，且相机投影边界距两个雨刷边缘均保持在一定距离（参考数值，相机镜头视点在玻璃上的投影与车辆中心面（XZ面）的距离应该在一定距离内（参考数值≤100mm）车前盲区应小于一定范围（参考数值≤9000mm）视野范围无遮挡Pitch、Yaw、Roll角为0相机垂直视野控制：参考数值，35000mm远处看到不低于7500mm高的直立完整目标。侧前视HFOV100°对地高度需要保证（参考数值≥800mm建议安装在后视镜底座支架避免后视镜进入视野范围最大对地盲区（相机下FOV中心线与地面交点与车身的距离）应有所控制：参考数值，≤1500mm。备注:对地盲区超标时，优先确保相邻相机之间的共视角度满足要求。Pitch、Roll角为0，需调整Yaw角，确保横向FOV分别和侧后、前视相机的重叠视角保持在一定角度内（参考数值，≥10°)。自车灯光发光包络与镜头表面无交集侧后视HFOV60°对地高度需要保证一定高度（参考数值，≥800mm°),建议安装位置翼子板避免后视镜进入视野范围最大对地盲区（相机下FOV中心线与地面交点与车身的距离）控制：参考数值≤1500mm。备注:对地盲区超标时，优先确保相邻相机之间的共视角度满足要求。Pitch、Roll角为0，需调整Yaw角，确保以相机视点与车身边界的连线作为参考线，相机的HFOV边界与参考线相交的角度应在一定范围内（参考数值，自车灯光发光包络与镜头表面无交集后视相机HFOV50°~60°对地高控制（参考，1100mm≤H≤1800mm建议安装位置鲨鱼鳍、扰流板。对地盲区应小于一定范围（参考数值≤7000mm）相机居中水平安装，Pitch、Yaw、Roll角均为0；相机视点与车身中轴面距离保持在一定范围（参考，100mm以内优先采用居中布置。自车灯光发光包络与镜头表面无交集。（资料性）Lidar布置要求表B-1激光雷达Lidar布置规范条目前/主Lidar侧向/补盲LidarFOV1）叠加相关动静态公差后FOV不能被遮挡，包括LiDAR自身的FOV公差2）叠加安装公差后FOV不能被遮挡（建议FOV距离周边件>3mm安全间隙）3）叠加车辆动态振动引起的位置偏移、角度偏移后FOV不能被遮挡（建议FOV距离周边件>3mm安全间隙）1)叠加相关动静态公差后FOV不能被遮挡，包括LiDAR自身的FOV公差2)叠加安装公差后FOV不能被遮挡（建议FOV距离周边件>3mm安全间隙）3)叠加车辆动态振动引起的位置偏移、