DB23T 3857-2024 人工智能数据标注总体框架规范

ICS01.140.20CCSICS01.140.20CCSL70黑 龙 江 省 地 方 标 准DB23/T3857—2024人工智能数据标注总体框架规范2024-08-30发布 2024-09-29实施黑龙江市场管理局 发布DB23/T3857—2024DB23/T3857—2024II前 言GB/T《标准化工作导则第本文件起草单位：黑龙江省网络空间研究中心本文件主要起草人：白瑞、呼大永、方舟、曲家兴、杨霄璇、宋雪、李锐、李晗、徐雪吟、刘颖、孟鸽、孙腾DB23/T3857—2024DB23/T3857—2024PAGEPAGE1人工智能数据标注总体框架规范范围本文件规定了人工智能数据标注的要求、总体框架、任务规划、任务实施、任务评审、交付验收、总结和后期维护。（GB/T35295信息技术大数据术语GB/T25069信息安全技术术语下列术语和定义适用于本文件。数据标注对准备使用人工智能研究的文本、图像、音频和视频等数据进行特征标注以满足正常可用的过程。数据标签用于标识出数据特征并建立标注数据与人工智能可用数据之间联系的信息。数据标注工具能够进行数据标注及在数据标注过程中进行管理、控制等过程中发挥作用软件的统称。数据标注技术数据标注合格率标注任务中，符合标注规则要求的已标注数据总量与所有已标注数据总量的比值。标注人员参与数据标注的人员应具备相应的资质，对确定符合要求的人员培训，应做到：明确职责合法合规应出台规章制度保障人工智能数据标注任务的合法合规性，并做到：保障质量应确保人工智能数据标注的质量，并做到：应确保数据标注相关角色对数据掌握范围的最小化，并做到：应从以下几方面做好数据保密，确保数据安全：数据完整为确保标注过程数据完整性，应做到：数据可审计应对数据标注各环节建立审计机制或制度，确保数据标注全过程可审计，并做到：其他要求数据标注除了考虑以上要求外,还应针对人工智能数据的特点从数据标注任务的其他方面分析,包括但不限于:1图1 人工能据注体架数据标注开始前，数据标注任务负责人应及时获取并明确数据标注需求，包括但不限于以下内容：数据标注任务负责人应及时获取待标注数据，数据获取方式包括：数据标注前，应对待标注数据进行分析，核对标注任务，包括：数据标注项目负责人应按照标注规划进行标注规则验证与细化，并完成以下内容：任务创建数据标注任务负责人应利用标注工具创建数据标注项目相关内容，包括：任务分发DB23/T3857—2024DB23/T3857—202455任务执行任务检验在任务进行过程中按照标注规则进行质量检验和质量纠偏。在标注任务进行期间应使用统计规则或模型验证等方法,得到标注任务一致性水平,一旦发现明显的偏离或出现一致性降低的趋势,及时预警。风险预估风险提醒DB23/T3857—2024DB23/T3857—2024PAGEPAGE6成立评审管理委员会3专家评审评审管理委员会组织专家开展评审，评审专家应具备以下条件：5评审方式评审应采取以下几种方式之一或其组合：会议评审(含视频答辩)。组织评审专家采用现场会议(网络视频)等形式，通过听取数据标注任务回退评审不合格的任务，数据标注负责人应进行回收，并重新分派，标注修改后重新评审。交付材料交付过程应按照安全递交方式递交标注结果，约束的内容包括但不限于：交付验收完成标注任务后，应将成果交付，完成任务验收，交付验证主要包括