T-CESA 1198-2022 人工智能 视频图像审核系统技术规范

人工智能视频图像审核系统技术规范中国电子工业标准化技术协会发布I版权保护文件版权所有归属于该标准的发布机构，除非有其他规定，否则未经许可，此发行物及其章节不得以其他形式或任何手段进行复制、再版或使用，包括电子版，影印件，或发布在互联网及内部网络等。使用许可可于发布机构获取。 2规范性引用文件 3术语和定义 14缩略语 15系统框架 25.2业务域 25.3数据服务域 25.4算法引擎域 3 35.6应用流程 6技术要求 36.1功能要求 36.2性能要求 47测试评价方法 67.1功能测试 67.2性能测试 7 9本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国电子技术标准化研究院提出。本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。本文件起草单位：中国电子技术标准化研究院、上海商汤智能科技有限公司、上海计算机软件开发中心、美的集团(上海)有限公司、海信集团控股股份有限公司、腾讯云计算(北京)有限责任公司、上海依图网络科技有限公司、北京百度网讯科技有限公司、深圳云天励飞技术股份有限公司、上海人工智能研究院有限公司、西北工业大学。本文件主要起草人：董建、马珊珊、陈海峰、徐浩、蒋慧、刘海林、吴庚、陈敏刚、丁敏捷、徐洋、杨雨泽、脱立恒、蔡亚森、高雪松、何晨迪、刘常昱、鄢科、段婧、赵春昊、郭明坤、周志超、何栋梁、陈斌、石羡、宋海涛、王资凯、张世周、梁国强。1人工智能视频图像审核系统技术规范本文件确立了视频图像审核系统的框架，规定了框架中业务域的技术要求，描述了测试评价方法。本文件适用于视频图像审核系统的开发方、使用方及第三方进行测试评估。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T21023—2007中文语音识别系统通用技术规范GB/T35678—2017公共安全人脸识别应用图像技术要求3术语和定义GB/T35678—2017界定的以及下列术语和定义适用于本文件。视频图像审核系统videoandimageauditingsystem根据用户审核要求，将视频和图像中信息进行识别、分类并协助人工进行处理的服务系统。对于给定的数据集，正确分类的样本数占全部样本数的比率。对于给定的数据集，正确预测的样本数占全部正确样本的比率。4缩略语下列缩略语适用于本文件。JPEG:联合图像专家组(JointPhotographicExpertsGroup)PNG:便携式网络图形(PortableNetworkGraphics)2QPS:每秒查询量(QueryPerSecond)TIFF:标签图像文件格式(TagImageFileFormat)5系统框架5.1概述业务域数据服务域算法引擎域基础域基于人工智能技术的视频图像审核系统(简称“系统”)包括业务域、数据服务域、算法引擎域和基础域等核心逻辑域，主要提供将视频、图像等数据转换为标签、文本及特征信息等服务。其基本框架业务域数据服务域算法引擎域基础域5.2业务域图1视频图像审核系统框架业务域包括以下功能模块：a)标签管理：应具备按照业务逻辑配置审核标签等功能；b)人物库管理：应具备人物库管理功能；c)关键词管理：应具备使用关键词等关键信息在结构化数据库匹配；d)审核模板管理：应具备审核模板的新增、删除、查询、更改等功能；e)审核任务管理：应具备对审核任务的新增、删除、查询、更改等功能；f)审核结果输出：应具备对审核结果的查看和筛选等功能，宜支持导出功能；g)离线审核管理：应具备对离线审核文件导入和查看等功能；h)用户管理：应具备用户管理和权限管理等功能；i)系统日志：应具备自动生成系统操作日志等功能。5.3数据服务域数据服务域包括以下功能模块：a)接口服务：应具备查询检索服务、数据管理等服务；可支持其他服务或系统接入功能；b)数据库：应支持标签库、人物库和关键词库；可支持其他数据库功能；3c)数据处理：应具备数据清洗、转换、加载等功能，其中视频数据应支持视频截帧，语音数据应支持音轨提取；可支持其他数据处理功能；d)数据接入：应支持视频、图像、语音、文本等数据类型接入；可支持其他元信息。5.4算法引擎域算法引擎域主要包括基于人工智能技术的视频图像服务引擎、语音服务引擎和文本服务引擎等，针对视频、图像、语音、文本等数据进行标签化标识，支持对标签化关键词进行分组、新增、删除、查询、更改等操作：a)视频图像服务引擎：应具备视频、图像分类、标签识别、特征提取功能，可支持其他功能；b)语音服务引擎：应具备语音转写、语义分析、声纹提取功能，可支持其他功能；c)文本服务引擎：应具备文本实体分割、特定语种识别、文字特征提取功能，可支持其他功能。基础域包括支持通用计算单元或异构计算单元的硬件、网络设备和存储设备等构成的资源池。5.6应用流程视频图像审核系统与内容采集系统和人工审核系统之间的关系见图2,系统的部署形式可采用云服务，也可采用私有化部署。视频图像审核系统中宜具备视频图像解析引擎和对外服务功能。6技术要求6.1功能要求系统标签管理包括以下要求：a)系统应能查看已支持的标签列表，并能配置指定标签的报警阈值，根据报警阈值输出审核结b)系统标签体系应支持按照审核业务需求分类、移动；c)系统宜支持对标签的启用、禁用等功能；d)系统宜支持对标签的新增、删除、查询、更改等功能。6.1.2人物库管理系统人物管理包括以下要求：a)系统应支持对符合GB/T35678—2017中4.1要求的人脸图像数据进行人脸注册，并与接入数据进行识别、比对，生成相似度值；b)系统应支持对符合GB/T35678—2017中4.2要求的人脸图像数据进行检测、识别；4c)系统宜支持对人物以及相关人脸图像数据的新增、删除、查询、更改等功能。6.1.3关键词管理系统应支持对关键词库以及库中关键词的新增、删除、查询、更改等功能。6.1.4审核模板管理系统审核模板管理包含以下要求：a)系统应支持审核模板的新增、删除、查询、更改等功能，开启与关闭，设置默认模板；b)系统应支持配置审核模板，宜支持自定义绑定标签、人物、关键词库、审核分数范围等条件；c)系统应支持设定抽帧方式及频率。6.1.5审核任务管理系统审核任务管理包括以下要求：a)系统应支持选择审核模板；b)系统应支持通过配置标签、人物、关键词、审核分数范围等条件进行审核任务的创建、编辑和删除操作；c)系统应支持通过审核任务名称对审核任务筛选。6.1.6审核结果输出系统审核结果输出包括以下要求：a)系统应支持查看审核任务的审核结果；b)系统应支持通过时间、标签、人物、关键词、审核分数范围等条件对审核结果筛选。6.1.7离线审核管理系统离线审核管理包括以下要求：a)系统应支持通过创建离线审核任务的方式对离线文件审核，离线文件导入类型可包括视频、图像、语音、文本等数据类型；b)系统应支持查看离线审核任务的审核结果。系统应具备用户管理、角色管理模块，支持用户、角色的新增、删除、查询、更改等功能，实现对用户进行部门划分、通过角色对用户进行功能权限的分配管理。6.1.9系统日志系统日志包括以下要求：a)系统应支持自动生成操作日志，记录操作人员身份信息、进入、退出系统的时间和操作情况；b)系统应具备操作日志查询、导出等功能。6.2性能要求系统兼容性包括以下要求：5对于视频图像中大于(32×32)像素的人脸类检测识别，包含下列要求：a)准确率不应低于90%;b)召回率不应低于90%;a)准确率不应低于90%;b)召回率不应低于80%;c)QPS不应低于200;a)准确率不应低于95%;a)准确率不应低于90%;b)召回率不应低于80%;c)QPS不应低于400;对于视频图像中大于(32×32)像素的中文字符或(16×16)像素的英文字符检测识别，包含下列a)准确率不应低于90%;6a)测试用户对指定标签的报警阈值进行调整，并根据报警阈值输出审核结果，通过调整标签的c)测试用户查看标签启用、禁用功能，先选取输出结果带有某标签的数据进行测试，然后对某d)测试用户查看已支持的标签列表，通过新增、删除、查询或更改任意标签确定标签列表的有a)测试用户使用符合GB/T35678-2017中4.1要求的人脸图像数据进行人脸数据注册，然后利用符合该标准的同一人的不同角度人脸图像数据接入系统，观察与该注册人脸的相似度是否最b)测试用户将多张符合GB/T35678—2017中4.2要c)测试用户对人物以及相关人脸图像数据进行新增、删除、查询、更改等操作，观察功能有效a)测试用户对审核模板创建，并观察是否在审核模板中自定义绑定标签、人物、关键词库、审c)测试用户对审核模板进行新增、删除、查询、更改等操作，检测功能有效性。并观察已创建7a)测试用户根据系统要求配置任意标签、人物、关键词、审核分数范围进行审核任务的创建、a)测试用户进入系统、退出系统并做出一些操作，将这些操作记录，然后观察系统日志中是否a)准确率和召回率：根据测试结果，基于混淆矩阵(表1),统计真正样本数(TP),假正样本数(FP),假负样本数(FN),真负样本数(TN),根据下式对准确率和召回率进行计算，计8表1混淆矩阵正值(Positive)负值(Negative)正值(Positive)真正样本数(TP)假负样本数(FN)负值(Negative)假正样本数(FP)真负样本数(TN)式中：TP——真正样本数；TN——真负样本数；FP——假正样本数；FN——假负样本数。2)召回率计算方法：式中：TP——真正样本数；FN——假负样本数。b)误报率：误报率应按照GB/T21023-2007中第七章的方法进行测试，统计系统报出关键词总数中错误的关键词个数FA,按下列公式进行计算：式中：Far——误报率；FA——系统报出关键词总数中错误的关键词个数，单位：个；KW——关键词表的词汇量，单位：个；HR——语音长度，单位：小时；C——每小时每个关键词最大容忍的误报个数，一般取10。c)每秒查询量：采用并发性能测试工具，设置并发数N个，每个并发用户不断向被测审核系统发送审核请求，记录成功执行的查询平均响应时间为T秒，QPS=N/T。根据监测结果与6.2.2的要求进行比对；d)响应时间：采用性能测试工具，设置并发数1个，用户串行向被测审核系统发送审核请求，记录成功执行的查询平均响应时间为T秒；e)语音转写倍速：测试音频文件总时长为H小时，调用音频转写接口将测试音频文件发送到审核系统，记录系统语音转写处理时间为h小时，转写倍速为H/h。9 (资料性)参考测试条件A.1测试工具测试工具包括软硬件平台，可由检测机构提供或由测试用户准备，其中：a)检测机构提供的测试工具要求如下：1)硬件平台：CPU主频大于2.0GHz、内存大于4GB的等同性能的硬件平台，测试硬件平台的算力性能上限宜根据检测业务需求确定；2)操作系统：主流操作系统，如Linux、Windows等；3)调用算法库进行测试时，应提供算法库接口函数。b)测试用户准备测试工具要求如下：1)可结合审核系统实际应用时的配置准备测试工具；2)直接提供被测系统或产品，使用检测机构提供的测试数据，被测系统或产品反馈测试结果记录。A.2测试环境除另有规定外，基本测试环境如下：a)环境温度：15℃~35℃;b)相对湿度：25%~75%;c)气压：86kPa~106kPa;d)