《公共安全应用 视(音)频智能识别算法评估和管理要求》征求意见稿

AssessmentandmanagementrequiremeI 4 4 4 4 6 6 6 6 6 8 8 8 8 8 9 9 9 9 9 9 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定4公共安全应用视(音)频智能识别算法评估和管理要求本标准规定了公共安全应用领域视(音)频智能识别算法评估、管凡是不注日期的引用文件，其最新版本（包括所有的修改单）GB/T41867-2022信息技GB/T41786-2022公共安全GB/T42888-2023信息安全技术机器学习算法安全评GB/Z42759-2023智慧城市人工智能技术应用场景分T/CESA1021-2018人工智能深度学习算法GB/T41867-2022、GB/T41786-2022、GB/T42888-2023、T/CESA1021-2018界定的以及下列术语频等）进行自动分析，进而获得其中的物体对象或行为事件的描述和解释的智能事件分析、步态预警、人证核验、车牌识别、人群聚集检测、语音识别等，不包括城市治理中人工智能技术的应用场景中其他领域如智慧5二分类算法binaryclassification多分类算法multi-classclass对抗样本adversarialexa灰盒方式生成的样本：指目标模型部分已知的情况下（如模型结构信息已知但无法获得模型参数），利用模型的查询权限等方式来生成对黑盒方式生成的样本：指目标模型未知的情况下，利用一个替代模型进行模型估计，针对替代模型使用白盒方式生成6对抗样本攻击electronicadversarialAUC：ROC曲线下方面积（AreaunderthCPU：中央处理器（centralprocessingFGSM：快速梯度下降法（FastGradientSignMQPS：每秒查询率（Queries-per-sROC：受试者工作特征（ReceiverOperatTOPS：每秒万亿次操作（TeraOperationsPerS4评估和管理原则4.1基本原则报。同时，对于不同的应用场景和需求，算法应能够进行定制化优化，以提高识别效果；对新型数据格式的支持以及对新应用场景的适视(音)频智能识别算法在公共安全应用应遵循不同分级原则，具体分级如a)A级：国家及地方的法律法规、标准规范或相关管理部门要求的公共安全非重点区域或中、低b)B级：国家及地方的法律法规、标准规范或相关管理部门要求的公共安全重点区域或高风险场75.1算法评估环境注：按照算力大小可将硬件设备分为端侧设备（设备算力＜5TOPS@INT8）、边侧设备（5TOPS@INT8≤设备算力≤40TOPS@INT8）、云侧设备（设备算力＞40TOPS@I其他：根据具体的算法和应用场景，如涉及其他硬件环境的，如专用加速器等，也需要注操作系统：应注明算法运行的操作系统类型5.2算法性能1二分类算法应通过算法精准性的指标评B级：AUC≥0.75；A级：AUC≥0.65。2多分类算法应通过算法精准性的指标评1单条检索响应时间应通B级：单条检索≤1s；8A级：单条检索≤2s。2单条检索响应时间应通B级：单条检索≤1s；A级：单条检索≤2s。QPS应通过指标评估要求A级：QPS≥4。3单条检索响应时间应通B级：单条检索≤1s；A级：单条检索≤2s。QPS应通过指标评估要求A级：QPS≥40。5.3抗攻击能力评估1算法应有效防范白盒方式生2算法应有效防范灰盒方式生3算法应有效防范黑盒方式生a)调度任务创建：支持根据不同场景建立相应行为事件解析任务；b)执行周期配置：支持选择调度任务执行周期配置，如：全天任务、定时任务、巡检任务等；c)算法筛选及查看：支持通过调度任务名称、算法名称等多种方式检索算法，支持基于关联事9a)能力编排调度：支持通过编排配置和组件调度实现多种算法能力的组合编排，支持对同一待b)任务编排调度：支持对算法任务的编排调度管理，如：对算法任务的新增、修改、删除、下发、启停、查询等。支持基于算法能力、加载点位、运行周期、应用场景、任务优先级等维c)策略编排调度：支持对算法的定义阈值、加载数量、算法级联等进行编排调度管理。a)算法调度管理：支持实时查看算法所支持b)算法查询管理：支持提供算法的应用参考信息，用户可通过该信息查找算法；c)信息展示管理：支持包括算法事件列表展示、a)版本控制：支持对算法进行版本控制，记录每次修改的内容和原因，便于追踪和回滚；b)定期维护：支持定期对算法进行维护和更新，以适应新技术和新场景的需求；支持算法状态a)告警策略管理：支持对不同场景配置个性化算法告警，支持对告警阈值及优先级进行定义及b)告警推送管理：支持将不同算法、不同告警任务产生的结果事件按指定格式进行推送，支持c)算法接入管理：支持对接入的算法、厂家、版本、能力、接口等信息的管理。应具备兼容多个厂家多种算法的能力，支持对接多个厂家多种算法的接口，支持算法的注册、算法维护以d)算法分类管理：支持基于算法所匹配的具体业务场景或者算法的技术属性的分类管理，算法管理应支持查看算法属性、算法名称、算法与算力适配情e)模型管理：支持模型选择，支持对模型库、指标库的配置并支持模型版本可回溯。b)支持对底层多种类型的资源提供工作负载管理、镜像管理、服务管理、密钥配置管理等。c)支持对接入的新增、扩容及第三方算力设备的审核管理。当注册的算力需要符合按照算力接入标准提供算力的参数信息及应用信息时，允许相关算力正式接入。算力接入管理包括但不e)支持算力类型定义和维护，例如：中心算力、边缘算力、物理算力、云端算力等，应支持将f)支持不同的算力按照统一的基本算力单元和格式进行注册，并支持按照基本算力单元进行算a)算法管理展示：支持汇总展示已接入的算法总数、算法调用次数、算法识别准确率等基础信息；支持以算法模型库的方式，对算法进行模块化管理；支持提供多种视图展示模式，包括b)算力管理展示：支持算力涉及到的数据流加载规模、集群规模、有效利用率等基础信息，以及算力资源池的地理位置和所属的算力属性等信息的综合分析和展示。支持以可视化统计方式，分析和展示算力资源的使用情况，支持统计分析各算力群累计加载的视频路数，支持分c)效能管理展示：支持综合呈现算力以及算法在不同应用a)保障系统与其它相关系统的接口的安全性；c)保证接口数据在系统与其它接口系统的一致性；d)在接口数据交互过程中，应具有数据发送和接收传送后的确认过程；f)具备接口数据的容错和错误处理机制。开发者应提供算法安全功能的安全架构描述，安全架构描述应满足以b)描述与安全功能要求一致的算法安全功能的安全域；开发者应提供完备的安全功能规范说明，功能规范说明应满足以b)描述所有安全功能接口的目的与使用方法；g)描述安全功能实施过程中,与安全功能接口a)部署环境管理：应确保算法部署环境的稳定性和安全性，包括硬件资源、网络环境等；c)算法监控：支持对算法运行过程进行实时监控，根据性能数据进行调优，确保算法的高效运行；支持监控模型运行的状态、硬件资源耗用情况、异常报警情况、特征变量的波动情况、b)身份鉴别：支持启用口令复杂度、据加密数据加密、差分隐私等，对人脸等生物特征识别数据的传输进行保护，确保个人数据的安b)支持对输入数据进行去噪处理，破坏恶意添加在真实样本上的对抗噪声； 正负 正负注：1.真正例(TruePositive，TP)为被预测为正ranki——第i条样本的序号（概率得分从小到大排列，排在第rank个位置MNA.2.1实例：语音识别算法性能测试1.构建说话人语音探测集，包含不少于100000条不同人语音，有效语音累积时长不2.构建目标人语音测试集，包含不少于500条不同身份目标语音，同一目标人在语音探3.将目标集中语音与探测集进行语音识别根据A级和B级的阈值1.准备不少于100万条测试语音数据构建语3.重复10次，取10次结果的算术平均值作为根据A级和B级的阈值需求制定了电子对抗样本攻击最低容忍成功Conversion，VC）和录音重放（Replay）等语音对抗样本生成算法生成不少于100条对根据A级和B级的判定A.2.2实例：人脸辨识算法性能测试2.构建目标人脸测试集，包含不少于100条人脸探测集中的人脸图片/视频数量为1条~~识试验，利用多分类算法精准性指标进行评根据A级和B级的阈值1.准备不少于10万人脸图片/视频构建人脸2.进行单次人脸检索试验，从检索确认开始3.重复10次，取10次结果的算术平均值作为根据A级和B级的阈值需求制定了电子对抗样本攻击最低容忍成功JSAM等人脸识别对抗样本生成算法生成不少于100条对抗样本组成测试数据集进行攻击根据A级和B级的判定A.2.3实例：人脸验证算法