人工智能 多算法管理技术要求 征求意见稿

1GB/TXXXXX—XXXX人工智能多算法管理技术要求本文件确定了多算法管理框架，规定了算法封装要求和接口要求。本文件适用于多算法管理系统的设计、研究、开发、实施、部署、验收和评估。2规范性引用文件本文件无规范性引用文件。3术语和定义3.1智能算法intelligencealgorithm针对特定应用场景，使用人工智能技术对视频、图片、音频、文本等内容进行深度分析，进而提取并输出用户关注的文字、数值信息的过程，简称算法。注：算法模型是使用特定的算法在数据集上训练而构建的模型，包含模型结构和参数。3.2多算法multialgorithm不同厂商、不同功能、不同平台、不同版本的算法。3.3算法任务algorithmtasks应用系统使用智能算法对数据进行处理和分析的过程。注：以图片为例，算法任务包括图片识别、图片分类、目标检测、图片检索等。4缩略语下列缩略语适用于本文件：CPU：中央处理器（CentralProcessingUnit）GPU：图形处理器（GraphicsProcessingUnit）NPU：神经网络处理器（NeuralnetworkProcessingUnit）DSP：数字信号处理技术（DigitalSignalProcessing）HTTP：超文本传输协议（HyperTextTransferProtocol）JSON：JavaScript对象标记语言（JavaScriptObjectNotation）5应用系统多算法管理总体要求5.1多算法管理系统2GB/TXXXXX—XXXX多算法管理系统是具备算法管理（增、删、改、查）和算法调度的软件系统，由算法仓库和算法调度服务构成。多算法管理系统框架见图1：图1多算法管理系统框架示意图5.2算法仓库算法仓库统一管理不同厂商、不同功能、不同平台、不同版本的算法，为算法复用、调度提供基础。通过制定完备的算法封装描述规范，算法仓库应具备对算法名称、类型、功能、技术参数、应用场景、运行环境等多方面的特征进行描述和管理的能力，从而能够在算法部署、编排、调度过程中提供相适应的技术环境或调度参数，与算法调度服务相配合，实现算法的统一管理和按需调度。算法仓库作为算法管理的软件，应具备算法包导入、算法包存储、算法包删除、算法包下载、算法检索和算法运营的功能。其中算法包要求参见第6章节。a)通过算法包导入功能向算法仓库导入不同厂商、不同功能、不同平台、不同版本的算法包，应对导入的算法包进行校验，不应导入校验不通过的算法包；b)算法仓库应存储所导入的算法包；c)通过算法包删除功能删除算法仓库中不再使用的算法包；d)提供算法包下载接口供计算设备下载对应的算法包；e)提供算法检索接口，供应用系统检索算法并配置使用；f)根据算法使用效果对算法打标签，对算法进行上下架操作，对算法仓库中的算法进行运营管理。5.3算法调度服务算法调度服务接收应用系统的算法任务，根据算法任务的要求和系统中计算设备的运行情况，查询可用资源，选择合适的算法并分发到匹配的计算设备上，同时将计算设备反馈的任务结果推送到应用系统或者由计算设备直接将任务结果推送到指定的目标中。算法调度服务根据任务状态启停算法实例，获取计算设备中的算法任务执行状态对算法任务进行监控，人工或根据预设策略处理异常任务，提高系统可用性。算法调度服务应具备算力管理、策略管理、实例管理、任务管理和状态监控的功能：3GB/TXXXXX—XXXXa)调用计算设备的资源查询接口，查询计算设备的算力资源和使用情况，对计算设备的算力进行统一管理，实现算力调度；b)提供调度策略配置、调度成效展示等功能，实现算力的灵活调度和系统算力资源的最大化利用，常用的策略有闲时分析策略、优先级策略、强制策略等；c)提供算法任务的全生命周期管理：1)向应用系统提供算法任务创建、算法任务执行状态和结果查询的接口，应用系统通过算法调度服务投递算法任务，查询任务执行状态和结果，依托算法实现各类应用；2)调用计算设备的算法分发、实例启动、任务派发、任务参数修改、任务结果查询等接口，向计算设备调度算法来执行算法任务；3)调用计算设备的实例停止、任务删除、算法卸载等接口释放计算设备的算力和存储资源，按需使用计算设备的资源，达到资源最大化利用。d)调用计算设备的状态查询接口对计算设备的算法和任务执行状态进行监控，对异常情况预警，及时告知维护人员介入排查。6算法包6.1算法包构成算法包是算法的成果物实体，用于算法的交付、分发、部署，由算法模型、算法形式化描述文件以及算法程序构成（见图2其中算法程序是算法包的可选组成部分：a)算法在全生命周期内，因算法程序更新、算法模型优化、算法形式化描述文件调整等原因可迭代更新多个不同的版本；b)算法程序是根据特定的人工智能处理方法，适配不同芯片平台、不同操作系统运行的软件程序，根据程序的功能差异，可分为算法库和其他程序文件（如解码程序文件）；c)算法模型是利用一定数量的训练数据，并基于机器算法训练调优生成，用于推理计算；d)算法形式化描述文件是计算机系统识别和管理算法程序过程中，用于描述声明其内在属性和外部关联关系。算法形式化描述文件包括算法属性信息描述文件、算法技术信息描述文件以及算法封面、算法应用场景等附件资料；e)一个算法包只含一种计算平台的算法模型、算法程序和算法形式化描述文件。图2算法包构成示意图6.2算法包目录算法包名称应包含以下信息：算法标识、厂商代号、版本号。算法包应以zip格式压缩，目录结构应符合表1要求：表1算法包中目录及文件组成4GB/TXXXXX—XXXXbin是是否存放算法体验样本数据，如可用于演示的图片是封面附件资料目录，存放用于展示算法能力封应用场景附件资料目录，存放用于展示算法能算法属性信息描述文件：managementi算法技术信息描述文件：technica6.3算法属性信息6.3.1算法属性信息概述算法属性信息包括算法标识、算法名称、算法功能说明、适用场所、算法封面以及应用条件。算法属性信息描述字段参见附录A.1。6.3.2算法标识算法标识是算法全生命周期中的唯一标记，要求如下：a)算法标识应体现算法的功能特性，优先使用行业专业术语、英文全称或缩写；b)算法标识由英文小写字母、数字和“_”构成，长度不超过30位。6.3.3算法名称算法名称要求如下：a)算法名称宜使用名词+动词结构，比如安全帽检测；b)算法名称中不应出现带有歧视、偏见的字样；c)算法名称应使用多文种，其中：1)汉字字符长度不少于4个字符，不超过20个字符；2)其他文种根据中文合理翻译，不超过150个字符。6.3.4算法功能说明用于说明算法的核心功能，描述可解决哪些特定场景下的哪些问题，要求如下：a)功能说明应符合伦理道德要求，不应出现带有歧视、偏见的字样；b)功能说明使用多文种，其中：1)汉字字符长度不少于10个字符，不超过500个字符；2)其他文种根据中文合理翻译，不超过1500个字符。6.3.5适用场所描述算法的适用场所（如城市交通、住宅建筑等）。5GB/TXXXXX—XXXX6.3.6算法封面算法封面要求如下：a)用于图形化的方式直观展示算法的应用场景和效果，应具有算法的辨识度；b)格式要求为图片或者视频，图片上传不超过5张，可轮巡展示；c)如涉及隐私内容，应打码方式进行处理；d)如涉及到人物的图片需避开人脸正面照。6.3.7应用条件描述算法的使用要求（如环境）、适用场景、不适用场景等。示例：人脸视频识别算法的应用条件如下：a)监控画面中人脸无遮挡；b)图像要求清晰可见，无遮挡，避免过曝、过暗、失真、色差等现象；c)适用单人场景且眼睛鼻子不能有遮挡；不适用多人场景。6.4算法技术信息6.4.1算法技术信息概述算法技术信息包括版本号、数据类型、基础运行环境、占用系统资源、性能规格、分析参数以及分析结果。算法技术信息描述字段参见附录A.2。6.4.2版本号版本号是区分算法迭代的不同版本，是不同版本的唯一标记。版本号由主版本号、子版本号和修订版本号三段构成，各段之间用“.”分割，如1.3.2。6.4.3数据类型数据类型可选图片、视频、音频、特征信息、文本一种或几种。6.4.4基础运行环境基础运行环境包括算法运行的设备类型、计算平台和操作系统：a)设备类型包括通用GPU服务、嵌入式设备；b)计算平台主要是算法加速器的类型和型号。6.4.5占用系统资源描述算法运行所需的算力、显存、内存、CPU核心数、硬盘空间、闪存大小等资源，显存、内存、硬盘空间单位是MB。6.4.6性能规格用于算法使用者制定算法使用方案。性能规格与数据类型相关，不同数据类型的性能应分别列举描述。6.4.7分析参数6GB/TXXXXX—XXXX分析参数是指算法对所分析内容进行处理所需的各项参数，以计算机视觉算法为例，分析参数包括但不限于：a)检测识别算法或行为分析算法设置的检测区域或者屏蔽区域；b)行为分析算法设置方向或角度（跨线的方向）、灵敏度的设定、模式的设定、时间的设定；c)其他算法的输入参数。分析参数定义参见附录B。6.4.8分析结果算法运行后输出的分析结果，以计算机视觉算法为例，分析结果包括但不限于：a)特征模型；c)事件信息，事件应唯一定义，算法事件码是算法事件的唯一标记。7接口要求7.1资源查询应支持查询计算资源的请求，由其响应返回具体的计算资源（包括显存、存储部件、内存、CPU、NPU、DSP等）的可用量。接口定义应符合表2的要求。表2资源查询接口定义URLGET/iot/global/0-global/model/attribute/get/AlgoPackageScheduling/Searhttps/http表3资源查询接口返回信息计算平台服R计算设备中计算平台服务的存储和运行资计算节点资源R计算节点的存储和运行资源，详细参数定表4PhysicalInformation参数列表可用存储空间RRRR7GB/TXXXXX—XXXX设备软件版本R总设备存储RR表5AbilityInfos参数列表R仅有物理引擎，例如，10：10表示物理引O在通用GPU上运行的算法，是使用GPU的赋值说明：在nodeID赋值为物理引擎(如1)存O一块连续内存来存放模型和数据，这块连赋值说明：在nodeID赋值为物理引擎(如1)R赋值说明：在nodeID赋值为物理引擎(如1)R算法程序运行所需的CPU使用率，范围赋值说明：在nodeID赋值为物理引擎(如1)R视频算力计算：单路占用芯片百分比/路。图片算力计算：单路每秒处理图像占用芯赋值说明：在nodeID赋值为物理引擎(如1)8GB/TXXXXX—XXXX算法加载信息AlgoLoadInfoO一个计算节点只加载一个算法包。详细参赋值说明：在nodeID赋值为虚拟引擎(如任务运行信O当有任务运行的情况下返回该节点,赋值说基础运行环境OAIOP#支持一站式感知智能训练平台训练赋值说明：在nodeID赋值为物理引擎(如1)表6AlgoLoadInfo参数表R算法包是算法描述和算法程序结合在一起的一种成果物格式，作为算法的实体进行RO表示该算法包任务运行之后的算力占表7TaskInfoList参数列表RR7.2算法分发应支持算法包下发到计算设备，或者下发算法包下载链接地址，由其通过链接获取算法成果物。接口定义应符合表8的要求。表8算法分发接口定义URLPOST/iot/global/0-global/model/service/operate/AlgoPackageScheduling/AddAlhttps/http9GB/TXXXXX—XXXX表9算法分发接口输入参数RR依赖于filePathType的定义，赋值参考R算法包是算法描述和算法程序结合在R算法标识是算法全生命周期中的唯一O标识ID通过数组中的顺序一一对应,即算法名称列表中的第一个对应算法标ROO表10encrypt参数列表RRR表11Address参数列表ROOO表12算法分发接口返回信息R400:BadRequest,客户端请求参数错误，指代GB/TXXXXX—XXXX客户端产生的错误，如参数错误、报文格式错服务器处理时发生了错误，表示由于设备本身RRR7.3实例启动应支持向计算设备发出启动算法实例的指令，计算设备使用分发给其的算法包启动算法实例，准备执行算法任务。接口定义应符合表13的要求。表13实例启动接口定义URLPOST/iot/global/0-global/model/service/operate/AlgoPackageScheduling/https/http表14实例启动接口输入参数RR表15实例启动接口返回信息R400:BadRequest,客户端请求参数错误，指代GB/TXXXXX—XXXXRRR7.4实例停止应支持向计算设备发出停止算法实例的指令，停止已启动的算法实例，释放算法实例占用的系统资源。接口定义应符合表16的要求。表16实例停止接口定义URLPOST/iot/global/0-global/model/service/operate/AlgoPackageScheduling/https/http表17实例停止接口输入参数RR表18实例停止接口返回信息R400:BadRequest,客户端请求参数错误，指代RRRGB/TXXXXX—XXXX7.5算法卸载应支持向计算设备发出卸载算法的指令，卸载分发给其的算法，释放算法成果物占用的存储空间。接口定义应符合表19的要求。表19算法卸载接口定义URLPOST/iot/global/0-global/model/service/operate/AlgoPackageScheduling/DeleteAlhttps/http表20算法卸载接口输入参数R表21算法卸载接口返回信息R400:BadRequest,客户端请求参数错误，指代RRR7.6任务派发应支持向计算设备发出派发任务的指令，其中算法任务主要参数有分析数据来源、分析数据规则、任务执行计划以及分析结果推送目的地址，由其执行算法任务，产生分析结果。接口定义应符合表22的要求。表22任务派发接口定义POST/iot/global/0-global/model/service/operate/AlgoPackaGB/TXXXXX—XXXX任务信息在设备中需要固化，设备重启之后任务需要继续执行，任务执行结束后，设备不能主表23任务派发接口输入参数R当平台下发的任务ID非空值时,设备做重复当平台下发的任务ID为空值时，任务ID有设/html/rfcOpriorityO设备处理高优先级任务时，低优先级任务停RRRROcustomInfoO用于平台在任务中透传自定义信息，一般用表24DataSource参数列表Rpicture#图片,videoPolling#视频轮询(实时间隔分析picturePolling#图片抓拍轮询(实时分析accessDevEventAnalysis#接GB/TXXXXX—XXXXO效O轮询抓图原始boolOOOOOOOO报警目标框叠boolOnO表25Stream参数列表GB/TXXXXX—XXXXRruleR表26StreamList参数列表O当视频轮询任务时，一个任务存在多个取流RruleR表27Picture参数列表RR图片分析任务，推荐分析任务支持图片上线ruleR表28Channel参数列表RruleR表29channelList参数列表RpresetIDO算法分析规则ruleR类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持16个规则，每个规则满配时的大小1000字节左右，因此该节点表30udioChannelList参数列表R算法分析规则ruleR分析规则为算法输入参数,可根据具体的算法类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持16个规则，每个规则满配时的大小1000字节左右，因此该节点最大值GB/TXXXXX—XXXX表31Destination参数列表RROOOportNoROO表32任务派发接口返回信息O/html/rfc值O7.7任务查询应支持向计算设备发出分析任务查询的指令，返回设备所执行的全部分析任务，包含各分析任务参接口定义应符合表33的要求。表33任务查询接口定义POST/iot/global/0-global/model/service/operate/AlgoPackageS表34任务查询接口输入参数R当平台下发的任务ID非空值时,设备做重复校验,并返回任务ID与平台下发的一致。;当平台下发的任务ID为空值时,任务ID有设备生成确GB/TXXXXX—XXXX表35任务查询接口返回信息ROpriorityORRR分析数据来源R结果推送地址RcustomInfoO表36DataSource参数列表Rpicture#图片,videoPolling#视频轮询(实时间隔分析多picturePolling#图片抓拍轮询(实时分析多路固前端相机分析的事件类型O效OpicturePolling时必填有效轮询抓图原始图片是否nabledboolO片保存是为了排查问题,判断是否有漏报警的分配的算力值O该任务占用指定引擎的算力额。如该任务只需OOOGB/TXXXXX—XXXX通道列表分析O音频通道列表O报警目标框boolOnO表37Stream参数列表R算法分析规则ruleR表38StreamList参数列表O当视频轮询任务时，一个任务存在多个取流R算法分析规则ruleR表39Picture参数列表R算法分析规则ruleR表40Channels参数列表GB/TXXXXX—XXXXR算法分析规则ruleR表41channelList参数列表RpresetIDO算法分析规则ruleR类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持16个规则，每个规则满配时的大小1000字节左右，因此该节点表42audioChannelList参数列表R算法分析规则ruleR类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持16个规则，每个规则满配时的大小1000字节左右，因此该节点表43Destination参数列表RROOOROpasswordO7.8任务修改应支持向计算设备发出派发分析任务修改的指令，对分析任务的参数进行调整。接口定义应符合表44的要求。GB/TXXXXX—XXXX表44任务修改接口定义POST/iot/global/0-global/model/service/operate/AlgoPackageSc任务修改中，taskID是不能被修改的。只能修改任务名称，任表45任务修改接口输入参数ROpriorityORRRruleOOO表46DataSource参数列表RvideoPolling#视频轮询(实多路实时流,识别码流中的目标和属性),picturePolling#图片抓拍轮询(实时多路固定间隔抓图,识别图片中的目标和属性),accessDevEventAnalysOGB/TXXXXX—XXXXO轮询抓图原始boolO上报AI任务检boolO报AIOP事件,false表示上报专业智能事件报警目标框叠bool表47channelList参数列表RruleR分析规则为算法输入参数,可根据具体的算法类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持字节左右，因此该节点最大值设置为表48audioChannelList参数列表RruleR分析规则为算法输入参数,可根据具体的算法类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持字节左右，因此该节点最大值设置为表49任务修改接口返回信息GB/TXXXXX—XXXXR400:BadRequest,客户端请求参数错500:InternalServerERRR7.9状态查询应支持向计算设备发出查询分析任务状态的指令，由其返回指定分析任务的执行状态。接口定义应符合表50的要求。表50状态查询接口定义POST/iot/global/0-global/model/service/operate/AlgoPackageSchedu表51状态查询接口返回信息R表52TaskStatusList参数列表ORRRO当任务中有多个通道时，需要返回每个通GB/TXXXXX—XXXXOR分析失败的图片OO表53FailedPicList参数列表R图片唯一标识ID,由平表54statusList参数列表R图片唯一标识ID,由平台R表55DataSource参数列表Rpicture#图片,videoPolling#视频轮询(实时间隔分picturePolling#图片抓拍轮询(实时分accessDevEventAnalysis#OO表56channelList参数列表RGB/TXXXXX—XXXXpresetIDR分析规则为算法输入参数,可根据具体的算法类型参考算法字典中的输入参数.AIOP的算法输入参数中，最大支持16个规则，每个规则满配时的大小1000字节左右，因此该节点最大值是否已配置boolO7.10任务删除应支持向计算设备发出删除分析任务的指令，由其停止并删除指定的分析任务。接口定义应符合表57的要求。表57任务删除接口定义POST/iot/global/0-global/model/service/operate/AlgoPackag表58任务删除接口输入参数R表59TaskIDList参数列表R表60任务删除接口返回信息批量操作返回状AttachInfoOOperation#批量操作）时表61AttachInfo参数O表62StatusList参数列表OGB/TXXXXX—XXXX表63Status参数OOOO7.11任务结果分析结果输出应支持推送和拉取两种模式：a）推送：由计算设备将分析结果推送到指定的目标中。b）拉取：向计算设备发出分析结果查询的指令，由其返回指定分析任务的分析结果。分析结果包括：特征模型、目标属性、行为分析产生的事件等。接口定义应符合表64的要求。表64任务结果接口定义AlgoSchedulingAnalysisResu表65任务结果接口事件报文basicRpayloadR表66basic参数列表R2017-04-22T15:39:01.000+08:00（待时R/html/rf表67payload参数列表R当平台下发的任务ID非空值时,设备做重复GB/TXXXXX—XXXX当平台下发的任务ID为控制时，任务ID有/html/rf算法调度分析背景图片资源的分BackgroundutionO归一化坐标转换成实际分辨率时依赖此节点PicResultInfO息InfoO息OOboolOultOcustomInfoOOAIOP_Polling_Snap#AI抓拍轮询IndoorBehaviorAnalysisPerimeterBehaviorAnalysis#周PrisonBehaviorAnalysis#监SafetyHelmetDetecti测,SmokeAndFireDete测],format:,pattern:,unit:,表68PicResultInfoList参数列表GB/TXXXXX—XXXXRORURL#URL：类超过时#,都不是适合用该类型。#],format:,pattern:,unit:,desc:simpleStorageGB/TXXXXX—XXXXROInfoO表69PicResourceInfo参数列表是是表70algoSchedulingAnalysisBackgroundImageResolution参数列表是是7.12算法检索应支持以下算法检索方式：a)按关键字；b)按算法分析所需的数据源类型、算法分析输出的目标类型等多条件组合。接口定义应符合表71的要求。表71算法检索接口定义URLPOST/global/algorithmService/algorihttps/http表72算法检索接口输入参数OOGB/TXXXXX—XXXXOOOOOvendors表73算法检索接口返回信息表74算法列表详情信息表75算法规则信息表76算法模型列表表77算法包列表信息GB/TXXXXX—XXXX7.13算法下载应支持算法包下载功能。供计算设备下载对应的算法。接口定义应符合表78的要求。表78算法下载接口定义URLGET/global/algorithmService/algorithmPackages/{package无GB/TXXXXX—XXXX算法封装描述示例说明A.1