输电在线监测装置物联网平台接入及图像智能识别算法兼容性检测技术方案

输电在线监测装置物联网平台接入及图像智能识别算法兼容性检测技术方案检测目的为高质量推进南方电网公司数字输电建设工作，保障输电在线监测装置有效接入公司物联网平台，加速推进图像视频监测终端智能识别算法应用，现在本次送样检测中开展“物联网平台接入验证”、“装置远程升级协议验证”、“图像智能识别算法兼容性验证”及“图像智能识别算法性能检测”，具体测试要求如下。检测项目及合格判据（1）物联网平台接入及远程升级协议验证1）测试对象及通信规约要求测试对象为所有输电在线监测装置，装置通信规约应满足《Q/CSG1205031输电线路在线监测通信规约及信息交互规范》中对南方电网全域物联网平台的接入要求条款，《Q/CSG1210050-2020南方电网电力全域物联网平台接入技术规范》《统一物联网平台接入技术指引（南向）》协议及相关品类测试对象物模型要求，具体标准/规范详见附件1。2）检测机构测试资源物联网平台接入检测平台，通信规约应满足《Q/CSG1205031输电线路在线监测通信规约及信息交互规范》中对南方电网全域物联网平台的接入要求条款，《Q/CSG1210050-2020南方电网电力全域物联网平台接入技术规范》《统一物联网平台接入技术指引（南向）》协议及相关品类测试对象物模型要求，具备视频点播、拍照、文件下发、配置文件获取、升级等命令下发、装置上报信息和监测数据展示、交互日志查看及下载等功能。3）物联网平台接入测试方法及合格判据测试方法：a.送检设备通过电源适配器进行开机上电，经有线网络接入测试平台，由送检单位人员对送检设备进行接入参数配置，心跳及采集间隔根据业务要求配置；c.配置完成后，等待5min，检测机构登录“检测平台”读取设备日志，查看设备开机联络信息、心跳数据及实时监测数据是否更新，并且对照物模型验证必要数据是否完整且格式准确;d.检测机构根据送检设备功能要求制定《物联网平台接入协议测试记录》，逐条开展验证，根据检测项执行并记录结果。合格判据：a.被测设备应能接入“检测平台”，实时上传心跳、监测等数据，数据完整且格式准确；b.被测设备数据传输及功能完全满足《物联网平台接入协议测试记录》要求；c.以上全部满足则判定为通过，否则判定为不通过。4）装置远程升级协议测试方法及合格判据测试方法：a.将被测设备接入“检测平台”，通过软件下发配置/系统/算法/模型升级包，升级包及升级命令格式详见物模型->服务（demandServices）->设备升级及配置参数文件下发，并向被测设备发布升级消息；b.查看设备反馈信息，检查被测设备是否按照响应升级包下载及升级，并按照物模型要求上报升级结果。合格判据：被测设备完全响应“检测平台”下发的配置/系统/算法/模型升级命令，完成升级包下载、升级，报送升级信息等，通信协议满足物模型要求，则判定为通过，否则判定为不通过。（2）图像智能识别算法兼容性验证1）测试对象测试对象为架空输电线路图像视频监测装置2）测试所需资源a.调试版图像智能识别算法软件包以及相应测试图片；b.正式版图像智能识别算法软件包以及相应测试图片。3）图像智能识别算法兼容性测试方法及合格判据测试方法：a.测试开始前，检测机构提供一份调试版智能识别算法软件包以及相应测试图片至送检单位（调试版算法软件包与正式版算法软件包格式完全一致，只有识别种类不同），参检单位根据软件包在规定时间内完成对送检设备的调整适配，确保送检设备能兼容调试版智能识别算法；b.测试开始后，检测机构通过“检测平台”向被测设备下发正式版图像智能识别算法软件包，查看设备算法软件升级信息，检查算法升级完成情况；c.使用被测装置拍摄测试图片，进行智能识别，将识别的结果以json格式保存并回传至“检测平台”；d.检测机构根据识别结果验证智能识别算法的兼容性。合格判据：被测设备应响应算法升级命令，并完成算法升级，且能够调用升级后的算法开展图像智能识别，识别结果有效。（3）图像智能识别算法性能检测1）测试对象测试对象为架空输电线路图像视频监测装置，对送检设备自有图像智能识别算法性能开展检测。2）测试所需资源a.测试图片样本库；b.检测平台。3）图像智能识别算法性能检测方法及合格判据测试指标：测试指标包括装置识别功耗及识别性能，其中识别性能包括识别漏报率、识别误报率、识别准确性、识别时间和重复告警率，最终根据测试数据对装置的智能识别算法性能进行综合评分排名，排名结果不作为本次送样检测的合格判据，拟作为后续公司智能识别算法推广的依据之一，具体指标释义如下。①装置识别功耗装置运行智能识别算法过程中的平均功率。②识别性能包括识别漏报率、识别误报率、识别准确性和识别时间四个指标，对识别效果进行量化：a.识别漏报率：存在隐患但未识别出的图片数量/具有通道隐患的图片总数量。b.识别误报率：不存在隐患但被识别出的图片数量/检出的图像总数量。c.识别准确率：目标识别正确数量与测试集标准目标数量之比。d.识别耗时（秒/张）：识别数据集所消耗的总时间/数据集图片数量。e.重复告警率：相同隐患重复告警的图片数量/隐患图片总数。测试方法：①装置接入测试系统及数据上报a.被测试品与测试系统处于同一局域网中，通过有线方式接入测试系统，正式IP地址和端口在测试开始前统一给出。b.检测机构以可调直流电源给被测试品进行供电，无需通过电池供电，输出电压根据设备额定电压调整（请在送检前在设备铭牌上明确设备的额定供电电压），待测装置应将内置电源去除，内部电源接口统一更换为XT60公口（凹槽pin脚为负极），用导线引至设备外。c.检测机构提供TF卡安装于被测试品中，经测试用图片案例库存储于TF卡中。d.被测试品注册成功接入测试系统后，通过测试系统下发启动命令后，评分系统开始计时，装置自动逐个读取TF卡中的测试图片进行智能识别，装置每间隔30秒上报一次心跳，每识别完1张图片，按南网通信协议进行一次智能分析告警，将分析结果报送至测试系统，直至所有图像分析完毕，装置必须按照图片名称由小到大的顺序进行识别分析，上报结果亦遵守此顺序。e.被测试品开始实时分析图片后，每分析完一张图片需同步将分析结果存储在xml文件中，将xml文件存于TF卡中。xml文件格式如下：result一张图的识别结果filename图像的唯一idsize图像的尺寸flag是否存在隐患，false时不写入数据time分析完成的时刻，时:分:秒objectname为识别的隐患类型编码object识别的目标位置，类型为int具体如下：<annotation><resultfilename="Image_000005"flag="True"><time>12:13:45</time><size><width>4288</width><height>2848</height><depth>3</depth></size><objectname=1><bndbox><xmin>189</xmin><ymin>531</ymin><xmax>327</xmax><ymax>764</ymax></bndbox></object><objectname=0><bndbox><xmin>195</xmin><ymin>531</ymin><xmax>1276</xmax><ymax>1643</ymax></bndbox></object></result><resultfilename="Image_000052"flag="False"><size><width>4288</width><height>2848</height><depth>3</depth></size></result></annotation>f.通信协议参见《输电线路在线监测通讯规约及信息交互规范》，具体如下：检测系统功能规约控制字规约名称备注测试启动00H开机联络信息用于测试系统下发测试启动命令，被测试品收到命令后自动开始智能识别被测试品心跳信息上报05H装置心跳信息用于被测试品实时上报心跳数据被测试品智能分析结果上报A7H智能分析告警上报用于被测试品实时上报智能分析结果注：装置号码字段为厂商id（检测开始前由检测机构统一分配），数据域中的通道号字段为图片id的高8位编码，预置位字段为图片id的低8位编码，告警时间为识别完成的时刻，告警类型为告警小类。例：如果图片编号为537，则数据域中通道号字段为2，预置位字段为27；如果图片编号为5，则数据域中通道号字段为0，预置位字段为5；告警类型参见A4H中告警类型字典，告警编码参考下表：告警告警标签告警类型编码塔吊TaDiao2推土机TuituJi3挖掘机WajueJi5烟雾YanWu41f.出现以下几种情况，上报报文会被判为无效：①隐患编码不规范或者不存在；②图片名id不存在或者不规范；③每图标出的隐患数量，超过标准答案数量的两倍②识别功耗检测被测试品启动智能分析后，检测机构通过高精度功率分析仪，全过程记录被测对象识别过程中的功耗，计算识别平均功率。③识别性能检测通过装置上报智能识别结果开展装置的误报率、漏报率、识别准确率、识别耗时进行计算，并按照评分细则进行评分。评分标准：根据被测试品识别功耗、漏报率、误报率、准确率、识别速度及重复告警率结果进行评分及排名，具体评分细则如下：参数名称符号参数级别分值（分）计算公式总分G一级100G=A×80%+P×20%算法得分A二级100A=A1×20%+A2×20%+A3×20%+A4×20%+A5×20%功耗得分P二级100实测功率Pint<=5W，P得100分Pint>5W，P得100-（Pint-5）×5分P最低得0分漏报率得分A1三级100A1=100-漏报率×100×5A1最低得0分误报率得分A2三级100A2=100-误报率×100×5A2最低得0分识别准确率得分A3三级100A3=，其中n为本次检测识别样本的类型数量识别速度得分A4三级100识别时间t<=2s，A4得100分t>2s，A4得100-（t-2）×2分A4最低得0分重复告警率得分A5三级100A5=100-重复告警率×100×5A5最低得0分识别类型i准确率得分A3i四级100A3i=识别类型i准确率×100测试时间安排检测项目工作安排工作内容时间安排物联网平台接入及远程升级协议验证开发及自测阶段送检单位对照《Q/CSG1205031输电线路在线监测通信规约及信息交互规范》《Q/CSG1210050-2020南方电网电力全域物联网平台接入技术规范》《Q/CSG1210052-2020南方电网电力全域物联网平台技术规范》及物模型要求，完成协议开发及自测。截止送样时间调试阶段检测机构组织开展平台接入联调，送检单位规定时间内完成联调检测机构制定调试方案，按报名情况分批次组织开展调试，具体时间另行通知正式测试阶段检测机构开展物联网平台接入测试。截止送样检测完成时间图像智能识别算法兼容性验证调试阶段由检测机构提供调试版算法软件包及测试图片至送检单位，送检单位根据调试版算法包完成送检设备调试。检测机构制定调试方案，按报名情况分批次开展调试，具体时间另行通知正式测试阶段检测机构组织开展图像智能识别算法兼容性测试。截止送样检测完成时间图像智能识别算法性能检测调试阶段检测机构提供调试用图片库，由送检单位将装置安装接入测试系统，并通过调试图片库开展识别，完成联调检测机构制定调试方案，按报名情况分批次开展调试，具体时间另行通知正式测试阶段由检测机构组织开展图像智能识别算法性能检测截止送样检测完成时间参检单位需配合事项（1）试品要求参加南方电网2023年输电智能设备送样检测的供应商，在送样时需单独准备1套试品专门用于开展物联网平台接入测试及图像视频装置图像智能识别算法兼容性测试，1套试品专门开展图像智能识别算法性能检测（仅报名架空输电线路图像视频监测装置需提供），要求及命名详见附件3。（2）硬件要求送检的2套设备均具备有线通信网口，存储不低于8G，有供电接口的正负极引出线，线端接口采用XT60公口（凹槽pin脚为负极），需配置供电适配器，无需配置电池。（3）提供资料要求送检单位报名时需提供算法模型转换工具和使用说明，具体要求如下：1）算法模型转换工具指可以将常用深度学习框架模型（包括但不限于Tensorflow、Pytorch、Caffe、Darknet、Paddle-paddle等）转换为待测设备可运行软件程序的工具。2）使用说明必须详细介绍工具的使用环境和使用步骤。其中使用环境必须包含系统版本、编译语言版本、docker版本（如需）、支持的算法框架版本等信息，使用步骤必须详细描述具体开发过程，从已训练好的模型文件到转化为二进制模型文件（如有），到生成设备可执行软件包的具体过程、支撑文件和命令，并且相关说明集中在一个文档中，不要分散在多个文档中。（4）调试要求1）物联网平台接入调试调试阶段由检测机构制定调试方案，分批次组织开展送检设备接入