云边端协同的电力人工智能创新应用进展-电力技术讲座课件

演讲题目：云边端协同的电力人工智能应用进展目录Contents二总体情况一业务背景四前沿研究三应用场景目 录1.

业务背景-技术发展“中心-边缘-端”的形态从电信开始之初就已经形成。电信时代，程控交换中心、程控交换机、电话形成了最初的“中心-边缘-端”形态；互联网时代，数据中心、

CDN、移动电话/PC

延续了这种形态；到达云计算+物联网时代，云计算中心、小数据中心/网关、传感器则形成了新的“云-边-端”形态。从技术演进的实际情况来看，边缘计算其实是云计算向终端和用户侧延伸形成的新解决方案。程控交换中心数据中心云计算中心中心程控交换机CDN智能网关边缘边缘计算电话移动电话/PC传感器端侧电信时代互联网时代云计算+物联网时代1.

业务背景-业务发展电网业务具有网络复杂、设备繁多的特点，

天然富含海量数据“

金矿”，近年对加速数字化、智能化建设有明确需求。随着数据收集手段的日益丰富和算法技术的不断发展，融合大数据、物联网、5G等新基建技术推动实现人工智能业务应用已逐渐成熟。基于云的物联网解决方案渐渐无法满足人们日益增长的需求，越来越多的企业开始将目光转向边缘计算，并将其作为云的延伸扩展，以加快数据分析的速度，便于企业更快更好的做出决策。发电输电变电配电用电0101010101010101010101目录Contents二总体情况一业务背景四前沿研究三应用场景目 录2.

总体情况-电力场景的整体解决方案

“云”赋

能实时样本样本库样本上送升级模型样本样本样本模型模型模型模型更新模型库样本、模型在线更新体系智能网关数据采集规约转换智能分析数据上数据存储送5G

APN南方电网统一电力物联网平

台综合数据网数据中心智能巡视各 省 生 产 指变电运行支持系统智能操作 智能安全 信息模型网 级 生 产 指 挥 中 心输、变、配运行支持系统、作业风险管控系统、防灾减灾系统基于人工智能平台的算法模型在线迭代升级机制

“边”赋

能“端”赋 能端边管云人工智能平台训练智能装置产品：智能算法模型：目标跟踪算法人脸识别算法自主导航算法违章识别算法标识牌识别算法…………WAPI智能头盔智能监拍装置智能无人机智能巡检机器人挥 中 心输电运行支持系统作业风险管控系统基于南网全域物联网架构，构建从云侧到边侧、端侧算力可灵活配置的生产域图像识别算法协同机制。利用人工智能平台的算法模型资源及物联网通道，构建边端设备算法模型持续在线优化机制，发挥人工智能平台对边侧智能网关及端侧巡检装置的AI赋能，有针对地提升系统各层级的智能化水平。人工智能平台，成为公司人工智能能力汇聚中心、应用赋能中心、技术研发中心、生态发展中心。人工智能能力汇聚中心人工智能技术研发中心平台定位人工智能应用赋能中心人工智能生态发展中心聚合人工智能样本、算法、模型及先进技术组件，沉淀公司人工智能资产提供人工智能能力组件服务，实现人工智能技术与应用解耦，加速智能应用落地。构建一站式人工智能研发训练环境，降低人工智能研发门槛，鼓励全网创新。以平台为核心，整合先进厂商、打造人工智能发展生态，推动公司人工智能全面发展。2.

总体情况-平台按照“统一规划、统一设计、统一建设”原则开展人工智能平台建设，打造自主可控、技术先进、具有电力行业特征的人工智能平台，同时开放基础技术及电力业务组件服务，为全网提供稳定的人工智能研发和能力开放服务，支撑各单位、各业务域、各业务场景的人工智能应用建设。2.

总体情况-平台2.

总体情况-边端采集端由运动形态、穿戴形态、固定位置形态的感知类的智能终端组成，可根据不同类型的巡检场景灵活配置。传输端智能网关、5G网络、WAPI、数据安全加密模块组成，实现边缘装置采集的海量数据高速传输，确保信息安全、网络安全。2.

总体情况-人工智能初始积累概况分类存储筛选缺陷样本初步标注优化标注设备状态图片样本施工行为图片样本24万张14万张支撑电力场景样本库设备及缺陷图片样本30万张1330571330204060801001201402019年算法增长2020第一季度 2020第二季度 2020第三季度算法类别2.

总体情况-总体目标引入国内外先进技术技术效果智能安全智能操作智能巡视结合电力业务自主研发表计读数识别算法面板指示灯算法越界检测算法有效支撑变电巡视累计赋能100种设备部件检测。支撑摄像头图像识别。2.

总体情况-云边协同开发情况2019年9月，基于公司全域物联网架构，提出云边端协同的整体解决方案；2019年12月底，完成云边端协同全链路的技术验证；2020年3月完成云边协同业务验证；截止到2020年8月在部分输变电领域的投入使用。目前正规划云边端协同在输电领域的推广应用。1工作票2作业准备3反馈准备结果4数据处理5作业视频、作业报告1呼叫请求2呼叫响应3 建立音视频链接A设备B设备待巡视路径“三遥控”系统已巡视路径123语音提示45目录Contents二总体情况一业务背景四前沿研究三应用场景目 录深度学习：针对巡检拍摄到的变电站不同设备，使用卷积神经网络、迁移学习等深度学习技术提取特征，在光照、拍摄角度、拍摄距离变化的情况下提升算法鲁棒性；图像处理：使用边缘检测、字符切割、灰度投影等图像处理技术对巡检图片进行增强、描述和识别。边缘侧神经网络模型部署基于深度学习神经网络模型设计与训练机器人嵌入式算力单元变电站智能网关样本采集采用域间对抗神经网络实现普通场景下训练的神经网络模型迁移至电网业务场景下，从而充分利用大量的公开标注数据，并在电网业务特定场景下实现基于小数据的神经网络模型的有效训练。深度学习+图像处理表计度数算法状态识别算法缺陷识别算法AI服务器图像采集装置3.

应用场景-变电领域智能巡视可见光：在可见光范围内，对变电站里常见装置进行定位、状态进行识别，读取表计读数，完成常规巡检任务；红外热像：针对红外拍摄图片，识别设备有无过热、有无缺陷，增加电网设备可靠性。油面温度表读数呼吸器状态避雷器监测器读数4型刀闸开关状态开关控制柜状态 避雷器温度 7型刀闸开关状态 单臂垂直伸缩刀闸状态在变电站场景测试，整体识别准确率都能保持在90%以上，经过使用CUDA对算法预处理进行加速，使得整体识别一张1080P图片时间在100ms以内，视频流处理能力在10fps左右。通过可见光+红外的双光感知系统，实现对变电站场景所有典型目标状态、表计度数、刀闸开关状态等项目的智能识别，从而完成常规的巡检任务。可见光+红外双光感知3.

应用场景-变电领域智能巡视开关柜汇控柜二次屏柜指示灯压板控制把手表计高压开关柜、汇控柜、二次屏柜面板信号反应了设备当前状态信息，及时发现信号异常，能更好保证设备可靠运行。设备存量大，巡视工作量大。实现面板信息的智能识别，减轻运维人员巡视的工作量，及时掌握设备状况，发现设备隐患或者故障，提高电网运行的安全性与稳定性。3.

应用场景-变电领域智能巡视3.

应用场景-变电领域智能巡视持续开展某甲局某A巡维中心9个站智能识别算法研发，截止到8月底，某A站表计识别准确率达99%，开关柜和一次屏柜指示灯状态识别准确率达96%，行为识别准确率达82%；某B、某C站已完成各类表计、刀闸、面板状态识别模型训练，基于自建的测试集识别准确率达96%，待网关部署到站后结合现场测试情况进行调优。输电线路缺陷自动识别无人机前端识别缺陷隐患报告开展架空输电线路缺陷识别算法研究，向全网提供机巡图像识别云端AI识别服务、将AI识别算法移植到无人机端，辅助自动驾驶精细巡检，实现无人机端智能缺陷识别，落地生成缺陷报告。无人机巡检采集巡检照片3.

应用场景-输电缺陷智能识别无人机云端识别通过对训练完成的大型模型进行剪枝、压缩，保留网络中重要的参数，减少网络的运算量，提升检测速度并不会明显降低精度。3.

应用场景-输电缺陷智能识别序号算法目标类别召回率准确率性能参数1输电6类缺陷绝缘子自爆0.9660.979图片分辨率：8688*5792显卡型号：V100性能占用显存：5.3G平均用时：4.3s2有蜂窝10.93防振锤破损0.9630.9244有鸟巢0.980.755防振锤移位触碰0.9450.7296相序牌褪色0.930.777开口销缺失连接金具0.9630.811图片分辨率：4864*3648显卡型号：V100性能占用显存：5.3G平均用时：900ms8挂点金具0.9270.9889悬垂线夹10.96710引流板0.960.99311链条0.9840.95812U型挂环0.923113拉线夹0.8114直角挂板/夹片0.9840.82715螺母正常开口销缺失0.890.92图片分辨率：1320*800显卡型号：V100性能占用显存：5.9G平均用时：120ms16螺母松动开口销缺失17无开口销且螺母缺失18开口销//3.

应用场景-输电缺陷智能识别序号算法目标类别召回率准确率性能参数19均压环歪斜0.7450.976性能图片分辨率：8688*579220均压环破损0.7751显卡型号：V10021均压环缺陷均压环安装错误0.920.978占用显存：5.3G22均压环脱落0.840.954平均用时：2.1s23均压环缺失0.987124均压环//25基础堆积杂物0.840.75性能图片分辨率：8688*5792显卡型号：1080ti占用显存：6G平均用时：3.5s26基础积水0.840.6727基础5类缺陷基础水土流失0.820.9228藤蔓缠绕0.730.5329杆号牌警示牌破损0.970.5830复合绝缘子伞裙破损0.760.90性能图片分辨率：8688*5792显卡型号：1080ti占用显存：5.2G平均用时：720ms31输电新增3类驱鸟器损坏0.690.96缺陷32有异物-飘挂物0.420.8133防振锤锈蚀0.70.85性能图片分辨率：8688*579234连接金具锈蚀0.810.82金具锈蚀显卡型号：1080ti占用显存：3.7G35挂点金具锈蚀0.850.8836平均用时：1350ms悬垂线夹锈蚀0.830.843.

应用场景-输电缺陷智能识别智能监拍装置采用AI摄像机、太阳能/电池、支架一体化快速安装设计，上塔整体重量低于7Kg，可外接杆塔倾斜、气象传感器等，具体技术参数如下：产品型号：序号关键指标数研院装置1识别速度0.2秒2视频监拍3840×2160

4K实时视频3边缘算力主芯片内置2Tops低功耗AI加速核4在线升级支持边缘容器，在线云端升级5夜视图像分辨率800万像素6日光图像分辨率1600万像素7物联网平台支持电力物联网平台接入8平均监拍功耗0.5W11底层可控自主定制化Linux，支持边缘AI容器12市场售价AI枪机：7000元AI球机：25000元13整机重量小于7kg14安装时长两人15分钟/套3.

应用场景-输电智能监拍装置3.

应用场景-输电智能监拍装置深度学习+图像处理深度学习：使用特征分离方式构建多级CNN网络，相对单一网络结构大幅降低网络规模，在低成本硬件加速器上实现快速目标检测；图像处理：图像去雾、逆光处理、夜视增强，提高野外场景适配度。特征分离的多级小规模目标检测网络低功耗、低成本边缘AI处理器目标检测的识别率采用特征分离的多级小规模目标检测网络，降低硬件消耗的同时实现高精度检测；云边协同、边缘容器化架构以在线动态升级模型，持续提升识别率。序号隐患名称数研院1火焰88%2烟雾82%3塔吊93%4吊车96%5挖掘机98%6铲车90%7卡车98%8水泥罐车70%11汽车99%12人体97%13导线异物73%3.

应用场景-输电智能监拍装置山火导线异物线路周界施工铁塔周界施工输电智能监拍装置实现了与云端人工智能平台、生产指挥系统视频实时交互，自主识别现场威胁电力线路安全的变化信息,包括铁塔周界施工、线路周界施工、导线异物飘挂、山火隐患等，能通过装置前端识别后直接上传告警信息进行报警。边缘识别：基于轻量化神经网络模型的边缘识别算法，在低成本、低功耗装置上实现高精度识别；人工及时处置指挥中心快速调度后台主动预警隐患边缘识别物联网：通过4G/5G实时接入电力物联网平台，业务后台主动推送隐患预警事件；生产指挥：统一全局对输电线路进行可视化巡检，基于边缘装置报警事件审核后快速处置；及时处置：主动、快速、及时实现输电线路周边隐患人工处置，降低固定人工巡检工作量。输电智能监拍装置实现了与云端人工智能平台、生产指挥系统视频实时交互，自主识别现场威胁电力线路安全的变化信息,包括铁塔周界施工、线路周界施工、导线异物飘挂、山火隐患等，能通过装置前端识别后直接上传告警信息进行报警。3.

应用场景-输电智能监拍装置目录Contents二总体情况一业务背景四前沿研究三应用场景目 录4.

前沿研究-四足智能巡检装置AI场景定义根据不同业务场景和内容，设计不同任务模型，完成人脸识别、表计读数、刀闸状态、各类违章行为识别任务等，实现智能自主巡视。复杂环境行走传统电力巡检装置多为轮式巡检装置，无法在不规则地面连续作业。本装置具备上下台阶、楼梯、自主避障能力，并具备抗环境扰动的只能控制，摔倒后自主爬起、匍匐抬头扭动等姿态调整能力，在电力复杂多变的环境中，确保装置稳定运行。模块化设计根据业务场景，灵活配备传感器。包括可见光摄像头、红外成像仪、带电检测装置等，以完成不同的巡视任务。自主巡视基于SLAM技术对电力现场环境构建地图，利用激光点云地图与激光雷达实现装置的实时定位，通过智能路径规划完成自主巡视。多模通信支持4G全覆盖、蓝牙、Wifi/WAPI等多种通信方式，与公司智能网关、物联网平台、电网管理平台及生产指挥中心无缝对接，实现业务场景的全面智能管理。仿生设计从典型的四足动物的运动特点出发，采用运动捕捉等手段，对四足动物的运动进行抽象和提炼，获取四足动物的运动机理，再利用仿生设计思想，对四足装置机构、驱动和传统等环节进行设计，以提高设备运动的稳定性和可靠性。基于人工智能技术、云边端协同技术以及仿生机器人技术，南方电网数研院研发了一款面向变电站巡检应用