基于分布式实时计算框架的电能量数据异常特征提取在线预警系统

摘

要：为了更好地适应智能电网的发展，研究基于海量数据的高级应用和预警系统变得十分迫切。现以分布式实时计算框架为基础，研究和设计了电能量数据异常特征提取在线预警系统，能实时监控和检测异常数据，为我国电网数据智能化发展提供参考。关键词：分布式框架；实时计算；异常特征提取；预警系统

0

引言电能量采集和计费系统是智能电网运营支持的子系统，是电网经济运行、科学调度和考核结算的基础。目前，我国电能计量数据的采集主要由智能电表、电能量数据监测设备、电能量数据治理设备等完成，由于系统缺陷、设备故障和人为因素等原因，容易发生采集数据异常情况。针对电能量数据异常报警的传统解决方法是在当天24：00将接收到的全天整点电量数据存储在数据库中，然后通过查询数据库中原始电量数据进行相关的公式数据和平衡数据的计算，再由这些计算结果分析统计是否存在用电数据异常。整个过程中，获得的公式数据结果都是滞后的，对于大量存在的电量实时数据，传统的架构方式并不适用。如何实现对电能量异常数据的在线预警，及时解决影响电能量数据安全的隐患，将是我国电网设计与发展过程中急需解决的问题。

1

分布式实时计算框架目前分布式计算框架主要包括Hadoop的Map/Reduce、SparkStreaming和Storm，这些框架的发展极大地提高了系统的计算和存储能力。其中Hadoop由于处理延时问题，无法满足实时性要求较高的业务需求，一般用于离线的计算任务处理；SparkStreaming是现在常用的流式计算框架，支持多种数据源的接入，具有高吞吐量和容错机制，可以实时将不同的数据源的数据经过处理之后将结果输出到外部文件系统或数据库中。Storm也是常用的流式计算框架，在实时计算功能中，它具有更可靠的事务机制和可靠性机制，而且可以动态调整实时计算程序的并行度，以最大限度利用集群资源。SparkStreaming在吞吐量上比Storm更优秀，Storm在实时延迟度上比SparkStreaming强大，前者是纯实时，后者是准实时。同时，Storm的事务机制、健壮性/容错性、动态调整并行度等特性，都要比SparkStreaming更加优秀。而SparkStreaming可以与SparkCore、SparkSQL无缝整合，也就意味着对实时处理出来的中间数据，可以在程序中无缝进行延迟批处理、交互式查询等操作。传统的电能量数据预警系统主要通过将监测数据与标准数据指标进行对比，当采集到的数据超过标准数据指标范围时，则发出预警信号，及时通知故障维护人员进行处理，加强设备维护与安全防范。2

预警系统软件设计预警系统软件采用分布式大数据框架为基础，使用Java语言编程开发，整体可分为三层，每个层中再向下详细划分为多个模块、多个子流程，各模块间相互作用、相互联系，形成基于网络拓扑结构的在线分析系统，即软件运行网络。预警系统软件设计如图1所示。从图1可以看出，预警系统软件主要分为三个层次，包括数据采集层、数据传输层、数据分析层。数据采集层通过定时读取数据库的离线数据、实时解析处理交互的文件（CIM/E格式）数据、实时处理采集的通信报文数据，将数据进行压缩处理后写入分布式消息总线；分布式消息总线包括数据生产者与数据消费者两部分，数据采集层是消息总线的数据生产者，数据分析层监听并消费数据；数据分析层将消费数据推入Storm分布式计算框架，根据建立的异常数据识别模型拓扑，进行在线计算。为加快计算速度，设计了用于吞吐静态数据的分布式缓存。数据在整个分析过程的流转无需存盘，分析结果作为计算的末端节点存入数据库。拓扑钟的每一个计算节点形成小的运行任务，通过划分模块和层次的方法，将系统软件各组成部分进行清晰规划，形成软件运行的操作网络系统。预警结果的具体监测与预警流程主要通过业务应用层，利用电脑语言与算法，协同各部分之间的工作，对相应数据形成异常特征库，通过历史数据查询功能，可以获取需要的预警结果。电能量是否异常是由母线电量报表判断，且电能量异常需要在不一样的电压等级下对其进行判别。例如河南省对电量不平衡率给出的标准是：在220kV以及110kV的线路环境下，正常的不平衡率为±2%。计算标准不平衡率的方法为：标准不平衡率=（总输出电量-总输入电量）/总输入电量其中，总输入和总输出的电量都代表在同一电压等级下母线当中所产生的总的电量输入以及输出。总输出电量也就是在特定的时间点上，在设定的电压等级基础母线上，每一条出线总共输出的电能量；总输入电量代表的就是在特定的电压等级以及时间点下，每一条进线输入的总电能量。根据上述方法可知标准电能量值，将采集的数据与之对比，当得出的结果大于正常值，平台就会编辑预警信息，通过3种信息发布方式发布预警信息。

3

电能量数据异常特征数据库电能量数据异常特征数据挖掘库，通过抽取调度EMS系统数据、TMR系统数据、用电信息数据，通过各类数据指标细分模型，对电网模型、量测数据、电能量数据、平衡数据等多方面的电量异常特征进行大数据挖掘、聚类分析，根据各类计量关口考核指标的贡献度、电量变化趋势、异常偏差程度等情况，将异常分为模型类、数据类、平衡类、维护类等四大类，如表1所示，并针对不同的维度，分析其异常数据的特征，提供差异化、个性化服务。表1中的异常类型与系统设计的修复功能软件功能模块建立关联，其中：（1）模型类异常对应模型管理与参数维护的编辑模块；（2）数据类异常对应数据重处理、数据召测、数据编辑、电表轮换、倍率变更、参数编辑等功能模块；（3）平衡类异常对应计算配置、模型维护、重计算等功能模块；（4）维护类异常对应底层平台的操作维护界面，包括启停服务、日志定位等功能。通过发现异常标记入库到对应数据消缺的闭环治理流程，建立起一套插件化的数据治理体系。不断迭代优化异常识别与处理能力，为业务系统提供可靠的数据质量保障。4

基于实时数据驱动的电量异常在线分析检测流程目前基于分布式实时计算框架的电能量数据异常特征提取在线预警系统已经实现基于TMR的采集电量数据、基于EMS系统的EMS-CIME文件和基于营销系统的事件消息的实时驱动，系统在线计算相关电量公式数据和平衡数据，通过校验数据的合理性和对平衡结果的分析，判断电能量异常的数据，并实时推送到预警服务端。图2是分布式实时计算框架下，基于TMR的日冻结采集电量数据的在线预警实时处理流程，图3是基于EMS系统的EMS-CIME文件的在线预警实时处理流程，图4是基于营销系统的事件消