9安徽省电力公司基于大数据用电信息采集系统设计与实现--肖坚红

1、1 基于大数据技术的 用电信息采集系统设计与实现 汇报单位：国网安徽省电力公司 2017年5月 2 平台设计 功能设计 业务规划 项目背景 成效与下一步打算 3 一、项目背景 采集系统建设 安徽省公司用电信息采集系统经过5年的建设，实现 了“全采集”、“全覆盖”、“全费控”功能，目前接入 智能电能表2700万多只、40多万终端和340万采集器，已 经实现采集96点负荷（三相电压、三相电流、有功功率、 无功功率等）、日冻结电能示值、需量和电压合格率等数 据，采集系统每天需要处理记录数达到5亿以上，新增的数 据量达到70-90G，存量数据超过100T。 4 一、项目背景 采集系统建设 采集系统业务

2、不仅支撑营销部自动化抄表核算、实时 费控、有序用电、计量在线监测、用电特征分析、采集管 理、台区线损计算等业务，还支持运检部、安质部、运监 中心、发策部等系统正常运行，为配用电网低电压分析、 配变运行监测、配网抢修、供电可靠性、公司线损管理系 统等业务提供数据支撑。 5 一、项目背景 项目必要性 查询速 度慢 统计时 间长 数据质 量差 数据维 度少 缺少智 能化 不支持 实时分 析 6 一、项目背景 不断增长的数据量与系统设计缺陷的问题 7 项目必要性 一、项目背景 提升采集系统性能，解决应用瓶颈 解决WEB查询海量数据效率低的问题 解决采集系统数据库性能瓶颈问题 解决采集系统考核指标和关键

3、指标实时统计问题 解决四分线损、电量统计实时计算的问题 应用大数据技术，完善采集系统应用 实现移动运营商区域信道质量在线监测的问题 实现台区低电压分析的问题 解决配电网停电故障实时分析问题 解决电能表、终端运行工况监测和整体状态评估问题 8 项目必要性 一、项目背景 应用数据挖掘技术，挖掘电力数据价值 解决数据质量不高和数据维度缺乏的问题 解决电力经济分析与电费回收风险的关联分析问题 解决市场开拓与业扩报装辅助分析的问题 实现知识共享，提升业务应用 为公司计量工作决策提供支撑 为用户提供新颖优质服务 提升公司经营管理水平 计量与其他领域信息融合分析，提升系统价值 9 平台设计 功能设计 业务规

4、划 项目背景 成效与下一步打算 10 二、业务规划 整体思路 简要分析描述项目的主要技术创新点。 3、跨界思维：打破固有模式，通过业务融合提升数据价值 2、业务思维：定量思维，数据替代经验，一切数据皆有价值 4、实验思维：试验选择最优方案，快速迭代持续优化 5、合作思维：通过合作共同推进电力业务的发展与创新 1、技术思维：高效数据处理、高效数据服务、性能线性扩展 11 二、业务规划 总体规划 简要分析描述项目的主要技术创新点。 3、支持海量数据快速存储、高效计算和有效归集 2、实现关键业务实时监测和智能分析 4、具备数据挖掘、机器学习等智能分析功能 5、与业务深度融合，提高工作效率，提升辅助决

5、策水平 1、以“高内聚、松耦合”方式获取所需数据 12 二、业务规划 用电信息采集系统性能提升 解决海量数据查询 高效统计与计算 数据质量管控 实时业务分析 信道质量分析 海量数据存储 构建营销计量大数据应用平台 构建大数据平台 规划业务应用 数据清理与集成 数据挖掘 机器学习 数据发布与共享 业务设计 13 二、业务规划 数据分析业务-1 分析电能表运行情况，剖析运行过程中发生的故障和问题。 结合电能表运行的外部环境因素进行建模，关联分析外部环 境对电能表发生故障和问题的影响。 外部环境因素对电 能表质量的影响分 析 对现场计量设备运行工况进行实时监测。 检测采集设备数据完整性及数据合理性。

6、 分析变压器运行情况、变压器负荷及故障情况。 建立计量装置异常预警模型。 计量装置在线监测 分析负荷、电量、电压、电流、时钟、事件等计 量数据出现的异常信息，并进行诊断分析。 对费控、通信功能出现的异常情况进行诊断分析。 智能诊断分析 14 二、业务规划 数据分析业务-2 从型号、厂家、批次等维度，分析计量设备、采集设备的质 量情况。 根据运行数据、通信数据、事件数据，结合天气数据、检定 记录等，分析影响设备质量的因素。 运行质量分析 计算准实时线损，并对线损异动情况进行预警。 分析综合线损的构成情况及分布情况。 分析线损变化趋势，并通过负载率、三相不平衡率、理论线 损的对比分析，提出降损措施

7、建议。 线损统计分析 通过对电量差动越限、断相、线损率超标、异常告警事件、 电表开盖事件等数据，对窃电行为进行实时分析，并提出预 警。 对窃电行为进行多维度统计分析。 窃电行为分析 15 二、业务规划 数据分析业务-3 分析大用户用电规律，预测未来用电情况。 分析居民用电习惯与节假日等外部环境的关系。 结合投诉数据，分析异常数据与投诉关系。 分析用电数据，为有序用电提供数据支撑和建议。 用户行为分析 分析电力与经济运行的长期均衡关系。 分析各行业经济运行波动对电力的传导关系。 结合各行业经济增加值、用电量以及电价数据，建立电力强 度因素分解模型，对电价对电耗强度的影响进行细化分析。 根据用户、

8、线路、终端、计量点、台区、单位、客户群组等 查询条件对用电数据进行统计分析，得出房屋空置率等社会 关注问题。 电力经济分析 16 平台设计 功能设计 功能需求 项目背景 成效与下一步打算 17 为了保证电力系统能安全、可靠运行，需要在标准原则基础上制定其未来IT 架构，其技术架构的设 计同样需要考虑完善的指导原则。 开放性 大数据平台的设计应选择开放式的技术，不能绑定某 一厂家的特定产品，需要满足系统间灵活的信息交互 的需要。 服务性 可扩展性 充分考虑可扩展性，遵循“强内聚、低耦合”，满足 更大规模的业务和不断发展的技术需求。 大数据平台面向营销部或者网省公司提供基础支撑 平台，为共性服务型

9、平台，各部门基于大数据平台 研发、运行各类大数据典型业务应用。 先进成熟性 大数据平台的设计应具有产品和技术先进性，产品和 技术选型能够适应未来一段时间业务需求及技术发展 变化的需要。同时，尽可能兼顾产品和技术的成熟性， 增强信息基础设施的整体稳定性。 大数据平台设计原则 三、平台设计 18 大数据平台设计总体思路 三、平台设计 业务应用分析 气象要素数据状态监测数据 .地理信息数据节假日数据PMS数据 人口经济数据MDS数据 营销数据 用电信息采集 数据 . 95598数据 计算、存储、分析组件支撑 电力营 销大数 据平台 运维管理 专用数据池公用数据池 数据 集成 数据 处理 数据 分析

10、分析方法库数据挖掘算法库 分析模型 数据展现 多源大数据在线处理流数据处理批数据处理 数据抽取 流程控制 数据转换 质量规划 数据加密 数据清洗 数据复制 深入贯彻“IT服务化”的理念及国产化的思路，以大数据开源软件框架为核心，传统数据处理组件为 补充，形成优势互补的混合体系架构。电力营销计量大数据平台从数据采集、数据集成、数据存储、实时 计算、海量数据处理和分析挖掘等多个层面为营销业务应用提供必要的组件支撑。 集群监控 及配置 安全防护 及管理 停电事件分析配网运行分析 客户用电行为 分析 客户价值挖掘 检定效率与现场作 业行为 窃电行为分析 计量装置在线监测 与智能诊断 。 19 大数据平

11、台技术提升点 三、平台设计 传统解决方案大数据平台方案 主要面向结构化数据处理，不适合处理非结 构化或半结构化数据 海量数据处理成本高昂，对于硬件要求较高， 例如依赖大规模并行处理系统(MPP)等 存在单点风险 线性扩展能力有限，MPP节点一般上限 100+ 处理数据量受限（PB），数据量大时响应时 间明显延长 固定数据结构和模型 数据处理容易保持一致性，适合事务复杂的 业务系统 可以混合处理任意格式数据 基于工业标准成本低廉的X86平台和开源 Linux系统，降低成本，充分利旧 分布式容错，无单点隐患 极高的线性扩展能力，一般都在1000+ 可处理大量数量（TB到1E），通过横向扩展， 实现

12、秒级响应 灵活的数据结构和数据模型 数据处理无法保证一致性，需要单独开发验 证程序，适合追求分析效率的分析系统 大数据不是RDBMS的替代方案，两者相辅 相成才是最佳的解决方案！ 20 基于国网大数据平台的功能设计 三、平台设计 21 三、平台设计 实时业务分析架构设计 简要分析描述项目的主要技术创新点。 2、设计配电网停上电事件实时分析与推送 1、流处理子系统由Flume、Kafka、Storm和Redis等软件组成 3、设计负荷数据异常实时校验与修复 4、设计日冻结抄表数据实时校验与修复，及抄表失败实时刷新 5、设计日电量实时计算、修复与补全 22 三、平台设计 分布式存储与并行计算架构设

13、计 简要分析描述项目的主要技术创新点。 2、设计满足查询和统计二类应用的海量数据存储需求 1、系统由分布式列式数据库（Hbase）、全文检索（Solr，Key_Value）、 分布式数据仓库（Hive）、交互式查询（Impala）等软件组成 3、设计关键指标准实时计算与按小时进行刷新 4、设计各维度数据快速统计、按业务需求归集，支持高效查询与分析 5、计量在线监测与智能诊断软件后台计算分析重构 23 三、平台设计 数据挖掘与机器学习架构设计 2、离线海量数据以IBM 可视化建模工具SPSS为主，实现模型学习、验证 1、系统由SPSS、SPARK、模型库、数据抽取与预处理等软件组成 3、在线机器

14、学习以SPARK为主，通过引用SPSS分析模型实现分析 4、按业务建立分析模型库，满足各专业部门工作需求 5、设计模型自动迭代和优化，满足业务不断变化的需求 24 三、平台设计 可视化展现设计 2、通过IBM 可视化建模工具（SPSS）的展现功能满足简单的应用需求 1、基于百度图形组件（Echart），结合业务需求开发WEB展现 3、结合业务，通过热力图、散点图、GIS和地图体现业务特征 25 三、平台设计 数据共享与业务集成设计 2、基于FTP实现不同区域业务实时交互应用需求 1、基于Webservices实现同一区域业务实时交互 3、结合数据交互实现模型迭代分析和自学习功能设计 4、与业务

15、深度集成，将分析结果嵌入到业务流程中 26 系统网络架构 三、系统设计 27 软件架构设计 三、系统设计 28 数据分析流程 三、系统设计 29 平台设计 功能设计 业务规划 项目背景 成效与下一步打算 30 配电网停上电实时监测与分析功能-1 四、功能设计 31 配电网停上电实时监测与分析功能-2 四、功能设计 基于用电信息采集系统实时负荷、停电事件和通信流量等信 息，95598计划停电信息，生产实时管控的线路故障停电及 光纤网管ONU掉电事件，实现配电网停电事件监测与分析； 并实时将负荷数据和停电事件推送给省调配网SCADA、运检 部、95598、安质部和海量数据平台； 此功能目前已经应用

16、于生产环境，实现每天对安徽省电力公 司5亿多条记录进行实时分析与诊断 32 采集数据实时校验与修复-1 四、功能设计 33 采集数据实时校验与修复-2 四、功能设计 基于用电信息采集系统日冻结抄表示值实现实时校验、修复； 针对负荷、电量及关键指标通过Impala实现快速统计； 基于大数据技术改造后计量在线监测异常分析（含计量、用 电和终端异常）时间由原8个多小时减少到1小时以内； 分析结果直接用于省公司、供电公司进行指标监控和指导现 场运维，并满足营销自动化抄表结算的需求，此功能目前已 经应用于生产环境。 34 电能表整体运行状态分析-1 四、功能设计 安徽公司用电信息采集系统接入的运行智能电

17、能表中，绝 大部分电能表属于IV、V类电能表，约占安徽公司运行电能表 的98%。III类电能表约占安徽公司运行电能表的1.5%，I、II 类电能表只占全省运行电能表的很小一部分。由于IV、V类电 能表不采取现场检验，而IV、V类电能表的运行环境与I、II类 电能表相差比较大，不能采用同一种分析方式和技术手段。所 以DL/T448电能计量装置技术管理规程来开展到期轮换已 不适应新形势发展需求。 35 电能表整体运行状态分析-2 四、系统设计 36 平台设计 功能设计 业务规划 项目背景 成效与下一步打算 37 五、项目成效 安徽公司新一代采集系统的“存储和计算”是基于大数据平台进行构 建，已经采

18、购31台PC服务器，目前已经完成操作系统安装和网络调 试，正准备进行大数据程序安装、各类组件的部署和系统联调工作。 其中，存储由分布式数据库（HBASE）+分布式数据仓库（HIVE）组 成，实现按需存储；数据计算、处理和归集由数据分析引擎（ IMPALA）、实时数据分析软件（SPARK）实现；离线海量数据分析 与挖掘由数据分析平台（SPSS）完成，在线机器学习由数据分析软 件（SPARK）和算法库（MLlib）实现。 新一代采集系统部署 38 五、项目成效 基于大数据架构的新程序在4月中旬已经部署上线运行，新架构 充分利用原有的硬件设备，只是扩展了部分服务器的硬盘和内存，通 过高吞吐量的消息处

19、理和流处理技术，实现采集2700万日冻结抄表 数据从原来的90分钟提高到目前的20分钟。在低压用户全部载波通 信模式下，全省2700万电能表在5-7天内完成时钟透抄与对时工作。 由于新架构采用分布式消息系统，利用磁盘数据结构提供消息的，持 久化，充分保证了前置采集数据完整性。 新一代采集系统性能提升-1 39 五、项目成效 已经实现六大类应用：第一，配用电网停上电事件实时监测与综合分 析；第二，负荷数据实时校验、修复与补全；第三，日冻结抄表数据实 时校验与异常数据标记；第四，日电量实时计算、修复与补全，目前已 经实现每小时对电量、线损进行在线统计；第五，抄表失败明细实时刷 新，采集成功率实现按

20、单位、用户类型、台区、终端等维度实现实时查 询，支持采集系统现场高效运维；第六，有效的负荷、电能示值和事件 数据等数据实时发布，有效地支持了营销抄表数据实时发布，及调度、 运检的配网抢修与运行监测等需求。 新一代采集系统性能提升-2 40 五、项目成效 基于大数据平台的分布式存储与并行计算架构，实现对用电信息采集 系统日冻结抄表示值、负荷、通信报文等海量数据快速存储；对各类指 标、各维度负荷特征、日/月电量及关键指标实现按小时进行准实时计算 ，满足指标在线监控的要求；将计量在线监测异常分析（含计量、用电 和终端异常）时间由原8个多小时减少到45分钟左右。分析结果直接用于 省公司、供电公司进行指

21、标监控和指导现场运维。 新一代采集系统性能提升-3 41 计量在线监测成果 五、项目成效 7类29个智能诊断分析模型 电压电流异常电压电流异常 电压断相 电压越限 电压不平衡 高供高计B相异常 电流失流 用电异常用电异常 电能表开盖 计量门开闭 恒定磁场干扰 负荷异常负荷异常 电量异常诊断电量异常诊断 电能表示值不平 电能表飞走 电能表倒走 电能表停走 费率设置异常 需量超容 负荷超容 电流过流 负荷持续超下限 . . . 抢修服务抢修服务 抢修工单 监测 抢修资源 监测 投诉工单 分析 保电任务 监测 接线异常接线异常 反向电量异常 相序异常 潮流反向 时钟异常时钟异常 终端时钟异常 电能表

22、时钟异常 电量差动异常 . . . . 问题（问题（1 1）：缺少针对采集装置的 异常分析，无法从通信质量、终端 软件、运行工况分析异常的原因， 有效地支持现场高效运维 问题（3）：计算速度慢，当前基于 关系型数据库的传统计算方式进行数 据加工，涉及GB级别数据量操作时， 需要大量I/O操作，数据加工效率低， 及时性无法满足业务应用。 问题（4）：智能化水平不足智能化水平不足， 对异常进行聚合、关联分析，不 能有效地、全面地分析异常产生 的原因，支持地不断发展计量业 务发展。 问题（问题（2 2）：分析规则需要细化，分析规则需要细化，由于光伏用户 的接入，及计量业务的发展，需要对现场电能表出

23、现的新问题分析，优化和完善现有规划，支撑电能 表状态检测。 42 计量在线监测优化成果 五、项目成效 营销业务库采集大数据平台 采集、运行等准实时类数据采集、运行等准实时类数据营销档案类数据、营销流程业务数据、营销统计类数据 新增模型完善模型原有模型 终端工况 异常 终端通信异常连续N天抄表失败. . 终端软件 异常 事件和报文过多负荷数据突变停电异常事件. . 时钟异常 终端时钟电能表时钟 负荷异常需量超容负荷超容电流过流负荷越下限. . 用电异常 电量异常示值不平衡电能表飞走光伏用户上网电量异常 电能表开盖 电压电流 异常 计量门开闭 电压越上限 电压越下限 异常诊断模型 计量在线监测 高

24、相高计B相异常 电压断相电压缺相 负荷异常需量超容负荷超容电流过流负荷越下限. . 电流失流 电流不平衡 电压不平衡 功率差动异常 接线错误 高供高计接 线异常 . . 1.1.优化和完善现有计量在线监测诊断模型优化和完善现有计量在线监测诊断模型 抄表参数不一致 电能表开盖电能表开盖: :在电能表开盖事件产生 后，通过分析开盖次数、及开盖前后 三个月电量变化，准确定位用户是否 存在窃电情况。 光伏用户上网电量异常光伏用户上网电量异常: :在光伏用户 中，针对自发自用余量上网情况，监 控用户上网电量和发电量情况，准确 定位用户是否存在骗补情况。 在原有7个模型的基础上，增加了终增加了终 端异常工

25、况、终端软件异常二个诊端异常工况、终端软件异常二个诊 断模型断模型，在原有电量异常、接线错 误诊断模型中增加高供高计接线错增加高供高计接线错 误、光伏用户上网电量异常等误、光伏用户上网电量异常等2 2 个个 事件事件，完善了电能表开盖、过流、 负荷越下限等事件判断方法。 43 计量在线监测优化成果 五、项目成效 2 2. .应用分布式技术和机器学习技术，提升计量异常分析效率和智能化应用分布式技术和机器学习技术，提升计量异常分析效率和智能化 数据 集成 数据导入工具 Sqoop 分布式消息队列 Kafka 数据 存储 分布式数据仓库Hive列式存储HBase 分布式文件系统HDFS Oracle

26、 数据交互 数据 计算 流处理StormSparkImpala 批量计算MapReduce 存储过程 JAVA计算服务 数据 分析 SPSSMATLAB自定义算法 图表组件 报表 业务 应用 单一异常分析异常关联分析基于GIS展示 计 量 在 线 监 测 软 件 新增组件原有组件 ETL工具 日志收集 Flume 异常处理与评价 可视化数据挖掘建模可视化数据挖掘建模: :在计量异 常、用电异常和终端异常分析的 基础。建立终端异常诊断分析模 型，通过决策树快速判断是否需 要进行现场消缺。 分布式并行计算分布式并行计算: :在应用大数据技术， 优化后计量在线监测软件，极大地 提升计量在线监测分析效

27、率，满足 计量专业大数据快速统计和在线分 析需求。 44 模拟现环境的终端检测装置1 五、项目成效 在用电信息采集系统应用功能的深化中，发现国内采集系统主站软件、计 量装置和采集设备厂商在研发产品时，由于业务需求或面向对象不同，在 异常分析时，在分析与判断异常时理解的局限性和片面性，造成异常误判 或错判，终端数据采集的实际效果不能满足应用需求；外界干扰对通信链 路和数据抄读影响的冗余度考虑不足，造成数据抄读不完整，影响用电信 息采集系统功能应用。由于用电信息采集系统建设较短，建设初期对终端 功能的理解及外界干扰因素的认识不足，造成部分功能和外界干扰影响度 未做检定。对此，提出了用电信息采集终端运行环境仿真与检测研究。 研制背景研制背景 45 模拟现环境的终端检测装置2 五、项目成效 46 计量在线监测优化成果 五、项目成效 内容内容改造前改造前改造后改造后 数据交互数据交互 用电信息采集、营销业务系统； 营销用采在原有接入数据的基础上，接入营销业务流 程信息； 推送数据到计量生产调度平台（MDS） 数据校验数据校验只对负荷部分数据进行校验 实现全量数据校