面向电力大数据特征的大数据即时处理技术研究

面向电力大数据特征的大数据即时处理技术研究

0大数据的技术定义电力行业的数据与过去单调、缓慢增长的时代相去甚远。随着sd-ep和智能电网建设的发展和深化，数据的增长率在几何级（从t级到pb级）上增加，数据来源复杂多样（结构、非结构、半结构）。如何充分利用这些大量多样的数据，以便提供大量的高服务，需要应用大数据的概念和技术。另外，大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴，大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。本课题根据文献研究成果，围绕公司业务应用中面临的实际问题和迫切需求以及业务应用中亟待提升的方向，研究面向电力大数据特征的高速存储体系结构、索引体系结构以及流计算即时处理技术，解决系统建设与运行各环节所面临的技术难题，探索各技术的应用以期实现突破，为电力大数据技术在公司系统的应用提供有效指导和切实支撑。1能源大数据的高速存储、研究和应用1.1业务系统统计学分析目前具有电力大数据特征的典型业务如用电信息采集系统，电力用户基数大，每天产生的数据量庞大，导致业务系统在统计分析业务上出现了响应缓慢，用户等待时间较长的问题。分析研究用电信息采集等业务系统的数据存储、检索、流计算所采用的技术架构；总结归纳结构化数据与非结构化数据所采用的数据存储与检索技术架构与性能；研究典型业务系统中对即时流处理技术的现状与需求。1.2高速存储体系的建立是为了利用能源大数据来访问的和副本替换算法研究基于Hadoop分布式存储系统的多元数据服务的副本管理机制，研究元数据服务器异常情况下的重定向和副本替换算法，避免单一元数据服务器故障导致的整个分布式文件系统的瘫痪问题。研究Hadoop分布式文件系统的动态扩展机制以及备份和恢复机制：研究分布式文件系统与原有SAN网络等存储设备文件系统的兼容策略，研究Hadoop分布式文件系统的增量式备份方法和异常恢复机制，实现突发情况下的文件快速恢复。异构分布式存储协同配置优化技术针对Hadoop分布式文件系统配置灵活多样、性能随配置参数变化波动剧烈以及电力应用数据形态丰富的特点，深入分析并鉴别影响存储性能的关键因素，设计自适应动态采样算法，研究异构分布式存储跨层配置降维机制，究应用感知的多节点协同配置优化技术。研究大数据存储系统性能评测数据集生成技术，设计并实现面向电力大数据应用的存储系统性能基准测试原型系统。研究可实现高速存储系统数据副本动态存储均衡围绕电力大数据采集频率高、数据量异常庞大以及长期持久化存储等典型特征，研究支持数据节点副本数可调节的分布式存储技术和架构，研究电力大数据高速存储系统中数据副本动态调节算法，实现新增数据节点的快速部署和自动存储均衡。研究基于副本的数据访问加速技术；设计基于激励理论的数据副本优化放置算法；研究多副本的数据一致性协议和同步机制，保证多节点间的状态同步。研究网络分区故障敏感的多副本数据容错机制以及自动恢复技术。1.3基于能源大数据特征的索引体系和关键技术研究研究电网业务过程中涉及大数据与档案在分析当前大数据检索体系结构与查询方法，以及电力大数据及检索特征的基础上，研究电力大数据对检索系统体系结构的特殊需求。对各类采集类电力大数据进行采样分析，对档案类大表数据进行分析，研究电网采集类大数据与档案类数据的特征；对电网业务中涉及大数据检索业务的检索方法进行分析归类与总结，研究电网业务检索业务的类型分类与特征；基于上面的两项总结，研究电网大数据特征与各类检索对查询系统体系结构逻辑结构的需求。分布式索引存储及压缩算法针对目前没有成熟的大数据多维索引的情况，研究电力大数据与检索的特点，设计电力系统专用的多维索引结构。支持高效的多表连接与多维区间查询功能；研究自适应的、动态可扩展的分布式索引存储方法、索引压缩算法；研究高可用的分布式索引存储方式与故障恢复方法；结合电力业务的需求，研究有效的负载均衡算法；针对电力数据量庞大的特点，研究大数据环境下索引快速建立与快速存储的方法；为了降低索引访问对查询速度的影响，研究高速的索引访问方法；研究基于索引结构的统计数据与数据元信息的预计算技术。查询方法设计研究基于索引元数据的查询任务解析、分解和查询计划生成算法；研究一定时间窗口内，多查询间依赖关系与多查询合并优化算法；基于电力系统中单表查询的特点，设计基于索引的单表访问方式的优化方法；基于电力系统中多表关联查询的特点，设计基于索引的多表关联优化查询方法；研究基于索引元数据与预计算统计数据的查询优化方法。1.4能源大数据的分布式流程处理系统的原理和应用流计算即时处理技术框架针对大数据环境下的电力实时处理业务需求，结合处理规模、处理时延及容忍误差范围等要求，从编程模型、消息处理、可靠性、扩展性等方面，分析目前主流流计算产品的技术特征、运用领域及优缺点，研究各类流计算即时处理架构，结合容错、事务的特性，提炼设计适合国网大数据环境下健壮、高效、可扩展的流计算即时处理框架。研究高并发模式下流计算框架的I/O模型与并发模型，分析数据流在节点内部的处理流程，。研究流计算的任务调度算法和优化，提升流计算即时处理平台的处理能力。研究网络高效流处理技术针对电力大数据环境中系统规模大、节点异构性高的特点，研究分布式流处理系统的控制流与数据流传输机制，设计基于层叠网的数据路由算法，研究层叠网节点到物理网络节点的高效映射算法;设计流处理节点同步及异步通信原语、接口；研究大并发场景下时间消息数据排队缓冲策略，研究流处理网络拥塞控制策略；研究异常情况下的数据重传协议和系统恢复机制。研究智能用能服务和智能电网系统服务模式的功能对电力应用业务逻辑所设计到的各个环节的对象及其关系进行分析和梳理，对整个复杂事件处理系统的各个模块的功能进行规约；研究智能用能服务应用模式的软件实现，抽象、提炼并设计形成面向智能电网的事件模式（Pattern）集合；研究设计支持电网应用模式的复杂事件处理语言；研究事件处理语言的执行引擎，设计事件的高效率检测算法，并根据电网应用的特性进行算法的性能优化。1.5数据传输质量监测用电信息采集：针对要在短周期内完成用电信息采集数据异常判断的需求，引入流计算技术，完成对实时采集的数据进行预处理，包括：对异常数据的过滤、处理以及相关警报；完成高效算法的设计，实时监测并处理异常数据；完成对数据在存储节点上分布的均匀化操作。数据质量监测：针对业务数据质量在线实时监测的需求，引入流计算技术，对数据传输环节上的数据质量监测对数据从单位、频度、来源系统、所属业务等维度进行明细透视，对数据质量监测异常实现互动预警及处理从及时、完整、一致、准确四方面对数据质量进行通报，持续改进数据质量。视频图像处理：在视频流计算应用方面，通过对视频监控图像的实时计算，结合目标特征提取、运动目标分割、背景光影变化等分析处理算法，获取电力设备原始数据，掌握电力设备的运行状态，提高故障检测的实时性，降低人工成本，提升管理效率和生产安全水平。2基于流计算即时处理的电力大数据特征分布式流处理本课题重点研究电力大数据高速存储体系结构和关键技术，研究电力大数据索引结构、多维索引关键技术及多维索引的快速关键技术；研究适应于电力大数据特征的索引体系结构与关键技术；研究面向电力