电力能源大数据技术方案

1、【X省能源大数据】技术方案XXXXXXXXX有限公司【2020年5月】修订记录目录 TOC o 1-5 h z HYPERLINK l bookmark4 o Current Document 第一章.项目概述 1 HYPERLINK l bookmark6 o Current Document 项目背景 1 HYPERLINK l bookmark8 o Current Document 项目概述 2 HYPERLINK l bookmark10 o Current Document 设计思路 2 HYPERLINK l bookmark12 o Current Document 第二章.建

2、设目标 3第三章.建设思路 4第四章.建设内容 5 HYPERLINK l bookmark14 o Current Document 第五章.总体设计 6 HYPERLINK l bookmark16 o Current Document 设计原则 6技术路线 7总体架构 7业务流程 8 HYPERLINK l bookmark21 o Current Document 第六章.详细建设内容 9第七章.项目估算 12第一章.项目概述项目背景当前，大数据已经开始在国家、企业和社会生活中薪露头角，政 府和企业都已经意识到信息资源日益成为重要生产要素和社会财富， 世界各国政府十分重视发展大数据，美

3、国政府颁发大数据研究发展 计划，欧盟推进数据价值战略计划，中国政府发布推进大数据 发展行动纲要。中国电力企业作为全球第二大经济体的基础能源支撑体系，面临 着能源枯竭和温室气体排放的挑战，新的发展需求和规则要求电力企 业寻求新的发展模式。为此，国家电网公司党组以习近平新时代中国特色社会主义思想 为指导，深入贯彻落实“四个革命、一个合作”能源安全新战略，顺 应能源革命和数字革命融合发展趋势，创造性地提出了“三型两网、 世界一流”的战略目标。为实现电力物联网建设目标，国网X省省电力公司决定建设X省 省能源大数据，当前重中之重，当务之急是打通电力系统各个业务、 各个环节，实现网络通、数据通，打造电网“

4、数据一个源、电网一张 图、业务一条线”，实现能源互联网生态圈，助力国家电网“三型两 网”世界一流的战略落地。项目概述目前乂省能源大数据处理模式存在着数据监管成本高、效率低以 及第三方平台存在数据备份和泄密等风险。现阶段各能源系统的数据 未能与社会资源实现有效的互通共享，客观上形成了数据孤岛，无法 充分利用其数据价值。为此，依托能源局建设X省省能源大数据联盟 链，基于区块链技术构建X省省能源大数据资源池，汇聚电、煤、气 等全产业链能源数据因此为更好的利用能源大数据。通过统一的数据 接口构建数据汇聚中心，按照统一的数据清洗标构建数据共享中心， 基于区块链的能源数据安全共享体系，实现能源大数据在不同

5、机构间 的安全、可信共享。设计思路第二章.建设目标X省能源大数据联盟链建设项目的建设目标为：依托公司云平台 和数据中心组件，通过能源局进行监管，建设X省省能源大数据联盟 链，基于区块链技术构建X省省能源大数据资源池，汇聚电、煤、气 等全产业链能源数据。具体目标如下：一是构建数据汇聚中心，统一外部数据接口标准和技术规范，实 现各业务系统及外接数据等多源异构数据的统一存储。二是构建数据共享中心，制定数据去重、清洗与转换标准，形成 以煤、油、气、环境经济等主题域分类的能源数据，建立唯一的数据 属性标识体系。三是形成能源行业分类的能源数据目录和字典，录入数据资源共 享平台，实现方便快捷的数据查询、检索

6、、展示。四是建设基于区块链的能源大数据联盟链系统，保证数据在数据 资源池中“只进不出”，联盟成员使用数据必须通过可信第三方机构， 数据完整性、真实性可审计，数据使用可计量、可追溯，提供精准收 费的对外服务，对服务中的使用主体、使用量、使用时长进行明确记 录，确保数据不外漏，服务有依据。第三章.建设思路第五章.总体设计设计原则统一标准、鼓励创新坚持统一数据管理，系统建设必须严格遵循公司统一的SG-CIM数据模型和 数据采集、定义、编码、应用等标准，确保数据共享；坚持统一应用接口、统一门户入口、统一技术路线，确保应用横向互联、纵 向贯通；坚持顶层设计和基层创新相结合，鼓励基层单位因地制宜，先行先试

7、。继承发展，精准投资在现有基础上缺什么补什么，整合完善，打通数据，避免推倒重来，需要什 么开发什么，哪里薄弱加强哪里；技术性和经济性均可行的，大力推广；技术上可行但经济性待评估的，试点 储备；投入较大，短期内看不到效果的，不大范围示范。 要把谁用、如何用、 使用频度作为是否立项的原则，确保精准投资；通过新技术应用节约投资，省钱就是赚钱。集约建设，共建共享统筹公司内部建设成果，避免重复投资开发和试点示范，推动成果共享复用， 发挥集约效应各业务终端应充分考虑所有其他专业需求，配用电侧采集装置、通信资源、 边缘计算、数据资源跨专业复用，推动各专业共建共享；加强外部成熟技术合作，统筹内外部资源高效推进

8、，确保高质量发展。经济实用，聚焦价值泛在电力物联网建设的关键是应用，要充分考虑实用性、经济性和基层应用 的便捷性，在实用、实效上下功夫，实用才有实效，让一 线人员更好用、更愿 用，为基层班组减负；要聚焦价值作用发挥、政府社会关切、客户极致体验、公司核心业务、新兴 业务发展技术路线总体架构从业务功能上划分，能源大数据中心主要包括数据整合、存储、计算、分析、 平台服务、安全、数据管理、管理配置等功能模块，并提供各种形式的服务供业务系统使用。通过能源大数据中心为业务大数据应用开发、运行提供统一的平台支撑。管理配置管理业多 应用分析能源大数据三台数翡数据管理展现朋务计算服务数据 计算数据 存储存储服务

9、分析服务促进行业协同 发展服务政府科学 政策改善社会民生推动公司和电网 发展身份 验证集群管建统计分析多维分祇数据挖掘隐私 保护1流讦算内存计算查询计算批量计算存储 安全分布式数据库存储分布式文件存储关系数据存储接入 安全数据库安收 复制服务 管理关系数据库 数据抽取实时数据果 集文件数据采 集业务流程第六章.详细建设内容数据整合数据整合功能需要整合来自电力企业、石油企业、煤炭企业等能源企业的数 据，同时还要整合来自于政府和互联网的环保数据、气象数据和经济数据等。数 据整合要对来自于不同企业和不同渠道的数据源进行统一（批量、实时）抽取、 转换、加载，同时提供跨平台（如Hadoop、MPP、传统

10、关系数据库）的统一作业 调度及监控功能。统一数据采集系统支持如下功能：1）采用基于分布式、高可靠、高可用的、面向流的数据抽取方法，可处理 海量结构化、非结构化数据的采集、聚合和传输。2）对采集过来的原始接口数据，进行文件合并拆分、数据清洗、数据转换、 稽核校验、数据分发等数据加工操作，支持将数据并行加载到目标数据库中。3）通过实时流ETL采集信令数据，支撑基于位置的实时营销。4）数据采集、处理、加载过程中利用内存技术来减少硬盘读写所造成的性 能损失。5）支持WebService交互式采集、RESTFUL交互式采集、SFTP/FTP交互式次 采集。6）支持互联网爬虫获取主流网站论坛的网页信息，实

11、现互联网网页数据采 集。7）统一调度和管理数据采集、融合中的作业。图1-1能源大数据中心数据整合架构图数据存储功能数据存储主要分为关系数据存储、分布式数据库存储、分布式文件存储，数 据存储功能重点面向能源大数据中心，作为数据整合的上层功能，作为数据分析 计算的支撑功能，也是能源大数据的核心组成部分，采用Shared Nothing架构， 通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式 计算模式，完成对分析类应用的支撑，运行环境多为低成本PC Server，具有高 性能和高扩展性的特点，为能源大数据中心数据的存储提供基本保障数据计算功能数据计算功能包括流计算、内存计算、

12、批量计算等三个方面，在数据存储功 能的基础上进行统一资源调度，运用大数据平台组件（Hadoop）支持多种计算模 型，支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。数据分析功能数据分析功能主要包括数据接口服务、数据挖掘分析、自助式分析，即为各 类分析应用提供统一的数据访问、挖掘、检索服务。从数据整合到数据分析环节 数据流转框架图如下图所示：图1-5统一分析服务功能架构图数据管理功能数据管理功能建设是能源大数据中心建设的基本内容之一，数据管理主要是 对采集到的各能源企业和辅助数据等基础数据的存储和管理，为能源大数据提供 存储详细数据及必要的汇总数据。通过统一数据管理功能的数据抽取、清理、规 划化后加载到数据仓库。数据管理包含了数据整合之后的多年历史数据，数据量是巨大的。数据会被 合理的规划、组织、存储、分片和索引，保证数据的管理和使用的高效性。按照 能源大数据中心建立数据“唯一事实”的要求，数据管理功能会为各类服务对象 提供所需要的数据视图。因而，整个能源大数据中心的数据管理应共享统一的数 据管理存储模型。与这样的要求相匹配，数据仓库采用满足第三范式的规范化建 模。数据管理模型功能是数据仓库系统的关键部分，开发数据仓库模型除了要描 述现有