电力行业大数据平台简介课件

1、A BETTER WAY电力行业大数据平台简介全面透视大数据平台的架构、能力与价值第1页，共67页。A BETTER WAYCONTENT1大数据应用生态2WYDC大数据平台31问题与讨论第2页，共67页。A BETTER WAY大数据应用生命周期大数据可视化大数据分析计算处理大数据存储 数据获取和治理数据源（管理、交易、事务、传感、监控、文件）数据驱动决策数据提供服务2第3页，共67页。A BETTER WAY大数据生态湖泊数据运维数据之源数据生产区（原始数据）结构化数据文本文件多媒体数据描述类数据信息发现区知识展现区ODS数据魔方多维数据关联主数据知识发现区数据台账关键索引知识挖掘区大数据

2、挖掘行业规则大数据可视化数据多维报表知识交互区大数据操纵数据APIS机构内部数据社会数据互联网数据数据安全数据审计数据标准元数据管理主数据管理数据质量管理数据治理流程元数据基于大数据的应用体系大数据检索大数据关联大数据分析大数据预测信信 息息数数 据据知知识 识应 用3第4页，共67页。A BETTER WAY电力大数据概述发电输电配电售电特性一：不可存储能源电力是不可存储的能源， 一旦生产则必须耗用， 这就注定了电力生产、 使用、销售的独特性。特性二：垄断性电力的大型基建特性注 定了电力行业的垄断性， 国家电网和南方电网公 司是目前国内企业体量 最大的存在。特性三：关注社会效益作为基础存在的

3、电力供 应是国计民生的大事， 即便作为企业，也是将 社会效益看重于经济效 益的存在。特性四：新机遇挑战伴随着国家电网总经理 刘振亚离职，以及国务 院2015九号文的颁布， 新的变化与机遇开始出 现。国务院关于印发电力体制改革方案的通知【国发20025号】中国华能集团公司（217）中国大唐集团公司（376）中国华电集团公司（345）中国南方电网（18）中国电力投资集团公司（408）中国国家电网（2）中国电力建设集团有限公司（200）中国能源建设集团有限公司（309）国务院关于印发电力体制改革 方案的通知【国发20159号】中国国电集团公司（299）4第5页，共67页。A BETTER WAY电力

4、大数据电力相关企业信息化分析国家电网信息化建设路径SG-186SG-ERP一平台 一系统 多场景 微应用2006-2010一体化企业级信息集成平台 八大业务应用六个信息化保障体系2011-2015建立覆盖面更广，集成度更深，智 能化更高，安全性更强，可视化更 优的新型IT架构,纳入了电力应用 的全过程，在数据集采基础上加强 数据分析和辅助决策的功能2016-2020国网拆分背景，去SOA（SAP、 Oracle、Accenture）化需求，对 过去大系统建设的反思和调整。强 调自身UAP平台的应用。国家电网信息化建设套路业务部门提报 可行性研究报告国网直属型单位国网紧密型单位甲方代写相关管理部

5、门 进行初审单位所属信息化科室国家电网经济研究院国家电网信通部门电科院信息安全部门5第6页，共67页。A BETTER WAY电力大数据整体框架宏观 大数据外部 大数据电网改革的决策支撑；能源结构的调整改善；基于多维视角的决策分析；提供日常建设、运维的监管；6实现对最末端消费的数据采集分析；对关联上下游产业提供战略性指导；改造提升经济效益目标的营销管理；配合国家产业调整目标，协助供给侧改造的实现第7页，共67页。A BETTER WAY电力大数据细节关注内容发电输电配电售电今后工作的 重中之重7分割后的 新领域传统领域 的新突破急需支撑的 先锋领域售电业务全面开放后，对售电、购电的内容都将 产

6、生天翻地覆的变化，迫切地需要大数据支持今 后业务的方向与决策支撑，可以预见基于电信客 户忠诚度、银行客户营销、电商策略支撑方面的 大数据应用将会得到大规模应用。用电客户市场细分模型高价值工业用电客户分析模型居民用电忠诚度分析耗能电器用户画像节能智能家电推荐用电高峰时段区域分析配电业务在今后将会一分为二，特高压高压配电 继续由传统电网公司负责，高低压配电建设则可 能由新诞生的售电公司负责，老树新花将会为配 电建设工作带来新的活力。变电站选址分析模型变电站建设舆情监控变电站检修项目风险监控变电站分时段负载分析及关联分析配电设备传感巡检数据分析及故障率 分析输电业务将会继续由电网公司负责，但是目前的

7、 用电发电端同时开放以后，输电关联的业务将会 不可避免地带来影响，电网将会放下自身“老大” 的地位，输电将会变更其经济效益和社会效益的 权重，更多地“迁就”社会实际需要。输电线路规划分析模型输电线路环境影响及自然灾害评估输电负载分析管理输电线路建设资源预测模型输电建设承运商/承建商等级评估国家开放了个人发电销售业务以后，出现了围观 冷场的情况，如何让发电销售说服大众和电网公 司，成为国家一个新的创业增长点，再没有比大 数据更具说服力的科学依据了。单体发电质量分布分析单体发电输配成本核算单体发电定价决策依据分析临时性用电高峰单体发电支持体系第8页，共67页。A BETTER WAY电力大数据宏观

8、关注内容作为现代工业真正的神经，社会正常运转的基本资源，国家一直十分关注电力与工农业、 城市发展的关系，不管是特高压的论证审批，还是国家电网的拆分，以及水电站建设等各 个方面应用，大数据将会为宏观决策提供科学的数据支撑和高效的分析模型。水电站选址论证火电站环境污染分析风力发电质量与气象分析8核电站运转情况分析电站持续型环境影响评估重大灾害电站应急指挥平台远程输电时段地域成本论证用电调度能效评估输电建设资源预测系统变电站覆盖区域负荷分析重点工业园区用电支撑调度 平台统一电价及电力营销行为分 析电力巡检模型分析大型活动临时配电调度管理变电站故障及处理平台智能巡检机器人数据管理用电量与环保关联性分析

9、电量GDP关联分析用电区域分布引导管理错峰用电定价指导分析异常灾害电力负载应急管理电价舆情分析第9页，共67页。A BETTER WAY电力大数据城市耗电量分析通过收集不同气候、不同时段期间以及其他关联 的用电量情况，助力“智慧城市”应用的同时， 有效预测用电需求，协助电力相关单位应对用电 高峰期的电力调度和资源确保能力。9第10页，共67页。A BETTER WAY电力大数据雅砻江流域水电开发有限公司大数据案例分享（成果展示）基于3*12的大屏展示以下内容：电站发电生产数据、水文气象观测数据、日常KPI指标、视频监控数据10第11页，共67页。A BETTER WAY电力大数据四川电力物资公

10、司典型建设配送资源物资调度 中心调度大厅建设 在途信息集成 监控信息集成传感信息集成 视频传输集成 GPS信息集成采购部门合同招标管理 需求预测管理 平衡利库管理财务部门仓库物流设备集成 库位规划集成 仓库物流规划 辅助决策现场收发货 入库管理 出库管理 库内管理资金支付深化 财务结算财物一体化1+23+84仓储网络布局图11第12页，共67页。A BETTER WAY电力大数据物资需求模型应用12第13页，共67页。A BETTER WAY行业大数据应用面对的挑战硬件无法跟进 数据规模的 指数级增长过于分散和原 始成为大数据 应用的障碍复杂数据算法 与业务模型 衔接诸多大数据并 行计算架构的

11、 选择大数据应用实 现路径：从哪里开始？专业人才匮乏13第14页，共67页。A BETTER WAYCONTENT1大数据应用生态2WYDC大数据平台314问题与讨论第15页，共67页。A BETTER WAYData Discovery Family大数据交换汇 集平台大数据基础架构大数据存储大数据治理平台大数据智能分析平台大数据知 识认知平 台大数据 可视化 平台大数据 主题应用大数据智 能运维平 台原生态 数据烟囱原始 RDB原始 FILE流媒体 数据互联网 数据分布式 RDBHDFS流计算文件 数据库资源 监控 系统智能 部署 系统根因 分析 系统敏捷BI大数据门户展示政务 大数据经济

12、大数据政法 大数据财税大数据民生 大数据旅游 大数据环保大数据工业 大数据商用 大数据ETL数据迁移实时采集爬虫软件数据适配框架数据转换数据清洗比对数据处理流程图 数据库MPP数据库键值 数据库RDB列式 数据库Spark并行批处理其他Hadoop Map/Reduce 生态DAC数据总线大屏显示控制模板可视化大屏移动数据可视化应用实时分析关系 分析 系统预测 分析 系统数据共享开放与服务元 数 据 管 理数据台账数 据 治 理 流 程主数据数据目录数据审计数据安全数据质量数据标准大数据应用驾驶舱Hadoop 运维管理大数据应用 智能调度大数据应用 门户系统算法库管理模型 设计模型 训练机器学

13、习模型 发布成型铸模储运 冶炼捡矿 洗矿15模型 管理选矿第16页，共67页。A BETTER WAYWYDC大数据交换汇集平台构造大数据的数据之源16第17页，共67页。A BETTER WAY大数据交换汇集平台核心价值开发环境用直观且以角色为基础的图 形用户界面，管理数据处理， 提供拖拽功能，源系统访问和可自定义的元数据树集成设计用可视化端到端的事件 设计器，建立和编辑数 据管理流程ETL抽取、转换、加载，通过开箱即 用的基于SQL的数据转换功能支 持ELT，获得更高的灵活性数据联合获得虚拟访问多种数据库结 构、企业应用、主机遗留旧 文件、文本、XML、消息队 列和其它源的功能互联互通相较

14、于其它解决方案，WYDC 数据管理能够实时或批量地在 更多的平台上链接更多数据源消息队列通过基于消息的连接整 合异步业务流程管理与监控跟踪作业状态和性能报告以及趋势信息的各项指标迁移与同步可以在多种数据库、企业应用、 主机遗留旧文件、文本、XML、 消息队列以及其它源之间，进 行数据的迁移和同步.17第18页，共67页。A BETTER WAYETL概述数 据 源输 出数据库结构化数据其它数据加载加工 清洗抽取数据库数据仓库其它数据更多类型的数据来源支持各种数据源，包括DB2、Oracle、Mysql等各种主流数据库，以及结构化文件系 统、Excel、Xml、LDAP、SOAP/WebServ

15、cie、CSV文件和RSS等各种数据源。更广泛的连接方式数据库连接支持集群，和数据库分区访问。数据库连接的方式支持JDBC、ODBC和 JNDI方式，提供了数据连接池功能，能够大大提高数据库的访问效率。更人性化的控制方式提供了图形化界面的操作方式，开发人员只需拖动相应的组件到控制台即可。更强大的性能和处理速度采用并行处理的方式实现数据的高效处理，支持10以内的大数据量的数据采集， 并在网络断开后重新执行任务时，支持断点续传功能。ETL18第19页，共67页。A BETTER WAYETL核心架构ETL服务器认证授权 监 控 管 理 接 口扩 展 接 口ETL资源库集成开发工具统一管理平台数据

16、资源库文件资源库数据源接入流程开发任务配置任务部署调试跟踪任务执行监控输出运行日志运行控制状态监控日志查看权限管理节点管理错误告警性能统计面板定制ETL引擎任务调度元数据处理流程性能管理交换管理任务引擎转换引擎转换 组件适配器 组件转换 流程流程 控制操作控制任务调度19第20页，共67页。A BETTER WAY丰富的ETL构件库20第21页，共67页。A BETTER WAY强大的处理性能四方ETL产品同类ETL产品主机配置曙光640AMD 6136*2(x8) 2.4GHZ 4G*16SAS ST91000640SS 1T*12曙光A-620r-GAMD 6136*2(x8) 2.4GH

17、Z4G*16SAS ST91000640SS 1T*12DataNode数量5台67台每天数据处理量1T8T数据处理时间9小时17.5小时单服务器计算能力22.756G/小时6.987G/小时对比结论ETL产品数据计算能力是同类ETL产品数据计算能力的3.257倍21第22页，共67页。A BETTER WAY交换汇集平台特性为数据集成、数据整合、数据中 心建设、基于复杂数据流的数据 处理提供稳定高效的技术支撑22第23页，共67页。A BETTER WAY相关界面及效果提高开发效率缩短周期23图形化界面创建数据采集转换、抽取、清洗作业；支持智能采集；丰富的数据交换功能支持多种数据库、实时接口

18、及库表交换、文件交换；支持全量、增量方式的数据捕捉方式；实现复杂数据处理零编码的数据处理产品;零编码图形化拖拽方式，完成数据抽取、转化、清洗设计；支持多种存储架构支持hadoop、Mpp、传统数仓多层次安全机制保障支持分级分域授权、三员分离；支持通道安全，支持SSL传输通道加密功能；支持数据加密，支持国密算法；支持交换全过程监控、审计，并提供邮件、短信预警功能；第24页，共67页。A BETTER WAY网络爬虫功能概述四方伟业网络爬虫是一个集成在数据模块下的自动下载网页的程序，它根据既定的抓取目标，有选择的访问网页与相关的链接， 获取所需要的信息，无需安装任何软件，挖掘互联网数据、配置规则简

19、单（支持循环翻页、集合、点击事件、模拟账号登录）支 持分布式采集、定时循环采集、有效的防范IP被封，支持采集数据导出，并且能够对接各种主流存储结构的面向主题爬虫。24第25页，共67页。A BETTER WAY网络爬虫特点一览更简单的 规则设置简单配置出各种复杂的爬虫规则， 大大缩短了脚本编写时间，而且 更高效和更准确。支持异步 AJAX支持鼠标点击事件（页面不跳转）的数据回调获取。分布式抓取利用nginx实现分布式抓取，提高爬取效率。多线程 爬取单个节点采用多线程抓取（线程 数量可配置）配合分布式部署抓 取效率进一步提高。反监控采用IP代理的模块，和一些反监 控配置，能有效的确保爬虫平台 I

20、P被网站封的可能性降低。分布式 监管系统25能够实时监控各个节点上爬虫服 务器的运行情况，并能够及时统 计和发送异常信息给异常处理模 块。第26页，共67页。A BETTER WAY网络爬虫界面效果先进标准的SOA架构标准化技术架构 规范化管理框架 构件化业务模型高效灵活的开发体系方法论和最佳实践 一体化可视工具平台 组件化和图形化业务化的配置开发能力自动化流程表单设计 灵活的业务权限丰富的构件库26第27页，共67页。A BETTER WAYWYDC大数据应用驾驶舱大数据高速飞行的驾驶舱27第28页，共67页。A BETTER WAY大数据应用驾驶舱全方位的 辅助分析能力更低的 建设成本全景

21、 统一管理可信赖的 安全控制超强的 计算能力更低的 建模门槛28第29页，共67页。A BETTER WAY大数据应用驾驶舱29第30页，共67页。A BETTER WAYWYDC大数据治理平台大数据治理实现数据内升30第31页，共67页。A BETTER WAY大数据治理的延伸原始 数据元数据治理流程数 据 标 准 字 典行 业 业 务 规 则数据接口31共享开放数 据 检 索数 据 服 务第32页，共67页。A BETTER WAY大数据治理平台核心价值更全面的数据 质量保障32提供数据标准梳理工具，使得元数据更合规支持策略集的质量巡检方式，保障数据的完整性全景化信息 开放与检索支持主题的

22、数据台账，基于元数据的信息管理，提供数据资源目录与导航多渠道的数据访问机制（目录、API、Webservices）全过程 信息安全支持交换全过程监控、审计，并提供邮件、短信预警功能基于oAuth协议的第三方单点登陆集成的模块支持通道安全，支持SSL传输通道加密功能支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理更低的 建设成本产品自主化量身定制适合应用的实践路线智能部署，比同类产品实施节省一半时间基于大量实践的，通用解决方案第33页，共67页。A BETTER WAY大数据治理平台：ETL33第34页，共67页。A BETTER WAY大数据治理平台：元数据标准管理34第35页，共67

23、页。A BETTER WAY大数据治理平台：段码数据标准管理35第36页，共67页。A BETTER WAY大数据治理平台：信息类管理36第37页，共67页。A BETTER WAY大数据治理平台：数据资源目录37第38页，共67页。A BETTER WAY大数据治理平台：信息类授权38第39页，共67页。A BETTER WAY大数据治理平台：质量管理系统规则定义39第40页，共67页。A BETTER WAY大数据治理平台：质量管理系统40第41页，共67页。A BETTER WAY大数据治理平台：质量管理系统41第42页，共67页。A BETTER WAY大数据治理平台：质量管理系统42

24、第43页，共67页。A BETTER WAY大数据治理平台：数据台账43第44页，共67页。A BETTER WAYWYDC大数据智能分析平台大数据知识挖掘的核心引擎44第45页，共67页。A BETTER WAY大数据分析平台关键能力开放弹性 架构真正无共享的海量并行处理架构工业标准的X86平台服务器资源按需分配，按需搭建集群，按需缩放集群规模在线线性 扩展增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务拥有成本 可控保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控海量并行 处理c 5c 4c 3c 2c 1c 9c 8c 7c 6r1r2r3r4

25、r5支持PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力优秀混合 负载按需分配资源（CPU、内存、IO）动态调整资源平台持续 可用数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复，对用户透明扩容期间可持续对外服务易于管理 维护直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作45第46页，共67页。A BETTER WAY大数据分析架构（根据总架构图做一些调整）计算存储网络开源架构云平台管理云平台安全大数据应用体系Hadoop/YARN服务器虚拟化存储虚拟化网络虚拟化警务云接口iVirtu alvSpher eNov aXenSer

26、v erPowerV M分布式文 件系统分布式块 存储分布式对 象存储SAN存储 网关Open FlowvxLanvSwitch计算资 源接口存储资 源接口网络资 源接口容灾资 源接口云资源管理云运维管理通信安全数据安全访问安全vRouteSparkStormNoSQLkafkaMPP DB算法库Spark Mlib自定义 算法Mahout算法库算法审核模型评估模型发布模型训练模型管理数据挖掘大数据可视化与自服务平台模型库统计分析MOLAPROLAPKylin算法选择模型构建与评估数据 预处理结果预测数据探索大数据资源开放共享平台知识库知识分类 管理订阅管理知识库 检索版本与发 布管理数据源选

27、择R集成Python 集成数据源选择46第47页，共67页。A BETTER WAY数据分析建模全生命周期业务场景导入数学分析建模大数据模型发布应用大数据应用政务大数据应用工业大数据应用交通大数据应用旅游大数据应用 数 据 归 集 与 预 处 理算法 选择算法自定义分析建 模设计模型 训练模型 发布模型调度 运行管理知识库 管理模型 运行大 数 据 运 行 服 务大 数 据 可 视 化 展 示知识库共享大数据智能分析平台大数据应用驾驶舱大数据可视化平台大数据算法库47第48页，共67页。A BETTER WAY大数据模型设计算法设计48第49页，共67页。A BETTER WAYWYDC大数据可视化平台大数据展现49第50页，共67页。A BETTER WAY大数据可视化平台功能支持UI编排组件库事件联动模型数据过 滤条件设置组件渲染容器监听主题管理布局模板任务管理50第51页，共67页。A BETTER WAY大数据可视化平台软件架构51第52页，共67页。A BETTER WAY大数据可视化平台数据编排展现52第53页，共67页。A BETTER WAY大数据可视化平台案例体验数据立体呈现，动静结合；展示有静态有动态53第54页，共67页。A BETTER WAY大数据可视化平台案例体验54第55页，共67页。A BETTER WAY大数据可视化平台案例