大数据处理交流国家电网课件

1、大数据处理交流目录大数据时代己经到来大数据处理流程分析电网应对大数据的建议大数据时代己经来临2022/8/203IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。 全球数据总量增长趋势每两年翻一番 我们今天所处的这个时代，各行各业都呈现出极快的增长速度：电商、快递、微博、社交等都承载了大量的个人信息；大型超市、卖场、商场、银行等集聚了大量交易信息，日新月异的城市建设中，连接着更多数据采集传感器和嵌入式设备的物联网开始成型数据的密集爆发，没有一个循序渐进的过程，而是呈现出跨越式的特征。大数据是指无法在容许的时间

2、内用常规软件工具对其内容进行抓取、管理和处理的数据集合。4V国家电网的大数据发展2022/8/204国家电网是典型的大数据拥有者。随着信息化建设水平的日益提升，数据的采集粒度越来越小，所采集的数据类型越来越多，数据的精细化程度越来越高，电力信息数据亦将持续其爆炸式增长趋势。体积大，增速高！以电网生产管理系统为例：假设平均一个网省每年产生100GB数据，则全国每年将产生3TB数据。种类多，价值大！系统包含大量结构化数据如：维修记录、电气机构、GIS数据。另外系统还包括海量的非机构化数据如：视频、图像、文本数据等。国家电网对大数据的认识2022/8/205中国电机工程学会电力信息化专委会拟编制发布

3、中国电力大数据发展白皮书(2013)，这将是我国首次就电力大数据问题发布白皮书。白皮书全文12000余字，分为引言、迎接电力大数据时代、展望电力大数据时代、迈向电力大数据时代、结束语等五部分。在电力行业，电网业务数据从总量和种类上都已初具规模。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。大数据的“量类时”特性，已在海量、实时的电网业务数据中进一步凸显，电力大数据分析迫在眉睫。大数据的重要性2022/8/206 “大数据”之“大”，更多的意义在于：人类可以“分析和使用”的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值，带来“大知识”

4、、“大科技”、“大利润”和“大发展”。数据分析主要解决如下3个问题： 如何快速总结历史；（总结数据变化的规律）如何准确预知未来；（预测未来的发展变化）如何清晰认识世界；（发现未知的规律和关系）麦肯锡全球研究所在其2011年的报告中最后概括说：大数据，将成为全世界下一个创新、竞争和生产率提高的前沿。数据被视为科学的度量、知识的来源；没有数据，无论是学术研究，还是政策制定，都寸步难行。未来拥有数据的部门是 最具权威部门， 最具创新力的部门， 是企业发展的驱动部门，是方向引领的部门。目录大数据时代己经到来大数据处理流程分析电网应对大数据的建议自然界生态链2022/8/208生产者（制造有机物）提供食

5、物分解者（将动植物的遗体分解成无机物）消费者对于植物的传粉、受精、种子传播等方面有重要作用生产者、消费者和分解者是紧密联系、缺一不可的。初级消费者二级消费者分解分解分解分解提供养份外部环境（阳光、雨水等）大数据处理生态链2022/8/209业务系统（产生数据）信息数据仓库（ETL、存储、分析等）数据为决策提供分析基础；决策反向推动数据更好的支撑决策分析；管理层决策层建议信息建议数据辅助外部环境（社会、经济、政策等）只有保证生态链的正常运转，才能不断的创造价值，推动企业不断向前发展。大数据处理流程分析2022/8/2010业务系统调度管理生产管理财务管理物资管理规划计划项目管理运行管理营销管理协

6、同办公数据治理与存储分析ERP、CRM、PDM、门户建设技术、负载均衡、容灾等ETL、数据仓库、数据库、SybaseIQ、分布式存储、数据集成等OLAP、BIEE、Cognos、统计分析、可视化分析、数据挖掘、分布式计算等结构化数据非结构化数据BIVADM大数据处理流程分析2022/8/2011定时生成，月度/季度财务报表为实现投资收益最大，应如何对资产结构进行调整？接下来哪些设备可能发生故障？可以预计区域的电力负荷发展趋势可以了解为什么电网运行线损在增加？当决算超出预算目标时，财务主管将收到警报对各种类型的物资进行排序，探查它们的库存情况一周内各天各区域的故障设备数量报告常规报表即席查询多维

7、分析警报统计分析预报预测型建模优化发生了什么事情？数量、频率、地点如何？问题出现在哪里？需要采取什么行动？为什么会发生？如果这些趋势继续下去会如何？接下来会发生什么事情？可能出现的最好情况是什么？竞争优势智能程度简单展示：信息系统基础功能多维展现：辅助分析方法（Cognos、BIEE） 高级分析：数据挖掘方法（DM）（SAS、Clementine、Pluto）、高级可视化分析（VA）等；目录大数据时代己经到来大数据处理流程分析电网应对大数据的建议建议2022/8/2013关键技术突破队伍建设典型示范应用标准工具及应用典型示范应用2022/8/2014对电网重要环节建立数据挖掘分析的典型示范应用

8、，达到通过带来的社会和经济价值，体现数据及数据分析的价值，提升企业信心；形成电力数据分析的规范，为后续更全面的分析探明道路；总结经验，为后续信息化建设提出指导性意见，以便让信息化的建设不再盲目；营销生产运监以客户和市场为导向，以分析型数据为基础，优化现有营销组织模式，科学配置计量、收费和服务资源，构建营销稽查数据监控分析模型；建立各种针对营销的系统性算法模型库，发现数据中存在的隐藏关系, 为各级决策者提供多维的、直观的、全面的、深入的分析预测性数据, 进而主动把握市场动态,采取适当的营销策略，获得更大的企业效益，更好地服务于社会和经济发展。利用数据挖掘技术，在线计算输送功率极限，并考虑电压等因

9、素对功率极限的影响，从而合理设置系统输出功率，有效平衡系统的安全性和经济性。开展跨专业、跨部门的企业级综合监测分析，提高公司管理效率和经济效益，如购售电分析、量本利分析等。关键技术突破可视化分析2022/8/2015 数据可视化旨在通过图形可视化的方式，帮助人们从复杂、大量的数据中提取有价值的信息。 -Arie Kaufman 1994文本流雷达图关键技术突破可视化分析2022/8/2016颜色表示线路负载状况：负载高负载正常电网线路通过数据可视化来展现24个小时不同电网线路的负载情况高维交互美观价值特点一天24个时刻通过图形可视化，发现在凌晨时刻该条线路的负载还是很高，属于异常情况，通过分析可能的原因如下：（1）是否有偷漏电行为发生；（2）该地区某些工厂在加班加点生产； 有了这种发现，后续可以及时安排专人前往进行专项调查，保证电网稳步运行。关键技术突破数据挖掘2022/8/2017 建模技术模型应用大数据下模型调用和部署方式研究；模型热部署技术研究；模型管理技术研究；大数据数据预处理技术研究；大数据分类算法研究；大数据回归算法研究；大数据聚类算法研究；大数据关联规则算法研究；大数据时间序列算法研究；大数据特征选择算法研究；标准工具