大数据管理与应用概论 课件 第八章 基于能源大数据的管理决策应用

8.1能源问题背景与数据概述能源大数据产生于能源互联网中的各个环节，涉及用户描述数据、用户行为数据、能源系统内部数据以及气象、地理、建筑等相关业务系统数据。能源大数据概念和特征家庭人口特征、居住环境特征等。用户数据描述数据客户服务系统数据、需求响应系统数据等。用户行为数据气象数据、地理信息数据、建筑数据等。相关业务系统数据智能用电数据、电力生产数据等。能源系统内部数据能源大数据的构成技术类型常见技术技术特点批量数据采集Webservice、ETL、dblink、ftp、离线数据库文件复制、文件数据等。

以ETL为例，能对数据做标准化定义，实现统一编码、统一分类和组织；管理简单，可以提供与各种数据系统的接口，系统适应性强，可扩展性强。实时数据采集

直接数字化控制

高可靠性，支持自定义编程；支持多数据来源，数据输出支持logger、hdfs、HBase、kafka等数据库系统；数据不易丢失，保障数据安全性。非结构化数据压缩对于近期数据采用无损压缩，对于较长历史时间数据可采用螺旋门算法压缩。可采用分布式部署、线性扩展，实现对各类型数据（实时、批量、数据库、文件、数据流）的采集、转换、加载；可根据负载压力动态扩展。能源大数据的获取技术能源大数据概念和特征广义的电力大数据不再局限于电力系统内部产生的数据，往往包含了其他相关行业支撑电力系统运行的外部数据。电力大数据主要包括如电流、电压、线损、电网拓扑、变相、各类传感器数据等电力内部数据，还包括气象数据、气候数据、舆情数据等诸多外部数据。电流电压线损电网拓扑舆情数据各类传感器数据气象数据气候数据变相电流电力大数据的构成能源大数据概念和特征VolumeVarietyVelocityEnergyExchangeEmpathy电力大数据具有无磨损、无消耗、无污染、易传输的特性，并可在使用过程中不断精炼而增值。电力大数据以其与国民经济社会广泛而紧密的联系，具有明显的正外部性。对用户需求的充分挖掘和满足，建立情感联系，为电力用户提供更加优质、安全、可靠的电力服务。3V+3E电力大数据的特征体量大类型多速度快能源大数据概念和特征123456当地实时的日照强度当地实时的风速和风向太阳能电池板的温度以及环境温度太阳能电池板的电压和电流光伏逆变器功率、效率、输出电压及电流电站发电量光伏电站利用数据采集系统获取电站运行的关键数据主要有六类。数据采集系统由上位机监控软件、光伏数据集中器、光伏逆变器、环境参数检测仪和光伏汇流箱5个子系统组成。发电数据——以光伏发电为例能源大数据概念和特征步骤：（1）原始数据收集及线路走廊踏勘，并制作快速巡检任务计划；（2）通过快速巡检模式获取线路走廊激光点云、短焦相机照片，从而获得数字地形模型数据、正射影像数据、地表覆盖以及电力线设施的相关空间几何位置信息等；（3）制作精细巡检任务计划，并执行精细巡检任务获取电力线设施更详细的可见光照片、红外视频、紫外视频等多源数据，为后续故障诊断与分析做准备。原始数据收集线路走廊踏勘快速巡检任务规划三维激光点云地形数据正射影像精细巡检数据采集短焦相机影像长焦相机影像红外视频紫外视频精细巡检任务规划电力线设施信息快速巡检数据采集输电数据——以无人机巡检输电线路数据为例能源大数据概念和特征智能变电站是采用先进、可靠、集成、低碳、环保的智能设备，以全站信息数字化、通信平台网络化、信息共享标准化为基本要求，自动完成信息采集、测量、控制、保护、计量和监测。智能变电站数据能源大数据概念和特征类别数据获取来源具体数据台账数据配电自动化系统、生产管理系统、地理信息系统。各元件设备的铭牌参数、安装信息、型号等可靠性参数、线路长度、型号、额定电压电流等可靠性参数。实时运行数据用电信息采集系统、配电自动化系统、生产管理系统、电能质量监测管理系统、95598客服系统。三相电流、电压、有功无功功率、频率、功率因数等量测数据、各元件设备的开断连通情况、系统或负荷节点的异常数据、检修状态、停运计划、电网安全信息、越限统计数据、调度数据、设备维护信息、工程信息、分布式电源运行数据等状态数据。负荷数据配电负荷监测系统配电网规划系统、负荷控制系统、营销业务管理系统等。各负荷节点、各区域的实时负荷大小与预测负荷大小等数据。环境数据配电网规划系统、气象信息系统、地理信息系统、地区社会经济数据等。实时风速、风向、温度、湿度、雨量、气压、日照强度等。智能配电网数据能源大数据概念和特征

电力系统终端用户的智能用电信息主要通过用电采集系统获取，该系统将高级传感、通信及控制技术以及高级的计算机技术应用相结合，从而实现智能用电数据的远程获取。按照电力用户性质和营销业务需要，用电信息采集系统的对象包括7种。采集系统的对象采集对象具体范围大型专变用户用电容量在100kVA及以上的专用变压器用户。中小型专变用户用电容量小于100kVA的专用变压器用户。三相一般工商业用户执行非居民电价的低压三相电力用户，包括低压商业、小动力、办公等用电性质的非居民三相用电。单相一般工商业用户执行非居民电价的低压单相电力用户，包括低压商业、小动力、办公等用电性质的非居民单相用电。居民用户执行居民电价的城乡居民及居住区公用设施医院学校等用户。配变关口计量点公用配变关口，即公用配变上的用于内部考核的计量。智能用电数据能源大数据概念和特征根据实际需要随时人工召测数据。如出现事件告警时，随即召测与事件相关的重要数据，供事件分析使用。方式二：随机召测在全双工通道和数据交换网络通道的数据传输中，允许终端启动数据传输过程（简称主动上报），将重要事件立即上报主站，以及按定时发送任务设置将数据定时上报主站，主站应支持主动上报数据的采集和处理。方式三：主动上报按采集任务设定的时间间隔自动采集终端数据，自动采集时间、间隔、内容、对象可设置。当定时自动数据采集失败时，主站具有自动及人工补采功能，保证数据的完整性。方式一：定时自动采集用电信息采集系统的采集方式能源大数据概念和特征能源大数据质量评估是否有数据按照非标准格式存储数据质量评估是对数据进行科学和统计的评估过程，以确定它们是否满足项目或业务流程所需的质量，是否能够真正支持其预期用途的正确类型和数量。所有系统里的数据是否一致，是否有重复数据。一致性所属数据是否均存在。完整性是否有数据按照非标准格式存储。合规性不同数据之间的数据是否存在关联。关联性当需要处理数据时是否能即时存取。即时性能源数据质量数据是否反应事实，所有数据所传达的信息是否一致。准确性广义一般缺乏IT手段支持能源数据标准化管理，没有统一的能源数据管理优化系统。即使着手建立能源数据管理系统，由于没有相应的能源数据质量管理组织，系统上线后也无自动化的标准化处理体系。在进行能源数据质量管理时未能打破旧思维，存在管理制度松散、执行标准化力度不够等现象。能源系统众多，在数据模板、数据编码等方面没有统一的标准，各系统都自成一套体系。能源大数据质量管理存在的难点能源大数据质量评估初始数据获取数据清理数据集成数据转换数据规约数据挖掘与知识评价挖掘结果数据预处理包括对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。主要采用数据清洗、数据集成、数据转换、数据归约的方法来完成数据的预处理任务。二次预处理能源大数据质量提升能源大数据质量评估电力数据质量问题主要体现在4个方面，即单数据源模型层、单数据源实例层、多数据源模型层和多数据源实例层。缺少完整描述数据记录错误异构数据模型冗余、矛盾、不一致电力数据质量问题模型层实例层模型层实例层多数据源单数据源电力大数据质量问题能源大数据质量评估引入数据价值理念在现有的电力信息系统中引入数据价值理念这一概念，将数据资源作为电力企业的重要资产。制定管理控制机制电力企业应结合自身的发展需求，从而制定科学的管理机制，将管理方案逐渐完善，且还应该重视数据的评价结果。对数据质量重要性的认知梳理现有的管理规范，做好管理指导，按照规定去完成电力信息系统数据的录入和维护，尽可能减少问题数据出现。电力大数据质量提升能源大数据质量评估小结本节的主要内容能源大数据概念和特征能源大数据质量评估8.1能源问题背景与数据概述8.2应用案例：数据驱动的负荷预测与异常检测应用案例：数据驱动的负荷预测（五）以数字化智能化电网支撑新型电力系统建设。提高负荷预测精度和新型电力负荷智能管理水平，推动负荷侧资源分层分级分类聚合及协同优化管理，加快推动负荷侧资源参与系统调节。《国家能源局关于加快推进能源数字化智能化发展的若干意见》，2023年3月28日负荷预测是指从已知的电力系统、经济、社会、气象等因素出发，通过对历史数据的分析和研究，探索各因素之间的内在联系和发展变化规律，对负荷的发展做出预先估计和推测。影响因素的不确定性导致负荷规律难以把握负荷预测模型的质量直接关乎预测准确度的高低信息不完整影响负荷预测准确度的因素针对不同的预测目的，负荷预测按照预测期限的不同划分。长期预测中期预测短期预测超短期预测负荷预测的概念应用案例：数据驱动的负荷预测不确定性时间性多方案性电能属于瞬时能源，难以像化石能源大量长期储存。因此电力负荷预测应保证电力的消费和生产在同一阶段进行。电力负荷是波动变化的，这种变化呈现周期性和连续性的特点，而时间是电力负荷预测最显著的影响因素之一。电力负荷预测是一项长期性工作，需要通过多种预测方法的实践，找寻出最符合实际情况、预测精度最高的预测结果。负荷预测还受到季节、温度、天气等因素的影响，因此在实际应用中需要将各类影响因素与先进预测方法结合起来综合考虑。负荷预测的特点应用案例：数据驱动的负荷预测负荷预测的基本流程负荷曲线聚类分析。对影响负荷的因素进行关联度排序。找到分类结果与关键影响因素间的耦合关系,建立分类规则。将关键因素日特征向量输入决策树模型，输出分类结果。训练预测模型，选取匹配的预测模型完成负荷预测。计算系统负荷测试值。123456应用案例：数据驱动的负荷预测长期负荷预测是对未来五到十年或更长时间的负荷趋势进行预测，为电网规划和建设提供决策参考。外推法仅以负荷历史数据为基础,分析得出其变化规律并将其外推，从而对未来的负荷发展进行预测。弹性系数法曲线外推法灰色系统预测法相关分析法考虑社会、经济等因素对负荷发展的影响，通过建立负荷与影响因素之间的关系进行预测。综合产值电耗法回归分析法长期负荷预测应用案例：数据驱动的负荷预测中期负荷预测通常是以月度负荷数据预测为目标，相比于长期负荷预测，周期性更强，一年内的各月通常具有规律性。按照年度发展序列构成的预测方法

一般是单调序列，因此常用各种回归曲线进行预测。这类预测方法的优点是数据的提取较为简单，预测模型的选择空间较大，可以采用成熟的预测方法，缺点在于对新数据利用程度不够。按照月度发展序列构成的预测方法

将月度量看成一个连续变化的时间序列，其总变动可分解为长期趋势变动项、季节性变动项和随机扰动项，如此可以将复杂的曲线分解为几种典型模式，分别进行预测，然后叠加。中期负荷预测应用案例：数据驱动的负荷预测主要是对未来15分钟、1个小时的负荷趋势进行预测，预测精度和速度是影响电力系统各参与主体决策的重要因素。不同日之间24小时整体变化规律的相似性不同星期、同一星期类型日的相似性工作日/休息日各自具有相似性不同年度的重大节假日负荷曲线具有相似性周期性短期和超短期负荷预测应用案例：数据驱动的负荷预测时间序列预测法时间序列模型是经典的、应用广泛的一类短期及超短期负荷预测方法。常用的时间序列模型有自回归（AR）模型、移动平均（MA）模型、自回归移动平均（ARMA）模型、整合移动平均自回归（ARIMA）模型。人工神经网络（ANN）方法对大量非结构性、非精确性规律具有自适应性，具有信息记忆、自主学习、知识推理和优化计算的特点，这些优势使得其适合于电力负荷预测问题，是在理论研究和实际应用中均得到认可的预测方法之一。两类负荷预测方法应用案例：数据驱动的负荷预测指导电价制定引导用户分时用电促进源-荷协调同步精准的负荷预测结果能够帮助电力部门及时获取信息，根据供需变化制定电力定价制度，提高售电部门和用户的共同利益，达到互利共赢的目标。供电部门根据预测结果，在用电高峰时期提高电价，用电低谷时期降电价，引导用户合理用电，达到对负荷曲线“削峰填谷”的作用，缓解电网压力。发电端根据负荷预测结果，合理制定发电计划，做到实际发电量与负荷需求尽可能匹配，进而在源端合理控制发电企业成本，在荷端即时消纳电能，提升环境友好度。负荷预测结果的应用应用案例：数据驱动的负荷预测异常检测是指对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。数据规模日益增大2018年底，国家电网公司累计智能电表招标量达到了6.08亿只，2019年全年国网公司智能电表招标量达到了7721万只，同比增长36.64%，采集的数量达到PB级别。电网规模日趋复杂

采集的电力数据不仅包括了设备各类异常信号、运行过程中各类传感器的状态信息，同时还包含了大量的相关数据，这些数据时间密度大，结构化、非结构化数据混杂，各类数据之间都可能存在隐含的相关性。

能源大数据异常检测面临严峻的挑战！应用案例：数据驱动的异常检测特点能源供给设备的状态监测数据体量巨大多源异构数据的相关性时间和空间属性处理速度要求高价值密度低能源大数据异常检测的特点应用案例：数据驱动的异常检测

通过寻找与其他数据最不匹配的示例来检测出标记测试数据的异常。无监督异常检测

需要一个已经被标记“正常”与“异常”的数据集，并涉及到训练分类器。监督式异常检测

根据一个给定的正常训练数据集产，用来创建出一个表示正常行为的模型，然后检测由学习模型生成的测试实例的可能性。半监督式异常检测方法异常检测的常用方法应用案例：数据驱动的异常检测采集分析数据，筛选重载及过载严重线路和变压器，加强关注。利用大数据异常检测算法分析规律，实现有效预警。针对结构化能源大数据的电异常检测对数据的分布做出假设，并找出假设下所定义的“异常”，因此往往会使用极值分析或者假设检验。基于概率统计的异常检测将数据集随机划分成多个子训练集，再在每个训练集上训练一个独立的模型，最后综合所有模型的结果。基于集成的异常检测模型异常点因为和正常点的分布不同，因此相似度较低，由此衍生了一系列算法，这些算法通过相似度来识别异常点。基于相似度的异常检测假设数据是镶嵌在低维子空间中的，则这些数据在低维空间上投影后表现不好的数据可以认为是离散点。基于线性