大数据背景下的智能电网用户侧需求管理决策支持系统

1、大数据背景下的智能电网用户侧需求管理决策支持系统摘要：大数据为智能电网DSM的发展注入新的活力，掌握电力大数据的关键技术对电力行业的可持续发展和坚强智能电网的建立具有重要意义。本文在分析智能电网DSM大数据特征的基础上，从数据分析和功能设计两个方面进行深入探讨和研究，构建具有通用性的智能电网DSM管理决策支持系统。同时介绍了大数据hadoop云计算模型、分布式计算技术，内存计算技术，流处理技术等符合DSM的大数据关键技术。大数据关键技术在电力行业的广泛应用必将带来行业的变革，将智能电网的发展推向新的阶段。关键词：大数据；智能电网；用户需求管理；管理决策支持系统SmartGridDSMSuppo

2、rtingSysteminBigDataEnvironmentsABSTRACT:Applicationofbigdatatechniquesinpowersystemwillcontributetothesustainabledevelopmentofpowerindustrycompaniesandtheestablishmentofstrongsmartgrid.Thispaperintroducedauniversalframeworkofdemandsidemanagementsupportingsystem,exploringdataanalysisandfunctiondesig

3、n,basedontheanalysisofthebigdatasattributionofsmartgrid.Thenkeytechniquesofelectricpowerbigdatawerediscussed,includingcloudcomputingmodel,bigdatadistributedcomputing,bigdatamemorycomputingtechniquesandbigdatastreamingcomputingtechniques.Theapplicationofbigdatatechnologiesinsmartgridwillbringdeepchan

4、geandbrilliantfuturetopowersystem,andwillpromotethedevelopmentofpowerindustrytoanewgeneration.Keywords:bigdata;smartgrid;DSMsupportsystem1引言电力需求侧管理(DemandSideManagementDSM)是在政府法规和政策的支持下，通过有效的激励和引导措施，配合适宜的运作方式，促使电网公司、能源服务公司、中介机构、节能产品供应商、电力用户等共同努力，在满足同样用电功能的同时，提高终端用电效率和改善用电方式，减少电量消耗和电力需求，实现能源服务成本最低、社会

5、效益最佳、节约资源、保护环境、各方受益所进行的管理活动。智能电网就是将信息技术、计算机技术、通信技术和原有输、配电基础设施高度集成而形成的新型电网，具有提高能源效率、提高供电安全性、减少环境影响、提高供电可靠性、减少输电网电能损耗等优点。智能电网的理念是通过获取更多的用户如何用电、怎样用电的信息，来优化电的生产、分配及消耗，利用现代网络、通信和信息技术进行信息海量交互，来实现电网设备问信息交换，并自动完成信息采集、测量、控制、保护、计量和监测等基本功能，可根据需要支持电网实时自动化控制、智能调节、在线分析决策和协同互动等高级功能，因此相关研究者指出：可以抽象的认为，智能电网就是大数据这个概念在

6、电力行业中的应用。随着智能电网的建设不断推进，电力需求侧管理产生的数据也呈指数级增长，产生了海量数据，对数据可靠性和实时性要求更高。国内已有电力系统信息平台的建设大多采用常规的解决方案，即基础架构采用价格昂贵的大型服务器，存储硬件采用磁盘阵列，数据库管理软件采用关系数据库系统，紧密耦合类业务应用采用套装软件，导致系统扩展性较差、成本较高，难以适应智能电网对用户侧需求管理数据可靠性和实时性的要求。因此，在大数据的背景下为提高需求侧管理水平，建立智能电网用需求管理决策支持系统是非常必要的。2智能电网DSM中的大数据智能电网中用户需求侧大数据具有规模性、高速性、多样性、价值性特征(volume、ve

7、locity>variety>value)。Volume规模性，是指巨大的数据量及规模的完整性。智能电网中用户需求侧大数据包括电力用户数据、企业用电设备数据、企业用电量数据、企业和行业产品产量数据、企业和行业产品电耗数据、电价(包括峰谷电价)数据、电价弹性数据、企业典型日负荷曲线数据、行业典型日负荷曲线数据、地区典型日负荷曲线数据、气象气温数据、通用设备数据、全国及各省投入产出数据等。数据的存储从TB级别跃升到PB级别或更高的EB级别，与社交网络技术的迅速发展、网络技术和数据存储和的发展相适应，数据量的数量级骤升，且要求数据具有完整性。Velodty高速性，是指对数据的实时性需求。

8、供电公司移峰填谷、需方响应对数据的高速性要求更为普遍。对DSM节点负荷数据以及实时电价这类数据检索要求高速性，即在第一时间进行时间分析和决策分析。除此之外，气象气温数据等信息的获取和运用也具有时效性。数据的高速性要求使得大数据具有流动性特征。Variety多样性，是指数据类型繁多、数据源异构。DSM数据来源形式多样复杂。电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同，这些来自日常运营系统的各类信息等组成了一个大数据集，同时意味着需要在海量、种类繁多的数据间发现其内在关

9、联。应用大数据多样性的原理是：保留一切需要的、有用的信息，舍弃那些不需要的数据，并发现有关联的数据，加以收集、分析、加工，使其变为有意义的信息。Value价值性，指数据的稀缺性、不确定性以及对决策的支持性。传统的OLAP、数据仓库等技术针对不同主题，对数据粒度的要求不尽相同，在对数据挖掘中采用的聚类分析、关联分析等技术造成了不同程度的数据价值损失。而通过大数据技术的帮助，可以在海量的数据中找到所需要的有价值的信息。综上所述，大数据背景下的智能电网中DSM,在数据存储、大数据处理、从海量数据中挖掘有价值的信息方面提出了更高的要求。3大数据技术3.1 Hadoop云计算平台目前云计算技术是大数据存

10、储与处理技术的重要组成部分。云计算的核心是海量数据存储和数据并行处理技术。Hadoop是一个开源的云计算模型，具备可靠性高、数据处理量大、灵活可扩展以及使用廉价机器等优势，正成为信息领域研究的热点，是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的

11、设计就是：HDFS和MapReduceHDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。3.2 大数据的数据处理技术大数据的数据处理技术包括分布式计算技术，内存计算技术，流处理技术等，这三种技术适用的对象和解决的主要问题如图1所示。分布式计算技术是为了解决大规模数据的分布式存储与处理。内存计算技术是为了解决数据的高效读取和处理在线的实时计算。流处理技术则是为了处理实时到达的、速度和规模不受控制的数据。分布式计算技术解决大规模分布式存储与处理高效的数据处理和存储解决在线实时计算=>处理实时到达的，速度和规模不受控制的数据图1大数据处理技术适用的对象分布式计算是一种

12、新的计算方式，研究如何将一个需要强大计算能力才能解决的问题分解为许多小的部分，然后再将这些部分分给多个计算机处理，最后把结果综合起来得到最终结果。分布式计算的一个典型代表是Google公司提出的MapReduce编程模型，该模型先将待处理的数据进行分块，交给不同的Map任务区处理，并按键值存储到本地硬盘，再用Reduce任务按照键值将结果汇总并输出最终结果。分布式技术适用于电力系统信息采集领域的大规模分散数据源。内存计算技术是将数据全部放在内层中进行操作的计算技术，该技术克服了对磁盘读写操作时的大量时间消耗，计算速度得到几个数量级的大幅提升。内层计算技术伴随着大数据浪潮的来临和内存价格的下降得

13、到快速的发展和广泛的应用，EMC、甲骨文、SAT都推出了内存计算的解决方案，将客户以前需要以天作为时间计算单位的业务降低为以秒作为时间计算单位，解决了大数据实时分析和知识挖掘的难题。流处理的处理模型是将源源不断的数据组视为流，当新的数据到来时就立即处理并返回结果，其基本理念是数据的价值会随着时间的流逝而不断减少，因此尽可能快地对最新的数据做出分析并给出结果，其应用场景主要有网页点击的实时统计、传感器网络、金融中的高频交易等。随着电力事业的发展，电力系统数据量不断增长，对实时性的要求也越来越高，将数据流技术应用于电力系统可以为决策者提供即时依据，满足实时在线分析需求。4系统设计与实现系统针对智能

14、电网DSM建立决策支持系统，旨在为DSM各参与方提供集经济分析、电力供需形势分析、节电分析、需方响应、错避峰管理、负荷预测六大功能于一体的统一的辅助决策支持平台，这将有助于促进我国DSM工作的开展。4.1 数据体系结构设计与实现大数据的处理流程可以定义为在合适工具的辅助下，对广泛异构的数据源进行抽取和集成，按照统一的标准对结果进行存储，利用恰当的数据分析技术对存储的数据进行分析，达到从中提取出有价值的知识的目的，并用合适的方式将结果展现给终端用户。对智能电网DSM来讲，电力大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：电力大数据需要处理大量、非结构的数据，所以在各个环节都可

15、以采用MapReduce等方式进行并行处理。本系统以大数据处理技术和数据仓库技术为基础，从整体上划分为四个层次：数据获取层、数据分析层、数据服务层、数据应用层。数据应用层数据服务层数据分析层数据获取层营销数据库调度数据库数据管理数据仓库SCADA数据库Stream流计算负荷数据库OA数据库数据访问Hadoo原统l<Z>i其他数据库地区经济发展|O|DSM政策其他数据库/经济分析报表/电力供需形势分析,3电分析报表需求响应报表/金荷预测报表错避峰管理报表图2数据体系结构设计结构数据获取层：DSM基础数据来源于电网内部和电网外部。电网内部数据来源于营销数据库、调度数据库、SCADA数据

16、库、负荷数据库、OA数据库以及其他数据库系统。电网外部数据主要来源于各地区经济发展规划报告、各行业用电量分析等等与之相关的数据库。为保持数据一致性，必须对数据源中的数据进行抽取、转移、转换，生成综合性统一的数据类型存入数据库（DW）和Hadoop系统中。数据ETL（Extract-Transfer-Load,提取、转换和加载）的设计和实现是极其重要的过程，也是数据仓库中数据分析的基础和关键性构件。数据分析层：数据仓库为智能电网DSM提供战略集合，Hadoop系统主要用于存储非结构化数据，Hadoop分析这些原始数据并能提高系统性能；Stream流计算处理实时到达的，速度和规模不受控制的数据，用

17、来分析文本、语音和图像信息，它快速判定对于特定问题下某类数据的相关性。数据服务层：该层通过模型计算，实现各业务模型属性与底层不同数据源模型的映射，支持对关系型数据库、数据仓库、非关系型数据仓库的访问。同时，实现系统功能的优化。该层包含数据管理框架和数据访问框架。数据管理框架包含基于列存储的开源非关系型数据库Hbass数据序列化格式与传输工具Avro、日志收集系统Flume、分布式锁施ZooKeeper等模块。管理框架实现了对大数据的组织与调度，大数据的管理、安全和备份恢复框架帮助进行大数据的治理和保护，为数据分析提供了必要条件。数据访问框架包含并行计算机编程语言Pig、数据仓库工具Hive、开

18、源数据传递工具Sqoop等子模块。通过该访问框架不仅可以实现对分布式文件存储系统的访问，而且通过大数据连接器和开源数据传递工具Sqoop可以实现对传统数据仓库的访问。数据应用层：该层主要面向一般用户，满足他们的查询需要。通过大数据可视化化分析技术，在有限的屏幕空间下，以一种直观、容易理解的方式展现给用户。可视化通过一系列复杂的算法将数据绘制成高精度、高分辨率的图片，并提供交互工具，有效利用人的视觉系统，并允许实时改变数据处理和算法参数，对数据进行观察和定性及定量分析。4.2 体系功能设计在系统分析应用层，结合实际业务，将系统功能分为六个模块：经济分析、供需分析、节电分析、负荷预测、需方响应、错

19、避峰管理。经济分析：用户可以查询在智能电网DSM建设中的成本、收益。对于电力公司而言，其成本包括电力设备投资及运维资助、公关宣传、售电收入减少，其效益包括可避免电网投资费用、可避免电力运行和检修费用、政策补贴、供电可靠率和用户满意度提高；对发电企业而言，其成本包括包括销售电量损失，其收益包括电源缓建效益、系统可避免燃料费用、机组不正常启停费用、环境污染造成的补偿费用；对电力用户而言，其成本包括设备的初始运行投资、设备的运行维护，其收益包括基金补贴、电费支出减少、可避免强行限电成本。供需分析：用户可以查询在一定时间内某地区电力生产电力消费需求、电力供应能力、发电装机容量，供需缺口以及电力需求预测

20、。节电分析：电力用户可以查询DSM节电项目，以及项目实施的节能效果。在满足其电力需求的基础上，接受对其成本最有效的电力价格，自愿改变用电方式、用电时日、合理消费、多用低谷电、多采用高效率设备，达到电力供求平衡。负荷预测：用户可以查询行业以及地区典型日负荷特性曲线，计算负荷特性相关指标，对行业以及地区的典型日负荷曲线进行预测。需方响应：用户可以查询负荷响应和价格响应措施。负荷响应是指在用户系统负荷过载或系统出现紧急情况时削减其需求，包括直接进行负荷控制和可中断负荷管理。价格响应是指通过批发电力市场价格的变化引导用户，使用户根据电价的变化调整其用电需求，包括实时电价、峰谷分时电价以及需求侧报价、阶

21、梯电价等。错避峰管理：用户可以查询错避峰方案，方案内容包括用电企业、报装容量、各个时间段的负荷运行情况等，计算该地市以及参与企业在错峰前后的负荷和电费变化情况。经济分析节电分析需求响应,口）工，IJ大屏DSIW方响应:电价响应负荷响应图3功能结构设计结构图5结论与展望本文探讨了在大数据背景下，智能电网DSM决策支持系统的构建的意义和必要性，并给出DSM大数据的总体可执彳T框架，对电力DSM智能电网大数据平台的搭建具有参考价值。本文阐述了大数据背景下智能电网DSM决策支持系因此结合大数据的技术优势和统构建的4个核心的关键技术，即Hadoop云计算技术、分布式计算技术，内存计算技术，流处理技术。D

22、SM决策支持系统功能设计分为六个模块：经济分析、供需分析、节电分析、负荷预测、需方响应、错避峰管理，并对其功能进行定义和描述。目前，大数据技术在商业领域已经获得较为广泛的应用并创造出巨大的商业价值，但是在电力系统中的应用才刚刚起步，电力系统的应用需求，发挥电力大数据的价值，将为智能电网的建设带来新的发展契机。电力企业应该牢牢抓住这个契机，从数据政策、人才培养、关键技术研发等层面，全面促成电力大数据技术的发展。参考文献：1刘树仁，基于Hadoop的智能电网状态监测数据存储研究J.计算机科学，2013,40(1):81-84.2 ChanneleDonald.U.SElectricUtilityD

23、emand-SideManagement:TrendsandAnalysis.3张东霞，苗新，刘丽萍，等.智能电网大数据技术发展研究J.中国电机工程学报，2015,35(1):2-12.4孙柏林.“大数据”技术及其在电力行业中的应用J.电气时代，2013(8):18-23.5姚宏宇.大数据与云计算J.信息技术与标准化，2013(5):21-22.6张文亮，刘壮志，王明俊，等.智能电网的研究进展及发展趋势J.电网技术，2009,33(13):1-11.7 AgrawalD,BernsteinP,BertinoE,etal.Challengesandopportunitieswithbigdata

24、EB/OL.(2012-02-01)8赵刚.大数据技术与应用实践指南M.北京：电子工业出版社，2013:56-589 McKinsey&Company.Bigdata：thenextfrontierforinnovation,competition,andproductivityM.NewYork：McKinseyGlobalInstitute,2011：1-2810 WuXindong,ZhuXingquan,WuGongqing,etal.DataminingwithbigdataJ.IEEETransactionsonKnowledgeandDataEngineering,201

25、4,26(1):97-10711 ZhangJB,LiTR,PanY.ParallelroughsetbasedknowledgeacquisitionusingMapReducefrombigdataCProceedingsof1stInternationalWorkshoponBigData,StreamsandHeterogeneousSourceMining.Beijing,China:ACM,201212郭崇军，洪峰，陈金富，李勇，徐友平，奚江惠，汪剑波.可视化技术在电力系统中的应用探讨J.水电能源科学，2011,29(2):146-149.13宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战J.电网技术，2013,37(4):927-935.14王德文，宋亚奇，朱永利.基于云计算的智能电网信息平台J.电力系统自动化，2010,34(22):7-1215王德文，肖凯，肖磊.基于Hive的电力设备状态信息数据仓库J.电力系统保护与控制，2013,41(9):152-130.16俊华，文福拴，薛禹胜，等.云计算：构建未来电力系统的核心J.电力系统自动化，2010,34(15):1-8.17TomWhite.Hadoop权威指南：中文版M.曾大聃，周傲英，译.清华大学出版社18刘萌，褚晓东，张文，等.负荷分布式控制的云计算平台构架设计J.电