大数据背景下的智能电网用户侧需求管理决策支持系统分析

1、大数据背景下的智能电网用户侧需求管理决策支持系统摘 要：大数据为智能电网DSM的发展注入新的活力，掌握电力大数据的关键技术对电力行业的可持续发展和坚强智能电网的建立具有重要意义。本文在分析智能电网DSM大数据特征的基础上，从数据分析和功能设计两个方面进行深入探讨和研究，构建具有通用性的智能电网DSM管理决策支持系统。同时介绍了大数据hadoop云计算模型、分布式计算技术，内存计算技术，流处理技术等符合DSM的大数据关键技术。大数据关键技术在电力行业的广泛应用必将带来行业的变革，将智能电网的发展推向新的阶段。关键词：大数据；智能电网；用户需求管理；管理决策支持系统Smart Grid DSM S

2、upporting System in Big Data EnvironmentsABSTRACT: Application of big data techniques in power system will contribute to the sustainable development of power industry companies and the establishment of strong smart grid. This paper introduced a universal framework of demand side management supportin

3、g system ,exploring data analysis and function design, based on the analysis of the big datas attribution of smart grid. Then key techniques of electric power big data were discussed, including cloud computing model, big data distributed computing, big data memory computing techniques and big data s

4、treaming computing techniques. The application of big data technologies in smart grid will bring deep change and brilliant future to power system, and will promote the development of power industry to a new generation.Key words: big data; smart grid; DSM support system 1 引言电力需求侧管理（Demand Side Manage

5、ment，DSM）是在政府法规和政策的支持下，通过有效的激励和引导措施，配合适宜的运作方式，促使电网公司、能源服务公司、中介机构、节能产品供应商、电力用户等共同努力，在满足同样用电功能的同时，提高终端用电效率和改善用电方式，减少电量消耗和电力需求，实现能源服务成本最低、社会效益最佳、节约资源、保护环境、各方受益所进行的管理活动。智能电网就是将信息技术、计算机技术、通信技术和原有输、配电基础设施高度集成而形成的新型电网，具有提高能源效率、提高供电安全性、减少环境影响、提高供电可靠性、减少输电网电能损耗等优点。智能电网的理念是通过获取更多的用户如何用电、怎样用电的信息，来优化电的生产、分配及消耗，

6、利用现代网络、通信和信息技术进行信息海量交互，来实现电网设备间信息交换，并自动完成信息采集、测量、控制、保护、计量和监测等基本功能，可根据需要支持电网实时自动化控制、智能调节、在线分析决策和协同互动等高级功能，因此相关研究者指出：可以抽象的认为，智能电网就是大数据这个概念在电力行业中的应用。随着智能电网的建设不断推进，电力需求侧管理产生的数据也呈指数级增长，产生了海量数据，对数据可靠性和实时性要求更高。国内已有电力系统信息平台的建设大多采用常规的解决方案，即基础架构采用价格昂贵的大型服务器，存储硬件采用磁盘阵列，数据库管理软件采用关系数据库系统，紧密耦合类业务应用采用套装软件，导致系统扩展性较

7、差、成本较高，难以适应智能电网对用户侧需求管理数据可靠性和实时性的要求。因此，在大数据的背景下为提高需求侧管理水平，建立智能电网用需求管理决策支持系统是非常必要的。2 智能电网DSM中的大数据智能电网中用户需求侧大数据具有规模性、高速性、多样性、价值性特征（volume、velocity、variety、value）。Volume规模性，是指巨大的数据量及规模的完整性。智能电网中用户需求侧大数据包括电力用户数据、企业用电设备数据、企业用电量数据、企业和行业产品产量数据、企业和行业产品电耗数据、电价（包括峰谷电价）数据、电价弹性数据、企业典型日负荷曲线数据、行业典型日负荷曲线数据、地区典型日负荷

8、曲线数据、气象气温数据、通用设备数据、全国及各省投入产出数据等。数据的存储从 TB 级别跃升到 PB 级别或更高的 EB 级别，与社交网络技术的迅速发展、网络技术和数据存储和的发展相适应，数据量的数量级骤升，且要求数据具有完整性。Velocity高速性，是指对数据的实时性需求。供电公司移峰填谷、需方响应对数据的高速性要求更为普遍。对DSM节点负荷数据以及实时电价这类数据检索要求高速性，即在第一时间进行时间分析和决策分析。除此之外，气象气温数据等信息的获取和运用也具有时效性。数据的高速性要求使得大数据具有流动性特征。Variety多样性，是指数据类型繁多、数据源异构。DSM数据来源形式多样复杂。

9、电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同，这些来自日常运营系统的各类信息等组成了一个大数据集，同时意味着需要在海量、种类繁多的数据间发现其内在关联。应用大数据多样性的原理是：保留一切需要的、有用的信息，舍弃那些不需要的数据，并发现有关联的数据，加以收集、分析、加工，使其变为有意义的信息。Value价值性，指数据的稀缺性、不确定性以及对决策的支持性。传统的OLAP、数据仓库等技术针对不同主题，对数据粒度的要求不尽相同，在对数据挖掘中采用的聚类分析、关联分析等技术造

10、成了不同程度的数据价值损失。而通过大数据技术的帮助，可以在海量的数据中找到所需要的有价值的信息。综上所述，大数据背景下的智能电网中DSM，在数据存储、大数据处理、从海量数据中挖掘有价值的信息方面提出了更高的要求。3大数据技术3.1 Hadoop云计算平台目前云计算技术是大数据存储与处理技术的重要组成部分。云计算的核心是海量数据存储和数据并行处理技术。Hadoop是一个开源的云计算模型，具备可靠性高、数据处理量大、灵活可扩展以及使用廉价机器等优势，正成为信息领域研究的热点，是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。Hadoop实现了一个分布式文件系统（Hadoop Dis

11、tributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和Map Reduce。HDFS为海量的数据提供了存储，则Map Reduce为海量的数据提供了计算。 3.2 大数据的数据处理技术大数据的数据处理技术包括分布式计算技术，内存计算技术，流处理技术等，这三种技术适用的对象和解决的主要问题如图 1所示。分布式计算技术是为了解决大规模数据的分布式存储与

12、处理。内存计算技术是为了解决数据的高效读取和处理在线的实时计算。流处理技术则是为了处理实时到达的、速度和规模不受控制的数据。分布式计算技术解决大规模分布式存储与处理高效的数据处理和存储解决在线实时计算处理实时到达的，速度和规模不受控制的数据内存计算技术流处理技术图1 大数据处理技术适用的对象分布式计算是一种新的计算方式，研究如何将一个需要强大计算能力才能解决的问题分解为许多小的部分，然后再将这些部分分给多个计算机处理，最后把结果综合起来得到最终结果。分布式计算的一个典型代表是Google公司提出的Map Reduce编程模型，该模型先将待处理的数据进行分块，交给不同的Map任务区处理，并按键值

13、存储到本地硬盘，再用 Reduce 任务按照键值将结果汇总并输出最终结果。分布式技术适用于电力系统信息采集领域的大规模分散数据源。 内存计算技术是将数据全部放在内层中进行操作的计算技术，该技术克服了对磁盘读写操作时的大量时间消耗，计算速度得到几个数量级的大幅提升。内层计算技术伴随着大数据浪潮的来临和内存价格的下降得到快速的发展和广泛的应用，EMC、甲骨文、SAT 都推出了内存计算的解决方案，将客户以前需要以天作为时间计算单位的业务降低为以秒作为时间计算单位，解决了大数据实时分析和知识挖掘的难题。流处理的处理模型是将源源不断的数据组视为流，当新的数据到来时就立即处理并返回结果，其基本理念是数据的

14、价值会随着时间的流逝而不断减少，因此尽可能快地对最新的数据做出分析并给出结果，其应用场景主要有网页点击的实时统计、传感器网络、金融中的高频交易等。随着电力事业的发展，电力系统数据量不断增长，对实时性的要求也越来越高，将数据流技术应用于电力系统可以为决策者提供即时依据，满足实时在线分析需求。4 系统设计与实现系统针对智能电网DSM建立决策支持系统，旨在为DSM各参与方提供集经济分析、电力供需形势分析、节电分析、需方响应、错避峰管理、负荷预测六大功能于一体的统一的辅助决策支持平台，这将有助于促进我国 DSM 工作的开展。4.1数据体系结构设计与实现大数据的处理流程可以定义为在合适工具的辅助下，对广

15、泛异构的数据源进行抽取和集成，按照统一的标准对结果进行存储，利用恰当的数据分析技术对存储的数据进行分析，达到从中提取出有价值的知识的目的，并用合适的方式将结果展现给终端用户。对智能电网DSM来讲，电力大数据的基本处理流程与传统数据处理流程并无太大差异，主要区别在于：电力大数据需要处理大量、非结构的数据，所以在各个环节都可以采用 Map Reduce 等方式进行并行处理。本系统以大数据处理技术和数据仓库技术为基础，从整体上划分为四个层次：数据获取层、数据分析层、数据服务层、数据应用层。图2 数据体系结构设计结构数据获取层：DSM基础数据来源于电网内部和电网外部。电网内部数据来源于营销数据库、调度

16、数据库、SCADA数据库、负荷数据库、OA数据库以及其他数据库系统。电网外部数据主要来源于各地区经济发展规划报告、各行业用电量分析等等与之相关的数据库。为保持数据一致性，必须对数据源中的数据进行抽取、转移、转换，生成综合性统一的数据类型存入数据库（DW）和Hadoop系统中。数据 ETL(Extract-Transfer-Load，提取、转换和加载)的设计和实现是极其重要的过程，也是数据仓库中数据分析的基础和关键性构件。数据分析层：数据仓库为智能电网DSM提供战略集合，Hadoop系统主要用于存储非结构化数据，Hadoop 分析这些原始数据并能提高系统性能；Stream 流计算处理实时到达的，

17、速度和规模不受控制的数据，用来分析文本、语音和图像信息，它快速判定对于特定问题下某类数据的相关性。数据服务层：该层通过模型计算，实现各业务模型属性与底层不同数据源模型的映射，支持对关系型数据库、数据仓库、非关系型数据仓库的访问。同时，实现系统功能的优化。该层包含数据管理框架和数据访问框架。数据管理框架包含基于列存储的开源非关系型数据库 Hbase、数据序列化格式与传输工具Avro 、日志收集系统Flume 、分布式锁施Zoo Keeper 等模块。管理框架实现了对大数据的组织与调度，大数据的管理、安全和备份恢复框架帮助进行大数据的治理和保护，为数据分析提供了必要条件。数据访问框架包含并行计算机

18、编程语言 Pig、数据仓库工具 Hive、开源数据传递工具 Sqoop 等子模块。通过该访问框架不仅可以实现对分布式文件存储系统的访问，而且通过大数据连接器和开源数据传递工具 Sqoop 可以实现对传统数据仓库的访问。数据应用层：该层主要面向一般用户，满足他们的查询需要。通过大数据可视化化分析技术，在有限的屏幕空间下，以一种直观、容易理解的方式展现给用户。可视化通过一系列复杂的算法将数据绘制成高精度、高分辨率的图片，并提供交互工具，有效利用人的视觉系统，并允许实时改变数据处理和算法参数，对数据进行观察和定性及定量分析。4.2 体系功能设计在系统分析应用层，结合实际业务，将系统功能分为六个模块：

19、经济分析、供需分析、节电分析、负荷预测、需方响应、错避峰管理。经济分析：用户可以查询在智能电网DSM建设中的成本、收益。对于电力公司而言，其成本包括电力设备投资及运维资助、公关宣传、售电收入减少，其效益包括可避免电网投资费用、可避免电力运行和检修费用、政策补贴、供电可靠率和用户满意度提高；对发电企业而言，其成本包括包括销售电量损失，其收益包括电源缓建效益、系统可避免燃料费用、机组不正常启停费用、环境污染造成的补偿费用；对电力用户而言，其成本包括设备的初始运行投资、设备的运行维护，其收益包括基金补贴、电费支出减少、可避免强行限电成本。供需分析：用户可以查询在一定时间内某地区电力生产电力消费需求、

20、电力供应能力、发电装机容量，供需缺口以及电力需求预测。节电分析：电力用户可以查询DSM节电项目，以及项目实施的节能效果。在满足其电力需求的基础上，接受对其成本最有效的电力价格，自愿改变用电方式、用电时日、合理消费、多用低谷电、多采用高效率设备，达到电力供求平衡。负荷预测：用户可以查询行业以及地区典型日负荷特性曲线，计算负荷特性相关指标，对行业以及地区的典型日负荷曲线进行预测。需方响应：用户可以查询负荷响应和价格响应措施。负荷响应是指在用户系统负荷过载或系统出现紧急情况时削减其需求，包括直接进行负荷控制和可中断负荷管理。价格响应是指通过批发电力市场价格的变化引导用户，使用户根据电价的变化调整其用

21、电需求，包括实时电价、峰谷分时电价以及需求侧报价、阶梯电价等。错避峰管理：用户可以查询错避峰方案，方案内容包括用电企业、报装容量、各个时间段的负荷运行情况等，计算该地市以及参与企业在错峰前后的负荷和电费变化情况。图3 功能结构设计结构图5结论与展望本文探讨了在大数据背景下，智能电网DSM决策支持系统的构建的意义和必要性，并给出DSM大数据的总体可执行框架，对电力DSM智能电网大数据平台的搭建具有参考价值。本文阐述了大数据背景下智能电网DSM决策支持系统构建的4个核心的关键技术，即Hadoop云计算技术、分布式计算技术，内存计算技术，流处理技术。DSM决策支持系统功能设计分为六个模块：经济分析、

22、供需分析、节电分析、负荷预测、需方响应、错避峰管理，并对其功能进行定义和描述。目前，大数据技术在商业领域已经获得较为广泛的应用并创造出巨大的商业价值，但是在电力系统中的应用才刚刚起步，因此结合大数据的技术优势和电力系统的应用需求，发挥电力大数据的价值，将为智能电网的建设带来新的发展契机。电力企业应该牢牢抓住这个契机，从数据政策、人才培养、关键技术研发等层面，全面促成电力大数据技术的发展。参考文献：1刘树仁，基于Hadoop的智能电网状态监测数据存储研究 J. 计算机科学，2013，40（1）：81-842 Channele Donald. U.S Electric Utility Demand

23、-Side Management: Trends and Analysis.3张东霞，苗新，刘丽萍，等智能电网大数据技术发展研究J中国电机工程学报，2015，35(1)：2-12 4孙柏林“大数据”技术及其在电力行业中的应用J电气时代，2013(8)：18-235 姚宏宇大数据与云计算J信息技术与标准化，2013(5)：21-226 张文亮，刘壮志，王明俊，等智能电网的研究进展及发展趋势J电网技术，2009，33(13)：1-117 Agrawal D, Bernstein P, Bertino E,et alChallenges and opportunities with big data

24、EB/OL (2012-02-01) 8赵刚大数据技术与应用实践指南M北京：电子工业出版社，2013：56-589 Mc Kinsey& CompanyBig data：the next frontier for innovation，competition，and productivityMNew York：Mc Kinsey Global Institute，2011：1-2810 Wu Xindong，Zhu Xingquan，Wu Gongqing，et alData mining with big dataJIEEE Transactions on Knowledge and

25、 Data Engineering，2014，26(1)：97-10711 Zhang J B，LiT R，Pan YParallel rough set based knowledge acquisition using Map Reduce from big dataC/Proceedings of 1st International Workshop on Big Data ,Streams and Heterogeneous Source MiningBeijing，China：ACM，201212 郭崇军，洪峰，陈金富，李勇，徐友平，奚江惠，汪剑波可视化技术在电力系统中的应用探讨J水

26、电能源科学，2011，29（2）：146-14913 宋亚奇，周国亮，朱永利智能电网大数据处理技术现状与挑战J电网技术，2013，37(4)：927-93514 王德文，宋亚奇，朱永利基于云计算的智能电网信息平台J电力系统自动化，2010，34(22)：7-1215 王德文，肖凯，肖磊基于 Hive 的电力设备状态信息数据仓库J电力系统保护与控制，2013，41(9)：152-13016 俊华，文福拴，薛禹胜，等云计算：构建未来电力系统的核心J电力系统自动化，2010，34(15)：1-817 Tom WhiteHadoop 权威指南：中文版M曾大聃，周傲英，译清华大学出版社18 刘萌，褚晓东，张文，等负荷分布式控制的云计算平台构架设计J电网技术，2012，36(8)：140-14419 Big data: The Next Frontier for Innovation，Competi-tion，and Productivity EB . http: / / www. mckinsey. com /insights / mgi / research / technology_ and_