《深度强化学习在配电网负荷转供中的应用研究9700字》

20深度强化学习在配电网负荷转供中的应用研究摘要：随着我国城市规模持续扩增以及可再生分布式电源的大量并网，配电网的结构形态更为复杂因此发生运行故障的风险也随之增大。配电网是面向用户的基础硬件设施，其产生故障后拓扑结构变动波动性较大，传统负荷转供方法很难解决在求解效果和计算速度方面的矛盾。针对上述问题，本文主要工作为：首先，构建一层图卷积神经网络提取配电网的实时状态信息，转换为强化学习所需的动作评价值，实现从观测量到动作的映射。其次，构建了负荷转供的环境状态模型，并利用Dueling-DQN算法对联络开关与分段开关进行投切控制，从而形成满足最大效益的最优控制策略。最后，使用OpenDSS软件实现国内某配电系统的仿真模拟运行，以该仿真算例为基础，通过大量训练学习之后，在满足供电可靠性的同时实现了对失电负荷的及时供电恢复。关键词：配电网；负荷转供；图卷积神经网络；DuelingDQN目录1 绪论 )

算例验证为证明本文所提算法的合理性，采取国内某真实配网系统进行算例分析，如图4-1所示。由此可以得出结论该配网系统共有八十七个负荷节点、一百一十条输电线路，包含三十个联络开关以及五十七个分段开关。其中实线表示配网系统在正常运行情况下投运的输电线路（许文睿，刘婉晴，2022）；虚线表示配网系统在正常运行情况下非投运的线路，即联络线。除此之外，本文选取的该配电网均使用的单母线分段接线形式，因此母线分段开关也用虚线表示。图4-1国内某地区配电网网络作为美国电科院（EPRI）开发的一款仿真工具，OpenDSS（TheOpenDistribution陈嘉蔚，黄思澜22temSimulator）因其强大的建模和分析能力常被用以仿真模拟分布式电力系统（黄志涛，赵雅澜，2023）。因此，借助已有成果能够推导出本文选取OpenDSS软件来实现上述配电网结构的仿真模拟运行，其仿真结果如图4-2所示。其中，配电网系统各输电线路的潮流运算结果如图4-3所示。图4-2仿真结果图4-3线路潮流运行结果（部分）4.1训练过程通过随机生成故障线路来获取训练样本，其中每条输电线路发生运行故障的概率一致，不难看出即在57个分段开关中随机挑选一个开关断开以模拟故障情况（刘宇皓，李思澜，2021）。由于联络开关为常开开关，基于本文研究背景我们考虑了这种情况故随机生成故障时不考虑联络开关。为更贴合电网实际故障情况，本文考虑了故障单条线路以及故障双条线路两种情况。生成随机故障之后，对故障线路进行隔离处理之后再仿真模拟，以获取配电网初始拓网络结构以及状态信息。在完成负荷转供过程后，将产生新的线路故障以进行下一次负荷转供训练（陈嘉晖，黄婉晴，2022）。这一结果也与预期相同，同时也与前人构建的成熟的框架基本一致，从中本文不仅验证了阶段性研究成果的有效性，还进一步巩固了该领域内的理论基石。这一发现为本文的基础研究提供了坚实的实证支持也彰显了已有理论框架的广泛适用性和稳健性。通过对比和分析发现当前研究中的数据点与先前文献中的关键结论相契合这加深了本文对该领域内在机制的理解，也为后续研究者在这一基础上进行更深入的探索和创新提供了可能。此外该结果的一致性还意味着本文在方法论上的选择是恰当的，为后续采用类似方法开展研究树立了信心。训练初期，智能体选取的操作次数较多，且失电负荷恢复电能供应的比率较低，负荷转供决策效果不好。于此类环境中可以推知其结果随着智能体的训练回合不断增多，其与配网系统持续交互以获取学习经验，寻找到在保证供电可靠性的同时采取较少动作次数以恢复更多失电负荷的转供方案（王信翰，孙雅婷，2023）。通过Reward值来衡量本次负荷转供过程的优劣性，训练结果如图4-4所示。图4-4负荷转供训练结果4.2负荷转供训练效果当支路8-10产生永久性故障并进行隔离后，由于节点8、10为两开关站，此时不仅两开关站失电，其相连的9各配电室也相应失电（负荷节点为28、30、32、34、36、40、42、46、48）。依据这种理论框架进行研究能得出可供转供直接使用的联络线有7-8和9-10，但这两条联络线直接使用会导致线路出现过载以及电压越限的情况，因此必须采用多次动作转移正常线路上的负荷，以达到恢复负电负荷的目的（李煜彤，周梦琪，2018）。从表4-1中可知，图卷积强化学习算法算法在较少的操作次数内实现了所有失电负荷的电能供应，并且将网损控制在了一个较低的水平，基本给出了最佳控制策略。表4-1某负荷转供结果所用算法动作开关动作次数负荷损失网损值图卷积强化学习算法(1)断9-47(2)合10-12(3)断14-78(4)断5-7(5)合9-11(6)合79-80(7)合33-34703.79%本文所提出的图卷积深度强化学习算法具备离线训练、在线运用的优点。在配网系统发生故障时，不需要花费大量时间进行迭代计算。该算法进行负荷转供策略决策时，所耗费的时间主要取决于操作时间（吴天翊，郑思茹，2019）。借助已有成果能够推导出在本算例中，大部分负荷转供操作次数都在7-10次，所耗费的时间约为0.28s-0.40s，远园低于其他算法的仿真计算时间。因此，经过大量学习后的图卷积深度强化学习算法可以快速给出控制策略，实时性强，能够获得理想的经济效益。结论与展望负荷转供其本质属于一个复杂的多目标非线性整数组合优化问题，本文基于图卷积神经网络以及深度强化学习相关理论研究，提出一种图卷积神经网络结合DuelingDQN的学习算法，经过大批的训练学习后，于此类环境中可以推知其结果在保证供电可靠性的前提下完成了对失电负荷快速、高效的恢复，进而完成了配电网负荷转供的最优决策控制。经算例验证以及对比分析，得出本文采用的方法具有离线学习、在线应用的特点，工程应用价值较强。由于OpenDSS软件只能运行一个单辐射网络，本文所研究的配电网系统拓扑结构尚未包含分布式电源。未来可以采用其他方式改进为多源的配电网交互环境，以顺应当前风光等分布式电源的普遍运用；此外，于此特定状态不难察觉本文算法应用大型配电网系统时，智能体训练过程较长，甚至会出现不能学习到最优决策的状况。未来可以针对本文算法进行进一步改进，以提高对大型配电网系统的训练效果。

参考文献李煜昊，周慧茹22.基于粒子群和差分进化算法的新型混合算法在配电网重构中的应用[D].浙江大学,2008.吴天翔，郑雅澜23.基于高供电可靠性的馈线自动化优化方案研究[D].山东理工大学,2015.谢俊豪，郭晓晴21.配网负荷转供最优方案确定新方法[J].中国电力,2013,46(11):57-61.林志博，何梦琪21.智能配电网自愈控制基础[M].中国电力出版社,2012.马志辉，冯婉茹22.基于分层思想的配电网负荷转供算法[J].科学技术与工程,2013,13(10):2827-2831.ZHANGDong,ZHANGLiuchun,FUZhengcai.Aquickbranch-exchangealgorithmforreconfigurationofdistributionnetworks[J].Power陈嘉蔚，黄思澜22temTechnology,2005,29(9):82-85.MiuKN,ChiangHD,McNultyRJ.Multi-tierservicerestorationthroughnetworkreconfigurationandcapacitorcontrolforlarge-scaleradialdistributionnetworks[C]//Proceedingsofthe21stInternationalConferenceonPowerIndustryComputerApplications.ConnectingUtilities.PICA99.TotheMillenniumandBeyond(Cat.No.99CH36351).I（马志辉，冯婉茹，2022）,1999:153-159.许文昊，刘雅澜23,等.基于并行禁忌搜索算法的配电网重构[J].电网技术,2012(8):100-105.黄嘉煜，赵婉茹19,等.配网负荷转供最优方案确定新方法[J].中国电力,2013(11):57-61.韩天琪，孙晓澜,等.配电网重构遗传算法的个体编码综述[J].计算机应用与软件,2018(10):33-37.周俊驰，吴雅茹21.基于量子粒子群算法多目标优化的配电网动态重构[J].电力系统保护与控制,2015,43(16):73-78.陈伟宸，李思茹22.考虑二次转供的配电网负荷转供方案多目标优选技术[J].电网技术,2019,43(07):2321-2328.张煜博，黄晓澜23.多源协同的配电网多时段负荷恢复优化决策方法[J].电力系统自动化,2020,44(02):123-131.李宇翔，周梦琪18．AnovelservicerecoverymethodbaseduponBellmandynamicprogramming[C]．InternationalConferenceonComputerandInformationApplication，2012：110~115AdibiMM.Anexpert陈嘉蔚，黄思澜22temoperationalaidforrestorationandlossreductionofdistribution陈嘉蔚，黄思澜22tems[M].Wiley-I（马志辉，冯婉茹，2022）Press,2009.吴志睿，郑婉如19.图卷积神经网络综述[J].计算机学报,2020,43(05):755-780.林俊豪，何雅澜.深入浅出图神经网络：GNN原理解析[M].北 京:机械工业出版社,2020.01.01马嘉煜，冯梦茹21.多智能体强化学习综述[J].计算机科学,2019,46(08):1-8.BeardRW,SaridisGN,WenJT.GalerkinapproximationsofthegeneralizedHamilton-Jacobi-Bellmanequation[J].Automatica,1997,33(12):2159-2177.ZhuW,LevinsonSE.PQ-learning:anefficientrobotlearningmethodforintelligentbehavioracquisition[C]//Proc.7thInt.Conf.on