数据驱动的电网前瞻优化调度

提纲221.1新能源装机容量不断增长中国风电、光伏累计装机容量(万干瓦)风电装机光伏装机41.2人工智能技术蓬勃发展人工智能方兴未艾，已在图像识别、自然语领域得到应用深度、强化学习等人工智能技术正悄然向传荷预测等领域得到应用如何与优化调度相结合?1.3人工智能技术支撑电网优化调度提纲662.1多时段滚动电网前瞻调度模型口包含目标函数、决策变量、约束条件的安全约束经济调度(SCED)及安全约束机组组合前瞻窗口t前瞻窗口+1前瞻窗口t+2决策体77约束条件2.1多时段滚动电网前瞻调度模型约束条件□目标函数、输入量、决策变量、约束条件输入量节点负荷新能源出力预测决策变量机组有功出力目标函数发电+启停成本最小88标准化处理过程2.2基于深度强化学习的电网前瞻调度模型标准化处理过程 主线奖励函数(发电成本最小)992.3深度强化学习算法的选择在传统DDPG算法的基础上增设"良好经验存储池”使智能体向满足安全约束的方向探索，从而缩短环境环境at批次采样(SuTt,St+1)updateθlossθ优化器存储池优化器软更新tanh2.4多时段滚动前瞻调度智能体训练方式的设计步骤=步骤+1读入t时刻(所在前时刻)的状态S环境2.4多时段滚动前瞻调度智能体训练方式的设计智能体训练方式的设计多时段联合优化训练方式(仅适用于多时段解耦优化训练方式(适用于神经网络神经网络输出：机组数*T输出：机组数优化器优化器2.4多时段滚动前瞻调度智能体训练方式的设计优化器优化器□神经网络参数的初始化-预训练环节一般经验存储池储池ooπ(si+1)Target初始化网络参数历史调度经验2.5融合模型驱动的多时段前瞻调度智能体训练□融合物理模型的不平衡量分配最大上调量(为0)最大下调量(为0)复制2.5融合模型驱动的多时段前瞻调度智能体训练复制智能体与环境交互示意图不平衡量分配Actor奖励参数Reward更新采样采样数据电网运行环境经验发电发电成本美元6机组有功出力/MW有功2.6算例分析有功功率W时间间隔/15min数据集规模1天11天提纲3.1多运行场景下前瞻调度智能体的迁移架构同时应对负荷、新能源等边界条件变化与网络拓扑变化新投运线路线路检修线路故障1负荷曲线96电网前瞻调度智能体3.1多运行场景下前瞻调度智能体的迁移架构模拟基态时不同负荷水平及新能源出力情况、故障态时不同线路开完成对相应类别场景下基于迁移强化学习的智能体训练，从而构建适应多运行场景的前瞻调度模型的源智能体智能体N智能体N运行场景N运行场景1运行场景2运行场景N电网正常态时多运行场景归类结果电网故障态时多运行场景电网故障态时运行场景1电网故障态时运行场景N3.2场景数据集构建及特征相似度分析针对电网运行的海量场景，量化前瞻调度场景的特征相似度，通过聚类降低调度决策复杂度，提高效率。基于调度计划结果，实现场景特征相似度度量及场景聚类。特征相似度的聚类特征相似度的聚类特征向量的相似度特征矩阵的降维特征矩阵1特征矩阵2调度场景1调度场景2调度结果1制定优化调度策略提取关键特征矩阵√线路故障：节点导纳矩阵中对应元素置为0√新增线路：修改节点导纳矩阵中对应元素至新值KpNhrnYpNhNnpNnRPK-means聚类迁移目标域源域3.3前瞻调度智能体的迁移训练迁移目标域源域引入迁移学习的目的是找到新增拓扑运行方式与原有拓扑的相似性，运用现有知识更构造源模型：针对电网正常拓扑下的运行场景，训练智能体源模型。模型迁移：使用源模型在拓扑改变情形下进行训练，使模型快速适应新场景。场景N训练迁移学习特征处理与场景归类3.4离线训练与在线决策机制特征处理与场景归类前瞻调度智能体离线训练与在线决策架构源域特征处理场景归类实时监测数据目标域迁移学习处理后场景特征数据集x十迁移智能体对应场景特征3.5算例分析系统基本参数(其中新能源电站18座)类别名称支路数量NL机组发电成本gen=0.069663*x^2+26.gen=0.069663*x^2+26.gen=0.002401*x~2+12gen=0.045923*x^2+15.gen=0.028302*x^2+37.6gen=0.009774*x^2+22.元0发电成本机组有功出力/MW全网22斗9PP新能源机组火电机组1225区域二5火电装机：248399火电装机：25703.5算例分析 时间间隔/24h节点负荷有功功率/MW离线训练环节采用的负荷数据集为2019年10月后延一年的数据(绿色曲线);在线测试环节采用的负荷数据集为2020年10月后的数据(蓝色曲线)。横坐标对应天数，时间间隔为24小时；纵坐标3.5算例分析新能源机组最大有功功率/MW时间间隔/24hSG126系统的训练集与测试集对应的新能源机组预测最大有功出力。横坐标对应天数，时间间隔为24小时；纵坐标为对应的新能源预测(单位：MW)。3.5算例分析运行场景聚类-基态K簇类别个数的选择：3基态运行时训练集场景的映射特征集表特征1-8.180第二特征3.5算例分析第二特征3.5算例分析13382train_reward_noise0,5离线训练时间在线决策时间darawer14天1天MW00时间间隔/15min3.5算例分析考虑到N-1故障情况的可解性(即故障情况下仅通过调整机组有功出力而不进行切负荷等操作即可满足安全运行要求),设置了故障运行场景的聚类与迁移针对此故障集中的线路进行。线路编号线路75的平均负载率超过0.5,其余都为轻载，因此训练两类迁移智能体。□迁移智能体的训练效果——迁移智能体(轻载线路):节点15-33:Branch43发生N-1故障将模型迁移到断线情况的环境中并进行训练的效果：收敛时间减少12小时3.5算例分析迁移智能体的训练效果——迁移智能体(轻载线路)当Branch43发生断线故障时，直接运用源模型的Agent以及Branch75对应的迁移智能体得到的线路潮流会发生越限的情况，在经过重新迁移学习以后，越限情况得到解决。可用同样基于模型迁移的方法，训练线路75发生N-1故障对应的迁移智能体。3.5算例分析类别源智能体迁移智能体(重载线路故障)√迁移智能体功率MW功率MW功率MW潮流负载率潮流负载率潮流负载率功率MW功率MW功率MW潮流负载率潮流负载率潮流