国家电力调度数据网组网研究

国家电力调度数据网组网研究国家电力调度数据网组网研究 作者：彭清卿，向力，卢长燕，邹国辉，孙炜 摘要：综合考虑调度管理体制，探讨网络应 用特性，有效分析了国家电力调度数据网的组网需求。在综合电力通信的现状和深入研究 目前 IP 技术的基础上，对电力调度数据网组网研究中的相关问题进行了探讨。 0 引 言 随着计算机与网络技术的发展，数字化电网的新时代正在向我们走来。电网调度系统 是引入数字化电网应用较早的领域之一。目前，在电网调度自动化领域已建立了比较完善 的能量管理系统(EMS)、调度员培训模拟(DTS)系统、电能量计量(TMR)系统、水调自动化 系统等。尽管在应用层面取得了实效，但在数据传输网络化方面，仍然是局部的、不完整 的和初级的。因此，针对调度系统的特点，适应各应用系统的需要，建设满足实时性要求、 安全可靠的数据网络，为调度各应用领域数据传输提供网络平台已成为当前调度系统中的 一项重要任务。 本文通过对目前 IP 网络技术的深入分析，在调度业务需求和电力通信实际情况的基础 上，综合考虑目前调度管理体制，结合国家电力调度数据网的网络设计，提出调度数据网 的组网研究方案，该方案将在工程实施中进一步优化。 1 电力调度数据网要考虑的因素 调度数据网的建设必须考虑调度数据业务的特点，这些特点是组建调度数据网应考虑 的基本要素。 1.1 数据信息是网络承载的主要业务 目前调度系统数据通信业务大致可分为 2 类，即以 EMS、广域相量测量系统等为代表 的实时监控业务和以电力交易支持系统、调度日报传输、TMR 等为代表的调度运行管理的 相关业务。这两类业务的共同特点是以数据处理为主，周期性传输，所占用信道带宽不大。 数据具有分布采集、分层传输、集中汇聚的特点。数据一般在调度对象(发电厂、变电站) 产生，送至对其直接调度的上一级调度部门，处理后按需向更高一级调度转发。 1.2 实时性要求 实时监控业务的数据传输周期为秒级。例如按设计规定，遥测数据传送时间不大于 3s，遥信数据变化传送时间不大于 2s，遥控、遥调命令传送时间不大于 4s，自动发电控制 命令发送周期为 3s15s。这些实时性要求，除了数据网必须具有较短的延迟，还需要有优 先级机制来保证这些时间敏感数据的可靠传输。 1.3 可靠性要求 实时监控业务除了反映电网运行工况外，更重要的是控制电气设备的投入和退出，下 达功率调节命令，对电力系统运行产生直接影响。这类业务的可靠性至关重要，因此数据 网络必须满足所承载业务可靠性的要求。在网络设计时应该考虑单点设备或通道故障时网 络不分裂，不影响业务系统的数据传输。 1.4 安全性要求 调度系统相关业务的安全是调度安全生产的基础，部分业务具备实时监控功能，直接 关系到调度生产安全，此类业务对网络的安全性提出了高要求。按照国家经贸委200230 号令电网和电厂计算机监控系统及调度数据网络安全防护规定以及“全国电力二次系 统安全防护总体方案”的要求，承载调度业务的调度数据网应通过 SDH/PDH 的 n2 Mbit/s 专线组建，实现与其他网络系统的物理隔离，成为调度业务可信赖的网络。 1.5 数据通道现状 目前电力通信网提供的数据通道以微波通道为主，日后将逐步发展为以光通信为主。 现阶段物理通道不算充足，难以完全保证迂回路由与电路的无关性要求。个别电路转接较 多，通道质量难以满足网络通信的要求，另外，部分边远厂站的电路质量更难以保证，这 些因素在组网设计时应给予充分重视。 2 组网基础研究 2.1 技术体制的选择 纵观骨干数据网络技术体制，存在 4 种典型模式： IPSDHATMFibre,IPATMFibre,IPSDHFibre 和 IPFibre。4 种体制在技术发 展的不同暑期各占有一定的主导地位。从目前的趋势来看，IPSDHATMFibre 和 IPSDHFibre 并存的时代即将过去，现已逐步发展为以 IPSDHFibre 为主的局面。 从长远来看，随着光通信技术的发展，IPFibre 将是 IP 骨干网的发展方向。 对于调度组网的技术体制选择，从技术的成熟性和建网的经济性上讲，采用 IPSDHFibre 模式更适合调度业务的需求和电力通信的现状。华东电力设计院进行的国 调业务流量分析表明，国调总业务数据流量为 15318.2kbit/s(峰值)，带宽需求在 n2Mbit/s 水平，因此 IP overSDH 更有利于基于 2Mbit/s 带宽的扩充，使投入产出比处于最佳状态。 另外，电力通信通道正处于微波通道为主向光纤通道为主的发展过程，对于偏远电厂、变 电站，可利用原有的 PDH 通道，无须另外增加通道投资。同时，该模式对 IP 业务的“物 理隔离”能较好满足调度业务的总体安全要求。 2.2 拓扑结构的几点考虑 2.2.1 总体结构 国家电力调度数据网节点多，网络规模大，其总体结构应采取分级、分层、多自治域 设计；总体结构拟以省调为分界点分为 2 级，即国家电力调度数据骨干网和省调度数据网 (以下简称为骨干网和省网)，两级网络相对独立。骨干网和省网内部均按标准 IP 网络分层 设计，可分为核心层、骨干层和接入层。核心层为网络业务的交汇中心，通常情况下只完 成数据交换功能；骨干层位于核心层和接入层之间，负责层内数据交换以及层间业务的汇 聚、分发；接入层将用户业务接入网络，实现质量保证和访问控制。骨干网为一个自治域， 每个省网分别为各自独立的自治域。 结合目前调度管理体制，调度数据网的骨干网可由国、网、省调节点构成，省网可由 省、地调组成。骨干网核心层节点包括国调、网调及部分省调，骨干层由省（市）调节点 构成，接入层为电厂和变电站。 2.2.2 骨干网拓扑设计 骨干网拓扑设计主要是基于电力通信传输网络的结构，兼顾调度管理体制，立足于方 便网络建设、运行和管理的原则；同时应满足调度业务的可靠性、实时性要求。骨干网网 络拓扑示意图如图 1 所示。 2.2.2.1 可靠性设计 为提高网络运行的可靠性，避免通道中断导致网络故障，从电路组织看，电路的无关 性应至少满足 N-1 原则，即应避免由于通信电路单点故障导致网络多条链路的同时中断， 从而造成数据网络分区分裂或迂回链路过载使网络瘫痪。 核心层是网络拓扑的中心，既是路由交换的核心，也是跨区信息流的骨干通道，应具 有较高的拓扑冗余度。另外，核心层节点之间、核心层与骨干层之间、骨干层节点之间的 链路连接均应满足无单点故障，即均有两条路由不同的电路和以保证层内、层间的迂回路 由。接入层节点可视通道情况采用双归或单归拉入到骨干层节点。 2.2.2.2 实时性保障 根据调度业务目前的信息量要求，调度组网的基础带宽可定为 n2Mbit/s，在运行中 可根据网络流量的增加，适时扩容链路。鉴于网络核心层信息流量大于骨干层，为避免网 络拥塞，核心层的链路带宽设计至少应是骨干层带宽的 2 倍4 倍。 为满足业务的实时性要求，避免节点间跳数太多导致时延过长，拓扑中任两节点间的 最大跳数原则上不应超过 3 跳。 2.2.2.3 拓扑设计 对于骨干网，为方便管理，同时考虑电路的走向，可选择国调、网调以及部分地理位 置较核心的省(市)调(如三峡、四川、山东)作为核心层节点，各网调及网内省调形成本区域 的骨干层，同时选择网内的某一省调(该省调应是本区通信枢纽中心)作为本骨干层的第 2 出口与核心层相连。 .3.1 域间路由 国家电力调度数据网采用何种路由结构，即是穿越自治域接入自治域，还是单自治 域，抑或多穿越自治域的方式，与 IP 网络设计能力有很大关系，网络规模对路由结构起决 定性作用，除技术因素外，调度管理体制也是考虑因素。 调度数据网的规模，地埋上覆盖全国。从节点个数来讲，若国、网、省调按双节点配 置，设备总数不超过 80 台，各省网内部(含地、县调)的网络设备估计不超过 100 台；全国 网络设备(不包括厂站节点)约 3000 台。 单自治域的方式，即国、网、省、地、县调均处于单一路由策略和统一的技术模式下， 从现实意义来讲，网络建设和管理存在较大困难，同时该自治域内路由器总数较多，受 IP 网技术限制，域内路由器数目、路由条目过多将极大地影响网络性能，设备、链路多会降 低路由协议收敛速度而导致网络效率降低，故障概率升高会导致全网经常处于路由震荡状 态中，影响网络运行。 多穿越自治域的模式，即国、网、省调各自为政，自成体系，网络划分粒度较细，缺 乏整体性的网络规划设计，没有规模效益，网络效率难以达到最优。国、网、省、地、县 的分治，对厂站的两点接入带来困难。分散的结构，使综合网络管理难以部署，并给网络 故障诊断带来较大困难。同时，各自治域需分别设计，多头重复建设，各自运行，难以降 低建设、管理、运行成本。 穿越自治域接入自治域模式，即国、网、省调构成调度数据网骨干网，形成穿越自 治(路由)域；省、地、县调节点构成各省内部的调度数据网(简称省网)，形成接入自治(路 由)域；各省网与骨干网通过两点互联，省网之间不设直接通道。在组网初期，网络规模较 小，网架尚未完善，业务需求也不高，可先采用静态路由和单点接入方式实现省网与骨干 网的域间互联。 相对于单自治域及多穿越自治域方案，该方案网络结构简单，层次清晰明了，在网络 效率、稳定性、可扩性、可管理性以及建设和运行成本等方面具有综合优势。 国家电力调度数据网网络结构如图 2 所示。 2.3.2 域内路由 2.3.2.1 路由规划 按现调度网络的规模，自治域内采用链路状态协议开放式最短路径优先协议(IS-IS)， 整个路由域设计为层次结构，分为 2 层，即一个主干区和若干子区，各子区相对独立，网 络路由分为区内和区间，每个区内路由的变化仅在区内完成收敛，不会影响到其他区。采 用分层协议能增强网络稳定性，使网络具有弹性，便于扩展。同时，分层协议隐藏了其他 层次的拓扑结构，降低了路由计算的复杂度，既增强网络的安全性，也提高路由收敛速度。 层次化路由，也使层间可以进行网络地址汇聚，缩短路由表长度，提高网络寻址效率。 在目前网络规模及路由分区组织的情况下，OSPF 与 IS-IS 协议均可满足调度网络总体 技术要求。鉴于在企业组网设计中 OSPF 较 IS-IS 更为通用，工程和维护经验更丰富，在方 案设计、工程施工阶段更易实施，运行维护人员也较易掌握，因此，本次骨干网组网协议 选用 OSPF。 2.3.2.2 路由区域设计 按 OSPF 的设计要求，内部为分层、分区设计，可分为骨干区域(0 区)和子区，0 区包 含所有的边缘区域路由器(ABR)，子区区域号需统一定义，子区间的流量均经过骨干区。 调度数据网的区域划分考虑如下：国调、备调路由器广域口为 0 区。骨干层出口路由 器的外联口(与其他核心层节点的互联口)属于 0 区，内联口(与本骨干层节点的互联口)属于 本骨干网子区。骨干层的出口路由器是 ABR，有“双重身份” ，隔离 0 区和子区，并发布 聚合后的子区内路由到 0 区。第 1 出口(网调)与第 2 出口(网内某省调)的互联口既可定义为 0 区，起核心层路由迂回作用，又可定义为子区号，为骨干层路由迂回、数据传递所用。 如果链路充裕，可一条链路定义为 0 区，另一条链路定义为子区。 2.3.2.3 厂站路由接入设计 骨干网拓扑为 3 层结构，而 OSPF 为 2 层设计，无法将 OSPF 延伸至网络接入层 厂站节点；厂站路由器属于网络“叶子”节点。为减少网络路由的复杂度，避免动态路由 协议的相互引入，骨干网与厂站路由器之间采用静态路由，并将链路、LOOP 路由发布 OSPF，传递至网内其他节点，实现互通。 2.4 地址编码 地址编码的基本原则是满足地址的惟一性，调度数据网的 IP 地址应依据全国电力系 统信息网络 IP 地址编码规范(试行)集中管理，统一分配。为使寻址更加有效且保证地址 唯一性，网络地址编码应与网络拓扑(分区)及路由结构相结合，充分考虑自治域间及域内 分片分区地址聚合的可能，使路由精简有效。同时，网络地址和应用地址应有所区别，方 便管理和网络扩展。 2.5 网络接入 2.5.1 调度中心应用系统接入 调度中心须接人的应用系统较多，按照安全级别的不同，各应用系统划分为不同的虚 拟专用网(VPN)，由通信网关分别接人不同的 3 层交换机。目前主机可以静态、动态或默 认路由的方式接入网络。 2.5.2 厂站接入 2.5.2.1 厂站节点接入骨干网 厂站节点应依据调度关系、网络拓扑和链路状况，就近接入骨干节点;为保障接入的可 靠性，应视厂站的重要程度采取两点或单点接入骨干网，两点接人应由不同物理路由接入 骨干网不同节点;厂站为网络的接入层节点，采用静态路由方式，以不影响骨干网路由为原 则。 2.5.2.2 厂站应用系统接入 按不同的安全级别，厂站应用系统分别接入不同 VPN，即通过各自通信网关分别连接 不同的接人交换机，由路由器接人骨干网，实现 VPN 隔离。 3 部署 VPN 的几点考虑 调度数据网承载的业务较多，为保证安全等级不同的应用业务之间的相互隔离，调度 数据网需部署 VPN 以满足业务系统的网络及信息安全要求。 3.l VPN 的部署方式 根据路由信息交换方式可将 VPN 分为 2 类:覆盖 VPN 和对等 VPN;覆盖 VPN 可通过 2 层交换技术(X.25、帧中继、ATM)或 3 层隧道技术(IpSeC 等)来实现，缺点是 VPN 路由复 杂、扩展困难。对等 VPN 可通过传统的复杂路由策略或 IP 访问列表来实现，缺点是 VPN 用户共享地址空间、缺乏隔离性、维护困难。而 MPLS VPN 则是兼顾了覆盖 VPN 和对等 VPN 的优点，满足不同 VPN 业务的隔离性和安全要求，并简化了路由工作，能较为灵活 地满足多种拓扑需求。 BGP/MPLS VPN 通过 BGP 发布 VPN 路由信息,并使用 MPLS 转发 VPN 流量。一个 BGP/MPlS VPN 网络由客户边缘设备(CE)、业务提供商边缘设备(PE)和业务提供商骨干网 设备(P)组成。在调度数据网内，CE 为各调度节点的 3 层交换机以及各厂站接人交换机,PE 为各调度节点和厂站的路由器。 骨干网内全网部署 MPLS VPN，需要在全网 PF 上运行 MP-IBGP;为降低网络复杂度， 避免全 状 IBGP 会话,减少 IBGP 的链接数,可通过建立 级的路由反射器来实现 IBGP 的路 由交换。 3.2 多 VPN 结构设计 电力调度生产业务可分为 2 类:实时监控和非控制生产类。2 类业务按安全要求纵向上 划分为不同的 VPN，实现安全隔离。对于同一业务，即使安全等级一样，由于地理位置、 所属行政管理区域不一致，业务上没有互通的需要，也采取一定的隔离措施，横问上划属 为不同的 VPN，获得更多的安全性。 3.3 分层技术部署厂站 VPN 常规技术部署 MPLS VPN 之后，整个 VPN 内部路由为平面结构，无层次概念，网内 路由任何变化将会导致全 VPN 路由震荡和收敛;对于骨干网应用点涉及国、网、省调及厂 站，即 VPN 业务需部;到厂站，而厂站一般采用低端网络设备，其处理能;与国、网、省调 的中、高端设备相差较远，全网路由户同步将依赖于低端设备的计算能力，势必减慢 VPN 内路由收敛速度，降低网络稳定性，甚至产生循环路由，导致通信异常。 分层 PE 技术可减少厂站路由器的 VPN 路由处理压力，符合网络总体层次结构设计:连 接厂站的国、网、省调节点设备称为上层 PE(SPE)，厂站路由器称为下层 PE(UPE)，其他 核心和骨干层路由器为普通 PE。UPE 仅维护其直接连接的 VPN 节月的路由，不维护 VPN 中其他远程节点的路由器 SPE 维护 VPN 中的所有路由，SPE 只发布 VRF 黑认路由给 UPE。 采用分层 PE，VPN 路由信息更新仅在核心不骨干层路由器(SPE 和 PE)间进行，收敛 时间更快各厂站路由器(UPE)仅需知道直连的 VPN 路由不需要知道和处理所有的 VPN 的 信息，大大减 4 了直调厂站节点路由器的处理压力。 鉴于分层 VPN 技术尚处于网络技术文件草案阶段，同样为减少低端厂站 PE 路由器的 VPN 路由处理压力，加快全网路由收敛速度，对于那些不支持分层 VPN 的网络节点，可 采用标准的 VRF-to-VRF 方式实现厂站 PE 路由器的接入:在 2 台 PE 上为每个 VPN 分别建 立 VRF，在每个 VRF 中，将对方 PI 看做 CE，PE 之间通过物理接口或逻辑接口方式区分 不同的 VPN。该方式采用多自治域，适合在规模较大的接人网络中部署 VPN。 4 其他几点思考 4.1 网络管理 网络管理可通过带内和带外 2 种方式实现，从成本和技术角度考虑，调度网宜采用带 内管理方式。 从调度管理体制出发，调度骨干网宜采用分级管埋模式，可设置 1 个全域管理中心和 6 个分区管理中心，全域管理中心设在国调，分区管理中心设在 6 个网调，即国调负责骨 干网主干区的管理，各网调负贡相关子区的管理。 除满足 ISO 标准五大基本功能(配置、性能、故障、安全、统计计费管理)外，根据调 度具体的运行管理需求，网管还应该包括其他一些功能，如报表管理、告警输出等。 4.2 网络性能指标 衡量网络的性能指标大致分为网络延迟、网络收敛时间、包丢失率、可用率;性能指标 与网络规模、拓扑设计、传输质量、链路带宽、设备配置、设备性能等多种因素有关，在 网络设计时需权衡利弊，综合考虑。 4.3 QoS 标准 IP 网络对数据传输提供“尽力而为“的服务，基于先进先出机制转发，对所有的报 文同等对待，对报文传送的可靠性、传输时延等性能不提供保证。 在网络稳定、流量恒定时，调度组网的性能指标符合目前的业务要求。即使业务量增 加导致网络流量增加，也可通过带宽扩充解决。但在网络部分故障导致拥塞或有突发流量 时，实时性强的调度业务仍要求得到可用性保障，需要网络提供端到端的 QoS。 电力调度专网上部署