OptiXOSN产品ECC通信及巨网分割专题课件

OptiXOSN产品

ECC通信及巨网分割专题\47382前言基于OSN设备的组网应用情况，开发此课程。本课程旨在提高工程师对网络ECC通信问题的处理能力。学习指南本课程主要针对《ECC通信及巨网分割专题》中的内容进行组织。本课程的重点、难点。重点：HWECC协议栈及维护应用难点：ECC巨网分割方法内容介绍HWECC协议栈及维护应用ECC巨网导致的网络隐患巨网分割方案OptiX网元外部通信概述该模型是在增加IPOVERDCC和OSI特性之前的模型，在增加了这两个大特性之后网元支持的外部通信方式更加多样化。在SDH建议中把再生段DCC（D1-D3）称为ECC，早期设备默认使用这三个字节作为网元间通信通道，同时运行在上面的协议栈也称为ECC协议栈。在这里沿用的是ECC协议栈的含义。ECC协议栈基于DCC通道或扩展通道提供网元间通信功能。DCC扩展通道串口以太网SRLMLAN(TCP/IP)ECC应用模块ACC通信管理功能模型OptiX网元外部通信典型模型

典型模式：网管通过以太网连接到网关网元，通过ECC管理远端网元.DCNGNENMSTCP/IP以太网NELANDCC光纤ECCDCCACCECCDCC应用模块应用模块ACC网元ID在ECC通信中的应用HWECC协议栈使用网元ID唯一标识一个网元。网元ID的总长度为32bit，其中高8位保留作为应用层地址，必需填0，低24位有效，全1表示广播地址。网元地址应用于如下场合：ECC协议栈MAC层ECC协议栈NET层ECC协议栈L4层应用层地址保留ECC地址3124230NEID无法检测出ECC子网内是否存在网元ID冲突，务必确保ECC互通的网元ID的唯一性！ECC物理层功能

物理层功能完成对物理通道的控制。包括：对物理通道的数据收发处理，接收物理通道的数据，并将数据传递到上层；将上层传递来的数据帧发送到物理通道。

物理层通道ECC物理层可以是DCC通道或扩展通道（以太网、485总线）。DCC通道是最主要的网元间通信通道，也是ECC协议栈设计的物理依赖（ECC协议栈的一些设计基于它运行在DCC通道上的假设）。DCC通道是利用SDH帧中的D字节（D1-D12）进行网元间通信。SCC板物理层DCC通道的实现

线路开销提取开销交叉CPUCLKCLKCLK开销总线开销总线Tx&RxCPU通道DCC通道线路板FPGA负责提取D字节开销，送给主控板上的开销交叉芯片处理；并把从开销交叉芯片出来的数据发送到线路上。开销交叉芯片把D字节内容交叉到对应的CPU通道。CPU通道利用CPU硬件提供的处理能力对接收数据进行定帧并送给上层处理，把上层发送的数据送到开销总线。标准HDLC帧格式，由CPU的CPM模块自动完成封装。重点：以上各个处理环节都需要准确的时钟，因此时钟模块/全网时钟必须工作正常。物理层DCC通道状态查询命令操作命令查询实际在位单板DCC信息:cm-get-bdinfo;物理层状态查询命令

操作命令返回查询物理层数据收发统计和错误信息:cm-get-chanerror;主要是观察上报的错误数据与前一次相比，是否在增加子架上所有的线路板，包括未开工的板，都可以查询到状态.返回结果原因ok正常rx_f接收失败。如RLOS等rx_ftx_f收发失败。如端口ECC被禁止等

FIBERPORTSTATEBIDFIBER-PORTPORT-STATEDCCRATELINK-CHANLOGIC-CHAN-STATE41port-enabled1-d30ok51port-enabled1-d32rx_f91port-disabled1-d3255rx_ftx_f101port-enabled1-d34ok人工关闭ECC的端口。ECCMAC（媒体接入）层MAC层功能介绍媒体接入层主要是在物理层和网络层之间提供激活和关闭物理DCC通道的服务。MAC层负责相邻网元之间的连接发现和维护，目的就在于屏蔽物理网络的多样性，向上提供一致的服务（点到点的物理信道）。MAC层协议实现

MAC层连接

表示本网元和相邻网元之间的一条直接的通信通路，指明本网元与哪个网元通过哪个DCC通道连接（这里的连接指不通过其它网元直接相连）；每条MAC连接主要包含对端地址、DCC通道号、以及连接定时器等信息。MAC层连接表记录格式字段名数据类型含义dst_neidULONG目的站址dcc_chanUCHARdcc通道号modeUCHAR0:连接为人工设定的1:连接为自动建立的distanceUCHAR距离。目前只考虑了距离为0的直接连接。timerUCHAR定时器，仅对自动建立的路由有效，若超时则删除此连接ECCMAC（媒体接入）层MAC层连接的建立和维护MAC层通过连接请求（MAC_REQ）和连接响应帧（MAC_RSP）来建立和维护MAC层连接。通过定时的MAC连接请求帧和连接响应帧来发现相邻网元和维护连接。MAC层的数据服务MAC数据分为信息帧（MAC_I）和命令帧（MAC_REQ、MAC_RSP）。对于物理层来的ECC帧：目的地址为本站的信息帧继续往上传递给NET层；对于NET层来的ECC帧：MAC看连接表中有无到目的MAC地址站点的连接，若有则将ECC帧通过此连接的DCC通道发送到物理层，否则丢弃该数据包。重点：查看MAC层信息，可以看到本网元与相邻网元的连接情况，包括对端网元的ID，本网元与对端网元相连的光口通道等信息。ECCNET（网络）层

NET层功能网络层主要是实现数据帧的路由寻址和DCC通信网络的路由管理，包括路由的建立和维护。包括：向上层提供数据通讯服务；数据转发；路由维护。

ECC路由网络层建立和维护"NET层路由表"，每个路由表项主要包含目的站点地址、转发站点地址、转发距离和该路由表项的定时器等。

路由的建立和维护每个网元周期性通过寻径响应报文向相邻的站点广播自己的路由表，目前采用最短路由寻径方式；相邻网元收到该报文之后，据此对本地路由表进行刷新。

网络层路由表记录格式字段名数据类型含义dst_neidULONG目的站址relay_neidULONG转发站址distanceUCHAR距离。也就是转发跳数levelUCHAR路由的优先级别；1-7级；自动建立的路由级别默认为4；选择路由时总是选级别高的路由modeUCHAR0：路由为人工设定的1：路由为自动建立的timerUCHAR定时器。仅对自动建立的路由有效，若超时则删除此路由NET层数据转发

ECC协议栈对于网络层目的地址不是本网元的数据包在NET层进行转发。L4NETMAC层物理层源网元转发网元目的网元L4NETNETMAC层MAC层物理层物理层NET层状态查询命令操作命令查询ECC路由信息:cm-get-eccroute

NET层状态查询命令

重点：一般可以通过cm-get-eccroute命令查询网元路由表，看是否有正常连接并正确配置的网元在ECC路由表中找不到到达该站点的路由项来判断ECC通信是否正常。

ECCROUTE

DST-IDDXC-IDDISTANCELEVELMODESCC-NOPEER-NO0x000900140x0009001404eccauto010x000900160x0009001714eccauto110x000900170x0009001704eccauto11该命令查询一个ECC子网内所有互通ECC的网元.检查是否符合最短路由的原则.例行检查子网内ECC互通的网元数是否合理.

例行检查各子网内有没有不允许互通ECC的网元被错误接入，如有应关闭.查询某网元的ECC路由表：该网元到相邻网元之间的ECC路由距离为0。HWECC帧结构了解了解…应用层协议帧结构简述应用层报文头用于实现应用层转发功能，它出现在网管-网元间通信应用信息的头部，在数据被网关网元转发时被添加在ECC协议字段之后。ACC模块就是根据应用层报文头中的信息来确定是把数据包转发给其他网元、网管，或者送到特定的上层模块。以太网通信中的应用层报文头部ECC通信中的应用层报文头部了解了解…TCP/IP头部应用层报文头部应用层信息ECC头部应用层报文头部应用层信息目的地址源地址命令字长度保留字段信息（Info）从网管角度看应用层报文头最经常被加在以太网的TCP/IP帧头之后，在应用层报文头中还定义了一些专门用于网管、网元间通信的命令字，因此习惯称为以太网报文头。Ethernet通信数据报头格式ECC之上的应用和通信层网管PAD层网管Qx层分组包Qx包网管传输层HWECC（DCN）网元传输层网元PAD层网元Qx层Qx包分组包分组包＋DCN开销网关网元以太网模块分组包主应用为Qx层，处理具体的业务命令。处理的数据为Qx包，每个Qx包内含多条Qx命令、消息或响应；在Qx和DCN之间是PAD模块，主要功能是将Qx报文分拆为小的分组包以便通过DCN传送，并在目的地重新组装起来；DCN中的4个层次都不再对分组包进行进一步处理，加上开销之后直接传送这些小报文；MML由于都为单条命令，数据量小，因此无需经过PAD层处理，直接走DCN。图中：红色为网关网元和网管直接交互；蓝色为非网关网元和网管交互。了解了解…问题问题1：简要介绍HWECC的物理层、MAC层、NET层功能，L4层功能？问题2：简要描述各层协议的处理的处理过程。小结本节我们主要讲解了：熟悉HWECC的物理层、MAC层、NET层功能，了解L4层功能；了解各层协议的处理的处理过程；掌握低3层命令的使用方法；掌握分层分析和处理问题的方法。内容介绍HWECC协议栈及维护应用ECC巨网导致的网络隐患巨网分割方案巨网ECC导致的问题和隐患巨网ECC导致的问题和隐患

导致网元脱管导致通道堵塞致使告警丢失或延迟上报，严重时影响业务配置/下载导致主机频繁复位，会严重影响业务网络管理层次不清晰，导致安全隐患

对软件加载效率和成功性的影响巨网ECC问题原因分析当前ECC组网情况分析管理DCN本质上是个星形网络，更重要的是其带内带宽始终不变：最大768Kbps，即使在星形的管理DCN的骨干上也是如此；在最短路径寻径方式下，无论网元可以接入多少DCC，无论网元的转发能力有多么强大，网元管理信息的出口始终只有一条：最短路径DCC，在这个最短路径上导致了数据拥塞。DCC链路多的网元，信息量就越为集中，而DCN带宽始终不变。在DCN网络规模过大的情况下，在网络拓扑因为故障或扩容出现变化时，会导致网络路由信息需要较长时间才能收敛，会加剧DCN拥塞。更严重的情况下由于信令的拥塞，可能出现路由振荡。巨网ECC导致主机异常复位ECC导致主机异常复位原因巨网ECC路由表刷新、接收到的数据包流量过大导致内存不够，产生的中断过于频繁，可能会导致主机产生异常复位：对于复用段保护倒换，NG-SDH设备不影响，OCS设备影响；不影响SNCP保护倒换；不影响TPS倒换；影响配置下发或网元数据下载巨网导致ECC收敛时间长ECC收敛时间说明ECC收敛时间：在断纤或光缆恢复等情况下，ECC路由需要刷新，在这个刷新调整周期内，部分网元会不可达。路由开始刷新，到最终稳定所花的时间，为ECC收敛时间。ECC收敛时间测试（HWECC）结果：注意：在网元数目较多时网络拓扑收敛较慢，可能会导致大量的管理信息丢失。网络拓扑链型单环两个环通过链连接网元数量646464拔纤收敛时间7s14s4s插纤收敛时间20s4s19s巨网导致ECC路由稳定性差ECC大网的路由稳定性差

会使路由计算速度下降：ECC网络过大，会使路由计算速度下降；网络变化时，路由广播信息在网络中不断广播，造成路由不断重算，导致ECC路由长期得不到稳定。容易导致ECC不停振荡：大的网络，中间有一个网元脱网的概率大大增加。而当该网元不可达时，路由信息会广播到整个网络，让所有其它网元都知道该网元已经不可达。这一路由信息的扩散是需要一定的时间的。有可能在此期间，该网元又变为可达的，或者有其它网元又脱网了。这样就会导致整个网络不停的振荡。路由信息在网络上不停的传播、扩散，这无形中也增加了网络的通信量。

DCC通道告警流量只使用D1~D3时，实测单DCC链路的转发能力为20kbyte/s左右；每个告警的开始、结束信息都要包含30个左右的字节；模拟计算：T2000限定每秒最多处理600条告警；应答机制也会使处理速度变慢；告警上报后网管未及时应答时，则会重复上报告警，加剧网络拥塞。

巨网可能导致DCC通道堵塞注意：一旦打开性能监控和上报，管理DCN上的流量将更不堪设想。模拟的2M故障业务量2000个2000个告警上报（2种告警）上报产生倒换时，上报产生随后消失上报的数据量120kbyte240kbyte上报完成时间3～6s6～12sDCC通道堵塞情况分析

DCC通道瓶颈下面的红色非网关网元由于入路最多，当各DCC通道趋向于满流量的时候，在红色的非网关网元处最容易出现流量拥塞，从而提前丢包；实际网络中，外接光纤最多的网元最可能出现拥塞，而不是网关网元。每个数字代表了这个网元在DCN中承担了N条DCC通道以及它自身的流量转发32433211112112无论是重路由信息的传递，还是告警信息的传递，都会造成管理DCN中的数据流量增大，从而造成管理DCN中的关键链路出现拥塞，造成问题。缓冲溢出的问题缓冲溢出原因

目前无缓冲溢出处理：ECC各层在发生缓冲区满后，对溢出报文都是直接丢弃，无任何反馈和通报，上层软件毫不知悉。由于所有告警在同一时间上报，而目前设备的DCC转发缓冲有限，所以在管理DCN的瓶颈链路上会出现DCC转发缓冲溢出而导致报文丢失。说明：综合网管处理能力、缓冲溢出、路由刷新等问题，导致使用DCC通道扩展对解决目前ECC问题改进有限，无法解决大网ECC的问题，巨网ECC对远程加载的影响远程加载速度慢，原因主要是目前采用了每包确认的机制，加载速度随着单个数据包的传输延时线性下降。这样，通过的中间网元越多，单个数据包传输延时越长，加载速度就越慢。

N1EMR典型的加载时间：数据单板软件容量本地加载(min)远程加载(min)42EFS3.2M408061EMS3.2M3060N1EMR4.5M2040网管上网元脱管的问题ECC规模过大时，可能出现网元脱网现象（在网管界面上变灰），持续时间有长有短，频度不一。网管判断网元连接状态的机制如下：网管以1分钟为周期与设备尝试通信；连续2次连接不上（2分钟超时）则判定通信连接中断。假设第一次连接报文丢失，那么若第二次报文出现些许延时，就可能造成瞬间脱网的错误判断。报文A报文B报文CA返回B返回丢失C返回延迟2分钟超时周期下一个2分钟超时周期导致判定短暂的脱管网管发送网元返回网管判断大网情况下容易出现DCC堵塞，因此造成脱网，无较好的解决办法，除非实施管理DCN改造。Qx及PAD处理机制可能导致数据包丢失

Qx可能导致数据包不完整的几个原因

部分Qx包丢失主机不知道，导致数据的丢失；目前对Qx包的数据完整性不做CRC等检查，直接解开后获取Qx命令；

Qx报文内部有一个双字节序号，但为网管内统一编号，分配到各个网元的序号是可以不连续的；而且，对网元的操作中产生的大量相关命令若分解在多个Qx包中，这些Qx包也不一定是连续的。

PAD的几个原因

ECC缺省未打开CRC校验机制；ECC发现报文错误后简单丢弃，不进行任何其他处理；分组包内部数据结构的校验机制，只对网管使用串口有效；分组包设计了序列号机制，单个分组包的丢失能够被目的地发现；但出现乱序到达则丢弃整个Qx包，且不通知主机和网管的Qx模块；

Qx包拼装成功后，主机PAD不校验拼装完的整个Qx包，交Qx模块处理。第2部分小结应认识到巨网ECC对网络的稳定运行和日常维护造成的危害；了解HWECC组网需要优化的基本原因；巨网ECC对网络运行安全和日常维护影响大，应及时优化。传输网络建设和维护时，应同时做好ECC网络的规划，避免由于ECC影响到日常维护工作和网络的稳定运行。提示：针对导致网上ECC问题的部分原因，在后续的版本中将进行改进。问题问题1：巨网ECC对网络的稳定运行和日常维护造成的危害是什么？问题2：HWECC组网需要优化的基本原因是什么？小结本节我们主要讲解了：应认识到巨网ECC对网络的稳定运行和日常维护造成的危害；了解HWECC组网需要优化的基本原因；巨网ECC对网络运行安全和日常维护影响大，应及时优化。传输网络建设和维护时，应同时做好ECC网络的规划，避免由于ECC影响到日常维护工作和网络的稳定运行。内容介绍HWECC协议栈及维护应用ECC巨网导致的网络隐患巨网分割方案巨网ECC问题解决方案目前方案：将ECC网络分层分域地进行管理即将一个大的网络划分为多个小的ECC子网，并将各个ECC子网之间互通的STM-N光/电接口的ECC关闭，以确保路由信息和数据只在小网内传播，不会扩散到其它网络。该方案需要增加网关网元的数量，每个子网通过网关网元与网管实现通信；网关通过DCN数据通信网直接和中心网管通信。该方案能够大大提高ECC通信网络的稳定性，减少网络维护的开销，便于对整个网络的管理；该方案需要额外增加DCN数据通信网。优点：无需进行大规模的技术改造，即可有效控制问题；缺点：需要额外地布置带外DCN设备，用户工程复杂度和成本增加；国内客户均为中大型网络，且习惯于单平面组网和单一网管，对此建议可能存在反弹。各ECC子网建议的网元数量各子网建议和要求的网元数量ECC的组网能力限制是指在网络中通过DCC（或扩展ECC）互相连接的网元的个数的限制。即ECC的组网限制是一个网关网元所辖的网元数。为了避免因ECC网络过大影响到网络的正常维护和运行安全，考虑各种因素、结合网上经验、参考业界做法，OptiX网络也应该、也必须合理地规划ECC组网。对于OptiX网络，一个ECC子网内允许的网元数量说明如下：保证性能基本可用一个ECC子网内建议的网元数量≤64≤75说明：国外运营商的建议和惯例，一般是32或者64个网元作为一个小的管理子网；一个ECC子网中网元的最大数目控制在64个之内，符合美国BelCore运营商标准。

网关网元ECC互连网元数超过以上建议的子网，就可以称为ECC巨网。巨网ECC问题解决原则

ECC巨网分割原则可靠性原则：分割后，应能够确保网络在出现异常情况（断纤、DCN异常、换板）时，网管能够和分割前一样仍可达各网元，避免影响维护；保证性能的原则：各个ECC子网内的网元数控制在建议的数量范围内；按分层、分域的管理原则：分层（骨干网、省干、本地网；或主节点与下挂的网元之间）、分域（如不同节点之间）进行分割。实施完ECC分割优化方案后，网络上任何一处断纤或其它异常情况，应确保能够达到分割前的ECC路由恢复（保护）能力。分割原网络是个环网，环上任一处断纤，网管仍然可达各网元.

ECC分割如上，如只进行简单分割，则会导致A、D之间或B、C之间断纤，出现有网元在网管不可达的情况。ECC巨网划分操作步骤

ECC巨网划分操作步骤

划分ECC子网，选择网关网元确定DCN路由，确保路由的可靠性建立和调测DCN路由各子网之间ECC路由（包括扩展ECC路由）的关闭验证和测试ECC子网划分的方法

ECC子网内网元的划分和选择

按分层、分域的管理原则，将相邻网络划分为同一个子网；当子网中仍具有多个环路和链路时，网关网元取其中处于最多环路和链路的设备之上。需要注意的是：方案实施后，对于环网，ECC分割方案应确保环上断纤后各个网元仍能实现正常监管。

ECC子网网关网元选择建议

选择设定在子网中星形业务的中心节点上，以避免大量的管理信息需要通过基于DCC这种窄带宽信道传送，减少DCN再发生拥塞的可能性。或设置在子网中入路光纤最多的设备。以减少子网中基于DCC的管理DCN再发生拥塞的可能性。考虑DCN通道的安全性，ECC分割时采用主、备网关的方式，避免一个网关的

DCN路由失效时，失去对整个网络的监控。带外DCN通道的建立带外DCN通道的建立

要求DCN带宽不低于OptiX网络使用的DCC带宽；使用256kbps的链路已满足需求。选择的2M通道由其它网络提供（非监控网络）提供，并且2M通道具有环网保护功能。

建议使用带外DCN通道，应提供主备的DCN路由，或使用主备网关。建议选择2M通道传送DCN路由，常用的路由器型号有Quidway2501、CISCO2501、CISCO2522。带外DCN通道的实现基本同集中网管的实现方案。数据单板提供的DCN通道

MSTP数据单板提高的DCN通道

利用MSTP自带的数据单板，提供DCN传送通道。该方案适用于已有数据单板的网络，如果额外配置需要考虑费用的问题。该方案如果使用了被监控网络提供的业务通道，即使在网络业务有自愈保护的情况，也需要考虑DCN风险。从稳定性和安全性出发，建议尽量不采用局域网（公网或办公网）来传递ECC数据。带内DCN通道的调测使用DCC扩展和透传功能

关于DCC扩展功能的使用：目前OptiX设备，缺省使用D1~D3字节，使用DCC扩展功能可以使用D4~D12或D1~D12字节。

DCC透传功能的使用说明DCC新特性，支持D字节的透传和调配（交叉）。使用此功能，可以解决子网ECC分割后不能成环的问题。说明：两个子网的划分如左图。因NE-3不在Area1子网内，导致该子网的ECC不具有环保护的功能。在NE-3网元，使用DCC透传的功能，可以实现该子网具有成环倒换的功能。主备网关的使用

主备网关的使用对于与网管不在同一机房的ECC子网，使用主备网关网元，可以避免一个网关失效或DCN通道失效导致的网元无法监控的情况。在ECC子网仍能成环保护情况下的应用：可以选择一个主节点，再选择一个其它的网元作为网关网元。说明：如果可能，建议：分割后子网具有断纤后ECC自动保护，并且采用双网关，独立DCN路由的方法。主备网关的使用

在ECC子网不能成环保护情况下的应用：如果原来成环的网络，分割后无法再成环，采用主备网关也可以达到断纤后监控各网元的目的。原网络成环，在环上任一处断纤，都可以实现对所有网元的监控。可以在一个网关失效和断纤的情况下，仍然实现全网的监控。分割原网络ECC分割后，NE-A/B/C在一个子网内，通过主备网关，也可以实现断纤后的子网内网元的监控。ECC路由有保护无保护异常情况DCN路由中断，ECC正常DCN路由正常，ECC中断由备用网关重新登录网元需要的时间关闭子网之间的ECC连接关闭子网之间的ECC连接

关闭通过扩展ECC（自动/人工）实现的ECC子网之间的互通；关闭通过STM-N光/电口实现的ECC子网之间的互通。全网ECC的可靠性直接会影响到故障的处理。对于成环网络的ECC分割。为避免DCN失效影响故障的及时处理，建议同一段光路上，仅关闭离网管近的一侧单板的ECC。NE-A为网管机房说明：关闭离网管近的一侧单板的ECC，在远处DCN通道出现故障，而设备又出现故障时，打开ECC实现可对远端网络的监控。需要注意：两个子网合并后的网元数应控制在100个左右。分割举例示意网络如下图所示，网管与NE-A/NE1在同一机房。为了提升网络的维护质量、确保网络稳定运行，准备对该网络进行ECC的优化。分割举例示意1）划分ECC子网：各个ECC子网内的网元数，控制在建议的范围内。分割举例示意2）DCN路由的建立和调试：除与网管同一机房的网关采用直连方式外，其它远端的网关通过外部DCN通道连接。分割举例示意3）关闭ECC和验证测试：关闭各个ECC子网之间互通的ECC通道；关闭扩展ECC通道。检查各个网关网元所在子网内的ECC是否在目标范围内。并进行必要的验证测试。网上分割实例巨网分割带内DCN方案举例背景某国运营商全网400多个网元，由于没有ECC分割导致经常网元脱管、业务配置不下去、告警不能及时上报该运营商考虑到成本因素，一直没有自建的带外DCN网络，为解决ECC问题，推荐客户采用带内DCN方案，并充分利用现网各网元上的数据单板，构建带内DCN网络优势：成本低，几乎不需要增加任何新硬件设备，并可立即实施劣势：安全性和可靠性差NMSDCNNetworkDiagram:InitialDesign

PageLegend:OSN7500E1NMST2000Server(UNIX)CO2MainDCNNetworkHUBC02C03CNN3CO2CO3E1NMST2000Server(UNIX)CO3BackupFELANNetworkFEFEFEFEFEFEFEHUBHUBRouterRouterClientCClientA(XP)ClientB(XP)ClientDOSN3500