城域网路由组织及故障案例

城域网路由组织及故障案例束栋（CCIE15993）网络IP化宽带城域网宽带城域网，就是在城市范围内，以IP电信技术为基础，以光纤作为传输媒介，集数据、语音、视频服务于一体的高带宽、多功能、多业务接入的的多媒体通信网络；各个运营商都在不遗余力的大力发展宽带城域网,城域网向大传送网演进；EverythingOverIP向EverythingOverMPLS演进;Qos趋向轻载化、核心扁平化;承载网以太化。无论是路由器、交换机、基站、OLT/ONU、WDM、MSTP还是PTN，共同的发展趋势是倾向于采用成熟而低成本的各种速率以太网（Ethernet）接口。路由协议大容量城域网中大容量城域网中小容量城域网小容量城域网ISIS+BGP+MPLSOSPF多区域+EBGPOSPF单区域静态路由前期的城域网路由组织前期的城域网路由组织EGP路由EBGP核心设备、省网POP收缺省路由发汇聚MAN路由IGP路由OSPF路由核心、汇聚、接入核心、接入交换机核心、汇聚层（AREA0）汇聚层、接入层（AREAX，NSSA）总路由条目上万条问题分析双IGP协议并行NSSA区域问题IGP路由条目过多问题描述双IGP并行出现原因首先城域网设备层次不齐，不是所有的设备都有容纳全部的城域网路由（约一万两千条左右）的能力，因此，导致出现NSSA区域的划分；MPLSVPN业务的需求：每个PE都拥有其他PE的明细主机路由，在不对原先的OSPF做复杂的改造和配置的情况之下，只能选择运行双IGP路由。 问题每个设备都运行两套IGP路由协议，对设备的性能会造成一定的影响。两套协议大部分区域重合，对相同的链路以及地址，在两个IGP协议的LSDB中同时存在，消耗了设备的资源。维护人员需要同时维护两套IGP协议，增加了维护的工作量和难度。在某些情况下，会出现两个协议相互干扰或者选路不一致的情况，需要进行额外的过滤或设置才能避免问题的出现。问题描述NSSA问题由于NSSA区域具有STUB区域的特性，它主要是使用在单出口的区域上的一种OSPF区域类型。按照电信网络的要求，不可能每个区域只有一个出口，这样会在核心汇聚层面带来单点故障这样一个电信网络无法容忍的隐患。目前每个区域都有两台汇聚层设备来担当出口，既互为备份，同时又做负载均衡。虽然在两个出口的情况下，NSSA可以工作，但是两个NSSA的ABR路由器中只有一个会担当TYPE7LSA到TYPE5LSA的转换工作，导致两台ABR上面看到的路由类型不同，进而导致在做路由汇总的时候，出现无法在两台ABR同时进行汇聚路由的情况。其最终结果就是无法进行路由汇聚，无法有效的减少路由条目，城域网路由增长迅速。问题描述路由条目过多 IGP路由条目达到五位数。这样一个数量级的路由基本上都由OSPF在承载，这对于OSPF这样一个IGP协议来说，负担过重。城域网还在以非常快的速度增长，当前的路由架构已经不再适应IP城域网增长的趋势，而且当前的路由架构之下缺乏有效的特性和工具来抑止或减缓这样快速的路由增长。

路由优化目标总体目标设计合理的路由架构，保证它能够适应当前以及未来一段时间内的业务发展速度，满足网络快速扩张带来的路由增长的需求。新的架构力求清晰、扩展方便、维护简单综合考虑各种制约因素，采取合理的技术手段，有效的抑制或者减缓因网络快速扩张而快速增长的路由条目。 ISIS+BGP以接入层核心设备为界限，将城域网划分为两个路由层面：骨干层（核心、汇聚、接入核心）网络二层接入网络（前提：二、三层改造完成）在骨干层网络采用ISIS路由协议。核心汇聚以及接入层核心设备之间运行iBGP（MBGP）协议路由组织设备路由和用户路由分离，提高网络本身的健壮性和可控性。城域网内IGP路由采用IS-IS路由协议，只承载网络设备路由不承载用户路由用户路由采用BGP协议承载，在路由表层面和设备路由分离在业务接入层（包含）以上路由器皆启用IBGP路由协议，通过在单独设置路由反射器，构成城域网内的IBGP路由器的全闭合网络。设备网段由ISIS承载，用户网段由BGP承载全网设备互联地址和LOOPBACK地址加入ISIS路由域。ISIS城域网内选用Level1。进程统一命名，采用城市全拼或数字1NET采用如下形式：Area-ID.System-ID.00Area-ID:统一规划，南京为86.4660.0025IGP路由带宽MetricLoopback10040G11010G1202.5G1301G140FE150System-ID采用loopback0地址BCD编码方式。用十进制形式，每字节用3个十进制位表示，不足3位的空位补0。如loopback0地址为221.231.205.1，则SystemID为：2212.3120.5001ISISmetric设置为wide。ISIS相关参数优化BGP路由组织城域网用户网段由IBGP承载、长途骨干网发送EBGP默认路由给城域网、城域网汇总用户网段后以EBGP路由形式发送给长途骨干网；为便于实施和维护，提高扩展性，采用RR结构；提高BGP更新效率，避免BGP收敛时间过长；全网所有路由器间通过RR运行IBGP，对于GlobalIBGPPeering，用Loopback0作为BGP通信的源地址；对VPNIBGPPeering，用Loopback1作为BGP通信的源地址；路由安全和负载均衡RR的单独设置；RR对核心设备发送全网路由，对业务控制层设备仅发送默认路由；RR仅接收出口核心的默认路由；RR仅反射最优BGP路由，因此对于存在双设备接入的都必须要考虑负载均衡的实现；

虚拟下一跳1.BGP协议在选路时针对同一Prefix只能选出一条最优路由，则根据IBGP选路顺序，在Weight、LocalPreference、AS-path、OriginCode、MED均相同的情况下，根据ROUTER_ID大小进行选路，因此从源到目的流量只选择ROUTER_ID小的路由器，不能做到负载均衡。2.I路由器能够从A1/A2学到同样的路由，但因为所有的属性都一致，因此只选择A1发布的路由为最优（A1loopback地址小）虚拟下一跳VNH（虚拟下一跳）的原理1.A1/A2将BGP路由向RR发布时，将Next-Hop更改为一个VR的地址（VR为虚拟设备）2.并将VR的地址重新分布进IGP中，这样I设备看到业务路由的下一跳为VR

3.根据IGP负载均衡，I到VR有两条路径，分别到A1和A2，这样I就会分别将流量送到A1、A2其他Qos的尴尬；当城域网遇到Ddos；GE--2.5GPOS---10GPOS/10GE-----40GPOS-----100GE故障特点设计缺陷不可重现操作不当设备BUG网络结构缺陷产生的故障设备缺陷案例一部分设备对ISIS标准ISO10589的部分要求实施过分严格；部分设备ISISFullSPF收敛计算时间严格按照5秒规范；ISIS协议本身存在一定安全缺陷；导致部分丢包敏感业务频繁中断；ISIS协议Flooding过程的深刻理解；由此引出的ISIS和OSPF之争网络规模SPF运算频度安全性能可溯源性ISIS的非IP化可变长的TLV使ISIS轻松支持TE、IPv6、GR/NSFISIS的PRC特性OSPF中部分LSA引发FullSPF收敛速度平滑演进从纯粹的算法实现来看，两者不相上下单Area可容纳的节点数量ISIS完胜多Area多出口ISIS需要额外配置ISIS中任何IS均可清除任何LSP，OSPF中只有始发Router才可清除LSA操作不当案例新业务部署过程中，方案考虑不周；IP网络具有全网关联性强的特点，一个局部的、细微的、不当配置可能导致影响整个网络安全运行；慎用、少用、不用redistribute；设备缺陷案例二VPN技术在IP网上被广泛使用；窄带VPDN主要经历了三个过程：1、用户终端与LAC建立PPP连接；2、LAC与LNS之间建立L2TP连接；3、用户终端与LNS建立PPP连接。某厂家设备作为LAC前两个阶段协商报文的源地址采用了公网业务地址，但由于版本缺陷，其第三阶段协商报文的源地址采用了私网管理地址。全网对私网IP地址做了uRPF。操作不当+设备缺陷不当参数触发隐藏命令，导