中国移动IP承载网课件

Page1中国移动IP承载网架构及路由部署HUAWEITECHNOLOGIESCO.,LTD.中国移动IP承载网三期扩容及地市延伸项目组Page2

网络总体架构规划

IGP协议规划

BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站点接入方案网管安全网络规划篇Page3中国移动IP承载网发展历程一期：按平面组织业务，采用APDP＋接口备份保障可靠性，除软交换网管业务外其余业务均通过IP承载。承载网设备以8011（NE80NE40）设备为主二期：网络结构仍然按平面组织严格保证高冗余度，而业务流量按照距离远近进行组织；采用IGP快速收敛＋TEFRR保证高可靠性；所以业务均通过MPLSVPN引导。承载网设备以8090（NE80ENE5000E）为主三期：对承载网骨干网进行带宽扩容结构调整；沿用二期的高可靠性技术和路由组织方式；对二期的路由反射做了调整。一期、二期、三期均为汇接网承载中国移动省际长途话音(信令，媒体)业务，一期、二期均为华为设备三期新增无锡两台思科设备作为BR/ARIP承载网省内延伸：目前正在建设中,建设目标：将省内分散的小网（如G9）全部整合到骨干汇接网上，形成一张全国统一的具有唯一自治域的IP承载网；省内延伸为多厂家联合组网Page4中国移动IP承载网一期AR接入CR采用V－Homing的方式软交换系统（UMG,SS）采用单归的方式接入到ARCR之间采用对称的完全网状连接方式SoftX3000UMG8900SoftX3000NE40-8NE80网管中心N2000/NSC/NDAVPNManage/QoSManagerrNE40-8UMG8900UMG8900UMG8900NE40-8NE80UMG8900SoftX3000NE80NE40-8NE80NE40-8NE40-8NE40-8NE40-8Page5中国移动IP承载网一期－业务组织模式非对称的业务组织模式：核心层网络两个平面分别面向不同的业务承载需求设计，其中：平面A主要承担“软交换汇接网”业务；平面B承载软交换网管业务，平面B同时具备对平面A进行备份的容量和能力。

软交换网管业务通过MPLSVPN方式实现转发，“软交换汇接网”业务通过传统IP方式实现转发通过IGPMetric的设计，MPLSVPNTunnelLSP全部架构在平面B上；通过在接入路由器上实施“弱策略路由”技术，“软交换汇接网”业务首选平面A作为其承载平面，当平面A出现故障时，通过“快速重路由”和IGP的收敛，“软交换汇接网”业务可以完成向平面B的倒换。Page6骨干网之间的IGP选用ISIS协议，整网ISIS跑在Level2上，通过设置ISIS的COST值实现普通流量从B平面走，这样MPLSVPN的流量会相应从B平面走。(这是IGP的选路，但是通过使用弱策略路由使软交换业务正常情况下跑在A平面)同时通过和接口备份的配合，实现当A平面两CR之间链路中断后，流量会导入B平面，当B平面中断时流量在B平面内部迂回Metric类型参考值CR1之间130CR2之间100CR1-CR2250AR-CR11000AR-CR2800一期网络路由方案Page7弱策略路由区别与普通策略路由在于策略路由指定的下一跳不可达时，能够按照正常的路由表转发本次工程中的弱策略主要用在将各地接入的软交换流量导入到A平面，同时在A平面链路中断时按照正常的路由转发走B平面；同时为了提高流量切换时的速度，采用接口备份的方式将流量迅速导入B平面弱策略路由在AR设备上启用APDP&接口备份在A平面的CR设备上启用一期平面倒换：弱策略路由＋APDP&接口备份Page8中国移动IP承载网二期整网拓扑结构核心(CR)节点：对称的不完全网状连接接入(AR)节点：按平面通过口字型连接到核心层Page9中国移动IP承载网二期核心节点设计在北京、上海、广州、沈阳、南京、武汉、成都和西安8个城市分别配置2台核心路由器（CR），构成8对核心节点核心节点CR之间采用对称的不完全网状连接方式；根据传输光缆的实际走向及彼此业务的相关性，任何1对同城市的核心节点CR

路由器至少与2对其它城市核心节点的CR路由器相联；在每对核心节点CR1、CR2之间建立互联链路北京沈阳西安南京上海武汉成都广州Page10中国移动IP承载网二期AR到CR连接设计存在核心节点的省份（广东除外）以及吉林黑龙江和海南采用方式一其它绝大多数省份采用方式二（云南贵州重庆天津安徽浙江江西湖南广西河南山东河北山西内蒙宁夏西藏甘肃）福建采用方式三（福州和厦门各设置一个AR）新疆和青海由于传输原因采用方式四广东地区由于业务量大的原因采用方式五CR1AR1CR2AR2CR1AR1CR2AR2AR1CR2AR2CR1CR1CR2AR1AR2AR1AR2方式一方式二方式三方式四CR1AR1CR2AR2方式五AR1AR2AR1AR2AR1AR2西宁乌鲁木齐Page11中国移动IP承载网三期整网拓扑结构广东省在广州、深圳分别设立独立BR设备，由二期的两层结构改为三层结构，江苏无锡、山东青岛、辽宁大连分别增加一对BR/AR设备Page12A类大区省份（广东）CR/BRBRAR

B类大区省份（除广东外的其它大区省份）CR/BRBR/AR(辽宁大连，江苏无锡)AR非大区省份BR/ARAR移动IP承载网三期设备角色Page13网络组织原则在现阶段网络仍采用单一自治域（AS）方式进行网络组织；网络层次结构网络长期发展定位于核心、汇聚和接入三层结构；在现阶段，为保证网络结构的简洁和效率，原则上各省内网络延伸部分应暂定位于二、三层混合网络，即：核心节点所在省尽量采用“核心/汇聚＋接入”的混合结构，其它省尽量采用“汇聚/接入＋接入”的混合结构；网络拓扑结构基于“中国移动IP专用承载网二期扩容改造第二阶段工程”所形成的基础结构，采用非对称的网络拓扑结构；网络协议网络域内路由协议采用IS-IS；业务疏通组织原则全网统一采用BGPMPLSVPN方式进行业务疏通组织；

服务质量保证（QoS）全网建立基于容量规划、Diffserv/E-LSP和业务接入控制的服务质量保证（QoS）体系；可靠服务机制在全网部署IGP/LDP快速收敛功能，并在核心层网络部署LDPOverRSVP及MPLSTEFRR链路保护功能，实现在故障情况下话音等实时业务的快速恢复；IP地址规划全网按照统一IP地址规划方案进行部署；移动IP承载网三期及省内延伸Page14中国移动IP承载网三期整体结构图UMGsoftswitchUMGFull-MeshMP-IBGPISISDomainRSVP-TEMP-IBGPMP-IBGPVPNRRLDPOverRSVP-TELDPLDP主TunnelBypassBypassTEFRRShortcutOSPFLevel－2VRRPVRRPOSPFUMGOSPFsoftswitchVRRPMCEOSPFVRRP信令媒体T局接入方式一：媒体：主备信令：主备BFDBFDIPFRR端局接入方式媒体：负载分担信令：SCTP多归属T局接入方式二：媒体：主备信令：主备Page15

网络总体架构规划

IGP协议规划

BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站点接入方案网管安全网络规划篇Page16IP地址规划总体原则1、省级软交换业务采用10.0.0.0/16网段；但限定在10.0.127.255以内，10.0.128.0~10.0.255.255作为预留2、Loopback接口地址采用公网地址：221.130.208.0-221.130.223.255/323、IP承载网路由器（CR、BR、AR）设备互连地址采用10.1/16~10.7/16地址段

10.1.1/24~10.1.16/24为CR地址段，10.1.24/24~10.1.127/24为BR地址段，

10.1.128/24~10.7.255/24为AR地址段4、地市延伸以后总体上采用CR、BR、AR三级结构，但是除广东的CR、BR、AR完全采用不同设备以外其他许多局点都是CR兼作BR或者BR兼作AR，在分配地址的时候CR兼作BR的路由器按照CR来分配，BR兼作AR的路由器按照BR来分配。Page17IP地址规划核心思想－节点号1、节点号是移动IP承载网项目IP地址规划的最核心元素2、全网的CR、BR、AR设备都有自己的节点号3、对于互连地址，节点号体现在第二和第三个字节；对于loopback地址，节点号体现在第三和第四个字节亮点：角色决定地址，方便网络维护与故障排除Page18节点号10.1.1.X221.130.208.11：208；2：209；3：2104：212；5：213Thesame数字相同MustBe不改变互连地址Loopback地址节点号在地址中的体现Page1910.N1.N2.X固定值互连设备中的小节点号同级设备互连：从小到大分配CR-BR（BR/AR）CR/BR-AR:从大到小分配BR(BR/AR)-AR:从小到大分配（从.8/30开始分配）节点号小的设备侧分配奇数互连地址分配原则Page20中国移动IP专用承载网域内路由协议继续采用IS-IS，CR、CR/BRBR、BR/AR、RR、AR等路由器均属于ISISLevel2；IP承载网CR/BR、CR、BR、BR/AR、RR、AR的Loopback地址和内部互连地址由IS-IS统一承载，IS-IS不承载其它路由。ISIS采用快速收敛技术,端到端收敛时间在2s以内

NET规划NET格式为：区域号.SystemID.00区域号：为统一的编号，采用国家编码＋各地电话号码区号的的方式，如北京地区为：86.0010SystemID：根据Loopback地址设置SystemID，某设备Loopback地址如下：10.23.34.5

0100.2303.4005

最终，该设备NET值为：86.0010.0100.2303.4005.00ISIS总体规划Page21CR之间流量疏导尽量保证只通过核心节点间链路进行疏通BR之间流量疏导优选通过汇聚节点间链路疏通次选通过核心节点间链路疏通

AR之间流量疏导

优选通过接入节点间链路疏通（目前不同局点AR之间没有直连链路）

次选通过汇聚节点间链路疏通再选通过核心节点间链路疏通流量路径规划－流量疏导原则Page221遵循流量疏导原则传输距离较短的路径跳数最少的路径4尽可能不出现等值路径5流量优先从底层穿越Metric规划原则Page23

中国移动IP承载网Metric设计原则遵照路由器角色(CR.BR.AR)和实际两点间的传输距离来规划，两城市间的传输距离选择最短的传输路线，比如，上海到广州存在两条路线的情况下，根据较短的路线计算，两城市间实际的传输距离(单位：公里)除以20的数值（取整数）作为Metric值

CR路由器之间在距离的基础上加权值5BR路由器之间在距离的基础上加权值3AR路由器之间在距离的基础上加权值1

同城同类设备之间的距离值为2CR与BR路由器之间在距离的基础上加权值500

Metric规划（二期）Page24Metric规划（三期优化）二期网络仍然存在等价路径的情况地市延伸后将会增加AR-BR和AR-AR的互连链路，二期中的CR-CR之间BR-BR之间的Metric。权重值太小难以保证地市延伸后AR端到端不出现等值路径。

类型代表符号参考值不同大区CR间链路A300＋传输距离BR到CR链路B5000＋传输距离AR到BR链路C300＋传输距离同省BR间链路D300-[1,n]同城AR间链路E不同省在不同范围内依次递增不同省不同城BR间链路接F5000+传输距离同省不同城AR间链路E’250＋传输距离同大区CR间链路A’300+[1,n]Page25省市节点数AR间Metric范围北京31－5上海26－10广东2411-40辽宁1341－60陕西1061－80湖北1181－100江苏13101-120四川20121－150黑龙江12151－170吉林8171－180海南1181－185其它省市-1－30ARARARARBR/ARBR/ARCRCRCRCRA’1A’1B1B1B2B2C1C1E1A1A2DE2(A1,A2)>D>(E1,E2)如果E1=E2,不同地市的不同平面AR之间互访会出现等值路径三期Metric规划（AR之间Metric规划）Page26

网络总体架构规划

IGP协议规划

BGP（VPN）规划

网络服务质量保证（QoS）高可靠性方案软交换站点接入方案网管安全网络规划篇Page27说明：北京上海广东三地各有两台NE40作为VRR，同省两台AR设备与就近大区的两个VRR建立邻居关系，经过整改后每个AR与另外大区的一个VRR新建邻居关系进行VRR的异地容灾BJCR2BJCR1SHCR2SHCR1GZCR2GZCR1SHAR2SHAR1BJRR2BJRR1GZRR2GZRR1SHRR1SHRR2物理链路BGP对等体关系RR部署-二期VPNRR部署Page28

随着省内延伸工程的建设，中国移动IP专用承载网中的PE路由器将扩展至600

多台，北京、上海、广州设置的3对VRR路由器在性能上存在一定的可扩展性风险

根据网络拓扑结构，重新规划路由反射簇（RouteReflectorCluster），每个

VRR路由器单独为一个路由反射器，采用分区覆盖方式构成16个MP-iBGP路由反射簇，每个省分别归属于直接上联的CR设备所属的2个Cluster中，16台VRR之间构成FullMeshMP-iBGP连接。为保证省内业务稳定，不受省际链路故障的影响，对于非大区省，其本省的BR

或BR/AR设备同时作为本省的VRR，仅与省内的AR建立MP-iBGP邻接关系，构成1

个省Cluster；即各非大区省的AR节点既作为骨干VRR的Client又作为本省VRR的Client。RR部署–三期整改Page29广东省广州BR、深圳BR，辽宁大连BR、江苏无锡BR、山东青岛BR、江苏南京CR/BR、辽宁沈阳CR/BR所汇接的本省地市区域，看作独立的省。北京、上海、陕西、四川、湖北省以及辽宁沈阳、江苏南京、山东济南区域，上述省市或区域AR只与本大区RR1、RR2建立Peer关系。除青海、新疆外，其它省（包括广东广州、广州深圳、辽宁大连、江苏无锡、山东青岛区域）AR与BR所连接CR上的RR建立Peer关系，反射全网VPN路由，本省BR作为省内地市AR的RR，防止省内BR上行连接CR链路同时中断时影响省内业务，省内两台BR间建立Peer关系。青海和新疆两个省的AR与西安RR1、上海RR1建立Peer关系，本省BR作为省内地市AR的RR，防止省内BR上行连接西安CR和兰州BR链路同时中断时影响省内业务，省内两台BR间建立Peer关系。RR部署–三期整改Page30BJAR1BJAR2NMAR2非大区省份（内蒙）NMAR大区省份（北京）BJCR1BJCR2XACR2BJRR1BJRR2XARR2物理链路BGP对等体关系说明：全网八大区每个大区两台RR，每台RR均为独立的Cluster.全网一共16个Cluster骨干RR之间建立full-mesh邻居关系RR部署-三期核心VRR部署Page31物理链路BGP对等体关系骨干RR之间建立full-mesh邻居关系非大区省份(内蒙)XACR2NMBR1NMBR2NMAR1NMAR2BJCR1BJRR1XARR2说明：为了保证所有BR-CR上行链路同时发生故障时不影响省内业务，将BR设备兼做AR的VRR反射省内业务RR部署-BR兼做省内VRR部署Page32MPLSVPN－RD、RT规划RD规划：对于业务系统单归接入的方式同一个VPN内不同PE采用一个RD业务系统双归接入到两个PE时同一个VPN中在两个PE上设置不同的RD值RT规划：对每个VPN分配2个RT值，第一个等同RD，第二个为RD值加1，以满足各种不同类型VPN的需求Page33RD规划－双归组网中RD相同如果VPNv4路由通过RR进行反射,RR会将路由进行优选后再反射给远端PE,远端PE在VRF中只有一条路由1回程流量会压到一个PE设备上，不能形成负载分担2下一跳设备出现故障时，路由不能快速切换VPN-v4update:

RD:24059:200:10.200.0.10/28,

Next-hop=PEB-1VPN-v4update:

RD:24059:200:10.200.0.10/28,

Next-hop=PEA-1PPPPPEA-1PEB-2PEB-1PEA-2CE1CE2VPN-v4update:

RD:24059:200:10.200.0.10/28,

Next-hop=PEB-1VPN-v4update:

RD:24059:200:10.200.0.10/28,

Next-hop=PEA-1(Best)RR10.200.0.10/28Page34

网络总体架构规划

IGP协议规划

BGP（VPN）规划

网络服务质量保证（QoS）高可靠性方案软交换站点接入方案网管安全网络规划篇Page35QoS体系结构Classification&MarkingTrafficPolicing&TrafficShappingCongestionManagementCongestionAvoidancePage36QoS总体设计方案网络设计

根据话务流量模型规划中继链路容量，尽量避免网络拥塞（轻载）

为核心链路设计可预知的备份路径Diff-serv/E-LSP技术

网络边缘流量控制技术（CAR/Shaping），降低骨干链路拥塞的概率基于网络边缘业务接入的标识（DSCP），进行队列调度在MPLS域，将DSCP映射到EXP,基于EXP进行队列调度，采用E-LSP方案在CR设备上，将LDPEXP映射到RSVP-TE的EXP.Page37IP承载网带宽使用策略端口带宽语音NC

信令网管其它网络按照NC业务和语音信令业务总和规划带宽NC和信令业务严格优先保证，不限制带宽使用上限语音业务可以抢占带宽，但是不超过其上限，其带宽可供其它业务使用网管和七号信令检测等其它业务在剩余带宽中按照权重比进行分配其它业务尽力转发Page38IP承载网QoS设计方案ClassNamePHBDSCPEXPCIR(%)PIR(%)QueuePolicing&Shaping媒体流EF1011101011090PQ路由协议CS61100001105100PQ信令流CS61100001105100PQ软交换网管AF2101000101010100WFQ七号信令监测AF2101000101010100WFQCAR数据业务监测AF2101000101010100WFQCARPage39Classification&Markingaclnumber3000rule5permitipsource10.0.109.00.0.0.127aclnumber3001rule5permitipsource10.0.38.00.0.0.255aclnumber3002rule5permitipsource10.0.37.00.0.0.255#trafficclassifier3001operatororif-matchacl3001trafficclassifier3002operatororif-matchacl3002trafficclassifier3000operatororif-matchacl3000trafficbehavior3001remarkdscpcs6trafficbehavior3002remarkdscpeftrafficbehavior3000remarkdscpaf21trafficpolicyCtrl

#trafficpolicyCtrlclassifier3001behavior3001trafficpolicyCarryclassifier3002behavior3002trafficpolicyManagerclassifier3000behavior3000#interfaceEthernet2/1/0traffic-policyCtrlinboundACLTrafficClassifierTrafficBehaviorTrafficPolicyInterfacePage40TrafficPolicing&TrafficShapping&Congestion.ManagementTrafficPolicing:trafficbehavior3003remarkdscpaf21carcir54000pir54000cbs54000pbs54000greenpassyellowpassreddiscardTrafficShaping(8011):qosqueueaf2cir100000length256qosqueueefcir1500000length256weight1qosqueuecs6cir200000length256CongestionManagement&TrafficShaping(NE80E&NE40E):qosqueuebecircir-percentage0outboundqosqueueefpirpir-percentage90outboundqosqueueaf2circir-percentage10outboundCongestionManagement&TrafficShaping(NE5000E):

qosqueueaf2circir-percentage10outbound qosqueuecs6circir-percentage5outboundqosqueueefcircir-percentage80outboundPage41

网络总体架构规划

IGP协议规划

BGP（VPN）规划网络服务质量保证（QoS）

高可靠性方案软交换站点接入方案网管安全网络规划篇Page42高可靠性技术体系主路径快速检测流量快速切换到临时路径网络快速收敛并将流量切换到次优路径PEPEPPPPPPPage43中国移动IP承载网高可靠性技术快速检测:PoS告警

BFD快速切换：

MPLSTEFRRIPFRR快速收敛：

ISISFCVPNFC

Page44PoS告警敏感－快速检测PoS链路故障没有配置PoS告警敏感的情况下无法快速感知需要等待PPPKeepalive超时告警信号：LaisLrdiPais等告警信号：LaisLrdiPais等配置PoS告警敏感的情况下一旦收到告警信号快速将端口置为Down告警信号：LaisLrdiPais等告警信号：LaisLrdiPais等Page45PoS告警敏感配置和链路故障显示配置：interfacePos6/0/0alarmlrdisensitivealarmprdisensitivealarmpaissensitive

显示：<NE80E>disintPos6/0/0Pos1/0/2currentstate:UPLineprotocolcurrentstate:DOWN……

SDHalarm:

sectionlayer:nonelinelayer:nonepathlayer:PAISPRDI

SDHerror:sectionlayer:B164linelayer:B24290REI1269119pathlayer:B3395467221079

Page46BFD－快速HelloBFD（BiDirectionForwardingDetect：draft-ietf-bfd-v4v6-1hop-02.txt

）每个报文不超过100Byte，对带宽的占用低于100Byte×100/s×8bit/Byte=80000bit/s=80Kbps报文发送靠接口板上的NP进行处理，无需主控板CPU参与，对系统性能无影响单跳BFD通常与IGP以及IPFRR联动，多跳BFD通常与BGP以及VPNFRR联动BFDHello报文单跳BFD多跳BFD以ms级时间间隔发送BFDHello报文传输/交换网以ms级时间间隔发送移动IP承载网端局接入采用了BFD技术Page47IPFRR目标网络最优路径次优路径FRR路径正常情况下，数据包走最优路径当最优路径故障，入口路由器一旦感知到故障（可以通过PoS告警以及BFD等技术进行快速检测），立即把数据包通过预先设置好的FRR路径转发与此同时，路由会进行重新收敛，转发表项更新，FRR使命结束，数据包通过收敛后的路径进行转发移动IP承载网端局接入采用了IPFRR技术Page48MPLSTE的四大组件MPLS流量工程主要包括四大组件：信息发布组件路径计算组件信令组件（或称路径建立组件）报文转发组件四大组件可以保证流量基本转发。MPLS流量工程还支持一些高级的特性，来丰富基本功能。FRR（FastReroute）隧道的备份（Backup）带宽的自动调整（AutoBandwidthAllocation）路径的重优化（Reoptimum）Page49TE路径建立－严格显式路径

所谓的严格显式路径，就是下一跳与前一跳直接相连。通过严格显式路径，可以最精确地控制LSP所经过的路径。主路径：

explicit-pathto_gzcr1_mainnexthop10.1.5.21Bypass路径：

explicit-pathto_gzcr1_bypassnexthop10.1.9.6nexthop10.1.7.5nexthop10.1.5.17Page50MPLSTE报文转发组件MPLSTE报文转发组件是基于标签的，通过标签沿着预先建立的LSP进行报文转发。如何把流量引入到MPLETE隧道中：静态路由（StaticRoute）自动路由（AutoRoute）转发捷径（Shortcut）转发邻接（ForwardingAdjacency）策略路由（PolicyRoute）中国移动IP承载网采用了自动路由(shortcut)的方式。Page51MPLSTEFRR（ShortCut）IP/MPLSCOREPPEPEPEPEPPPMPLSTEDOMAINLinkProtection主用路径次优路径主用TE备用TE临时路径TE隧道发起端采用IGPShortcut方式，只有TE发起端能够感知和使用TE隧道，TE的Metric小于物理链路Metric

如果主用路径故障，首先通过TEFRR切换到备用TE（50ms级别，p路由器不需收敛），保证IGP收敛过程中流量不中断，等待AR路由器端到端收敛到次优路径Page52MPLSTEFRR（ForwardingAdjacency）IP/MPLSCOREPPEPEPEPEPPPMPLSTEDOMAINMGWMGWLinkProtection主用路径次优路径主用TE备用TETE隧道发起端采用ForwardingAdjacency方式，将TE作为逻辑链路引入了IGP，网络所有节点感知，TE的Metric小于物理链路主用TE故障情况下，流量切换到备用TE（50ms），PE路由器IGP不再收敛。Page53iSPFPRC智能定时器BGP(VPN)FCAR－AR端到端故障保护（ISISFCBGPFC）Page54IGP快速收敛iSPF：增量SPF计算。除第一次计算时需要计算全部节点外，每次链路的变化只计算受到影响的部分并能保证最短路径树（SPT）的完整。

PRC：部分路由计算，常常与iSPF结合在一起工作，如经过iSPF计算后SPT发生了改变，此时由PRC来更新变化的节点上的所有叶子即可。路由器代表节点路由器宣告的路由代表叶子Page55IGP快速收敛LSP快速扩散：收到LSP后，快速将LSP扩散出去LSP生成智能定时器：发生链路变化后，快速生成新的LSP并发送出去SPF智能定时器：timerspfmax-interval[initial-interval[incre-interval]]Page56BGP快速收敛：（Next-HopAddressTracking）PEPEP路由收敛软交换VPNRD:100:110.1.1.0/24软交换VPNRD:100:110.1.2.0/24RIB:1.1.1.1/24NH:E0BGPVPNv4100:1-10.1.1.0/24NH:1.1.1.1Loopback0:1.1.1.1E0NHTRIB:2.2.2.2/24NH:E1BGPVPNv4100:1-10.1.1.0/24NH:2.2.2.2Loopback0:2.2.2.2E1NHT技术通过IGP与BGP的联动（IGP的变化信息及时的通告给BGP）加快了BGP路由的收敛速度Page57中国移动IP承载网的ISIS-FC配置如下：isis1timerlsp-generation1level-2flash-floodlevel-2timerspf1100100

缺省值SPFLSP-GenerationMaximum-interval10s5sInitial-wait100ms50msIncremental-interval5s5sPage58VLANDamping特性是专门针对本次工程中软交换UMG设备的主备GE口问题。UMG的主备GE口一个主用一个备用，两个GE接口对应1个IP地址，对AR来说需要将这两个接口划到一个VLAN中，但是UMG主备GE口倒换的时候会存在一个两个端口同时Down掉的瞬间，而NE40侧的VLAN会随之Down掉再恢复，这个时间较长（秒级）。VLANDamping特性可以设置VLAN在多长时间内，即使VLAN内所有端口都Down掉VLAN仍能保持UP，本次工程Damping时间统一设置为3VLANDamping（华为私有）Page59链路捆绑负载分担（IP-Trunk/Eth-Trunk）优点：通过设置门限，可以保证在捆绑的链路总带宽小于门限时将IP-Trunk(Eth-Trunk)接口Down掉，流量收敛到其他链路。避免了带宽不足时流量依然拥挤到这条链路上。节省IP地址。可以很灵活的进行带宽的按需扩展。业务流业务流业务流业务流链路捆绑PoSIP-Trunk缺点：目前存在Hash不均匀的问题如果协议报文Hash到质量不好的成员链路上，协议将发生中断成员链路链路层down的信息不会打印LogEthEth-TrunkPage60

网络总体架构规划

IGP协议规划

BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案

软交换站点接入方案网管安全及其它网络规划篇Page61UMG1CR1CR2S3526-1S3526-2SS1AR1UMG2S3526-1S3526-22631ESS2AR22631E3526C3526CMediaSGNMSVRRP主VRRP备VRRP主VRRP备T局接入方式一拓扑(除海口、银川、西宁、拉萨外的所有局点)Page62UMGCR1CR2S3526-1S3526-22631E3526CAR1AR2MediaSGNMSVRRP主VRRP备VRRP主VRRP备T局接入方式二拓扑(海口、银川、西宁、拉萨四局点)Page63

UMG和AR路由器直连连接，在AR路由器上通过null0的静态路由将媒体网段汇聚，在媒体VPN中发布该网段，大部分局点都是按照25位的地址段进行汇聚，广东由于业务量较大在扩容后除了原来的25位地址段之外还发布了新的地址段UMG1CR1AR1iproute-staticvpn-instanceChinaMobile_NGN_Media10.0.1.0255.255.255.128null0preference200bgp24059ipv4-familyvpn-instanceChinaMobile_NGN_Medianetwork10.0.1.0255.255.255.128T局路由组织方式——媒体Page64T局路由组织方式——信令软交换设备分别连接到两台交换机3526E上，3526E和AR路由器之间启用OSPF协议，两台3526E启用VRRP协议，3526-1为主，3526-2为备，正常情况下信令流量上行至3526-1，AR上在信令VPN中下发强制缺省路由使信令流量能够上行至AR；在3526E上的OSPF中引入直连路由，AR通过OSPF学到25位的信令网段，然后在信令VPN中发布该网段，另外AR上还配置了优先级为200的25位null0静态路由UMG1CR1S3526-1S3526-2SS1AR1VRRP主VRRP备OSPFospf1vpn-instanceChinaMobile_NGN_SGdefault-route-advertisealwaysbgp24059ipv4-familyvpn-instanceChinaMobile_NGN_SGnetwork10.0.2.0255.255.255.128iproute-staticvpn-instanceChinaMobile_NGN_SG10.0.2.0255.255.255.128null0preference200Page65端局路由组织方式——网管软交换设备连接到交换机3526C上，在3526C上通过静态默认路由使网管流量能够上行到R2631，R2631上通过静态默认路由使网管流量能够上行到AR；在AR路由器上通过静态路由学到网管业务网段（目的网段为26位，下一跳为R2631路由器），然后在AR上网管VPN中发布该网段；R2631上通过静态路由学到网管业务网段下一跳为3526CCR1UMG1AR13526Cbgp24059ipv4-familyvpn-instanceChinaMobile_NGN_NMSnetwork10.0.103.0255.255.255.192iproute-staticvpn-instanceChinaMobile_NGN_NMS10.0.103.0255.255.255.19210.0.103.33iproute-static10.0.103.0255.255.255.22410.0.103.50preference60iproute-static10.0.103.40255.255.255.24810.0.103.50preference602631Eiproute-static0.0.0.00.0.0.010.0.103.34preference60Page66多实例OSPF与MP-BGP路由交互PE-1PE-2CE1CE2MPLSCOREOSPFSuperbackboneOSPFArea10OSPFArea100Type1/2/3LSAVPN-v4update:

RD:24059:201:10.200.0.10/28,

Next-hop=PE-1

ExtendedComm.RT,OSPFRouteType,OSPFdomainIDtype3LSAType5/7LSAtype5/7LSA本端PE将多实例OSPF路由发布（Import/Network）到MP-BGP中时会通过扩展团体携带OSPFRoute-Type,Domain－ID等参数远端PE收到BGP路由后，会将本地的Domain-ID和接收到的值进行比较，若相同，在将BGP路由引入多实例OSPF时，会将原始OSPF路由进行还原（还原时自己变成LSA的始发者），Type1/2/3LSA还原成Type3LSA；Type5/7LSA还远程Type5/7LSA在进行LSA还原时，Type3LSA通过DN位进行环路避免，Type5/7LSA通过Route-Tag进行环路避免在MCE上，通过命令vpn-capability-simpleenable取消环路检测功能Page67媒体模块端局接入拓扑MGW/SSARPE1ARPE2IGP/MPLSCE-1CE2多实例OSPF多实例OSPFGEGEPOSGEBackbone多实例OSPF信令模块信令工作在SCTP模式下媒体流工作在负载分担模式CE与PE之间运行OSPF多实例一条物理连接，通过两个子接口区分媒体和信令业务，分别绑定到媒体和信令VPN实例中媒体信令Page68端局接入参数规范（部分）参数项最终取定值备注Cost值参考带宽10GCost=10G/链路带宽Hello间隔1sPE－CE必须一致Holddown4sPE－CE必须一致VPN路由策略只把软交换端局的汇聚路由发布到VPN汇聚路由网段由软交换厂家提供给IP承载网AR到CE路由策略T局节点：下发缺省路由及10.0.0.0/8给CE

其它节点：下发细化路由和缺省路由给CE1：通过OSPFsummary功能产生并下发10.0.0.0/8汇聚路由给CE

CE到AR路由策略CE向AR发布细化路由＋汇聚路由互联端口模式802.1Q不同厂家互通时关闭自协商功能Frame-Relay(PoS)华为设备不支持以太网多链路捆绑静态捆绑华为公司采用ETH-TRUNK方式Page69信令模块端局路由组织方式－信令MGW或者MSCSERVER/HLR备主信令接口工作为SCTP双归属方式，信令接口故障检测机制是基于SCTP检测，信令接口通过SCTP检测主用路径的可用性，出现故障则切换到备用路径。在CE上将直连信令端口引入到OSPF。在CE上配置本平面信令网段的聚合黑洞静态路由，并引入到OSPF中（E1）在CE侧启用忽略环路检测功能在PE的BGP多实例中发布两条信令聚合路由在PE的OSPF多实例中引入BGP路由，并进行ASBR聚合主用SCTPARPE1ARPE2IGP/MPLSCE-1CE2多实例OSPF多实例OSPFGEGEPOSGEBackbone备用SCTPPage70端局路由组织方式－媒体媒体接口工作为负载分担模式下CE与UMG之间采用BFD(主接口启用BFD,子接口绑定到媒体VPN实例)进行快速故障检测，并在CE之间启用IPFRR进行媒体流快速倒换在CE上将直连媒体端口引入到OSPF。在CE上配置本平面媒体网段的聚合黑洞静态路由，并引入到OSPF中（E1）在CE1上配置静态路由，目标地址位IP4所在网段，下一跳为IP2,采用默认优先级，并引入OSPF;在CE2上配置静态路由，目标地址位IP2所在网段，下一跳为IP4,采用默认优先级，并引入OSPF.在CE上启用OSPF忽略环路检测功能在PE的BGP多实例中发布两条媒体聚合路由在PE的OSPF多实例中引入BGP路由，并进行ASBR聚合ARPE1ARPE2IGP/MPLSCE-1CE2多实例OSPF多实例OSPFGEGEPOSGEBackbone多实例OSPFIPFRRBFDBFDIP1IP2IP4IP3Page71

网络总体架构规划

IGP协议规划

BGP（VPN）规划网络服务质量保证（QoS）高可靠性方案软交换站点接入方案

网管安全网络规划篇Page72网管中心拓扑BJNMS-AR1BJ-CR1BJ-CR2BJNMS-AR2IP承载网ISISS8505-1S8505-2R3680-1R3680-2软交换网管系统软交换维护终端ISISISIS静态静态静态DMSD2610维护中端静态静态ISIS&LDPISIS&LDPISIS&LDP公网数通网管VPNNGN网管VPNPage73网络安全设备内部安全:CPCAR,对所有上送CPU处理的报文进行限速，防止对设备本身的DoS攻击所有协议均启用MD5认证，防止路由协议的DoS攻击PE针对于每个VRF路由表进行路由条目数量限制，以避免可能来自用户网络的海量路由攻击对该PE的不良影响与其它网络（如CMNET）对接时,在边界部署防火墙，防止受到来自其它网络的攻击Page74广州AR3/AR4结构调整割接

海南BR1替换割接

成都CR结构调整割接

割接案例篇Page75广州AR3惠州AR2440深圳AR4深圳AR3佛山AR25190740250015001广州AR4广州BR1广州BR2广州CR1广州CR2深圳BR1深圳BR2佛山AR1惠州AR12802794403000300010G2.5G155M上海CR2割接前拓扑Page76广州AR3440深圳AR3佛山AR25190740250015001广州BR1广州BR2广州CR1广州CR2深圳BR1惠州AR1惠州AR228027944010G2.5G155M上海CR2301301佛山AR1深圳AR4广州AR4深圳BR2割接目标拓扑图Page77广州AR3割接思路及步骤（部分）为了保证割接的平滑，把广州AR3到广州BR1之间的链路连通，配置ISIS，MPLS等数据。观察各个表项，状态正常后将广州AR3-广州CR1之间的链路断开1按照脚本配置广州AR3-广州BR1之间链路的相关数据。检查相关表项（ISISPeer,MPLSLDPPeer，IPRouting-Table等）确认2中的状态正常后将广州AR3-广州CR1之间的链路断开割接思路（步骤）有问题吗？注：广州AR3/AR4割接前，佛山AR1/AR2,惠州AR1/AR2已经按照上面的思路进行了类似的结构调整割接。割接顺利。Page78广州AR3440深圳AR4深圳AR3佛山AR25190740250015001广州AR4广州BR1广州BR2广州CR1广州CR2深圳BR1深圳BR2佛山AR1惠州AR1惠州AR228027944010G2.5G155M上海CR230130003000割接过程中拓扑图Page79割接过程中发生的问题从集团网管中心无法登录广东所有BR(广州BR1/广州BR2/深圳BR1/深圳BR2)，从深圳AR1也不能登录广州BR….…..….广州AR34405190740250015001广州AR4广州BR1广州BR2广州CR1广州CR2深圳BR1深圳BR2280279440上海CR230130003000北京CR1北京CR2北京AR1北京AR1集团网管中心TelnetFail可能原因：1路由控制层面出现了问题2广州AR3某条链路出现了转发问题3某条链路出现了拥塞4其它Page80广州AR3440深圳AR4深圳AR3佛山AR25190740250015001广州AR4广州BR1广州BR2广州CR1广州CR2深圳BR1深圳BR2佛山AR1惠州AR1惠州AR228027944010G2.5G155M上海CR230130003000媒体流量模型Page81原因分析1在割接过程中当广州AR3-广州BR1的链路连通并启用相关协议后广州AR3-广州CR1之间的链路还没有拆除（cost为3000）2由于网络中增加了一条新的链路（广州AR3-广州BR1）,路由发生重新收敛。从网管中心登录广东BR的流量会经过广州CR1-广州AR3的链路,而由于BR下面同时还下挂了佛山（AR1AR2）惠州(AR2)深圳(AR3AR4)，这些AR均连接了业务系统，这些业务系统的出省业务（媒体流）也都会经过广州AR3-广州CR1的链路（155M),通过在网管服务器上采集的流量信息可以看出当时需要经过这条链路的流量总量超过了155M也就是说这条链路发生了拥塞，Page82UMG实时流量图（部分）佛山UMG2实时流量图深圳UMG4实时流量图佛山UMG1实时流量图Page83广州AR3-广州BR1流量图Page84后续割接优化方案（包含广州AR4）1

调整AR3-AR4互连端口的COST值（确保AR4割接前上行流量不会横穿至AR3）注：该链路在本次割接中将被替换掉2调整广州AR3-广州CR1互连链路的COST

（第3步完成并确保该链路没有流量以后将端口关闭）3将广州AR3-广州BR1的互连链路打开，并配置相关数据4调整广州AR4-广州CR2互连链路的COST

（第5步完成并确保该链路没有流量以后将端口关闭）5将广州AR4-广州BR2的互连链路打开，并配置相关数据（IP-Trunk,ISIS等）6将广州AR4-广州AR3之间原155MPoS链路拆除，将新链路开启并配置相关数据（加入IP-Trunk,配置ISIS等）。7在承载网和软交换侧同时进行业务验证Page85后续割接优化方案（包含广州AR4）1调整AR3-AR4互连端口的COST值（确保AR4割接前上行流量不会横穿至AR3）

注：该链路在本次割接中将被替换掉2调整广州AR3-广州CR1互连链路的COST,（第3步完成并确保该链路没有流量以后将端口关闭）3将广州AR3-广州BR1的互连链路打开，并配置相关数据4调整广州AR4-广州CR2互连链路的COST,（第5步完成并确保该链路没有流量以后将端口关闭）5将广州AR4-广州BR2的互连链路打开，并配置相关数据（IP-Trunk,ISIS等）6将广州AR4-广州AR3之间原155MPoS链路拆除，将新链路开启并配置相关数据（加入IP-Trunk,配置ISIS等）。7在承载网和软交换侧同时进行业务验证第5步结束后，出现了如下故障：深圳UMG1/UMG2,惠州UMG2脱网Page86广州AR3440深圳AR2深圳AR15190740250015001广州AR4广州BR1广州BR2广州CR1广州CR2深圳BR1深圳BR2惠州AR1惠州AR2280279440上海CR23013011000003000100000广州SS3广州SS4广州SS4为主用SS:广州SS3为备用SSUMG注册流量模型Page87定位过程（以惠州UMG2为例）1在广州AR4,惠州AR2上查看信令VPN路由表，正常2在广州AR4上带信令VPN实例Ping惠州UMG2,能Ping通3在惠州AR2上带信令VPN实例ping广州SS4,不能Ping通4在广州AR4下挂的信令交换机上带源地址Ping惠州UMG2,不能Ping通5在广州AR4上将连接广州BR2的上行端口(IP-Trunk1)复位复位后问题解决广州AR4当时使用的版本存在这样的Bug:当下行为16FE的Rainer板，上行为IP-Trunk时，会存在部分报文转发不通的问题。通过复位IP-Trunk或者加载补丁可以解决此Bug(割接当晚广州AR4尚未加载补丁)按照UMG注册流程：如果UMG不能到主SS注册，会自动切换到备SS,经定位从UMG到备SS的整个路径不存在任何转发问题，为什么注册不能成功？Page88广州AR3/AR4结构调整割接

海南BR1替换割接

成都CR结构调整割接

割接案例篇Page89割接拓扑UMGOSPFVRRPSS2VRRP信令媒体海南BR1（NE40）海南BR2广州CR1广州CR2广州AR2ISIS2775897500150015897海南UMG到广州SS2注册11GE2/1/0为二层端口，Trunk了两个VLAN,其中VLAN20运行私网媒体VRRP，VLAN30承载公网ISIS及LDP等割接内容：把海南BR1的原NE40设备替换为NE80E,配置保持不变MasterBackup广州AR1GE2/0/0Eth2/1/0GE2/1/0GE2/1/0Page90相关数据配置UMGOSPFVRRPSS2VRRP海南BR1海南BR2广州CR1广州CR2广州AR2ISIS277589750015001589711MasterBackup广州AR1GE2/0/0Eth2/1/0GE2/1/0GE2/1/0媒体：IProute10.0.62.025null0preference200bgp24059ipv4-familyvpn-instanceChinaMobile_NGN_SGnetwork10.0.62.0255.255.255.128Interfacevlanif20Vrrpvrid1priority105(BR1)Vrrpvrid1priority100(BR2)信令：bgp24059ipv4-familyvpn-instanceChinaMobile_NGN_SGnetwork10.0.62.0255.255.255.128Ospf1vpn-instanceChinaMobile_NGN_SGDefault-route-advertisealways10.0.62.0/2510.0.61.0/29SW1SW2Page91割接方案一（不修改任何设备的配置数据）UMGOSPFVRRPSS2VRRP海南BR1海南BR2广州CR1广州CR2广州AR2ISIS277IP-Trunk1:589750015001589711MasterBackup广州AR1GE2/0/0Eth2/1/0GE2/1/0GE2/1/0一NE40脱网断开信令链路Eth2/1/0断开媒体链路GE2/0/0断开互连链路GE2/1/0断开上行链路IP-TRUNK110.0.