移动IP承载网课件

1移动IP承载网网络管理中心技术支持中心2009年3月2IP承载网络结构IP承载网的作用IP承载网的现网设备基础知识IP承载网的性能指标IP承载网的高可靠性方案业务接入的流量疏导典型案例必须熟记的几个名词3CRCoreRouter核心路由器IP承载网核心路由器BRBackboneRouter骨干节点路由器IP承载网骨干节点路由器ARAccessRouter接入路由器IP承载网接入路由器CECustomEdge客户边界IP承载网客户边界路由器RRRouteReflector路由反射器提供了在大型I-BGP网络中，全网状连接问题的一个简单解决方案CMNETChinaMobileNet中国移动互联网中国移动建设的一套用于互联网接入的网络MPLSMultiProtocolLableSwitching多协议标签交换一种用于快速数据包交换和路由的体系，它为网络数据流量提供了目标、路由、转发和交换等能力VPNVirtualPrivateNetwork虚拟专用网络通过一个公用网络(通常是因特网)建立一个临时的、安全的连接，是一条穿过混乱的公用网络的安全、稳定的隧道中国移动广义的IP承载网概念CMNET城域数据网软交换IP专网CNGI内部支撑系统集团客户分组域CNGI试验系统IP专网路由器数目核心层：18台汇聚层：60余台接入层：700余台CMNET路由器数目骨干网：70台左右省网和城域网：1000余台CNGI路由器数目：30台四川移动的IP专网概念6建设了两张网络，一张是省内，一张是省际，早期建设中省内承载网承载了部分话务，但最终信令和话务会全部割接到省际网上。四川移动的IP承载网概念7四川省际IP承载网由2台RR（NE40），2台CR（NE5000E），40台AR（NE80E）组成。在成都府青机房、高升桥机房2个节点设置汇接节点。省内IP承载网由2台RR（NE40），2台BR（NE5000E），42台AR（NE80E）组成。在成都府青机房、高升桥机房2个节点设置汇接节点；四川做为省际IP承载网八大核心节点省份之一Page9移动IP专用承载网8大核心节点二期网络核心节点设计在北京、上海、广州、沈阳、南京、武汉、成都和西安8个城市分别配置2台核心路由器NE5000E（CR），构成8对核心节点；核心节点CR之间采用对称的不完全网状连接方式；根据光缆路由的实际走向及彼此业务的相关性，任何1对同城市的核心节点CR路由器至少与2对其它城市核心节点的CR路由器相联；在每对核心节点CR1、CR2之间建立互联链路；北京沈阳西安南京上海武汉成都广州Page10汇聚节点到核心节点连接方案BR/AR设备采用NE80/NE80E，构成各省市的汇聚和接入节点方式一：继续保持目前接入节点到核心节点的连接方式，主要是有大区核心的BR/AR节点；方式二：对于部分存在流量迂回的节点采用跨大区连接方式；方式三：对于部分存在流量迂回且传输资源有限的节点。CR1BR/ARCR1CR2BR/ARCR1CR2BR/ARBR/AR方式一现网方案方式二方式三IP专网省网汇聚节点省网汇接节点接入节点接入节点汇聚层接入层核心层核心节点核心节点核心节点核心节点核心节点核心节点核心节点核心节点省网汇聚节点省网汇接节点接入节点接入节点A省B省a城市b城市四川移动省际IP承载网Page14四川移动IP承载网四大资源表格资源表反映了整个承载网的情况，是故障分析，故障影响范围判断的极其重要的工具。地市公司省际IP承载网结构在AR设备以下是CE设备，CE设备以下才是软交换设备在CE上目前承载媒体和信令的业务华为CE设备组网方案CE1Multi-InstanceOSPFCE2AR1AR2GE/PoS1XGE1XGE2XGEMediasignalingNGNBearerBackboneMSoftXUMG通过子接口区分媒体和信令业务软交换业务系统Page18媒体信令CE设备外部连接方案媒体vrf信令vrf网管vrf媒体vrf信令vrf媒体vrf信令vrf网管vrf媒体vrf信令vrf媒体流MGW主主信令模块备主MSCSERVER信令模块备主AR路由器业务节点媒体信令CE设备OSPF1OSPF2OSPF1OSPF2OSPF1OSPF2LDPLDPLDP媒体信令CE设置两个vrf，对应PE路由器的vrf，作为业务节点的路由网关，CE与PE路由器之间运行vrftovrf多实例OSPF路由协议；PE路由器将vrf的OSPF路由引入到MP-BGP，并且将远端通过MP-BGP发布过来的路由引入OSPF；CE设备之间根据需要启动VRRP协议。VRRP19IP承载网络结构IP承载网的作用IP承载网的现网设备基础知识IP承载网的性能指标IP承载网的高可靠性方案业务接入的流量疏导典型案例省际IP承载网的作用21中国移动软交网络采用控制与承载相分离的软交换构架，并承载在IP专网上。因此就目前来说IP承载网的作用就是承载软交换信令和媒体及CE设备网管数据流。眉山语音业务结构图22目前的IP化只是长途话务和信令的IP化，长途话务按照一定比例在TMG和传统汇接间疏导。眉山GM5－乐山GS823移动软交换接口-协议-功能表

红框部分就是目前实现IP化的协议省际IP承载网软交换业务承载情况26目前省内IP承载网的主要作用27主要用于网管数据承载，例如爱立信的APG改造IP承载网设备选型中国移动IP承载网目前全网采用华为、思科和阿尔卡特公司的网络设备进行网络部署；8个核心汇接节点的核心路由器（CR）全部采用华为NE5000E；在汇聚节点中，广州（BR1、BR2）、深圳（BR1、BR2）、青岛（BR1、BR2）采用华为NE5000E，无锡（BR1、BR2）采用思科GSR12816，其他BR采用华为NE80E；各省接入节点中，采用华为NE80E/NE40E、思科GSR12416、阿尔卡特7750作为接入路由器（AR）四川全部采用华为设备，CR（NE5000E），AR（NE80E，CE，RR（NE40E）华为NE5000E&NE80E30

12341718567891

端

口

G

P

O

S

板

MPUMPU

5

口千兆光板

SFUSFUS

F

US

F

U

1011121319202122141516

NE80眉山AR设备面板NE5000华为NE40E31眉山设备面板设备面板表32槽位编号板卡（或适配卡或子卡）编号板卡类型端口编号端口类型对端设备（CR/BR/AR/CE）端口使用情况（已用/空闲）备注1无子卡1端口2.5GPOS接口板02.5GPOS(sm1310nm15kmLC)成都CR2已用2008-04-082-9空闲空闲接口板槽位

2008-04-0810无子卡5端口1000MGE接口板0GE(sm1310nm10kmLC)眉山AR1已用2008-04-081GE(sm1310nm10kmLC)

空闲2008-04-252GE(sm1310nm10kmLC)

空闲2008-04-253GE(sm1310nm10kmLC)

空闲2008-04-084GE(sm1310nm10kmLC)

空闲2008-04-0811-15空闲空闲接口板槽位

2008-04-0816

NetStream

2008-04-0817-18

MPU

2008-04-0819-22

SFU

2008-04-0823-24

CLK

2008-04-0825-26

PWR

2008-04-0827-28

FAN

2008-04-0829

LCD

2008-04-08CE设备的设备面板表33

眉山CE1（NE40E）

板卡

编号板卡

类型端口

编号端口

类型物理连接对端设备及端口带宽VLANIP地址/掩码承载业务

0GE（1300nm10KMLC）直连眉山CE2

G1/0/0眉山CE21G1010.102.40.125/30媒体15端口GE板

G1/0/X2010.97.40.125/30信令1GE（1300nm10KMLC）空闲

2GE（1300nm10KMLC）空闲

3GE（1300nm10KMLC）空闲

4GE（1300nm10KMLC）空闲

25端口GE板

G2/0/X0GE（1300nm10KMLC）直连眉山AR1

G10/0/1眉山AR11G10010.2.150.250/30媒体10110.2.150.254/30信令1GE（1300nm10KMLC）空闲

2GE（1300nm10KMLC）空闲

3GE（1300nm10KMLC）直连眉山DM1

1框/2槽眉山DM11G112010.102.40.9媒体4GE（1300nm10KMLC）直连眉山GM5

2框/14槽眉山GM51G112010.102.40.13/30媒体3~6空

724端口FE单板0~23GE电口备用

824端口FE单板0GE电口空闲

1GE电口空闲

2GE电口眉山DM1

0框/7槽眉山DM11G110110.97.40.1/28

（BFD：192.168.0.25/30

R7991;L7990）信令3GE电口眉山DM1

0框/8槽4GE电口眉山GM5

0框/7槽眉山GM51G1101信令5GE电口眉山GM5

0框/8槽6

空闲

7~22

空闲

23GE电口直连眉山老AR1

G2/0/10眉山老AR11G

10.99.2.98/30CE网管单板功能34板卡名称单板功能主处理板MPU执行路由协议运行信令协议提供时钟监控和管理交换网板SFU数据交换3＋1负载分担、冗余备份线路接口板LPU光电转换等物理层处理链路层协议处理流量管理根据转发表进行数据转发业务板Netstream生成统计信息，用于计费、网络规划、应用监控和分析、用户监控和分析NE80E业务板接口属性速查表35华为产品速查手册3637IP承载网络结构IP承载网的作用IP承载网的现网设备基础知识IP承载网的性能指标IP承载网的高可靠性方案业务接入的流量疏导典型案例IP承载网性能指标设备可用率(>=99.999%)CPU平均负荷(<=50%)内存平均利用率(<=50%)网内任意两个路由器之间时延（1000公里以内<=40ms，2000公里以内<=60ms,3000公里以内<=80ms）；网内任意两个路由器之间标准方差时延(1000公里以内<=4ms，2000公里以内<=6ms,3000公里以内<=8ms)；网内任意两个路由器之间丢包率（<=0.1%）；任意两路由器间的链路平均带宽利用率(<=50%)；任意两路由器间的链路峰值带宽利用率(<=70%)。上述IP承载网及CE运行质量指标项目与设定门限可根据实际的网络运行维护需要做适当的调整集团公司下发的IP承载网及CE网络运行质量指标如下：IP网络是“尽力而为”的包交换网络，对于网络质量是不提供保证的，因此，对于利用IP网络提供话音承载，影响质量最主要的是时延、时延抖动、丢包，业界默认的工程实施指标为：端到端时延小于400ms（包括终端、MGW等的处理时延在内），时延抖动小于20ms，丢包率小于1%。指标定义及公式指标定义公式丢包率反映了多次Ping操作（或其它探测操作）的数据包丢失概率，单位为%丢包率＝没有响应的探测次数/总探测次数CPU与内存占用率CPU与内存占用率反映了设备或单板上的CPU/Memory使用情况，单位为%CPU或内存占用率(%)＝已使用数/(已使用数＋未使用数)×100%流入流出流量反映了在单位时间(s)内，接口或链路流入/流出的bit数量，单位为bps流入流量(bps)＝(T2时刻流入Byte总量-T1时刻流入Byte总量)/(T2-T1)×8流入流出带宽利用率反映了在单位时间(s)内，接口或链路流入/流入流量占总带宽比例，单位为%流入带宽利用率(%)＝流入流量/接口或链路的总带宽×100%平均时延该指标反映了多次Ping操作（或其它探测操作）的平均RTT时间，单位为ms平均时延＝每次探测的响应时间之和/总探测次数时延抖动反映了多次Ping操作（或其它探测操作）的时延稳定度，单位为ms时延抖动＝抖动算法(正反向的探测总次数、探测时延和、探测时延平方和)抖动算法源->目的正向抖动总数量A目的->源正向抖动总数量G源->目的正向抖动时延和B目的->源正向抖动时延和H源->目的正向抖动时延平方和C目的->源正向抖动时延平方和I源->目的负向抖动总数量D目的->源负向抖动总数量G源->目的负向抖动时延和E目的->源负向抖动时延和K源->目的负向抖动时延平方和F目的->源负向抖动时延平方和L时延抖动平方(ms^2)：((A+D)(C+F)-(B-E)(B-E))/((A+D)(A+D))+((G+J)(I+L)-(H-K)(H-K))/((G+J)(G+J))

时延抖动(ms)：平方根of时延抖动平方性能指标对业务的影响41表3.2.1软交换网内端到端语音服务质量指标表网络条件PSQM平均值PESQ平均值MOS良好1.53.34.0较差1.83.23.5恶劣2.02.93.0

MOSPSQM备注没有抖动或抖动<40ms>4.50.61主观感觉与PSTN没有差别抖动达到300ms4.010.92主观感觉可以抖动〉500ms3.61.12主观感觉变差，听不清抖动对话音的影响丢包率MOSPSQM备注没有丢包〉4.50.61主观感觉与PSTN没有差别丢包率=5%4.41.03主观感觉基本可以接受丢包率〉10%4.231.21主观感觉不能接受丢包率对话音的影响Page42故障切换时间对业务的影响注意：可靠性指标为：全网端到端的1s左右故障切换保护，充分满足语音业务的高可靠要求。Page43中国移动IP专网性能指标（语音为例）二期工程QoS目标语音业务QoS要求：单向端到端传输时延小于50ms；IP承载网的抖动应小于10ms；丢包率要求小于1%；信令业务QoS要求：传输时延小于100ms；时延抖动小于10ms;IP网络丢包率小于0.1%;AverageEndtoEndvoicetimedelayassignment:

IPBACKBONE

BSS/RAN

MGWMGWBSS/RAN75ms75ms25ms25ms50ms250ms44IP承载网络结构IP承载网的作用IP承载网的现网设备基础知识IP承载网的性能指标IP承载网的高可靠性方案业务接入的流量疏导典型案例Page45故障检测

SDH传输告警敏感APDP(华为私有)BFD

业务快速恢复

APDP&接口备份

IPFRRLDPFRRMPLSTEFRRVPNFRR（华为私有）

网络快速收敛

IS-ISFC（fastconvergence）

BGPFC承载网高可靠性技术Page46网络设计－端到端主备路径带宽预留MGWMGWMGWMGWMSCServerMSCServerMSCServerH.248ARARCRCRCRCRUMGUMG主用路径次优路径本期工程语音业务流量主要横向流量，网状结构；逻辑双平面，为重要业务规划端到端主用路径和次优路径，预留带宽，兼顾可靠性和服务质量。Page47IP专网带宽使用策略端口带宽语音NC

信令网管其它网络按照NC业务和语音信令业务总和规划带宽NC和信令业务严格优先保证，不限制带宽使用上限语音业务可以抢占带宽，但是不超过其上限，其带宽可供其它业务使用网管和七号信令检测等其它业务在剩余带宽中按照权重比进行分配其它业务尽力转发Page48Diff-serv－业务优先级标记AR/BR路由器基于端口开启优先级标记，采用E-LSP方式；CR路由器实现内层LSP和外层LSP之间映射。核心层汇接层CRBR/ARBR/ARCRBR/ARBR/ARSoftXVPNManager大客户VPNTMGSGSNEFEFAF4AF3AF2内层LSP和外层LSP之间EXP映射EXP优先级标记Page49IP专网QoS设计方案Page50承载网高可靠性技术主路径快速检测流量快速切换到临时路径网络快速收敛并将流量切换到次优路径Page51MPLSTE应用ARARCRCRCRCRUMGUMG主用路径次优路径临时路径在长途传输链路故障情况下，采用TE（主备TE）作为端到端IGP/LDP收敛过程中业务的临时转发路径，提供端到端业务的故障快速保护：如果传输故障恢复先于IGP/LDP快速收敛，流量恢复到主用路径如果传输故障恢复后于IGP/LDP快速收敛，流量先切换到次优路径Page52PoS告警敏感－快速检测PoS链路故障链路故障没有配置PoS告警敏感的情况下无法快速感知需要等待PPPKeepalive超时配置PoS告警敏感的情况下一旦收到告警信号快速将端口置为Down告警信号：LaisLrdiPais等告警信号：LaisLrdiPais等告警信号：LaisLrdiPais等告警信号：LaisLrdiPais等Page53端口抑制Carrierup-hold-timexCarrierdown-hold-timex1:防止端口的频繁变化引起协议的频繁计算2：感知到链路故障后先观望一段时间给传输提供自我恢复的机会Page54iSPFPRC智能定时器BGPFCAR－AR端到端故障保护（ISISFCBGPFC）Page55IGP快速收敛iSPF：增量SPF计算。除第一次计算时需要计算全部节点外，每次链路的变化只计算受到影响的部分并能保证最短路径树（SPT）的完整

PRC：部分路由计算，常常与iSPF结合在一起工作，如经过iSPF计算后SPT发生了改变，此时由PRC来更新变化的节点上的所有叶子即可。路由器代表节点路由器宣告的路由代表叶子Page56IGP快速收敛LSP快速扩散：收到LSP后，快速将LSP扩散出去LSP生成智能定时器：发生链路变化后，快速生成新的LSP并发送出去SPF智能定时器：timerspfmax-interval[initial-interval[incre-interval]]Page57BGP快速收敛：（Next-HopAddressTracking）PEPEP路由收敛软交换VPNRD:100:110.1.1.0/24软交换VPNRD:100:110.1.2.0/24RIB:1.1.1.1/24NH:E0BGPVPNv4100:1-10.1.1.0/24NH:1.1.1.1Loopback0:1.1.1.1E0NHTRIB:2.2.2.2/24NH:E1BGPVPNv4100:1-10.1.1.0/24NH:2.2.2.2Loopback0:2.2.2.2E1NHT技术通过IGP与BGP的联动（IGP的变化信息及时的通告给BGP）加快了BGP路由的收敛速度Page58VLANDamping（华为私有）VLANDamping特性是专门针对本次工程中软交换UMG设备的主备GE口问题。UMG的主备GE口一个主用一个备用，两个GE接口对应1个IP地址，对AR来说需要将这两个接口划到一个VLAN中，但是UMG主备GE口倒换的时候会存在一个两个端口同时Down掉的瞬间，而NE40侧的VLAN会随之Down掉再恢复，这个时间较长（秒级）。VLANDamping特性可以设置VLAN在多长时间内，即使VLAN内所有端口都Down掉VLAN仍能保持UP，本次工程Damping时间统一设置为3Page59链路捆绑负载分担（IP-Trunk）通过设置门限，可以保证在捆绑的链路总带宽小于一个阀值时将Ip－Trunk接口Down掉，流量收敛到其他链路。避免了带宽不足时流量依然拥挤到这条链路上。IP－trunk方式节省IP地址。并能天然规避IGP负载分担IP－trunk方式方便进行链路扩容。新增的链路只需加入原有的IP－trunk即可。业务流业务流业务流业务流链路捆绑PoSIP-Trunk60IP承载网络结构IP承载网的作用IP承载网的现网设备基础知识IP承载网的性能指标IP承载网的高可靠性方案业务接入的流量疏导典型案例PE1PE2NGNBearerBackboneCE5到MGW链路中断CE5CE6Media:MGWMBVRRPIP1IP4VRRPMaster聚合10.131.243.0/24二、三层混合链路IP2IP3VRRPBackup聚合10.131.243.0/24BGP中network10.131.243.0/24BGP中network10.131.243.0/24PE1PE2NGNBearerBackboneCE5到AR1链路中断CE5CE6Media:MGWMBVRRPIP1-1IP1-4VRRPMaster聚合10.131.243.0/24二、三层混合链路IP1-2IP1-3VRRPBackup聚合10.131.243.0/24BGP中network10.131.243.0/24BGP中network10.131.243.0/24发布的地址撤销，承载网会收敛到AR2远端的PE按照承载网原则BGP选择AR2远端的PE按照承载网原则BGP选择AR2丢失PE1PE2NGNBearerBackboneCE5到CE6链路全部中断CE5CE6Media:MGWMBVRRPIP1IP4VRRPMaster聚合10.131.243.0/24二、三层混合链路IP2IP3VRRPMaster聚合10.131.243.0/24BGP中network10.131.243.0/24BGP中network10.131.243.0/24远端的PE按照承载网原则BGP选择AR1远端的PE按照承载网原则BGP选择AR2PE1PE2NGNBearerBackboneCE5到AR1物理链路+MGW到CE5链路中断CE5CE6Media:MGWMBVRRPIP1IP4VRRPMaster聚合10.131.243.0/24二、三层混合链路IP2IP3VRRPBackup聚合10.131.243.0/24BGP中network10.131.243.0/24BGP中network10.131.243.0/24远端的PE按照承载网原则BGP选择AR2远端的PE按照承载网原则BGP选择AR2发布的地址撤销PE1PE2NGNBearerBackbone模拟CE5掉电CE5CE6Media:MGWMBVRRPIP1IP4VRRPMaster聚合10.131.243.0/24二、三层混合链路IP2IP3VRRPMaster聚合10.131.243.0/24BGP中network10.131.243.0/24BGP中network10.131.243.0/24远端的PE按照承载网原则BGP选择AR2远端的PE按照承载网原则BGP选择AR2发布的地址撤销PE1PE2NGNBearerBackbone华为软交换和华为CE设备：CE5到CE6链路全部中断CE5CE6Media:MGWMMIP1-1IP2-1聚合10.131.243.0/25二、三层混合链路IP1-2IP2-2聚合10.131.243.128/25BGP中network10.131.243.128/25BGP中network10.131.243.0/25远端的PE按照承载网原则BGP选择AR1远端的PE按照承载网原则BGP选择AR2PE1PE2NGNBearerBackbone华为软交换和华为CE设备：CE5到CE6链路全部中断CE5CE6Media:MGWMMIP1-1IP2-1聚合10.131.243.0/25二、三层混合链路IP1-2IP2-2聚合10.131.243.128/25BGP中network10.131.243.128/25BGP中network10.131.243.0/25远端的PE按照承载网原则BGP选择AR1远端的PE按照承载网原则BGP选择AR268IP承载网络结构IP承载网的作用IP承载网的现网设备基础知识IP承载网的性能指标IP承载网的高可靠性方案业务接入的流量疏导典型案例Page69典型故障现象及案例分析典型故障一：IP地址重叠导致路由表紊乱典型故障二：IP专用承载网POS链路中断故障分析典型故障三：链路能够ping通，但严重丢包

移动IP专用承载网做为软交换业务的承载网络，同时又依托于底层的传输链路来实现网络的连通，因此对于在发生业务故障的情况下，必须综合各方因素来进行网络故障定位。

Page70典型故障现象及案例分析典型故障一：IP地址重叠导致路由紊乱IP专用承载网是集团公司统一规划的大规模网络IP专用承载网承载多种VPN业务业务的接入，都必须站在全局的高度来统一规划常见故障特点：路由转发表生成错误的路由条目，导致目的地址不可达源与目的之间单向ping通：A不能ping通B，但B能够ping通A。Page71典型故障现象及案例分析典型故障一：IP地址重叠导致路由紊乱具体案例：S3526ER2631ENE40PENE08ES2016CE网管server10.0.102.235PECE10.0.115.15810.0.115.16110.0.115.16210.0.101.6410.0.102.235?10.0.119.16/28?承载网10.0.115.190S3526E防火墙（二层）MA5200R283110.0.119.154/2710.0.119.13/3010.0.119.14/3010.0.119.16/28拨号池MDCNE0E1集团网管中心某省中心局点Page72典型故障现象及案例分析典型故障二：IP专用承载网POS链路中断故障分析对IP专用承载网的维护过程中，链路中断是较为经常出现的故障现象。引起链路中断的可能性有多种，需要具体问题具体分析。在发生链路中断的情况下，首先检查路由器端口状态，看物理端口及PPP协议是否UP。如果物理端口down，说明该路由器端口没有收到光信号，那么原因可能是接收光缆中断，或是对端传输设备端口没有正常发光导致综上所述。需要着重检查光路和传输侧设备。如果配置PPP协议的链路两端物理端口UP，而协议不断在up/down的状态，则有可能是两端IP地址配置有问题Page73典型故障现象及案例分析典型故障二：光缆连接中断导致IP专用承载网链路中断

移动IP承载网RT02-NE80E某局点1TMG某局点2TMG物理端口down(pos3/0/0)RT01-NE80E端口协议down(pos3/0/0)收不到光,发R_LOS告警传输传输Page74典型故障现象及案例分析典型故障三：链路能够ping通，但严重丢包

具体案例：某日，某省AR1-AR2链路被发现严重丢包故障。维护工程师通过检查发现该链路两端互连POS端口有大量SDH错误，并不断增长。对该段链路进行端口测试和传输测试，测试结果发现其中一端的POS端口接收的光功率过大（－2.5db）。通过在ODF上增加光衰，端口的SDH错误包消失，传输上误码也消失，问题解决。

Page75典型故障现象及案例分析典型故障三：链路能够ping通，但严重丢包

丢包率的相关定义：

对于丢包率的定义，一般通过