CMNET网络结构和路由策略(福建省网)

CMNET省网网络结构和路由策略

2012年7月目前CMNET福建省网概述：以福州一厂NE5000E和厦门马巷NE5000E构成双星型结构,CMNET省网各地市都有双节点双上联模式,避免单点故障，目前全省有4个出口：1、国干出口：一厂、厦门BR分别有8*10G上联到国家网，共160G出口2、闽会有2G出口3、金桥有2G出口4、铁通有主用4*10G。省网引入4个ICP,闽会资源ICP带宽省网在一厂部署东软NTARS6500用于业务流量分析用、部署华为SIG跟PPCache联动，SIG对流量进行协议分析，PPCache用于P2P应用缓存提高用户体验；马尾节点部署帝联CDN，用于HTTP缓存，提高用户网页浏览体验。

福建移动IDC资源已向福建铁通开放，使得移动网段回程到福建铁通的地址，省去往总部出口出的开销。CMNET福建省网有华为路由器26台（其中8台为NE5000E）,10台接入交换机，2台M320(第3方互联路由器)。CMNET福建省网概述具体网元见右表：28台华为NE5000E及NE80E路由器，2台JUNIPERM320路由器，10台华为交换机，2台思科交换机。CMNET福建省网网元列表设备配置JUNIPER华为

思科M320

NE5000E

NE40Es8505S9306C6509省网核心

2

省网汇聚

422822第3方互联2

合计

2622822各出口及ICP情况见右表：BR到AR各中继情况表见右表CMNET福建省网链路情况表CMNET福建省网路由分析一厂新网BR厦门新网BR移动CMNET国家网AS:9808铁通出口RRRRCMNET省网AS:64840一厂M320-2一厂M320-1闽会(AS:64610)金桥(AS:17964)EBGP基于源地址策略路由EBGP具体总表见右：其中移动自有地址1045个C，闽会208个C，金桥192个C，铁通IP:1536个C采用multiihopEBGP互联，（本网AS:64840，总部AS:9808）,向总部发布全省福建移动自有地址，通过MED属性控制一厂、厦门BR回程。采用基于源地址的策略路由闽会自有地址采用源地址的策略路由；部分需要往闽会疏通的路由通过EBGP发布。福建对闽会发布的路由做AS过滤采用multiihopEBGP互联，向福建移动发布联通路由。采用静态指向回程到福建移动的下一跳指到移动互联IP.金桥自有地址采用基于源地址的策略路由；其他往金桥疏通的网段由金桥做NATCMNET福建省网路由分析一厂新网BR厦门新网BR地市AR1地市AR2集团、家庭、WLAN用户RRRRCMNET省网AS:64840CMNET城域网IBGP地市使用OSPF(区域0)省网IGP使用ISIS(LEVEL2)BRAS或SRBRAS或SRBRAS或SR一厂、厦门2台BR做BGPRR，跟地市AR建立MP-IBGP邻居，负责疏通地市之间的IPv4及VPNipv4业务。及出省的业务路由选择。由于业务出口主要集中一厂BR的缘故，往地市AR1回程流量比较大，配合调整流量往地市AR2回程地市AR到地市城域网，配置OSPF在区域0，由2台AR下发缺省路由引导城域网出的流量；回程路由是由2台AR向省网通过BGP宣告本城域网的路由来实现。AR跟地市BRAS及SR建立MP-IBGP及LDP邻居，用于疏通地市内专线用户及VPN用户互访地市BRAS或SR跟AR建立MP-IBGP(不建立IPv4邻居)，做VPNPE节点.配置OSPF在区域0。IDCS9306或FWIDC出口采用交换机或防火墙，跟2台AR建立OSPF邻居。福建移动普通用户、自有业务：（非BGP优化网段）。出、入除福建移动网段的流量均通过移动国家网。CMNET福建省网业务流向-1一厂BR厦门BR地市AR1地市AR2移动CMNET国家网AS:9808地市城域网RRRRCMNET省网CMNET城域网福建移动普通用户、自有业务回程流量出流量BR配置基于源地址策略路由，下一跳丢往福州、厦门国干T1600,回程到城域网采用IGP选路，到一厂BR的流量往AR1回程，到厦门BR的流量往AR2回程国干福州方向往广州疏通，国干厦门方向往南京疏通。接收福建发布BGP网段的MED属性，调整回程往福建一厂、厦门BR。有缺省指向地市2台AR的缺省路由，引导用户流量。回程通过IGP选路。CMNET福建移动VIP用户IP用户(BGP优化网段，有被访需求)：出省网通过路由表选路，外省移动入往总部出口，其他运营商入网闽会回程CMNET福建省网业务流向-2一厂BR厦门BR地市AR-1地市AR2-2移动CMNET国家网AS:9808电信（闽会）AS:64610地市城域网RRRRCMNET省网CMNET城域网福建移动VIP用户：BGP优化网段目前回程流量目前出流量国干福州方向往广州疏通，国干厦门方向往南京疏通。接收福建发布BGP网段的MED属性，调整回程往福建一厂、厦门BR。总部配合发布福建移动聚合路由段，并不接收其他运营商发布包括移动地址的路由段接收福建移动发布的BGP路由，向电信宣告，并由电信向外发布路由，回程往闽会走。对于VIP用户放通通过路由表查找，访问电信往闽会出，访问其他往总部出。回程通过IGP选路一厂M320-1一厂M320-2由一厂M320-2向电信发布VIP网段。有缺省指向地市2台AR的缺省路由，引导用户流量。回程通过IGP选路。CMNET福建移动智能优化网段：到电信、联通是做NAT成电信、联通地址访问，效率更高，时延更小，但是被NAT过，不能被访，适合没有被访需求的网段。CMNET福建省网业务流向-3一厂BR厦门BR地市AR-1地市AR2-2移动CMNET国家网AS:9808电信（闽会）AS:64610地市城域网RRRRCMNET省网CMNET城域网福建移动IP用户：第3方NAT网段目前回程流量目前出流量联通（金桥）AS:17964一厂M320-1一厂M320-2国干福州方向往广州疏通，国干厦门方向往南京疏通。接收福建发布BGP网段的MED属性，调整回程往福建一厂、厦门BR。总部配合发布福建移动聚合路由段，并不接收其他运营商发布包括移动地址的路由段闽会配置基于源地址的策略路由，NAT成电信地址访问外网闽会配置基于源地址的策略路由，NAT成联通地址访问外网对于VIP用户放通通过路由表查找，访问电信、联通往闽会、金桥出，访问其他往总部出。回程通过IGP选路有缺省指向地市2台AR的缺省路由，引导用户流量。回程通过IGP选路。需要优化目的网站疏通方式：由于往总部出口，访问其他运营商网站可能有不通的或者访问慢的情况，省网针对这种需求，由闽会、金桥进行测试，若更优则往他们疏通。CMNET福建省网业务流向-5一厂BR厦门BR地市AR1地市AR2总部出口第3方出口(闽会、金桥)地市城域网RRRRCMNET省网CMNET城域网对于目的网站：从总部出口访问不了或访问慢的优化后路由原有路由有缺省指向地市2台AR的缺省路由，引导用户流量。回程通过IGP选路。配置基于源地址的策略路由，下一跳丢往各自的出口。回程通过IGP选路到目的为需要，访问电信、联通往闽会、金桥出，访问其他往总部出。回程通过IGP选路网站资源CMNET系统指标－福州核心节点

一厂BR流向平均流入平均流出最大流入最大流出流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）广州-国干11984.1014.987411.819.2619046.0023.8114146.0017.68闽会1092.4254.62482.3224.121898.0094.90865.0043.25金桥753.3737.67277.0013.851671.0083.55630.0031.50铁通16547.5041.375862.3214.6631967.0079.9211679.0029.20闽会资源引入出口12483.0034.681483.204.1225185.0069.963515.009.76厦门马巷BR3603.8336.048036.3080.366928.0069.2816555.00165.55福州一厂AR11921.569.614444.4422.224534.0022.678775.0043.88福州马尾R11177.3447.09785.4431.422376.0095.041349.0053.96福州湖东R1395.477.91739.7714.80595.0011.901199.0023.98福州金山R1343.6713.75679.9327.20563.0022.521157.0046.28福州上街R145.401.8213.560.5494.003.7658.002.32厦门1038.7910.394049.6740.502340.0023.408123.0081.23宁德542.6910.852163.7343.271077.0021.544343.0086.86莆田1055.9321.122203.8044.081846.0036.924671.0093.42泉州3217.8616.098589.7442.956759.0033.8016771.0083.86漳州1146.0011.464074.4240.742340.0023.408268.0082.68龙岩950.969.513229.5232.302109.0021.096716.0067.16三明666.3613.332486.4549.731393.0027.864296.0085.92南平612.7012.252440.8848.821245.0024.904514.0090.28CMNET系统指标－厦门核心节点厦门BR流向平均流入平均流出最大流入最大流出流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）流量（Mbit/s）利用率（%）南京-国干2430.353.042430.353.044017.005.026570.008.21福州湖东AR21117.805.592227.7111.142284.0011.424698.0023.49福州马尾R22765.4527.65500.535.015594.0055.94659.006.59福州湖东R228.040.56199.804.0046.000.92414.008.28福州金山R212.410.5023.580.9480.003.20154.006.16福州上街R20.690.033.330.1314.000.5627.001.08厦门交换机104.855.24273.8313.69267.5313.38630.7531.54厦门747.127.47722.977.231772.0017.721541.0015.41宁德490.249.801999.9940.00994.0019.883873.0077.46莆田936.1918.722046.8440.941504.0030.084075.0081.50泉州367.211.841408.467.04771.003.862940.0014.70漳州950.2819.011973.4239.471986.0039.723729.0074.58龙岩1193.1523.862188.5243.772510.0050.203772.0075.44三明560.9811.221060.8521.221154.0023.082665.0053.30南平510.4010.21519.1310.381002.0020.042217.0044.34CMNET省网、城域网路由情况分析一厂新网BR厦门新网BR地市AR1地市AR2RRRRCMNET省网AS:64840CMNET城域网地市使用OSPF(区域0)省网IGP使用ISIS(LEVEL2)BRAS或SRBRAS或SRBRAS或SR一厂BR回程流量通过IGP选择是往地市AR1回程，导致地市AR1回程流量较大，可通过配置基于目的的策略路由，匹配地市某些网段回程往AR2回程规划COST值，越大越不优选，合理调节上联流量IDCS9306或FW正常情况，流量到达IDC边界设备后直接往AR出，不要出现往另一台边界设备绕的情况Cost20Cost100Cost100Cost10Cost60Cost60移动CMNET国家网AS:9808BR向总部发布BGP路由，可根据情况修改MED疏通，值越小越优选地市AR对下联BRAS或SR统一COST值，非互联SR之间互访应只通过AR中转CMNET省网QOS规划分类服务等级业务名称队列名称调度方式队列比例ToS队列DSCP队列家庭宽带普通普通BEBEWFQ10%公共互联网业务：WLAN、,C类集团专线铜服务自有业务1AF1AF11WFQ10%IDC/ADC,缓存,MISC,视频监控，OA等银服务自有业务2AF2AF21WFQ10%核心业务:WAP网关、GPRS、彩信网关、短信网关、IMS、DNS、RADIUS金服务自有业务3AF3AF31WFQ15%A、B类集团用户白金服务自有业务3AF4AF41WFQ15%暂时保留预留预留CS6CS6PQ10%暂时保留预留预留CS7CS7PQ5%暂时保留预留预留EFEFPQ5%CMNET省网QOS实施一厂新网BR厦门新网BR地市AR1地市AR2RRRRCMNET省网AS:64840CMNET城域网地市使用OSPF(区域0)省网IGP使用ISIS(LEVEL2)BRAS或SRBRAS或SRBRAS或SR下联AR:BR做简单流分类，信任AR的流分类，并在出接口做调度.上联总部：信任总部出口入的流分类，向地市AR调度。IDCS9306或FWCost20Cost100Cost100Cost10Cost60Cost60移动CMNET国家网AS:9808下联BRAS:进行复杂流分类，重标记为对应队列，对出接口做调度。上联BR信任流分类，并调度到下联BRASSIG部署在福州一厂、厦门马巷。（一厂对厦门SIG的网管通过CMNET省网打通MPLSL3VPN实现），并跟PPCache互联，由PPCache提供特征码。对总部出口、第3方出口、铁通出口分光到9280E（由于SIG端口数不够，因此目前总部1条10G的上行方向，铁通10G下行方向未分光到SIG），进行协议分析，由T8000服务器做管理，下发策略，能对协议做干扰到达减少出口带宽使用的作用。PPcache部署在福州一厂。简单说明工作方式1、监听：如右图用户A进行P2P应用，SIG9280E转发这些应用报文给PPCache，2、缓存：PPCache收到后到外网资源做下载，缓存到服务器中。3、判断：在其他用户要求下载资源时，PPCache收到后，进行判断是否提供下载。4、重定向：向用户发送重定向报文，由于是内网，因此比外网服务器更早到达用户，用户则通过PPCache做下载。CMNET福建省网PPCACHE及SIG应用说明一厂BR厦门BR福州AR1厦门AR2移动CMNET国家网AS:9808铁通出口RRRR一厂M320-2一厂M320-1闽会(AS:64610)金桥(AS:17964)宽广设备分光器T80009280E网管干扰9280E网管干扰SIG网管由一厂AR1到厦门AR2开通MPLSL3VPN实现互联S3228S3228交换机SIG系统SIG系统PPCache服务器群用户A进行BT，迅雷、电驴、HTTP下载福州侧：1）、对总部出口8*10G有分光2）铁通出口4*10GE闽会资源46G，主用4*10G分光;网宿2.5G分光3）一厂BR跟一厂M320-2互联3*2.5G上、下行分光有接入。厦门侧：1）对总部出口8*10G2）厦门BR到一厂M320-1)3*2.5G业务细分网段PPCACHE6/286/272/30地市AR帝联、蓝汛CDN提供特定网站缓存：用户A访问,向省DNS发出请求，省DNS向上级做递归，帝联、蓝汛CDN根据其递归的DNS匹配福建移动DNS的，反馈缓存服务器IP,实现访问。帝联、蓝汛CDN实现说明一厂BR厦门BR马尾2台ARRRRRDNS、缓存服