CMNET网络结构和路由策略

CMNET网络结构和路由策略

2012年8月目录骨干网络架构与路由策略Webcache、DNS、流控系统介绍省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法骨干网络架构与路由策略网络概述网络现状路由组织策略网络演进骨干网络架构与路由策略网络：中国移动的互联网网络发展情况04年链路：2.5G、155M为主节点：核心汇聚增设第二节点（一般骨干）其他节点：双节点、双设备、双上联节点：核心、汇聚——单节点、双设备一般骨干——单节点、单设备、双上联链路：少量2.5G、部分155M建设3大核心5大汇聚及一般骨干节点双节点改造及设备替换网内网间链路扩容全网优化涉及31个省份，设备替换、版卡扩容、网内、省网、出口链路扩容、全网优化链路：10G、2.5G为主，少量155M节点：核心、汇聚：单节点、双设备、建设第二节点其他节点：双节点、双设备、双上联技术及网络结构发展时间CMNET一期CMNET二期CMNET三期至四期二阶段CMNET5期全面建设移动骨干网10年00年07年奥运WLAN网间互联新奥VPN一期CMNET5期网络结构调整：1、北京、上海、广州分别设置2个节点，每节点1台集群路由器2、五大汇聚设置第二汇聚节点3、北京、西安、武汉、广州、上海设置独立的IPRR4、除8大核心汇聚节点外其他25个一般骨干节点设置双节点5、北京、上海、广州国内互联设置双节点6、北京、广州国际互联设置双节点、上海设置单节点奥运WLAN:涉及北京、上海、沈阳、青岛、天津、秦皇岛6个奥运城市，设置WLAN专用国内、国际出口，承载奥运WLAN业务新奥VPN一期:涉及13个省份31个地市，新增52台PE设备路由器，上联至CMNET骨干网设备CMNET网间互联：上海广州新增第二国内出口T1600广州新增第二国际出口CRS-1扩容国内、国际网间链路全网大力建设IDC中心，主要包括7个一级IDC和5个二级IDC。网络雏形双节点改造引入10G链路建设VPN专用网引入集群，大力发展IDC内容：中国移动的互联网内容发展情况07年音乐随身听全曲下载飞信音乐搜索短信转移/过滤/仓库基本语音，短信前传等补充业务以品牌为基础解决基本通信需求增值业务提升用户体验数据业务大爆炸手机动漫可视电话MMSP截至2009年9月共有合作SP7258家,其中全网SP共879家，开展合作业务8.3万个移动智能网业务种类时间

基本业务：9种补充业务：7种

话音增值业务：

18余种数据增值业务：70余种条码识别条码凭证全业务运营公共安全绿色农业工业监控智能交通环境监测电子广告远程医疗智能家居多媒体化、定制化11年02年基地业务，互联网业务互联网化用户：中国移动的互联网用户发展情况WAPCSDGPRSWAPCSDGPRSWLAN专线CSDGPRSWLAN专线家庭宽带集团客户TDVIP客户200020122003WAP手机用户发展：手机用户数从不足2000万增长到4.5亿。宽带用户发展：宽带用户数从100万左右发展到目前的近1000万，网络承载的流量增加超过12倍。WLAN大发展：WLAN网络经历了巨大发展，AP数量20万到200万。Wlan用户从不足10万增长到3000万。用户种类CMNET骨干网的结构总体分层CMNET骨干网网络层次目前分为核心骨干层、汇接骨干层、一般骨干层三层结构。另外与核心层还连接有国际出入口层、互联互通层。一般接入层及以上即为省际骨干部分。（流量小情况下，分层汇聚能够节省端口。）骨干网按照地域分为3大片区，3大片区又细分为8个大区：北京片区：北京大区、沈阳大区、西安大区上海片区：上海大区、南京大区、武汉大区广州片区：广州大区、成都大区当前各片区向外发布路由优选情况如下（条数）：电信互联，北京：上海：广州=300:287:359联通互联，北京：上海：广州=374:223:3939CMNET骨干网国内拓扑结构核心层北京、上海、广州3个节点及其相连链路构成骨干核心层。其中，北京、上海、广州为核心节点，核心层北上广提供大区内省份流量的交换，并负责全网与国际Internet、国内其他运营商的互联。CMNET六期之后，部分省增加了到核心的连接。比如，青岛上海；福州上海。汇聚层汇接层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳节点为汇聚节点（相当于中国电信的普通核心），负责本大区内省份流量之间的交换原则上同省的两个接入节点同时连至三个核心节点中的一个、按区域连至五个汇聚节点的一个或多个。只有杭州连接至三个核心，并连接到南京。CMNET六期后将增加到核心以及汇聚的多个方向连接，比如济南武汉、厦门武汉等。接入层接入层按照一个省份两个骨干接入节点设置，只负责汇聚本省省际流量和出网流量。10CMNET骨干网络节点－概述网络节点：2011年底后，覆盖全国31个省（区市）36节点城市划分片区负责网间入流量调整：即按照片区广播网间路由，吸引入流量；划分大区负责网内流量调整，中国移动大区内流量优先通过汇聚节点转发。11CMNET骨干国际网络结构国际出口层北京、上海、广州的路由器组成，是国际网络的核心部分，面向国内连接骨干核心层，面向国外连接海外POP点，用来汇聚CMNET出入国内的国际流量，建立出国流量的缓冲区，设立这个层面的一个重要目的是方便国际出口配套工程实施。目前北京出口配套工程原因暂停使用。国际接入层国际接入层主要是指海外POP，主要用来接入海外网络，及与其他海外ISP间的互联链路（包括部分PEER电路和购买的TRANSIT电路）。它的主要作用是降低PEER互联成本和购买Transit的成本。每个节点规划两台路由器。美国POP点：洛杉矶、旧金山的国际互联网接入。香港POP点：负责香港本地和部分东南亚、欧洲的互联网接入。伦敦POP点：英国伦敦，负责欧洲国际互联网接入。（目前1台，未启用）12CMNET骨干网网络现状－网间互联节点设置国内互联节点：北京、上海、广州，均为双节点设置。国际互联路由器：北京、上海、广州，均为双节点设置，由于安全配套尚未到位，故北京国际出口、上海国际出口2、广州国际出口1暂未上线。NAP互联路由器：北京、上海、广州；均为单节点设置。海外POP点由中国移动国际公司运营的CMNET国际网（CMI）提供，拥有独立的自制系统，为CMNET提供国际互联业务。现有北美POP点（单局址双设备）、香港POP点（单局址双设备）及欧洲POP点（尚未承载业务）网间互联电信、联通等国内运营商北京1上海1广州1北京2北美香港Sprint、AT&T、DT等国际运营商核心节点CMICMNET六期工程建成后的结构骨干节点网络结构调整原核心骨干层和汇聚骨干层调整为骨干核心层，汇聚和疏通出网的业务量，实现跨省业务的有效疏通；北京、上海、广州、武汉、南京、四川、西安、沈阳；除西安、沈阳外，骨干核心节点之间全网状互联。原一般骨干层调整为骨干接入层，用于汇接本省的出省的业务量，全网目前23个骨干接入节点，六期工程内容：新增1个天津私有云节点作为骨干接入节点；增加部分接入节点接入方向；苏州城域网流量直连骨干网南京、上海节点，进行扁平化试点疏通方式；国内出口节点结构调整方案目前全网流量过于集中于北京、上海、广州三个核心，故障时影响面大且难以疏通，北京、上海、广州三个核心节点设备及机房的压力大。本次工程新增武汉、南京、成都3个节点作为国内互联节点，分散北京、上海、广州三个核心节点的压力，降低故障时的影响面。六期原设计于2012年8月完工，满足网络需求到2012年底，扩容后总带宽为5.9T；14155M155M/2.5G2.5G2.5G/10G接口技术10GCMNET骨干业务量和端口技术发展情况业务量增长：2003年到11年，网络承载流量增长175倍，年均增长90.7%08年到11年：业务量增长8倍，年均增长100%，其中IDC流量贡献从5G发展到240G；用户数方面，宽带从100万户发展到1000万户；WLAN从不到20万发展到超过800万。建设容量：2003年到11年，网络建设容量增长约45倍，年均增长62.7%骨干网总链路带宽：移动1.8T，电信21T，联通16T（互联网发展报告数据）技术发展方面：从08年到11年，主流端口技术一直停留在10G/PortCMNET承载流量增长情况G网络容量建设速度远低于业务量增长，且10G端口技术未升级，导致原有网络结构日趋不适应新的流量模型。CMNET网络量总容量建设情况G15年均增长超过90%年均增长超过100%在业务高速增长情况下，CMNET工程期末拥塞状态--五期工程原计划于2011年11月份完工，推迟到今年9月份（预计），目前仍有270条骨干链路未到位（五期建设规划共911条）---六期原设计于2012年8月完工，目前未完成设备集采，预计工程将延后；---2012年3月全网省际链路共205条，均值流量超过40%且峰值流量超过80%的链路共有37条（占18%），峰值利用率达到100%的共31条链路（占15%）。带宽：Gbps16骨干承载总流量情况骨干网承载总流量之和为824Gbps。骨干网承载省际总流量为555Gbps，占全部流量的67%。骨干网承载网间总流量为269Gbps，占全部流量的33%。各省业务量发展不平衡。骨干网承载总流量=骨干网承载的省际流量+骨干网承载的网间流量17骨干网承载的省际流量情况骨干网承载的省际流量之和为555Gbps。其中，排名前10省份的省际互访总流量之和为421Gbps，占出省际流量的76%。Gbps18骨干网承载的网间流量情况各省从骨干网疏通网间流量情况Gbps各省通过骨干网疏通网间流量之和为269Gbps。其中，排名前10的省份流量之和为175Gbps，占出全部流量的65%。19骨干网承载的网间流量情况各省从骨干网到电信方向流量情况Gbps各省从骨干网到中国电信流量为91.9Gbps，排名前十省份流量总和为59.5Gbps，占64.8%。各省从骨干网到联通方向流量情况Gbps各省从骨干网到中国联通流量为75Gbps，排名前十省份流量总和为48.7Gbps，占65%。20附录：省网第三方出口流量情况第三方出口疏通流量峰值为176Gbps，平均流量为88Gbps，占全网出网流量的24%。21骨干网承载的省际流量top10省份的流量流向GbpsGbpsGbpsGbps浙江省际流量为93.5Gbps江苏省际流量为78.3Gbps上海省际流量为61.8Gbps山东省际流量为40Gbps22骨干网承载的省际流量top10省份的流量流向GbpsGbpsGbpsGbps江西省际流量为34.2Gbps广东省际流量为25.6Gbps河南省际流量为24.8Gbps山西省际流量为29Gbps23骨干网承载的省际流量top10省份的流量流向GbpsGbps福建省际流量为18.5Gbps四川省际流量为15.1Gbps全国31省通过骨干网承载的省际流量详细情况参见：24CMNET骨干网络－流量中转的路由CMNET网络流量疏通遵照最短路径优先原则。(中国电信是按照角色转发，区分片区和大区，主要原因中国电信为多平面组网，路由更复杂。）中国移动优先考虑距离，metric设置和距离成正比，在距离相等的情况下，才考虑角色，按照跳数最小原则设计。中国移动路由举例每增加一跳Metric增加300：北京到海口：北京-广州-海口，而不是北京-武汉-广州-海口，增加一跳增加metric为300。距离不同跳数相同走最短路径：长春到哈尔滨：长春-沈阳-哈尔滨（metric=11139）；长春-北京-哈尔滨（metric=13661），25CMNET骨干网网络现状－设备配置情况CMNET骨干网设备配置情况骨干网全网共设置182台路由器、26台三层交换机设备配置JUNIPERCISCO华为TXP集群T1600M320CRS1-16GSR12008三层交换机NE5000ENE40E核心骨干6

汇接骨干

10

一般骨干

1250

26

国内互联

6

国际互联

412

2NAP互联

3

IP/VPNRR10（IP）4（VPN）VPNPE72合计642512326276208CMNET骨干网网络现状—国内网间互联电路互联链路对方运营商CMNET现状设计到达端口能力(五期后)实际开通（2012年4月）北京

电信8×10G3×10G联通8×10G2×10G中国教育网1×2.5G1×2.5G中国铁通2×10G2×2.5G+1×10G世纪互联1×2.5G1×2.5G合计185G70G上海

电信8×10G3x10G联通8×10G3×10G中国教育网1×10G1×10G中国铁通2×10G3x10G合计182.5G70G广州

电信8×10G3x10G联通8×10G+1G2x0G中国铁通2×10G2x10G中国教育网1×GE

合计181G70G

总计548.5G210GCMNET骨干网网络现状—国际网间互联电路国际出口节点

CMNET骨干网国际互联至内侧核心路由器（五期后）

至外侧互联

已具备端口开通情况上海5x10G/台，共两台至国际运营商直联1×155M1×155M至北美POP点2x10G/台2x10G至香港POP点3x10G/台2x10G（尚未开通）至欧洲POP点1x10G/台1x10G（尚未开通）广州7x10G/台，共两台至北美POP点2x10G/台2x10G（尚未开通）至香港POP点5x10G/台5X10G合计

130G+155M

120G+155M骨干网络架构与路由策略网络演进网络现状路由组织网络演进骨干网络架构与路由策略总体网络规划：IGP协议全网IGP采用ISIS全网所有核心、汇聚、一般骨干、出口路由器、业务交换机全网属于ISISLevel2ISIS邻居间运行MD5认证总体网络规划：IGP协议流量路径规划CMnet骨干网节点间流量疏通基本原则是逐级向上疏通。在满足该原则的同时，优选传输距离较短的路径：核心节点间流量任何情况下都通核心节点间链路疏通汇接节点间流量优选通过汇聚节点间链路疏通次选通过核心节点间链路疏通接入节点间流量优选通过接入节点间链路疏通次选通过汇聚节点间链路疏通再选通过核心节点间链路疏通总体网络规划：IGP协议Metric规划IGPMetric规划方式一般包括两种：链路参考带宽＋链路角色即选择带宽最大的路径疏通流量，该方式比较适合对带宽敏感的业务，如互联网业务。传输距离＋链路角色即选择传输距离最短路径疏通流量，该方式比较适合时延敏感的业务，如语音业务。CMnet骨干网采用模式2“传输距离＋链路角色”规划IGPMetric。即两点间流量优选传输距离最短的路径。总体网络规划：IGP协议Metric规划Metric规划Metric=链路角色+传输距离类型参考值核心、汇聚路由器CR间链路300＋传输距离1.出口路由器至核心路由器CR间链路2.一般骨干至核心汇聚CR间链路3.业务交换机至核心汇聚CR间链路4.VPNPE至核心汇聚CR间链路5000＋传输距离域名管控至国际出口国际出口至POP点300＋传输距离同省一般骨干路由器BR间300＋传输距离同大区核心汇聚CR间链路300+[1,n]RR到核心汇聚CR间链路20000同城RR间链路20000VPNPE路由器至一般骨干路由器间链路300＋传输距离同城VPNPE路由器间链路200+[1,n]总体网络规划：BGP规划省网与骨干网间运行EBGP协议骨干网在北京、上海、广州、武汉、西安设置5对10台IP路由反射器10台RR是fullmesh的BGP关系，骨干网节点根据归属关系作为RR的客户端国际出口、国内出口及NAP点路由器是北上广的RR的ClientPOP点、国内互联运营商及NAP点互联与骨干网出口建立EBGP关系总体网络规划：VRR设置VRR设置：北京、广州分别设置两台VRR、全网共设置4台VRR；4台VRR之间构成FullMeshMP-iBGP连接；北京、广东所辖地市的PE路由器和本省所在核心节点两台VRR建立BGP关系；其它省的所辖地址的PE路由器，根据规划与相应的VRR建立BGP关系。总体网络规划：LDP规划LDP协议规划全网所有骨干、核心、一般骨干间运行LDP协议仅针对PE的loopback地址分配标签LDP邻居间运行MD5认证端口启用IGP、LDP同步总体网络规划：策略规划至其他运营商：CMNET骨干网通告给出口路由器的路由包括CMNET省网路由及CMNET汇聚路由；出口路由器向对端运营商及POP点通告路由时需要过滤掉私有AS号；总体网络规划：策略规划至省网：骨干网向省网发送CMNET网内路由，缺省路由；根据情况发送国内路由及国际Internet路由；接受省网汇聚及细化路由，掩码长度不大于24位；骨干网对接收的省网路由设置相应的Community总体网络规划：策略规划国内出口策略：通过MED值控制其他运营商进入CMNET的流量；本大区的流量优先从本大区的国内出口流回CMNET；例如北京大区的国内出口通告路由时将携带北京大区Community的路由的MED宣告为100，上海、广州大区的路由MED宣告为300，则访问北京大区的流量优先从北京国内出口流回CMNET；由于其他运营商发给CMNET的路由在各个出口是有差异的，故出网流量由对端运营商控制。排除故障或调整流量时可以通过通告较低的MED控制某个省的流量从指定的出口流入CMNET。总体网络规划：策略规划国际出口策略：通过附加MED的方式控制国际运营商进入CMNET的流量；本大区的流量优先从本大区的国际出口流回CMNET；与国内互联策略类似，北京大区的国内出口通告路由时将携带北京大区Community的路由的MED宣告为100，上海、广州大区的路由MED宣告为300，则访问北京大区的流量优先从北京国内出口流回CMNET；由于CMNET国际网是由国际公司运营的有独立自制系统号的网络，故通过协商，国际公司在POP点接收对端运营商路由时根据ASPath等属性，对接收的路由标记相应的本地优先级。由于CMNET和CMI间运行的是EBGP协议，本地优先级属性不会传递给EBGP邻居，故POP点在向CMNET发送路由时应根据路由的本地优先级值打上相应的Community，CMNET国际出口接收路由后，根据Community还原本地优先级，以便出网国际业务可以选择最优路径。骨干网络架构与路由策略网络演进网络现状路由组织网络演进骨干网络架构与路由策略我省CMNET省网与城域网、IDC、第三方、省网核心交换机路由协议采用OSPF，cost值均为1000。我省CMNET城域网节点通过OSPF发布业务路由，并接收省网核心节点通过OSPF下发的缺省路由。CMNET网络演进总原则：贴近内容分布规划聚焦于互联网内容，规划中国移动的CMNET网络架构以内容为核心（IDC/出口互联/CDN），驱动IP网络架构的扁平化调整先期以带宽弥补内容缺乏短板，逐步积累内容传送技术，最终形成光+IP+CDN协同的内容传输平台，支撑超宽带业务发展在网络确定的前提下，高密度内容，尤其是视频内容努力下沉到省网甚至城域网，提升视频感知的同时，节省网络传输投资。低密度内容确保全网共享。核心核心西安北京杭州广东武汉天津成都重庆安徽福建广西湖南江西云南南京。。。省网1省网2出网内容为主，内容集中在北上广出口和互联路由器上核心核心西安北京杭州广东武汉天津成都重庆安徽福建广西湖南江西云南南京。。。城域网1省网2以内容为核心扁平化;省网分裂为大城域网;大内容城域网上联核心平面城域网2核心核心西安北京杭州广东武汉天津成都重庆安徽福建广西湖南江西云南南京。。。城域网1省网2为高清视频和大带宽应用建设CDN城域网2互联出口大型IDCCP互联互联出口大型IDCCP互联扁平化简单化拓扑稳定易于扩展高转发效率高清视频内容本地化45网络结构问题1：骨干汇聚节点未设置国内出口，造成核心流量过集中----迂回和绕转造成端口和带宽浪费

随着业务的增长，由于汇聚节点未设置互联出口，流量过于集中于现有三个骨干核心节点，汇聚节点未充分发挥效率。问题后果：导致核心节点的升级调整和故障影响大。

功能大区承载流量占比核心节点北京17523%上海22130%广州16021%汇聚节点成都203%沈阳111%南京659%武汉415%西安142%武汉415%合计

748100%核心、汇聚节点承担的流量网内74.3%骨干网流量需要通过核心节点承载，核心和汇聚节点之间流量疏通不均衡。根本原因是因为互联互通的节点只设置在北上广，且CMNET对外网互访依赖较为严重。（中国电信：10%以内，中国移动50%）数据来源：数据网管北京1西安1太原132G/40G太原24.2G/40G电信14.5G其他省西北大区省份40G10GCMNET骨干网7.5G4G3G现状北京1西安1太原118G/40G太原218G/40G电信联通7G其他省西北大区省份5GCMNET4.5G2G3G电信联通铁通西安升级为核心后7G5G2G20G铁通联通铁通网络结构现状：西安无国内出口，山西省36.2G的流量90%通过北京疏通。为保障安全，西安1到北京1之间需预留40G备份带宽资源。目标方案：西安增加国内出口20G后，西安1到北京1之间只需预留20G备份带宽。解决方案：将西安等5个汇聚节点和浙江节点逐步按需增加网间出口方案效果：如果在西安增加疏通20G国内出口，就可节省北京到西安之间的传输链路2条10G，4个10G端口，同时也能提升北京到太原之间的质量。网间互联出口并非越多越好，要有适当的度，每增加一个互联出口：1、跨运营商业务的路径增加，排障时间成倍增加。2、多出口流量调控的难度增加，利用率和平衡效果变差。同一个出口的链路负荷分担的效果非常好，不同出口之间负荷分担需依靠维护员手工不断尝试调整，由于40万条路由的复杂性，过多核心将导致同样的质量保障情况下，互联出口平均利用效率下降。3、IP技术采用统计复用原理，适当汇聚后的抗突发能力、冗余备份能力更强。网络结构问题1：骨干汇聚节点未设置国内出口，造成核心流量过集中----迂回和绕转造成端口和带宽浪费核心节点逐步增至9个网络结构问题1解决方案：适当增加核心节点数量将汇聚节点增加网间出口，升级为核心节点，同样也推动了骨干核心和汇聚节点扁平化，使得CMNET骨干从三层变为两层，减少了网内访问跳数3个核心5个汇聚节点23个接入节点北京、上海、广州武汉、沈阳、西安、南京、成都核心节点具备疏通网间流量的能力汇聚节点会转发接入节点的流量仅疏通本省流量现状核心扁平化演进前：核心、汇聚、接入节点9个核心节点23个接入节点北京、上海、广州、武汉、沈阳、西安、南京、成都、杭州核心节点具备疏通网间流量的能力仅疏通本省流量演进后：核心、接入节点方案效果：每个核心节点承担的流量将降低到10%以内，有效减少网络升级和故障发生时的业务影响。备注：定义核心节点的两个要素1、有汇聚转发周边省份流量的需求。(核心节点自身处于传输网汇聚点，且周边省份流量相对较小，有经过自身中转提升效率的需求）。2、由负责疏通网间流量的需求。48目标网络结构问题问题2：部分大流量省际节点之间未设直达

---当前结构造成大流量经过核心中转，效率低

调整直连的本质：随着网内流量增大，接口技术未升级，使得部分大流量省之间经过核心转发不再合理，需要根据流量增长和端口技术不断优化直连链路。解决方案：增加大流量省份之间的跨省直连链路。本质是骨干网层面扁平化，“该直连，就直连”。网络结构现状：南昌-南京流量需中转，在2012年中转流量超过16G后，上海需要为南昌多设置4个10G端口。目标方案：增加南京-南昌直连链路，能够节省4个10G端口，在保障冗余能力的情况下，提高了中转效率。南京-南昌流量疏通情况上海1武汉1南昌1南昌2CMNET16G/20G20G南京1上海1武汉1南昌1南昌2CMNET南京116G/30G16G/20G30G30G30G方案效果：增加跨省直连后，能够节省端口，提高中转效率。大流量时设置直连：省端口、增加了骨干路由，减少了冗余程度。小流量时设置直连：费端口、增路由。大流量和小流量的标准随技术在不断变化，结构也要随之变化，通常设计一个超过3年的网络结构是没有意义的。增加直连要保证一定程度的冗余：要保证直连中断时，所归属的核心节点能够作一定的备份。适度增加直连的原因：网络结构问题3：出省流量大的城域网未直连骨干网----造成经过省网核心中转效率低解决方案：增加出省流量大的城域网双跨省网和骨干的力度。本质是大流量的城域网扁平化，“该双跨，就双跨”。方案效果：出省流量大的城域网双跨，能够节省端口，提高中转效率。网络结构现状：太原城域网出省流量超过20G后，山西省网核心需要为之多设置8个10G端口。目标方案：城域网双跨，能够节省8个10G端口，在保障冗余能力的情况下，提高了中转效率。

CMNET骨干网太原城域网

其他城域网B山西省网核心CMNET省网15G/20G15G/20G

CMNET骨干网太原城域网

其他城域网B山西省网核心CMNET省网15G/20G15G/20G解决方案：增加出省流量大的IDC双跨省网和骨干的力度。本质是大流量的IDC扁平化，“该双跨，就双跨”。方案效果：出省流量大的IDC双跨，能够节省端口，提高中转效率。网络结构现状：北京IDC出省流量超过20G后，北京省网核心需要为之多设置8个10G端口。目标方案：城域网双跨，能够节省8个10G端口，在保障冗余能力的情况下，提高了中转效率。

CMNET骨干网北京IDC其他接入节点北京省网核心CMNET省网15G/20G15G/20G

CMNET骨干网北京IDC其他接入节点北京省网核心CMNET省网15G/20G15G/20G网络结构问题4：出省流量大IDC未直连骨干网----造成经过省网核心中转效率低天津省网南京C1天津A1北京C1北京C2南京C2天津A2武汉C1上海C1上海C2北京E1三角型口字型2to2：A、Z节点分别设置2台设备三角形：A端1台设备连接Z端2台设备口字型：A端2台设备连接Z端2台设备江西省网南昌A1南昌A2三角型口字型CMnet省网其它运营商国内、国际运营商国内、国际运营商南京E1武汉E1上海E1天津P1天津P2南昌P1南昌P2骨干网组网结构分析-三角形OR口字型武汉C2-53-网络结构演进：三角形vs口字型对比分析对比项目三角型口字型1网内流量疏通基于IGP选路，较均衡基于IGP选路，较均衡1网间流量疏通初期和后期，调控简单初期，调控较复杂；后期调控简单3链路数相同相同4端口占用相同相同5连接维度相同相同6网络可靠性相当相当网络发展初期，出口设置在北上广，较为集中，三角型较口字型疏通效果略好，适用于较小规模网络。随着网络扁平化，出口设置在更多核心节点，口字型、三角型疏通效果相当，而口字型更利于网络演进。CMNET演进原则总结互联网组网结构是动态，伴随流量和端口技术等需要针对性优化。针对CMNET演进优化建议如下：增加骨干核心节点的数量：将南京、武汉、成都、沈阳、西安5个汇聚节点和杭州节点升级为核心节点，推动扁平化，提高疏通效率。增加骨干网网间出口：在出网流量大于30G的汇聚节点增加网间出口，节省核心节点间的传输链路和端口资源。出口地点：南京、武汉、成都、沈阳、西安、杭州。大流量省份骨干节点之间增设直连：业务量大于14G的可设直连（阀值随技术变化，如40G应用后，阀值可相应提升；14G=10*2*70%）。省间直连仅疏通两省直达流量。同时考虑适度增加直连的原则，所在省的归属核心要能够实现业务备份（建议备份比例超过50%）。大流量城域网节点增设和骨干网的直连，同时连接骨干网和省网：大流量的城域和IDC节点（例如下期规划的南京、深圳），可以双连省网和骨干。大流量IDC节点双跨骨干网和省网：IDC节点双跨骨干和省网，即省外流量直接骨干转发，省内流量由省网核心转发。推进三角型组网向口字型组网转变，增强后期网络结构优化扩展性。满足业务发展需求。目录骨干网络架构与路由策略Webcache、DNS、流控系统介绍省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法Webcache、DNS、流控系统介绍WebcacheDNS流控系统骨干网络架构与路由策略InternetIP承载网络WebCacheP2PCache特点：一次外网访问，多次内网服务核心思想：以存储换时间、以存储换带宽流量拥塞点:省网出口互联出口通过截获DNS请求实现解决HTTP流量问题通过破解P2P协议或与SP深度合作实现解决P2P流量问题什么是CACHE？小带宽大带宽WEBCacheP2PCacheDPI截获DNS请求P2P协议破解存储内容HTTP页面大文件返回内容WEBCache存储器IP地址P2P文件存储器地址及用户地址列表WebcacheCache系统全国部署情况：集团Cache节点：北京、上海、广州省级WebCache节点：15个省级P2PCache节点：18个

规划中的Cache节点58厂家WebCacheP2PCache华为√√宽广√√Bluecoat√思华√网宿√√东方网信√Cache系统在全国得到了较广泛的部署：WEBCache已在集团和15个省部署，P2PCache已在18个省部署，共涉及6个厂家Webcache59系统组成DPI+调度器：检测出DNS域名解析请求，向用户或LocalDNS发起DNS重定向包负载均衡设备：将用户请求和网络流量按照相应算法分发到WebCache服务器组进行处理WebCache服务器：分析请求是否在本地命中，是则直接响应；否则向源服务器发送请求，下载、缓存相应内容，并返回给用户应用场景和限制WebCache系统部署在互联互通出口，通过DPI设备拦截出口的DNS请求并重定位到WebCache服务器，由WebCache服务器统一出网取内容并做本地缓存，以此减少用户的出网流量WebCache技术流程网站本地DNS调度器出口路由器DPI其他运营商网络授权DNS1.用户发起网站域名的DNS请求2.本地DNS向外网发起域名的DNS请求4.调度器抢先响应DNS请求，回复Cache系统地址3.网间DPI将DNS请求复制给WebCache调度器5.用户获得域名解析结果，地址为Cache系统地址6.用户访问Cache4(1).外网DNS响应较晚，被丢弃WebCache服务器

负载均衡设备用于缓存静态的Web页面，对于实时更新的网站或动态网页均无法缓存，对Web用户访问体验的改善有限7(1).对于不命中内容，Cache服务器从外网取回数据7.Cache命中则直接向回应用户；不命中则从外网取回数据后回应客户P2Pcache原理60系统组成DPI+调度器：通过DPI检测P2P请求，将请求重定向、控制在指定范围内负载均衡设备：负载均衡、缓存记录搜索、热点内容管理调度P2PCache服务器：缓存热点内容应用场景和限制P2PCache系统部署在互联互通出口，由P2PCache服务器统一出网取内容并做本地缓存，通过DPI设备拦截出口的P2P请求并重定位到我公司的P2PCache服务器，使得用户可以直接在缓存服务器上获取相应内容，以此加速用户的下载速度，并减少用户的出网流量P2PCache技术流程出口路由器DPI其他运营商网络P2PCache服务器

负载均衡设备P2P均为私有协议，支持情况不太好调度器P2P服务商的Tracker服务器1.用户发起P2P请求2.网间DPI将P2P请求复制给P2PCache调度器3.调度器抢先响应P2P请求，回复网内Peerlist（包含P2PCache服务器地址）3(1).外网Peerlist响应较晚，被丢弃外网P2P资源PEER1PEER24.用户向Peerlist中的地址发起下载4(1).对于不命中内容，Cache服务器从外网下载内容后缓存Webcache61WEBCache系统是应对出口结算和用户体验问题的有效手段，应用效果较明显分担出口带宽提升用户体验缓存加速前：146.598秒缓存加速后：12.768秒门户网站:网易视频网站:酷6缓存加速前：365.677秒缓存加速后：5.450秒网页浏览提速视频播放提速提速11

倍流量贡献比：缓存贡献流量占该省总流量比例提速66

倍

WebCache流量均值（Gbps）WebCache流量贡献比广东2

8.34%湖北0.02651.3%浙江

1.1

1.65%Webcache62

P2PCache系统是应对出口结算和用户体验问题的有效手段，应用效果较明显分担出口带宽提升用户体验BT迅雷HTTP/P2SPeMuleLAN25倍14倍26倍4倍WLAN44倍58倍9倍20倍TD5倍5倍2倍3倍各类应用使用缓存后下载速度提升倍数

P2PCache流量均值（Gbps）P2PCache流量贡献比广东

1.8

7.50%湖北0.66330%浙江

20

30.03%Webcache存在的问题：63缓存系统虽然是比较有效的缓解出口结算压力和提高用户体验的一种方式，但是缓存系统也存在一些问题，主要体现在：缓存是一种补充手段，效果约为70%，潜在会影响用户感受缓存命中率约为70%，动态内容一般不能缓存缓存有一定的更新期，在更新期内部分内容不能得到实时更新，潜在影响用户感受随着HTTP+80端口被广泛应用，潜在存在用户不能访问的各种隐患缓存需要精细化运营，缓存系统需要不断的“去除隐患”和“调试优化”“去除隐患”：如WebCache若采用HTTP重定向方式，对于采用了HTTP协议的非网页类应用（QQ离线文件下载）无法正确处理，影响用户使用“调试优化”：如WebCache的白名单要根据热点网站进行更新，P2PCache系统需要适应大量不同P2P应用协议变化进行调整，以获得最好的缓存效果（类似病毒库）全国管理手段并不具备没有手段查看全国各省的热点列表没有手段查看各省真实的使用效果（如缓存的使用率，访问时延等）协同问题突出Cache与其他系统未能很好协同（见后面分析）CMNet骨干网其他运营商网络第三方

网络第三方链路DPI+调度器DPI+调度器铁通互联互通×IDC引入的网站WEBCache服务器IDC引入的P2P资源P2PCache服务器集团WebCache服务器WebCache系统WebCache系统问题二：WEBCache和IDC内容源重复，导致IDC无法使用DPI+调度器234省网B省网A问题三：P2PCache无法利用IDC引入的P2P内容问题四：两级WEBCache是否冲突？省网C省网DDPI+调度器多次出网下载5问题五：省Cache之间没协同，造成同一内容各省分别出网获取问题七：未共享铁通资源NDC×问题六：网内IDC/Cache已有资源，可能仍走第三方出口67Cache系统存在七类协同问题DPI+调度器问题一：多种疏导方式的定位有待进一步明确1骨干网互联互通Webcache、DNS、流控系统介绍WebcacheDNS流控系统骨干网络架构与路由策略DNSDNS是互联网数据业务的神经系统：InternetDNS系统①②②域名解析（DNS系统实现的功能）的功能是将一个域名（如：）解析成一个IP地址（告诉网络资源的位置），从而实现路由器之间的路由转发。域名解析是互联网业务流程的第一步，运行好坏直接关系数据业务端到端质量。DNS的作用相当于传统话音网的HLR。72①DNSDNS正常解析流程：请告诉我的IP地址缓存里没有的IP地址，去根服务器查这个域名由COM域管，给你一个COM域服务器的地址163.com主区域服务器知道的IP地址，给你163.com主区域服务器的地址的地址我这儿有，给你163服务器，地址a.a.a.a163.Com的地址：a.a.a.a163.Com的地址：a.a.a.a12345678获得地址a.a.a.a，访问服务器移动用户本地DNS根服务器COM域主服务器163.com域主服务器9DNS中国移动DNS设置情况：CMNET北京DNS山东DNS天津DNS吉林DNS四川DNS上海DNSCMNET-DNS北京节点CMNET-DNS广州节点……吉林省用户全球根DNS31省部署省网DNS，骨干网DNS设置北京、广州两节点。骨干DNS负责/等自有域名解析，省网负责各自子域解析，例如等。路由原则：骨干网用户/系统使用骨干网DNS，省网用户/系统使用本省系统。骨干网/省网DNS为平等/扁平化而非上下级关系，省网直接访问全球根DNS。骨干用户DNS引入资源访问时的标准DNS流程：用户根据移动骨干/省DNS反馈的结果，选择第一个解析地址进行访问。将会随机的被引导至电信/联通/移动网内的资源。移动节点域名=IP地址=用户终端移动骨干/省DNS网站归属DNS服务器1、发起解析请求3、随机顺序返回2、转发解析请求联通节点域名=IP地址=电信节点域名=IP地址=4、返回5、挑选第一个解析结果进行访问DNS引入资源访问时的DNS流程-智能网站DNS：移动节点域名=IP地址=用户终端移动骨干/省DNS网站归属DNS服务器1、发起解析请求2、转发解析请求3、ICPDNS是智能DNS，发现用户来自移动，则反馈移动网内资源；联通节点域名=IP地址=电信节点域名=IP地址=4、反馈移动网内资源地址；智能网站DNS能够根据用户来源，相应的给出不同运营商网内的服务器地址。5、访问移动网内资源DNS引入资源访问时的DNS流程-智能运营商DNS：移动节点域名=IP地址=用户终端移动骨干/省DNS网站归属DNS服务器1、发起解析请求3、随机顺序返回2、转发解析请求4、运营商DNS智能化后，反馈移动网内资源；联通节点域名=IP地址=电信节点域名=IP地址=智能DNS可以实施智能DNS改造，将网站返回的多IP地址进行优选排序，优先将移动网内IP反馈给用户。如果网站归属DNS只反馈给骨干/省网DNS单一电信/联通资源地址，则该方法无效（控制权主要在ICP）。5、反馈移动网内资源地址；6、访问移动网内资源我省DNS现状（改造前）我省DNS现状（改造后）Webcache、DNS、流控系统介绍WebcacheDNS流控系统骨干网络架构与路由策略流控系统介绍DPI是什么：-75-DPI－DeepPacketInspection深度包检测：深度包检测技术是一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，通过深度分析报文净荷中的特征指纹Signature进行业务识别，是协议和应用识别最重要的技术手段。流控系统介绍DPI的作用和应用：DPI的作用：区分流向，分省、分运营商对流量进行分析识别区分链路中的不同业务流量区分IP、用户的优先保障等级DPI的应用国内外很多运营商已大规模应用DPI技术，实现差异化服务和智能管道互联网出口流控IDC流量流向分析P2Pcache和webcache上网日志留存系统流量清洗系统域名管控流控系统介绍基于DPI进行分析控制的典型流程：采集检测控制对链路进行物理分光，并输入DPI分析系统对链路中的包进行深度分析检测，获取所需的关键业务报文，将这些报文输入至控制系统对关键业务报文进行分析、丢弃、劫持等操作，达到对链路中的业务进行分析控制的作用流控系统介绍DPI部署方式：1、串接方式2、旁路方式串接方式：无需分光，集采集、检测、控制能力于一体。控制有效而精确，故障时切换至直通模式。并接方式：实现简单，部署风险小，需部署分光器，DPI设备提供检测能力，控制效果较差，侧重分析能力。控制系统采用串接方式较多，如流控系统。分析系统采用并接方式较多，如用户上网行为分析系统。DPI设备DPI设备端到端流量分析及控制系统6、第三方出口流控4、IDC流量监测PCRF骨干网DPI1、Gn数据业务监测5、省网流控IDC出口省网出口SGSNGGSNInternet及业务平台省网骨干网出口ACWLAN出口3、WLAN流控2、PCC7、骨干网出口流控第三方出口系统Gn数据业务监测PCCWLAN流控IDC流量管控CMnet省网流控CMnet第三方出口流控CMnet骨干网出口流控定位2/3G数据业务流量流向分析2/3G无线网络优化与管控WLAN网络流量流向分析与控制IDC资源流量流向分析互联网省内流量流向分析及流控互联网第三方出口流量流向分析及流控互联网网间及国际出口流量流向分析及流控能力2/3G数据业务排障2/3G网络流量分析为PCC管控提供依据缓解2G网络压力的手段之一2/3G网络数据业务在无线和核心网侧的精细化管控WLAN流量特征分析。WLAN分流分析。WLAN认证质量和所承载的业务质量分析IDC流量流向分析与管控为互联网网间/省间结算提供基础数据省内数据业务流量流向分析低价值业务流控互联网至第三方出口流量流向分析及管控网间流量流向分析及管控国际流量流向分析及管控配合安全管理要求进行特定数据流管控流控系统现状及问题系统现网部署情况

问题

Gn信令监测系统

15省已完成合同签署，拟于2012年5月完成省设备安装及系统上线运行。（广东，福建，辽宁，上海，山东，四川，湖北，江苏，浙江，安徽，北京，陕西，天津，河南，河北）

2012年仅能完成15省部署，其余16省尚未规划部署PCC

初期部署规模为：31省148个地市，无线网5.1%载频，核心网51%GGSN。预计6月份可完成初期部署1、增强PCC功能尚有35.3万载频缺口，标准PCC功能尚有211台GGSN缺口

2、Gx接口尚未异厂家及全互通，影响用户感知WLAN信令监测系统

安徽、内蒙、江苏三省试点

尚未完成试点，现网还不具备能力IDC流控系统

北京、上海、广东、浙江、江苏、重庆、四川、山西、江西、安徽、海南、湖南12省已经完成部署

尚有12省未建设IDC流控系统省网流控系统

安徽、海南、湖南、浙江、北京、重庆、福建、甘肃、广东、江苏、江西、吉林、辽宁、内蒙、山西、陕西、贵州、上海18省已经部署

尚有13省未部署省网流控系统第三方流控系统

25省均已部署

全网均已部署骨干网流控系统

骨干网所有至国内运营商出口及国际出口均已部署问题：各省流控系统部署进度不一，缺乏统一的建设指导原则。现网多DPI部署存在的问题及部署原则：DPI建议部署原则：采集统一：相同位置的DPI，优先考虑复用分光器。DPI统一：争取做到同一套DPI能够复用，为不同分析控制系统提供不同数据流。要求对DPI能力形成统一规范标准硬件处理能力强、镜像端口个数多。要求软件策略库丰富、数据输出格式多。骨干网出口建设webcache系统时已复用流控系统的DPI模块。统筹部署：分析整理全网DPI需求，统筹安排，形成关键DPI部署点。SGSNGGSNGn信令监测系统公安相关系统上网日志留存系统典型问题一：同一链路重复分光后连接不同系统DPI缺点：链路质量及可靠性下降：多分光器串入链路造成光路衰减、链路质量下降；光放（有源）串入链路，提高中断风险链路扩容和割接时，需协调考虑多个系统，维护难度增大光放重复建设。不同DPI对业务特征理解不一致导致无法统一调控全网。数据业务分析系统（省内）信令检测及投诉处理系统（省内）数据业务分析和信令检测系统（集团建设中）SGSNGGSNGn典型问题二：同一链路分光连接不同系统的DPI缺点：重复建设DPI增加投资。DPI部署要求PCRF骨干网DPIIDC出口省网出口SGSNGGSNInternet及业务平台省网骨干网出口WLAN出口第三方出口12345城域网地市出口789101113某省共部署了13套流量相关系统，具体如下612编号系统组网情况1Gb数据业务监测2Gn数据业务监测在Gn接口上部署1*4分光器，Gn数据业务监测及上网日志留存系统分别部署了DPI3上网日志留存4PCC5Gi接口流控在Gi接口上部署1*4分光器，Gi接口流量及不良信息监测系统分别部署了DPI功能6不良信息监测7城域网流控8Cmnet省网出口流控9Cmnet第三方出口流控10Cmnet骨干网出口流控Cmnet骨干网出口链路上部署1*N分光器，骨干网出口流控及恶意代码检测系统分别部署了DPI；骨干网出口流控与流量清洗系统共享DPI11恶意代码检测12异常流量清洗13IDC出口流控总部：明确组网及能力共享要求同一个接口只能够进行一次分光，主路功率应在80%以上同一个接口多个系统并存情况下，应尽量实现系统间DPI能力共享研究院：制定DPI设备规范省公司：根据组网要求进行系统整合建议目录骨干网络架构与路由策略Webcache、DNS、流控系统介绍省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法省网组织结构与路由交换方式一、网络定位

CMNET省网采用核心、接入两个层次，CMNet城域网分为核心层和业务接入控制层两个层次；业务发展初期，CMNET省网接入层兼做本地市CMNET城域网的核心层，CMNet省网与CMNet城域网共自治域。CMNET省网与骨干网采用不同的自治域进行网络组织。如下图：省网组织结构与路由交换方式二、网络规划原则在网络层次上，CMNet省网分为核心层、接入层两个层次。核心层主要由核心路由器组成，现阶段核心路由器兼做省网出口路由器，主要作用是汇接出省业务量，转发省网内各接入节点之间业务量，并提供CMNet省网到CMNet骨干网的出口。接入层主要由接入路由器组成，实现城域内的业务汇聚，提供城市的高速IP数据出口。省网组织结构与路由交换方式三、网络节点设置原则CMNET省网节点地址的选择应考虑传输、机房、电源等各种条件，同时也应考虑省内的维护、支持力量来综合考虑，应保证故障发生时快速响应、及时排障处理。省网核心节点的设置：省网核心节点应采取大容量、少节点的方式进行建设，原则上省网内设置２个核心节点；省网接入节点的设置：省网接入节点应设置在业务相对比较大且集中的地市级城市的通信枢纽楼，为保障节点的可靠性，一般异局址成对设置接入路由器；省网组织结构与路由交换方式五、网络拓扑结构设计原则CMNET省网网络拓扑结构设计时应统筹考虑节点地域分布、光缆传输路由、被承载业务的业务量情况、业务相关性等因素；CMNET省网核心层宜以口字型结构接入本省的CMNET骨干网节点；CMNET省网接入层以双星型结构接入省网核心层，成对的接入路由器之间直连并构成口字型组网；原则上，不同地市节点路由器之间暂不设置直连链路；省网组织结构与路由交换方式六、路由组织原则CMnet省网Cmnet骨干网AS:

CMNET省网与骨干网采用不同的自治域进行网络组织；目前CMnet省网采用公有或私有AS号。IGP:省网内采用IGP路由协议（ISIS或OSPF），并设置与城域网独立的IGP区域（level或者area），区域间:

CMNET骨干网与国际、国内互联网以及与中国移动互联网CMNET省网之间运行BGP-4路由协议。接入网接入网接入网网内路由:省网内部互联网业务的路由（公网路由）可通过IBGP或IGP承载。若通过IBGP承载，则在省网接入层对互联网业务路由进行汇聚；通过IBGP宣告给省网核心层，最后在省网核心层对省内路由进行汇聚后宣告给CMnet骨干网。若通过IGP承载，则在CMnet省网核心层对业务路由进行汇聚，并通过EBGP宣告给CMnet骨干网；省网核心路由器接入路由器网