中国移动IP专用承载网省内延伸一期工程总体实施方案（上海）——ASB.doc

中国移动中国移动 ipip 专用承载网省内延伸专用承载网省内延伸 一期工程一期工程 上海分公司总体实施方案及配置规范上海分公司总体实施方案及配置规范 上海贝尔阿尔卡特股份有限公司上海贝尔阿尔卡特股份有限公司 互联网事业部互联网事业部 二零零六年十二月二零零六年十二月 中国移动 ip 专用承载网省内延伸一期工程 confidential第 2 页 共 55 页ipd 目目 录录 第一章第一章 概述概述.4 第二章第二章 中国移动中国移动 ipip 承载网络架构承载网络架构.6 2.1 ip 承载网拓扑现状描述.6 2.2 本次工程各省拓扑模型7 2.3 上海移动 ip 承载网现状8 2.4 上海移动本期工程实施后拓扑11 第三章第三章 承载业务种类和实现方案承载业务种类和实现方案.13 3.1 网络业务组织方式13 3.2 ngn 业务接入模型.14 3.3 上海移动业务描述14 3.3.1 电路域核心网14 3.3.2 分组域核心网.15 3.3.3 自有业务系统16 3.3.4 业务支撑系统17 第四章第四章 路由协议设计路由协议设计.19 4.1 igp 路由设计.19 4.1.1 isis 路由扁平化设计19 4.1.2 isis 优化设置.20 4.2 bgp 路由设计20 4.3 mpls 三层 vpn 设计.21 4.3.1 自治域部署.21 4.3.2 主备 pe 部署.22 4.3.2 vpn rr 设置23 4.3.3 pe 与 ce 的协议选择23 4.3.4 mpls vpn 部署24 4.4 mpls te 设置.25 第五章第五章 承载网承载网 qosqos 部署部署.26 5.1 业务 qos 要求26 5.2 7750 qos实现机制28 5.3 qos 部署建议.33 5.4 qos 实施参数与 mpls diffserv部署.35 5.4.1 网络口出口 qos 规划表.36 5.4.2 网络口入口 qos 规划表.36 第六章第六章 设备配置规范设备配置规范.38 6.1 设备名称命名规范38 6.2 ip 地址规划38 6.3 isis 配置规范.39 中国移动 ip 专用承载网省内延伸一期工程 confidential第 3 页 共 55 页ipd 6.4 路由端口(interface)命名规范.40 6.5 物理端口（port）描述规范.40 6.6 vpn 相关规范.41 第七章第七章 配置实例配置实例.43 7.1 设备初始化配置43 7.2 端口配置及链路调测45 7.3 isis 路由协议配置.47 7.4 mp-ibgp 邻居配置.48 7.5 ldp/mpls 配置.49 7.6 vpn 配置.49 7.7 设备运行状态及业务测试50 中国移动 ip 专用承载网省内延伸一期工程 confidential第 4 页 共 55 页ipd 第一章第一章 概述概述 ip 专用承载网是中国移动下一代能够同时支持语音、视频、数据、企业互联等多 种业务的核心承载平台。ip 专用承载网以创建中国移动的品牌形象，形成可赢利的运 营模式，提升中国移动的企业竞争力和赢利能力为主要目的。 中国移动 2004 年开始建设 ip 专网，初期主要作为中国移动 gsm 省间长途话路。 2005 年 11 月开始进行二期网络建设，将 ip 专用承载网定位于多业务 ip 承载网，包 括“msc server 汇接网” 、 “网管支撑系统联网” 、 “业务支撑系统联网” 、 “企业信息化 系统联网”等业务的接入和承载，并将逐步在其中期发展进程中实现 3g cs/ps、ims 和部分可控的集团用户 mpls vpn 业务的接入和承载。 随着业务的顺利开展，中国移动集团公司决定移动 ip 专网骨干网根据 2g/3g 业务 发展需求延伸到 c3 节点（大本地网） ，各地纷纷展开了 ip 专用承载网延伸的建设。 按照集团公司关于近期中国移动 ip 专用承载网省内延伸网络建设的指导意见 的指导思路，根据业务发展现状及引入策略，ip 专用承载网省内延伸一期工程（以下 简称“一期工程” ）需考虑以下业务的承载和接入需求： 省际软交换汇接网的话音业务 软交换信令：指软交换汇接网、3g cs 核心网以及省内软交换架构端局改造等 项目所涉及的 h.248、bicc 信令等，暂不考虑 hstp/lstp7 号信令网的 ip 化 承载需求 2g gprs 核心网 gn 接口 3g 电路域（cs）核心网：指 3g r4 的 cs 话音、可视电话等业务 3g 分组域（ps）核心网：指 3g r4 ps ggsn/sgsn gn 接口数据业务等 自有业务系统互联等自有业务的承载，如流媒体等 省际及省内地市间内部支撑系统联网：包括业务支撑、网管及企业信息化等 it 支撑系统 本实施方案结合上海移动本期工程的具体情况，从如下几章内容对此次工程的实 施计划和技术方案进行描述： 中国移动 ip 专用承载网省内延伸一期工程 confidential第 5 页 共 55 页ipd 1、网络拓扑结构 2、承载业务种类 3、igp/bgp 路由设计 4、vpn 路由设计 5、qos 队列设计 6、设备配置规范 7、工程实施计划 在整个实施方案的制订过程中，我们一直遵循如下原则： 充分论证，及时沟通，确保实施方案整体的可靠性、可行性；充分论证，及时沟通，确保实施方案整体的可靠性、可行性； 方案制定要有前瞻性，尽量做到对资源的合理分配和预留；方案制定要有前瞻性，尽量做到对资源的合理分配和预留； 对承载网的关键业务指标进行全面而科学的测试，确保符合业务发展需要；对承载网的关键业务指标进行全面而科学的测试，确保符合业务发展需要； 本方案可依据现场实际情况，进行具体分析讨论后作出相应调整。本方案可依据现场实际情况，进行具体分析讨论后作出相应调整。 中国移动 ip 专用承载网省内延伸一期工程 confidential第 6 页 共 55 页ipd 第二章第二章 中国移动中国移动 ipip 承载网络架构承载网络架构 2.12.1 ipip 承载网拓扑现状描述承载网拓扑现状描述 中国移动 ip 专用承载网目前的拓扑结构如下图所示： 北京 沈阳 上海 南京 广州 成都 武汉 西安 cr1 cr1 cr1 cr1 cr1 cr2 cr1 cr1 cr2 cr2 cr2 cr2 cr1 cr2 cr2 cr2 深 圳 沈 阳 长 春 哈 尔 滨 天 津 北京 银 川 呼 和 浩 特 石 家 庄 郑 州 西 宁 济 南 兰 州 拉 萨 武 汉 重 庆 成 都 昆 明 南 宁 贵 阳 海 口 广 州 佛 山 江 门 广 州 济 南 杭 州 上 海 南 京 合 肥 福 州 厦 门 全国网管中心 惠 州 东 莞 核心层为 8 个节点，分别是北京、上海、广州、武汉、南京、沈阳、西安、成都， 每个核心节点配置 2 台路由器（cr） ，在同一节点的 cr1 和 cr2 路由器之间设置直连的 快速倒换链路，并根据实际的传输资源在各个核心节点之间采用不完全网状连接。 汇聚/接入层为 67 个节点，除广州（1、2） 、福建省福州、厦门外，每个汇聚/接 入节点分别配置 2 台汇聚/接入路由器（ar） ，构成成对配置的汇聚/接入节点；在福建 中国移动 ip 专用承载网省内延伸一期工程 confidential第 7 页 共 55 页ipd 省福州、厦门分别配置 1 台汇聚/接入路由器（ar） ，构成 1 对汇聚节点；在广州 （1、2）配置 2 台汇聚路由器（br） ，构成 1 对汇聚节点，再在全国网管中心、广州 （1、2） 、广州（3、4） 、深圳（1、2）分别配置 2 台接入路由器（ar） ，构成 1 对接入 节点，在东莞、惠州、佛山、江门分别配置 1 台接入路由器（ar） 。 北京、上海、沈阳、南京、武汉、成都、西安、哈尔滨、长春、海口的汇聚/接入 节点对（ar 1、ar 2） ，以及广州汇聚节点对（br1、br2） ，采用“单归双联”方式接 入上联到所属核心节点对（cr1、cr2） ；全国网管中心、广州（1、2） 、广州（3、4） 、 深圳（1、2） 、佛山、江门、东莞、惠州，采用“单归双联”方式接入上联到所属汇聚 节点对（br1、br2） ，其它汇聚/接入节点对（ar1、ar2）均采用“双归单联”方式接 入上链到 2 个相邻核心节点对（cr1、cr2） 。 此方案网络结构清晰，功能定义合理；汇接层面到核心层面的异地双归属连接极 大的提高了原有的单归双联的可靠性；业务层面和汇接层面的分离，既通过使用专门 的层次保证了业务流量的分类，又通过减少汇接层面、简化了核心层的压力，符合未 来长期发展的需求并适应战略目标定位。 中国移动 ip 专用承载网以八大节点为核心，覆盖全网 37 个城市共 67 个节点，未 来将承载语音媒体流、3g 业务和 mpls vpn 业务流。从网络层次、节点数量、业务拓 展、运营安全和维护管理等各方面综合考虑，中国移动 ip 专用承载网使用统一的自治 域号码。 2.22.2 本次工程各省拓扑模型本次工程各省拓扑模型 中国移动 ip 专网承载网省内延伸一期工程典型拓扑结构如后下图所示： 中国移动 ip 专用承载网省内延伸一期工程 confidential第 8 页 共 55 页ipd 在图中，有五种典型的拓扑结构，其中模式 1 和模式 2 是针对非核心节点所在省， 模式 3、模式 4、模式 5 是针对核心节点所在省。 模式 1：非核心节点所在省，有多个汇聚点 模式 2：非核心节点所在省，只有一个汇聚点 模式 3：核心节点所在省，cr 兼做 br，没有单独的汇聚层 模式 4：核心节点所在省，有 cr 兼做 br 的情况，有单独 br 的情况，也有 br/ar 合设的情况，并且 br/ar 与其他大区的核心设备（非本地核心设备）相 联。 模式 5：核心节点所在省，cr 兼做 br，同时有 br/ar 合设的情况，所有流量 均经过本省所在的核心设备。 上海移动省内上海移动省内 ipip 承载网属上述模型承载网属上述模型 3 3。 2.32.3 上海移动上海移动 ipip 承载网现状承载网现状 上海移动 ip 专网承载网现网拓扑结构如后下图所示： 中国移动 ip 专用承载网省内延伸一期工程 confidential第 9 页 共 55 页ipd 中国移动 ip 专用承载网二期在上海设置两个节点：上海 1 节点（浦东十层数据 机房） 、上海 2 节点（钦州四层交换机房） 。 其路由器系统采用层次化配置方式，即：两个节点分别配置 1 台核心路由器 ne5000e（cr1、cr2）和 1 台接入路由器 ne80（ar1、ar2） ，并分别配置 1 台 vpn 路由 反射器 ne40（vrr）和 1 台“带外”应急网管路由器。 其中，上海 1、上海 2 节点核心路由器（cr）和接入路由器（ar）之间通过“单 归”的方式实现本地互联，并在彼此核心路由器（cr1、cr2）和接入路由器 （ar1、ar2）之间分别设置高速互联链路； 上海 1、上海 2 节点 vpn 路由反射器（vrr）通过“单归”方式接入到本地核心路 由器（cr） ； 上海 1、上海 2 节点“带外”应急网管路由器通过 console 电缆直连至本机房各 受管设备主控卡，并在“带外”应急网管路由器 ar4640。每台 ar4640 的配置为 1 块 4 端口 e1 模块、1 块 16 端口异步串口接口模块。 上海 1、上海 2 节点核心路由器（cr1、cr2）通过高速中继链路实现与中国移动 ip 专用承载网其它核心节点及接入节点的互联；其接入路由器（ar1、ar2）实现本地 中国移动 ip 专用承载网省内延伸一期工程 confidential第 10 页 共 55 页ipd “软交换汇接网”等业务、应用系统的接入； 其中，上海 2 节点原有路由器设备 ne80 目前安装在钦州机房三层数据机房，为更 有利于软交换系统及新增路由器设备的接入，将 ne80 搬迁至钦州机房四层交换机房， 与新增软交换及路由器设备同机房安装。 在上海 1、上海 2 节点各新增 1 台 ne40-4 作为 mpls vpn 的路由反射器 rr；各新 增 1 台 ar4640 作为带外应急网管路由器，每台 ar4640 的配置为 1 块 4 端口 e1 模块、 1 块 16 端口异步串口接口模块。 表 2.3-1 上海移动现网路由器设备配置表 端口配置类型及数量 地点设备类型 pos stm-16 （sm） pos stm-1 （sm） ge （sm） ge （mm） fee1 cr1（ne5000e） 81 ar1（ne80） 62425328 vrr1（ne40-4） 1 上海 1 节 点 （浦东 10 层数 据机房） 带外应急网管路 由器 1（ar4640） 4 cr2（ne5000e） 81 ar2 （ne80） 6242632 8 vrr2（ne40-4） 1 上海 2 节 点 （钦州 4 层交换机 房） 带外应急网管路 由器 2（ar4640） 4 中国移动 ip 专用承载网省内延伸一期工程 confidential第 11 页 共 55 页ipd 2.42.4 上海移动本期工程实施后拓扑上海移动本期工程实施后拓扑 本期共新增 4 台阿尔卡特路由器 7750 sr-12 分别放置在 4 个局点作为 pe，每台 pe 至不同局点的 cr、pe 和思科 6509 交换机使用 10g pos 口相连，至同局点的 cr、pe 和思科 6509 交换机使用 10gge 口相连。同局设备采用直连方式，不同局点的设备通过 传输链路相连；到 odf 架的接口为 fc/pc 圆头，思科 6509 交换机接口为 sc 大方头， 华为 cr 路由器接口为 lc 小方头，电源线采用 16mm2，除浦东外其他局点均为上走线。 各局点设备互连情况如下： 浦东：(民生路、丁香路交界处) 至思科 6509 交换机长度为 5m 至华为 cr 路由器长度为 10m 至 odf 架长度为 25m2 电源线为 415m 金桥：(金桥路、栖山路交界处) 至思科 6509 交换机长度为 5m 至 odf 架长度为 15m3 中国移动 ip 专用承载网省内延伸一期工程 confidential第 12 页 共 55 页ipd 电源线为 410m 万荣： 至思科 6509 交换机长度为 5m 至 odf 架长度为 45m3 电源线为 411m 钦州： 至思科 6509 交换机长度为 5m 至华为 cr 路由器长度为 10m 至 odf 架长度为 15m2 电源线为 46m 中国移动 ip 专用承载网省内延伸一期工程 confidential第 13 页 共 55 页ipd 第三章第三章 承载业务种类和实现方案承载业务种类和实现方案 3.13.1 网络业务组织方式网络业务组织方式 ip 专用承载网将统一采用 bgp mpls vpn 作为全网业务、应用的组织方式。随着 3g 网元及应用系统的接入，现网“软交换汇接网话音” 、 “软交换汇接网信令” 、 “软交 换汇接网网管” 、 “7 号信令监测”和“数据信令监测”等多组 vpn 的基础上，将逐步 增加“3g ps gn 数据流” 、 “中国移动内部支撑系统”vpn 组；并将 3g 网络 cs 信令、 端局软交换信令纳入到“软交换汇接网信令”vpn；将 3g 网络 cs 媒体纳入到“软交换 汇接网话音”vpn。 中国移动 ip 专用承载网省内延伸一期工程 confidential第 14 页 共 55 页ipd 3.23.2 ngnngn 业务接入模型业务接入模型 中国移动 ngn 业务分为通过 ce 接入和直接接入两种模型，上海移动 ngn 业务通 过 ce 接入。 3.33.3 上海移动业务描述上海移动业务描述 3.3.13.3.1 电路域核心网电路域核心网 电路域核心设备的接入需求包括汇接软交换和 mgw、2g 端局软交换 msc server 和 mgw、3g msc server 和 mgw，共计 msc server 28 台，mgw 54 台。 一级软交换汇接局以原有方式接入 sh-ar1 和 sh-ar2，今后将以双归方式就近直 联至同局址两台 l3 交换机。其它各 msc server、mgw 均应以双归方式就近直联至同局 址两台 l3 交换机。由于业界现有设备厂商对于 msc server 的光接口支持度不高，且 中国移动 3g 核心网 msc server 设备技术规范中对于光接口的功能要求为可选，综合 中国移动 ip 专用承载网省内延伸一期工程 confidential第 15 页 共 55 页ipd 前述业务带宽需求： msc server 与 l3 交换机间采用 fe 五类屏蔽双绞线方式进行联接； mgw 采用 ge 光接口光纤直驱方式连入 l3 交换机。 3.3.23.3.2 分组域核心网分组域核心网 gprs 核心网现有 sgsn 16 台，分别位于浦东（8 台） 、钦州（8 台） ；ggsn 4 台， 位于浦东（2 台） 、钦州（2 台） 。 依据网络规划，本期工程设中考虑接入 3g sgsn 4 台，分别位于浦东（1 台） 、钦 州（1 台） 、金桥（2 台） ；ggsn 共用现有 gprs 设备。 gprs 核心网沿用现有内部局域网组网方式： 浦东 gprs 局域网收敛至现有三层交换机 summit 48i，经由局域网防火墙， 采用 ge 光接口光纤直驱方式、就近以双归方式连接到浦东两台 l3 交换机。 钦州 gprs 局域网收敛至现有 cisco 6509 路由器，经由局域网防火墙，采用 ge 光接口光纤直驱方式、就近以双归方式连接到钦州两台 l3 交换机。 新建 3g sgsn 均以双归方式就近直联各接入节点的两台 l3 交换机。综合前述业务 带宽需求，sgsn 与 ip 专网接入节点间采用 ge 光接口光纤直驱方式进行联接。 具体承载方式如下图所示： 分组域核心网承载方式图分组域核心网承载方式图 中国移动 ip 专用承载网省内延伸一期工程 confidential第 16 页 共 55 页ipd 3.3.33.3.3 自有业务系统自有业务系统 上海移动自有业务系统包括流媒体业务平台 1 套、dsmp 平台一套、梦网网关 1 个、 wap 网关 2 个。其中，流媒体业务平台和 dsmp 平台位于钦州；梦网网关和 wap 网关位 于浦东。 目前各业务系统承载于 cmnet，ip 专用承载网建成后，将逐步通过本地专网承载， 以确保业务质量和网络安全。 自有业务系统承载示意图自有业务系统承载示意图 根据上图可以看出，ps 域防火墙可以通过分析 ip 数据包目的地地址来决定数据 流向是 cmnet 还是业务平台。如果 ip 数据包目的地址是业务平台，则通过本地 ip 专 网将 ip 数据包转发至 wap 网关，由 wap 网关进行后续转发；否则认为业务请求非指向 业务系统，则通过 gi 接口转发至 cmnet。 为实现 ps 业务为用户分配的 ip 地址与各业务平台间的网络互通，在接入 ps 域 设备的接入节点路由器上需要将 ggsn 分配给业务用户的地址段加入 is-is 路由运算， 并向全网广播；在接入业务平台的接入节点路由器上也需要将业务平台的网段加入 is-is 路由运算，并向全网广播；即 ps 业务用户与本地自有业务平台间的路由建立可 以通过 is-is 路由协议实现。 各业务系统承载于本地 ip 专网后，可实现与 ps 域业务的互通。各业务系统均应 以双归方式就近直联各接入节点的两台路由器，综合前述业务带宽需求，采用 fe 五类 屏蔽双绞线方式进行联接，具体承载方式如下图所示： 中国移动 ip 专用承载网省内延伸一期工程 confidential第 17 页 共 55 页ipd 自有业务系统承载方式图自有业务系统承载方式图 3.3.43.3.4 业务支撑系统业务支撑系统 上海移动业务支撑系统包括 boss 系统一套、经营分析系统一套、网管系统一套、 企业信息化系统 oa 一套。 目前上海移动业务支撑系统与集团一级支撑系统之间的连接承载于 cmnet。在 ip 专用承载网建成后，将逐步通过专网承载，以确保业务质量和网络安全。 boss 和经营分析系统通过现有网络组织手段分别汇聚到各自的 1 对 cisco 3600 路由器，以 fe 五类屏蔽双绞线方式双归接入钦州节点的两台 l3 交换机。 网管系统汇聚至 1 台 cisco 2621 路由器，而后以 fe 五类屏蔽双绞线方式双 归接入浦东节点的两台 l3 交换机。 oa 系统通过现有网络组织手段实现汇聚，其中通过隧道连接到集团 oa 的一 台汇聚路由器位于长寿，以 fe 五类屏蔽双绞线（mstp 方式）双归接入钦州 节点的两台 l3 交换机。 需要说明的是：根据业务定位和流量估算结果，考虑到本规划期间上海移动各支 撑系统内部现有网络组织方式能满足业务需求，因此在将来在确有需求时再逐步实现 承载。 具体承载方式如下图所示： 中国移动 ip 专用承载网省内延伸一期工程 confidential第 18 页 共 55 页ipd 图图 4.2.44.2.4业务支撑系统承载方式图业务支撑系统承载方式图 各接入节点所承载的业务汇总如下表所示：各接入节点所承载的业务汇总如下表所示： 表 3.3-1 上海移动 ip 专网业务承载汇总表（单位：台/套） 业务类型浦东钦州万荣金桥 一级软交换汇接局 msc server 11 本地汇接 msc server 22 2g msc server77 3g msc server44 一级软交换汇接局 mgw 11 本地汇接 mgw 431 2g mgw1414 3g mgw448 2g sgsn88 3g sgsn112 2g/3g ggsn22 wap 网关 2 梦网网关 1 流媒体平台 1 dsmp 平台 1 boss 系统 1 经营分析系统 1 网管系统 1 企业信息化 oa 系统 1 中国移动 ip 专用承载网省内延伸一期工程 confidential第 19 页 共 55 页ipd 第四章第四章 路由协议路由协议设计设计 4.14.1 igpigp 路由设计路由设计 4.1.14.1.1 isisisis 路由扁平化设计路由扁平化设计 全网 isis 路由采用扁平化结构设计，承载网路由器共同组成 level2 区域，包含 各 ar、br 以及 cr 路由器。作为 igp 路由协议 isis 路由协议仅承载骨干网路由，不做 业务路由的承载。因此，在 isis 路由表中，应只包含有如下路由： cr、br、ar 路由器的 loopback 地址 cr、br、ar 间直连链路的 ip 地址 通过采用该方法，承载路由和业务路由严格区分。网管人员可以清晰的通过路由 表，对承载网路由以及业务路由进行区分。有利于今后的运营管理界面的划分，在今 后维护查障过程中亦可快速的进行定位分析。 1、通过统一 net 区域编码，扁平化路由层次，有利于日常的运营管理，清晰骨干 网结构，避免在骨干网进行过于复杂的路由设计，给今后维护管理带来额外的压力。 2、可以满足今后各类业务路由的承载需求，包括传统 ip 数据业务，mpls vpn 业 务的承载，3g、ngn 等语音、多媒体流业务的路由承载。 3、平面化的结构设计，技术成熟，针对 ldp lsp 无需配置 l1/l2 间的路由泄漏。 目前中国网通、中国电信均使用扁平化设计。 4、通过使用 isis 路由协议的 prc，ispf，路由设备的压力亦可不断减小，路由 器处理性能得到保障，单层 level 所支持的路由器数量亦可满足今后网络的不断扩展。 5、随着业务的不断发展，目前采用扁平化路由结构设计，也有利于今后网络的进 一步优化发展。同时如今后网络发展需要，向层次化路由结构的演进亦容易，可以在 不中断业务的前提下，划分区域，逐步割接到多层次化路由结构。 因此，建议上海移动采用 isis 扁平化结构，只采用一层 l2 is-is 的 igp 路由设 计。 根据 3gpp、itu 以及各业务平台业务要求，网络收敛时间过长会导致网络中信令 中国移动 ip 专用承载网省内延伸一期工程 confidential第 20 页 共 55 页ipd 传递受阻，实时多媒体、交互式业务停顿甚至中断。为降低由于网络波动对业务造成 影响，本期建设采用本期建设采用 igpigp 快速收敛快速收敛，网络故障的收敛时间控制在百毫秒级。网络任意 两点之间的 igp 收敛路由应经过物理传输距离较短链路，并尽可能减少端到端跳数。 当 ip 专网链路和节点出现故障时，采用快速 igp 收敛，收敛得到的次优路由应满 足以下条件：当核心与接入节点之间链路故障时，流量经过另一个接入节点进行疏导。 4.1.24.1.2 isisisis 优化设置优化设置 鉴于 ip 承载网的特殊定义，对 isis 协议层面的优化尤其重要，达到快速收敛的 作用，做如下设置： 设备需要支持并打开 isis prc（部分路由计算）和 incremental-spf 特性； 通过调度机制，保证 isis hello 和 lsp 数据包得到优先发送和处理（缺省即如此） ； 启用 isis 的 ge 互连电路设置成“point-to-point”模式，无需选举 dis 路由器， 全网电路模式统一； 端口设置 hold-time up|down，物理端口在稳定指定时间后才可以 up，防止端口 波动导致路由振荡； 考虑到 ip 承载网路由收敛要求，建议对 isis 时间参数做如下调整： is-is hello 间隔时间，3 秒。 is-is hold-time 时间，9 秒。 is-is lsp 存活时间，65535 秒。 is-is spf 延迟时间，100 毫秒。 4.24.2 bgpbgp 路由设计路由设计 中国移动 ip 承载网全网关键业务的路由承载主要通过 mp-bgp 实现，即通过 mpls 三层 vpn 方式实现业务连通和彼此隔离，普通 ipv4 bgp 路由待有业务需求时再进行部 中国移动 ip 专用承载网省内延伸一期工程 confidential第 21 页 共 55 页ipd 署。全网如无特殊策略将按照目标网络的目的地址方式实现流量选路。 下面叙述在本建设阶段的全网 bgp 策略。 bgp 实施策略原则： ip 承载网 bgp 采用扁平化层次结构，只设一级路由反射器，rr 选择在四台核 心路由器上，所有 rr 为独立 cluster，各 rr 之间建立 full mesh 的 ibgp 结 构。每台 pe 设备均与临近的两台 rr 建立 ibgp 邻居关系，作为其 client。 核心路由器将承载全部 igp 路由（所有设备 loopback 与端口互联地址）和作 为 bgp rr 从 rr client （汇接路由器）得到 mp-ibgp 路由； 汇接路由器将承载全部 igp 路由（所有设备 loopback 与端口互联地址）和作 为 clinet 从 bgp rr （核心路由器）得到 mp-ibgp 路由（本地容纳 vpn 路由） ； 全网 bgp 的分发控制在 rr 层面完成； p 和 pe 设备对 rr 发送和接受的路由不作控制； 如果无特殊需要，p/pe 路由器发布路由以本机 system 作为源地址； 各设备使用 system 地址建立设备间的 mp-ibgp 邻居关系，使用 system1 建立 ipv4ibgp 邻居关系, 本期工程各设备只起用支持 vpnv4 业务的 mp-bgp 协议 族，普通 ipv4 业务的 bgp 协议族暂不配置，待有需求时再部署； 采用 mp-bgp 实现 vpn 路由承载，按照基于目标网络目的地址选路方式实现流 量选路。在相同目标网络 bgp 条目选路规则中，根据 bgp 优先选路属性实现 选路。 技术规范 中国移动 ip 专用承载网采用路由反射器技术以减少 mp-ibgp 连接的数量，并将 各大区中心的 2 台汇接路由器（cr）作为路由反射器簇，其中 cr2 作为主用，cr1 作 为备用，其所属接入路由器（ar）作为路由反射客户端；各接入路由器（ar） mp- ibgp 双归连接到所属 cr1 和 cr2，cr1 参与 mp-ibgp 路由交换，存储了 vpn 相关路由 信息，但并不参与 mpls vpn 的转发。 上海移动本期工程中，上海移动本期工程中，pepe 路由器暂时不用部署路由器暂时不用部署 bgpbgp 路由协议。路由协议。 中国移动 ip 专用承载网省内延伸一期工程 confidential第 22 页 共 55 页ipd 4.34.3 mplsmpls 三层三层 vpnvpn 设计设计 4.3.14.3.1 自治域部署自治域部署 根据中国移动集团公司对于 ip 专网全国网络的规划意向，上海移动 ip 专用承载 网应考虑与集团 ip 专用承载网的互联，实现全国单一自治域组网。 上海移动建设本地 ip 专网采用单一自治域结构，as 号采用 24059。 4.3.24.3.2 主备主备 pepe 部署部署 本期工程中上海移动 ip 专用承载网全网部署 mpls，新增的 4 台 7750 sr12 作为 pe 路由器，核心节点 ne5000e 提供 p 功能。根据局方的要求，目前上海移动共需部署 8 个 vpn 用于承载 8 类不同的业务，根据不同的业务需求，确认主备 pe，具体部署如 下图： ce 路由器采用思科 6509 交换机，分别位于浦东、钦州、金桥、万荣四个局点， 每个局点部署两台 6509 交换机。设备互连情况如下： 浦东：浦东：浦东 6509 交换机 1 通过 10g ge 接口与同机房的 7750 路由器相连，浦东 6509 交换机 2 通过 10g pos 接口与金桥机房的 7750 路由器相连，同机房的 7750 路由 中国移动 ip 专用承载网省内延伸一期工程 confidential第 23 页 共 55 页ipd 器作为主用 pe，不同机房的 7750 路由器作为备用 pe，具体实现是通过在两台 6509 交 换机上运行 vrrp 协议，设置不同的优先级，让业务流量优先从主用 pe 流出，当主用 pe 发生故障时，流量倒换到备用 pe。 金桥：金桥：金桥 6509 交换机 1 通过 10g ge 接口与同机房的 7750 路由器相连， 6509 交换机 2 通过 10g pos 接口与浦东机房的 7750 路由器相连，同机房的 7750 路由器作 为主用 pe，不同机房的 7750 路由器作为备用 pe，具体实现是通过在两台 6509 交换机 上运行 vrrp 协议，设置不同的优先级，让业务流量优先从主用 pe 流出，当主用 pe 发 生故障时，流量倒换到备用 pe。 钦州：钦州：钦州 6509 交换机 1 通过 10g ge 接口与同机房的 7750 路由器相连，钦州 6509 交换机 2 通过 10g pos 接口与万荣机房的 7750 路由器相连，同机房的 7750 路由 器作为主用 pe，不同机房的 7750 路由器作为备用 pe，具体实现是通过在两台 6509 交 换机上运行 vrrp 协议，设置不同的优先级，让业务流量优先从主用 pe 流出，当主用 pe 发生故障时，流量倒换到备用 pe。 万荣：万荣：万荣 6509 交换机 1 通过 10g ge 接口与同机房的 7750 路由器相连，万荣 6509 交换机 2 通过 10g pos 接口与钦州机房的 7750 路由器相连，同机房的 7750 路由 器作为主用 pe，不同机房的 7750 路由器作为备用 pe，具体实现是通过在两台 6509 交 换机上运行 vrrp 协议，设置不同的优先级，让业务流量优先从主用 pe 流出，当主用 pe 发生故障时，流量倒换到备用 pe。 4.3.24.3.2 vpnvpn rrrr 设置设置 中国移动 ip 专用承载网通过 mp-ibgp 传播 mpls vpn 路由信息。 为保证 mpls vpn mp-ibgp 配置和管理的可扩展性，中国移动 ip 专用承载网独立 设置 vpn 路由反射器（vrr） 。并在北京、上海、广州设置 3 对 vrr，彼此构成主备路 由反射服务器，并采用分区覆盖方式构成 3 个 mp-ibgp 路由反射簇（route reflector cluster） ，北京、上海、广州 6 台 vrr 之间构成 full mesh mp-ibgp 连接，共 30 条 mp-ibgp 连接。 上海移动本期期采用原有的 2 台 vpn rr（ ne40-4） ，vpn rr （ne40-4）通过 ge 接口直接连接到本大区核心节点 cr（ne5000e）上；ne40-4 能够支持 300 个以上 mp- 中国移动 ip 专用承载网省内延伸一期工程 confidential第 24 页 共 55 页ipd ibgp 连接。7750 路由器与 ne40-4 路由器间运行 mp-ibgp 协议。 4.3.34.3.3 pepe 与与 cece 的协议选择的协议选择 一、对于较小的 vpn 客户，pe 与 ce 间一般采用静态或直连路由即可满足要求。 二、对于较大的 vpn 客户，pe 与 ce 间可能要启动动态路由(rip 或 ospf)，以满 足 vpn 客户网络的变化和发展的需要，双方可以通过动态路由协议交换彼此的网络地 址段的变化，而无需网络管理人员手工配置路由进行调整。 三、对于特别大型的 vpn 客户，当客户的路由策略较为复杂，或者其路由数量较 多，而且波动交频繁，则需要运营商采用 bgp 与 ce 作 peer，以实现相应的路由策略 和控制功能。 因不同机房的因不同机房的 pepe 与与 cece 互连时是通过传输链路的，如果配置静态路由，当出现互连时是通过传输链路的，如果配置静态路由，当出现 pepecece 之间的某段链路中断时，会导致流量中断的情况。建议上海移动本期工程选择之间的某段链路中断时，会导致流量中断的情况。建议上海移动本期工程选择 ospfospf 路由协议。路由协议。 4.3.44.3.4 mplsmpls vpnvpn 部署部署 上海移动 ip 专用承载网将不同类型的业务封装在不同的 mpls vpn 中，通过相互 独立的 vpn 实现业务的隔离。上图是部署 vpn 的简单示意图（具体的部署方法见以下 规划） 。 建网初期根据业务需求，基于集团指导性意见，考虑建立 8 种不同的 vpn 以承载 不同种类业务，规划方式如下： 话音 vpn（包含省际汇接话音业务流、3g 普通话音业务流，3g 可视电话业务 流、2/3g 互通话音业务流） ； 信令 vpn（包含 2g 软交换核心网及 r4 核心网电路域的 nc 接口 bicc 信令流， 以及 mc 接口 h.248 信令流） ； ps 域 vpn（包含 gprs 和 3g ps 域核心网接口信令流和分组域业务流，便于分 组域设备的共用和互通） ； 自有业务 vpn（包含各种自有业务系统的业务流） ； 中国移动 ip 专用承载网省内延伸一期工程 confidential第 25 页 共 55 页ipd boss 系统 vpn（包含 boss 系统至一级 boss 的交互信息流） ； 经营分析系统 vpn（包含经营分析系统至一级经分系统的交互信息流） ； 网管系统 vpn（包含网管系统至一级网管的交互信息流，以及本地各交换机房 的交换网管小集中至浦东网管系统的交互信息流） ； 企业信息化系统 vpn（包含 oa 系统至一级 oa 系统的交互信息流） 。 根据上述对网络带宽需求的估算，结合带宽规划原则，一期建设中的链路配置能 满足轻载的要求。将来随着业务增长、流量增加，建议按需及时扩容、提供足够带宽， 从而一直保持网络轻载，使得流量都能被及时转发，因此不考虑为上述 vpn 分别作带 宽预留。 本期工程为确保各种业务的接入 pe 路由器不存在单点故障，特意在每节点设置了 两台 7750-sr12 路由器，当主用的一台 sr12 出现问题时，网络设计上必须保证另外一 台路由器能够正常向外发布本地 vpn 路由，并引导流量返回和发出。 具体实现方式如下：具体实现方式如下： 7750 路由器与 6509 交换机间、两台 6509 交换机间启用 ospf 路由协议，在 7750 路由器上将 ospf 路由引入 mp-bgp(注意,在 7750 上,当 pe 与 ce 间运行 ebgp 时,需要 手动在两种路由协议中作路由重分布,而 pe 与 ce 间运行 rip、ospf、静态路由、直连 路由时，路由会自动重分布的)，建议 ospf 下发缺省路由到 6509；两台 6509 交换机 运行 vrrp 协议，作为各种 vpn 业务的网关，以控制流量的流入和流出。 每台 7750 与每台 6509 间通过一条 10g 物理链路相连，而本次工程中，目前共有 8 个 vpn 需要从 7750 传到 6509，由 6509 作为这 8 个 vpn 的业务网关，这样就要求 6509 作为 multi-vrf ce 设备。各种业务平台设备直接连到 6509 接口上，作为二层设 备运行。具体实现方式如下： 77507750 的相关配置的相关配置 1、7750 与 6509 互连的端口配置成 access 模式，并封装 802.1q 协议： 7750sr# configure port 1/1/1 ethernet access (配置端口为 access 模式) 7750sr# configure port 1/1/1 ethernet encap-type dot1q (配置端口封状类型为 dot1q) 2、7750 上配置 8 个 vprn，与 6509 间运行 ospf 路由协议，建议配置 ospf 默认路 由： service 中国移动 ip 专用承载网省内延伸一期工程 confidential第 26 页 共 55 页ipd customer 100 create description “vprn for ngn “ exit vprn 100 customer 100 create route-distinguisher 24059:100 auto-bind ldp vrf-target target: 24059:100/不需要再配置路由重分布策略 interface “to_pd_6509-1-vlan100“ create description “vprn for ngn_nms “ address x.x.x.x/y sap 1/1/1:100 create/与 6509 交换机互连端口 exit exit ospf export “generate defalt route“/下发 ospf 默认路由，建议配置 area 0 interface “to_pd_6509-1-vlan100“ vprn 200 customer 100 create route-distinguisher 24059:200 auto-bind ldp vrf-target target: 24059:200 interface “to_pd_6509-1-vlan200“ create description “vprn for ngn_media “ address x.x.x.x/y sap 1/1/1:200 create/与 6509 交换机互连端口 exit 。 。 。 vprn 800 customer 100 create route-distinguisher 24059:800 auto-bind ldp vrf-target target: 24059:800 interface “to_pd_6509-1-vlan800“ create description “vprn for ngn_chuanshunms “ address x.x.x.x/y sap 1/1/1:800 create/与 6509 交换机互连端口 exit 65096509 的相关配置的相关配置 1、根据 8 个不同的 mpls vpn 建立 8 个相应的 vrf 组； 中国移动 ip 专用承载网省内延伸一期工程 confidential第 27 页 共 55 页ipd 2、在 6509 上联 alcatle pe 的 10g 接口上，根据不同的 vpn 划分相应的子接口， 在子接口上绑定 vrf,并启用 vrrp； 3、6509 与 alcatle pe 之间，根据不同的 vrf 组启用带有 vrf 信息的 ospf 进程， 并将各业务的 vlan 接口加入到相应的 ospf 中； ip vrf ngn_nms rd 24059:100 route-target export 24059:100 route-target import 24059:100 ! ip vrf ngn_media rd 24059:200 route-target export 24059:200 route-target import 24059:200 。 。 。 ip vrf ngn_chuanshunms rd 24059:800 route-target export 24059:800 route-target import 24059:800 ip cef interface gigabitethernet1/1/1 no ip address ! interface gigabitethernet1/1/1.100 encapsulation dot1q 100 ip vrf forwarding ngn_nms ip address x.x.x.x ! interface gigabitethernet1/1/1.200 encapsulation dot1q 100 ip vrf forwarding ngn_media ip address x.x.x.x 。 。 。 interface gigabitethernet1/1/1.800 encapsulation dot1q 800 中国移动 ip 专用承载网省内延伸一期工程 confidential第 28 页 共 55 页ipd ip vrf forwarding ngn_chuanshunms ip address x.x.x.x router ospf 2 vrf ngn_nms network x.x.x.x area 0 router ospf 3 vrf ngn_media network x.x.x.x area 0 ! router