传输城域网中数据节点组网方式的研究

科技创新项目 成果上报申请书 成果名称 传输城域网数据节点组网方式研究 成果申报单位 成果承担部门 /分公司 项目负责人姓名 成果专业类别 * 传输网 成果研究类别 * 相关网络解决方案 省内评审结果 * 通过 关键词索引（ 3 5个） EVPL， IP OVER WDM， OTN,MESH 文章摘要 ： 面对数据业务的高速发展，作为基础承载的传输专业面临 业务发展的新需求、新方向， 本项目主要着眼于以下几个方向展开研究： 一、在现有简单数据业务接入应用上通过最优化的组网方式提升数据业务承载的安全性，优化 资源配置，争取最大效益；二、积极倡导以用户为主导的 QoS的业务提供方式，主动跟踪数据技术发展的最新成果，提供个性化、多元化和差异化的应用服务；三、考虑未来网络 IP 化的发展方向，适应传输承载业务数据化、大颗粒、高带宽的特性变化，规划、建设适应于未来发展的组网方案和演进思路。 本项目从上海移动目前城域数据节点按接入汇聚层、核心层进行了现状分析，从实际情况中找出存在的问题和主要解决办法。在第三部分文章重点根据接入、核心二层面提出组网解决方案，接入汇聚层以提升网络容量，接入效率，安全性为组网目标，核心层以高效、大颗 粒、高速直达、安全为要义，丰满组网模型。并从接入层的技术要求角度提出网络数据业务维护专线分级定义的技术标准。 省内 试运行效果 ： 上海移动传输专业在骨干层 2008 年扩容中引入 IP OVER WDM 的 MESH 组网结构，在城域传送网核心层网络建设中，应采用 IP over WDM 技术满足 IP 承载网、业务网和支撑网的 GE、 2.5G POS、 10G POS、 10GE 等大颗粒 IP 业务需求； 城域传送网汇聚层、接入层结合数据接入网组网布局，考虑传输汇聚节点同数据骨干接入节点的共点布局，方便于数据业务的就近接入汇聚，通过 大颗粒通道接入数据核心层，实现资源与效率的和谐统一。 在汇聚接入层重要数据电路安全性整治中应用汇聚层 MSTP 方案，整治电路数为145 条。提升了数据业务功能的安全性、带宽利用率，显著降低了重要专线业务的故障率。 理论模型的实现必须有试验数据检验。经过对接入汇聚层的 MSTP方案、核心层的 IP OVER WDM、 OTN做了系统的试验分析，以数据说明了本项目的主要研究成果在传输城域网数据节点组网应用中的可行性。 文章主体 : 传输城域网中数据节点组网方式的研究 目录 第 1 章 引 言 . 5 1.1 课题背景 .5 1.2 研究目的和意义 .6 1.3 传输承载数据业务的实现方式 .6 1.3.1 基于 SDH 层面的数据业务承载方式 . 6 1.3.2 基于 DWDM 层面的数据业务承载方式 . 7 1.3.3 基于数据网协议应用数据业务承载方式 . 8 1.3.4 基于 OTN 平台的数据业务承载方式 . 9 1.4 传输城域网中数据节点的组网模式建议 .10 1.5 本文主要内容 .11 第 2 章 数据节点组网综述与维护现状 . 13 2.1. 上海移动数据网介绍 .13 2.2. 传输城域接入汇聚层数据节点组网概况 .14 2.2.1. 传输接入汇聚层数据节点组网现状 . 14 2.2.2. 专线等级分级要求 . 17 2.2.3. 集团数据专线故障分析 . 19 2.3. 传输城域核心层数据节点组网概况 .20 2.4. 传输现网基于 IP承载网的数据节点组网应用 .22 2.5. 存在问题及解决 .23 2.5.1. 专线业务主要存在问题及解决思路 . 23 2.5.2. 数据核心网传输互连主要问题 . 24 2.6. 本章小结 .25 第 3 章 业务需求组网实现方式 . 26 3.1 基于 MSTP 的接入汇聚层数据节点组网方案 .26 3.1.1 传输数据面临的挑战 . 26 3.1.2 传输数据城域网中专线电路实现方式 . 27 3.1.3 承载分级业务的传输组网结构方式的研究 . 32 3.1.4 结合数据组网的下沉式传输设备组网方案 . 43 3.1.5 提升数据层高安全性组网配置应用 . 44 3.1.6 提升数据层资源共享组网应用新方式 . 50 3.2 城域数据核心网传输的组网方针 .56 3.2.1 主要问题 . 56 3.2.2 基于 DWDM 层面的数据业务承载方式需求 . 58 3.2.3 基于 DWDM 层面的数据业务承载方式的组网方针 . 61 3.2.4 IP OVER DWDM 与 IP OVER SDH 方式比较与分析 . 65 3.3 基于 OTN 平台的数据业务承载方式 .69 3.3.1 OTN 平台的数据业务承载方式理念 . 69 3.3.2 OTN 平台的数据业务承载方式的业务需求及优势 . 70 3.3.3 基于 OTN 的智能光网络 . 71 3.4 本章小结 .72 第 4 章 数据业务的分级保护和分层管理数据节点组网 规范 . 73 4.1 分级电路组网规范 .73 4.2 传输数据节点组网技术分级规范 .75 4.2.1 一级电路 . 75 4.2.2 二级电路 . 76 4.2.3 三级电路 . 78 4.2.4 四级电路 . 78 4.3 本章小结 .79 第 5 章 规范数据节点组网测试与应用 . 80 5.1 接入汇聚层组网方案测试 .80 5.1.1 数据业务组网测试概况 . 80 5.1.2 基于 MSTP 数据层高安全性组网应用测试 . 84 5.1.3 基于 MSTP 数据层资源共享组网应用测试 . 89 5.2 基于 IP OVER DW DM 的数据业务应用测试 .96 5.3 基于 OTN 平台的数据业务承载应用测试 .96 5.4 现网实例组网测试 .97 5.5 现网至目标网演进策略 .98 5.5.1 接入汇聚层组网演进策略 . 98 5.5.2 核心层组网演进策略 .101 5.6 本章小结 .102 第 6 章 总结与展望 .104 6.1 主要结论 .104 6.2 研究展望 .104 参 考 文 献 .105 引 言 课题背景 中国移动的传输城域网是一个多业务综合传送平台，为了适应不断增长的业务需求，近几年来传输城域网迅速发展，截至到 2007 年底，上海移动的传输城域网规模已达到 64 个汇聚环，基本覆盖了上海的城市和乡村。上海移动建有自己的数据专网并且网络规模也在不断的发展，但数据网的末端接入点数量少，覆盖小，多为局部汇聚点，无 法满足地域分散、数量众多的集团专线用户的接入需要，因此，传输城域网成为了集团数据用户的主要承载平台，在现在以及将来集团数据专线业务发展中起着举足轻重的作用。目前对于数据用户还主要是就近末端接入，数据节点和传输节点混合组网，而通过城域网所承载的集团数据用户数量也已达到 810 家共2569M（其中外高桥代维用户暂未统计）。现有的集团数据专线业务为政府部门及金融、医疗卫生、信息、交通运输等各行业的用户使用，其中党政军、关系到国计民生、重大市政等用户对上海市的政治、经济、社会活动产生重大影响，是中国移动通信集团上海有 限公司的重要客户，根据不同专线用户的性质，专线被分为四个等级，每个等级有不同的传输保护要求，障碍修复时限以及动力保护要求。 在集团数据业务的实际发展中，由于受到开通时限、光缆资源以及传输节点的覆盖等因素制约，专线用户往往未能按照其所真正需要的用户等级进行开通，同时网络结构和业务配置模式也未达到最佳，给专线的维护质量带来了较大影响，本课题就是基于现有传输城域网中数据节点组网现状，结合未来数据业务发展需要及城域网资源规划，对传输城域网中数据节点的组网模式进行研究，同时实现对方案的可行性验证，探索数据业务的分级保 护和分层管理方法，为公司今后的数据业务规划和发展提供参考。 研究目的和意义 本课题研究的对象：一是传输城域网承载数据核心网业务互联的传输节点；二是传输城域网中承载汇聚接入层数据业务接入的节点，这里的数据节点包括目前传输城域网中所有承担了数据业务接入的传输节点和潜在可能转变为数据节点的传输节点。 传输城域网中数据节点组网方式研究是基于现有传输城域网中数据节点组网现状，结合未来数据业务发展需要及城域网资源规划，对传输城域网中数据节点的组网模式进行研究，同时实现对方案的可行性验证，探索数据业务的分级保护和分 层管理方法。 其研究成果要求分析现状，展望未来，提出传输城域网数据节点组网方案并验证，结合数据业务的分级保护和分层管理要求，为今后的数据业务规划和发展提供参考。 传输承载数据业务的实现方式 1.3.1基于 SDH 层面的数据业务承载方式 在城域数据业务的迅速发展过程中，数据业务的传送技术和设备，运营商和设备商一直在不断地探讨、争论和研究中。在这过程中，基于 SDH 的多业务传送设备MSTP 逐渐成为城域传送网的最主流技术。近两年来，各主要设备厂商在 MSTP 设备上不断推出新功能，满足了对 2 层交换、 ATM 处理的要求。 MSTP 最重要的特性是以太网业务的处理。按照实现技术划分， MSTP 上以太网功能可以分为透传、二层交换，环网等。 透传：最简单的一种，对于客户端的以太网信号不做任何二层处理，直接将数据包封装到 SDH 的 VC 容器中。由于功能相对简单，成本也是各类实现技术中最低的。 二层交换：利用 IEEE 802.1D 透明网桥的算法，根据数据包的 MAC 地址，实现以太网接口侧不同以太网端口与系统侧不同 VC 容器之间的包交换，当然也可以根据 IEEE 802.1Q 的 VLAN Tag 对数据包交换。同时可利用生成树协议（ STP）实现对于以太网业务的 二层保护。 环网技术：利用 SDH 的 VC 容器作为虚拟环路，实现所有环路节点带宽动态分配、共享。通常意义上的说，环网技术应是二层交换的一种特殊应用，部分 MSTP设备也利用二层交换实现了简单的以太环网，但这种方式的缺点是无法保证环路各个节点带宽的公平接入，对于环路业务的 QoS 也无法实现端到端的保证。针对这一问题，有的 MSTP 设备采用了内置 RPR 技术，在 SDH 环网上开辟 VC 通道作为 RPR虚拟环路。 在上海移动目前数据业务开通的实际应用当中主要还是以点对点透传、点对多点的汇聚应用为主，而以太网业务应用通过部分成熟的二 层交换和环网技术结合组网结构的支持，对提升数据业务的资源利用效率和业务安全性必将带来极大方便。 1.3.2基于 DWDM 层面的数据业务承载方式 IP over WDM 也称光因持网。简言之，就是直接在 波分系统 上运行的因特网。 其基本原理和工作方式是：在发送端，将不同波长的光信号组合（复用）送入一极光纤中传输，在接收端，又将组合光信号分开（解复用）并送入不同终端。 IP over WDM 是一个真正的链路层数据网。在其中，高性能路由器取代传统的基于电路交换概念的 ATM 和 SDH 电交换与复用设备，成为关键的统计复用设备。高性能路 由器通过光 ADM 或 WDM 耦合器直接连至 WDM 光纤。由它控制波长接入，交换，选路和保护。 IP over WDM 由于使用了指定的波长，在结构上将更加灵活，并具有向光交换和全光选路结构转移的可能。 在 IP over WDM 基本系统中，光纤直接连光耦合器，耦合器把各波长分开或组合，其输入输出都是简单的光纤连接器，把原波长内的数据送给 SDH 设备或高性能路由器。 IP over WDM 最大的优点之一就是可以适应厂数据业务的不对称性，不同波长上的数据速率可以不同。另一特点是光纤环的两侧都能使用，使路由可获得全部带宽，在 传大 量 突发数据时就不需要缓存，也不会有分组丢失。只有当光纤断裂时才会发生分组丢失。 光纤 内有工作光纤和保护光纤 之分 ，保护光纤中的闲带宽在业务高峰时也可用来传数据，不会引入抖动、时延或分经丢失。恢复工作在 IP 层而不在物理层上完成。在光纤断裂对抖动和时延敏感的实时业务可给以高的优先级。使用工作光纤和保护光纤的另一忧点是可以建立 “直通 ”或 ”旁路 ”波长。 IP OVER WDM 方式的出现是实际业务需求的结果，随着 IP 化成为目前电路交换的发展方向，传统交换机正在逐步被基于 IP 的软交换所代替，软交换的发展使基于数据 GE 端口的高速率 2。 5G甚至是 10G 的业务需求日益倍增。 IP OVER WDM 以其与 SDH 同样的 1 1 保护的安全性，同时节省 SDH 设备的投资成为城域核心网和长途一级干线的高速率数据业务开通的首选方式。 1.3.3 基于数据网协议应用数据业务承载方式 随着 GFP、 LCAS、 VC 技术的标准化，以及运营商对不同设备商的以太网封装格式互联互通的推动， MSTP 设备的以太网业务处理单板的实现技术开始趋于标准化，标准化的结果使得 GE 或 FE 以太网业务不仅可以跨越不同厂商的 SDH 网络，而且不再需要两端的 SDH 设备为同一厂家的，不同厂商设备 组成的 SDH 网络对于以太网业务将成为透明通道，为更大范围的组织二层网络提供了基础。各厂商新型以太网业务处理板采用了 GFP、 LCAS、 VC 技术，并支持丰富的二层特性。 新型以太网业务处理板能够实现从接入层、汇聚层到核心层的点对点业务、点对多点业务以及 L2 VPN 的端到端解决方案。如图 1 所示。 图 1 以太网端到端解决方案 提升安全性的数据业务功能应用： (1)适于各厂家设备的互连互通：新以太网单板采用符合 ITU-T G.7041 的 GFP 协议对数据包进行封装。相对于以 往的 PPP 和 LAPS， GFP 协议标准化程度更高，更有利于各厂家的互连互通，提高城域组网的灵活性； (2)应用 LCAS 技术提高虚级联功能的健壮性：在虚级联技术的加入 LCAS 功能，通过多路径传输配以 LCAS 技术，一旦部分通道发生故障对业务无影响；可以通过 网管系统实时地对系统容量进行配置，变化过程中对承载的业务不会造成损伤。 (3)数据 BPS 保护应用：对数据业务接入端同数通设备对接时无保护链型结构对数据业务影响大，以太网单板 1+1 保护有效解决该问题。 (4)基于数据网络环网保护的功能应用。如弹性分组环 RPR 提升了 数据业务的健壮性。 提升带宽利用率的数据业务功能应用： (1)带宽共享机制结合 CAR 承诺接入速率技术：对节省数据承载对 MSTP 设备端口资源、逻辑组资源、带宽资源提供了重要应用基础。 (2)多方向汇聚功能：端口汇聚能力越强，系统组网能力越强，能实现 FE到 GE、FE 到 FE 的业务汇聚，充分节省业务端口，减轻汇聚节点的端口压力； (3)用户安全性隔离：支持二层交换转发用户 vlan 内部广播、多播（本地端口和 SDH 上行 VC-TRUNK 号之间），保证不同用户和 vlan 两级数据隔离； (4)灵活多样的映射颗粒：新以太网单 板支持 VC12/VC3/VC4 三种级别的映射颗粒，并且，映射到同一 VC Trunk 中的 VC 个数可调，带宽分配灵活，提高了带宽利用率； (5)提供 LPT 链路状态穿通功能；对用户侧 FE端口支持符合 IEEE802.3x 的流控功能；支持生成树协议 STP 和快速生成树协议 RSTP； (6)新型以太网数据处理板提供对 GE 和 FE信号的接入、透传和二层交换。业务处理流程见下图。其中的各个环节根据用户所需的功能可选。 图 2 以太业务处理流程 1.3.4 基于 OTN 平台的数据业务承载方式 IP OVER WDM 方式的应用存在的主要问题是调度 WDM 波道的难度大，转接点多。 OTN 的波分光网络平台，安全保护性好，提供基于波道级的电路调度成为当 前光网络发展前沿领域。中国移动上海公司承担了集团长途一干 OTN 长三角（上海杭州南京）试验网的 IP OVER OTN 的试验工作，在已开通的基于 OTN 的数据业务通过相关测试，指标值优于 IP OVERWDM 的测试值，成为未来可能选取的主要IP 承载网络的光传送平台。 传输城域网中数据节点的组网模式建议 传送网层次划分：核心层、汇接层、接入层；网络规模较大市县根据需要可 在区域内设置多个汇聚点，形成汇聚层，原汇接层细分为骨干层和汇聚层两层。 2 . 5 G2 . 5 G2 . 5 G 2 . 5 G2 . 5 G2 . 5 G2 . 5 G2 . 5 G核 心 层 骨 干 层2 . 5 G2 . 5 G1 5 51551551551 5 5汇 聚 层接入层10 G10 G10 G10 G 2 . 5 G2 . 5 GM S C 机房县 （ 市 ）机 房重 要 区 域机 房基站接入网定义：是指负责各类业务接入的网络，用于末端设备和上层网络的连接； 接入网接入对象为：包括移动基站、集团客户接入点、企业信息化接入点、渠道（营业厅）接入等； 典型的接入网方式：环形、单链、双归属等方式，以独立成环（链）或与汇聚设备混合组网的形式与汇聚层连接。 在城域传送网核心层网络建设中，应采用 IP over WDM技术满足 IP 承载网、业务网和支撑网的 GE、 2.5G POS、 10G POS、 10GE等大颗粒 IP业务需求； 城域传送网汇聚层、接入层结合数据接入网组网布局，考虑传输汇聚节点同数据骨干接入节点的共点布局，方便于数据业务的就近接入汇聚，通过大颗粒通道接入数据核心层，实现资源与效率的和谐统一。 本文主要内容 第一章 前言。本章介绍了本文的课题研究背景，阐述了课题的研究目的以及意义，然后说明了本文的全文结构。 第二章对上海移动目前城域数据节点按接入汇聚层、核心层进行了逐个的现状分析，从实际情况中找出存在的问题和主要解决办法。 第三章重点对接入、核心二层面提出 组网解决方案，接入汇聚层以提升网络容量，接入效率，安全性为组网目标，核心层以高效、大颗粒、高速直达、安全为要 义，丰满组网模型。 第四章从接入层的技术要求角度提出网络数据业务维护的专线分级定义的技术标准。从分级规划、分层管理角度提出传输城域网中数据节点组网的技术规范。 第五章理论模型的实现必须有试验数据检验。文章的又一个重点是本章对接入汇聚层的 MSTP 方案、核心层的 IP OVER WDM、 OTN 做了系统的试验分析，以数据说明组网应用的可行性。 第六章 总结与展望。对传输城域网中数据节点组网方式进行了概括性的总 结，提出了方案的创新点、可行性，并介绍了课题今后进一步的改进和发展方向。 6ecb2c2c12db54f65259056bc0a988b9.doc 数据节点组网综述与维护现状 2.1. 上海移动数据网介绍 上海移动 CMNET城域网面向用户接入和本地用户互联。 CMNET城域网经过两期工程的建设，其网络结构分为三层结构：核心层、汇聚层、接入层，各层的具体节点组成如下，层次结构详见下图： CMNET浦 东 M D C 浦东业务及管理中心浦东钦州武胜万荣漕溪横浜圆明园长寿陆家嘴崇明瑞安怒江核心层汇聚层接入层安亭嘉定金山松江青浦宝山南汇 奉贤图例：POS 2.5G SM POS 155M GE SMR2 R1 R1 R22 X 2.5G POS2 X 2.5G POS上海移动城域数据网层次结构图 (1)核心层：设有武胜、浦东、钦州、万荣 4个节点，其中浦东、武胜采用双路由器方式，使用的是 Cisco公司的 GSR12016路由器；钦州、万荣节点为单路由器方式，使用的是 Cisco公司的 GSR12012路由器。核心层节点间以 2.5G POS端口光纤直驱方式全互连，浦东及武胜节点内的两个路由器以 GE端口光纤直驱方式连接。通过 GE端口6ecb2c2c12db54f65259056bc0a988b9.doc 光纤直驱方式，浦东节点出口路由器 (GSR1)及武胜节点出口路由器 (GSR1)与上海 NAP接入路由器节点相连，来解决本地互联网数据交换问题。通过 2.5G POS端口光纤直驱方式，武胜节点出口路由器 GSR1、 GSR2分别与 CMNET骨干网第二节点 (M40e)，浦东节点出口路由器 GSR1与 CMNET骨干 网第一节点路由器一 (M320-1), 浦东节点出口路由器 GSR2与 CMNET骨干网第一节点路由器二 (M320-2)，相连接实现 CMNET城域网接入CMNET骨干网。 (2)汇聚层：设有浦东、武胜、钦州、万荣、陆家嘴信息世界、长寿、漕溪、横浜、怒江、瑞安、圆明园、崇明等 12个汇聚层节点。汇聚层所有节点均采用 Cisco公司的 Cisco 7609系列路由器。汇聚层与核心层节点间采用双链路，用 GE端口光纤直驱方式互连，浦东 IDC分别以 1个 GE端口与武胜、浦东核心节点连接。 (3)接入层：漕溪、横浜、万荣、崇明、金 山、安亭、怒江、嘉定、长寿、钦州、青浦、圆明园、松江、武胜、瑞安、宝山、南汇、奉贤、陆家嘴、浦东 20个接入层节点。 CMNET城域网中还包括一个园区网 (外高桥城域网 )，其建设目的是为了满足外高桥保税区众多业务需求。它同样具有三层网络结构：核心层、汇聚层、接入层，包括 2个核心节点， 9个汇聚节点， 28个接入节点。外高桥城域网的核心节点 1(7606-1)与外高桥城域网的核心节点 2(7606-2)通过 GE端口分别与 CMNET城域网核心层浦东节点出口路由器 (GSR1)、万容节点出口路由器连接。汇聚层节点和核心层之间采 用双星型的连接方式，每个接入层节点与汇聚层节点之间采用 GE链路连接。 从上海移动数据城域网络拓扑结构上看到，上海移动数据城域网网络具有较大规模，同时也接入点也渗透到上海城郊的主要地区，但数据网的末端接入点数量少，覆盖小，多为局部汇聚点，无法满足地域分散、数量众多的集团专线用户的接入需要，因此，传输城域网成为了集团数据用户的主要承载平台。 2.2. 传输城域接入汇聚层数据节点组网概况 2.2.1. 传输接入汇聚层数据节点组网现状 数据用户的发展迅速，截至 2007年 6月，集团专线用户所覆盖的传输城域汇聚环6ecb2c2c12db54f65259056bc0a988b9.doc 已达到 54个，其中市区 38个环，北郊 9个环，南郊 7个环，共开通数据业务用户 810家，总带宽达 2569M。 汇聚环名称 分类带宽统计（ M） 合计 (M) CMNET VOIP VPMN 专线出租 北郊 嘉定 77 环 6 6 410 嘉定 87 环 A 82 8 52 142 嘉定 87 环 B 46 2 48 青浦 86 环 A 10 6 2 18 青浦 86 环 B 24 2 6 32 宝山 81 环 70 2 10 82 宝山 51 环 24 24 宝山 52 环 14 2 2 18 崇明 91 环 28 4 2 6 40 南郊 松江 85 环 A 56 14 2 20 92 539 松江 85 环 B 44 16 12 2 74 奉贤 83 环 A 28 4 32 奉贤 83 环 B 18 18 南汇 82 环 A 56 2 58 南汇 82 环 B 34 2 157 193 金山 84 环 62 4 2 4 72 市区 外高桥 41 环 576 30 4 38 648 1620 长寿 03 环 36 8 20 64 长寿 11 环 6 2 8 长寿 21 环 8 16 24 长寿 22 环 8 4 12 长寿 19 环 8 6 14 虹桥 37 环 12 12 24 淮海 02 环 20 16 36 徐家汇 17 环 20 2 4 26 徐家汇 28 环 6 14 20 浦东 12 环 18 2 2 4 26 浦东 13 环 4 4 浦东 34 环 108 4 12 124 浦东 35 环 18 4 22 6ecb2c2c12db54f65259056bc0a988b9.doc 杨浦 32 环 14 2 16 杨浦 23 环 6 4 10 杨浦 24 环 24 8 32 黄浦 01 环 24 4 12 40 张江 33 环 6 6 张江 54 环 10 10 金桥 42 环 14 10 24 金桥 53 环 18 2 2 22 虹口闸北 31环 22 10 32 普陀闸北 39环 8 8 16 龙华 16 环 16 10 26 长宁 18 环 22 8 30 普陀 38 环 14 4 18 普陀 39 环 2 2 4 普陀 46 环 8 8 16 闵行 36 环 24 4 28 闵行 47 环 14 14 闵行 48 环 22 2 102 126 新江湾 40 环 16 16 南外滩 14 环 8 2 2 4 16 卢湾 15 环 12 4 2 18 北新泾 43 环 16 16 深水港 92 环 2 2 机场 45 环 28 2 30 合计 1778 128 36 627 2569 2569 各类别专线比例为如下： V P M N1%专线出租24%C M N E T70%V O I P5%CMNETVOIPVPMN专线出租6ecb2c2c12db54f65259056bc0a988b9.doc 专线地域分布情况如下： 2.2.2. 专线等级分级要求 根据网络部上海移动专线接入维护管理办法（ V2）要求，现有专线分级要求情况如下： 维护等级 传输保护要求 动力保护 要求 交换 /数据 局端设备要求 交换 /数据 用户设备要求 VOIP CMNET 1 级 全程环保护 配置后备电源，提供 24 小时运行的空调设 备 1 个物理端口 提供 1 个E1 端口或 1 组模拟中继 1 个数据网络设备 2 级 全程双路由 配置后备电源，提供 24 小时运行的空调设备 1 同一设备的两个不同物理端口； 1 提供2个 E1端口或 2 组模拟中继 1 提供2 个端口，并且广域网设备必须支持multilink ppp，以太网设备必须支持port channel。 南郊16%北郊21%市区63%南郊北郊市区6ecb2c2c12db54f65259056bc0a988b9.doc 2 不同设备的两个物理端口（只适用于CMNET专线） / 2 用户接口网络设备必须支持下述之一： 静态路由： 用户设备的配置可能影响用户数据的流向，维护部门无法进行控制； 动态路由： 必须支持EIGRP，路由控制复杂 3 级 部分环保护，在接入链多于2 跳 时，增加微波、 3.5G MMDS 等备用链路 配置后备电源，提供机房空调设备 1 个物理端口 提供 1 个E1 端口或 1 组模拟中继 1 个数据网络设备 4 级 普通 日常维护 1 个物理端口 提供 1 个E1 端口或 1 组模拟中继 1 个数据网络设备 现网集团数据用户等级统计如下： 级别 数量合计 单链情况 跳数 数量 专营店 3 级 58 0 4 1 30 2 18 3 3 4 2 6ecb2c2c12db54f65259056bc0a988b9.doc 5 1 4 级 55 自用 CMNET 3 级 20 1 17 2 3 4 级 152 CMNET 1 级 8 1 5 2 2 3 1 2 级 2 1 2 3 级 3 0 1 1 1 4 级 237 VOIP 4 级 71 VPMN 4 级 19 专线出租 1 级 69 0 15 1 36 2 13 3 3 4 2 2 级 4 0 1 1 3 3 级 2 1 2 4 级 110 合计 810 由上表可得出如下专线等级和各百分比： 级别 数量 不合格数量 合格百分比 1 级 77 62 19.48% 2 级 6 5 16.67% 3 级 83 6 92.77% 4 级 644 2.2.3. 集团数据专线故障分析 综合分析 2006年第三第四季度和 2007年第一第二季度专线故障情况如下： 6ecb2c2c12db54f65259056bc0a988b9.doc 季度 上游站点 光缆 /线路 用户端 自恢 总计 故障 故障 故障 三季度 60 10 34 33 137 43.80% 7.30% 24.82% 24.09% 100% 四季度 32 20 28 26 106 30.19% 18.87% 26.42% 24.53% 100% 一季度 6 2 28 15 51 11.76% 3.92% 54.90% 29.41% 100.00% 二季度 28 12 31 39 110 25.45% 10.91% 28.18% 35.45% 100.00% 合计 126 44 121 113 404 31.19% 10.89% 29.95% 27.97% 100.00% 专线故障率由大至小排列，依次为上游站点故障、用户端故障、自恢、光缆线路故障，其中上游站点故障及光缆故障合计约占所有专线故障的 50%，是维护部门的主要维护工作量。而引起专线故障的主要原因可分为以下几方面： (1) 网络拓扑结构不完善 专线点采用星型或链型拓扑结构，以单链路方式接入到城域网。当上游站点光缆割接、传输设备损坏、断电，专线不可避免的受到影响。 (2)专线点的传输设备使用光猫 光猫的可靠性较差，易出故障；且只能采用点到点的连接方式，缺乏网络拓扑的灵活性，难以满足 SDH传 输网络的链路交叉连接及业务的保护要求；并且光猫没有监控单元，不能在第一时间传送专线故障信息到网管。 (3)专线采用微波传输方式。 微波组网为点对点形式，传输效率低，受外界天气能因素影响大，带来数据业务传输的不稳定性。 (4)专线点在初期建设的时候未充分考虑传输设备的供电可靠性和电源质量要求，其电源引入和供电方式不规范，易引起专线点掉电 ，影响了传输设备的正常使用。 2.3. 传输城域核心层数据节点组网概况 6ecb2c2c12db54f65259056bc0a988b9.doc 上图是上海移动数据城域网的总体网络拓扑图，整个网络是 由骨干层、汇聚层和接入层 3层结构组合而成的。从图中可以看出，在接入层这一块，南北郊各区县都有一个节点作为数据的汇聚点，各节点直接通过传输 155M通道连接到 4个骨干节点处；在汇聚层处则是通过千兆以太网的带宽和骨干节点相连，汇聚层处的节点数目偏少，大量的数据设备集中在 4个骨干点中，这就使得传输必须将各个接入点的数据电路全部集中汇聚到骨干点，从而造成了传输带宽占用量大、骨干点传输数据单板端口紧张、数据电路保护完全依靠传输实现等众多问题。 (1)基于光纤直联的核心数据节点互连方式 城域核心路由器的互连方式目前主要 采用光纤直联的方式。以数据路由器为核心的网状网结构，通过配置高速光模块接口，实现在 40公里范围内的路由器互联。成对路由器间互联光纤形式为无保护单链结构，通过路由器两两之间互连形成的网状结构和相关路由协议实现两点间业务的迂回路由保护。对传输提供的光缆情况要武 胜核 心万 荣核 心钦 州核 心浦 东核 心G S R 2G S RG S R 1G S R 2宽 带 接 入宽 带 接 入G S R 1瑞 安节 点长 寿节 点陆 家 嘴节 点漕 溪节 点横 浜节 点怒 江节 点崇 明节 点圆 明 园节 点宝 山节 点奉 贤节 点G S R南 汇节 点松 江节 点青 浦节 点金 山节 点嘉 定节 点4 0 0 67 2 0 6安 亭节 点宽 带 接 入4 0 0 67 2 0 6窄 带 接 入2 9 5 04 0 0 6 - 14 0 0 6 - 27 5 1 3窄 带 接 入武 胜 接 入钦 州 接 入万 荣 接 入4 5 0 7 - 24 5 0 7 - 16 5 0 9 - 24 0 0 6宽 带 接 入7 2 0 66 5 0 9 - 1窄 带 接 入浦 东 接 入4 0 0 3 - 24 0 0 3 - 1宽 带 接 入窄 带 接 入6 5 0 9 - 26 5 0 9 - 17 6 0 6 27 6 0 6 16 5 0 9 - 26 5 0 9 - 1外 高 桥 城 域 网浦 东 I D CO C - 4 8G EO C - 3F E图 例 一云 形上 海 移 动 城 域 网 总 体 网 络 拓 扑 图G S R 1 2 0 1 6G S R 1 2 0 1 2C a t a l y s t 7 6 0 9C a t a l y s t 6 5 0 9C i s c o 7 5 1 3 C i s c o 7 2 0 6C a t a l y s t 4 5 0 7C a t a l y s t 4 0 0 6C a t a l y s t 4 0 0 3C a t a l y s t 2 9 5 0图 例 二东 方 有 线 网 络数 据 业 务 中 心6 5 0 9 - 16 5 0 9 - 2洋 山 深 水 港数 据 网怒 江 I D CS H N A PC M N E T 骨 干 网1 0 G E6ecb2c2c12db54f65259056bc0a988b9.doc 求高，要求路由器所在节点有三处以上无关的出局路由；网状网的结构占用了大量光缆资源，导致传输本身使用光路资源少，而用户直联光路资源占用多，成本代价高。在核心网络网元数量较少、距离较短、结构简单的数据网络所普遍采用的组网方式。 (2)基于 SDH承载的 155M、 622M汇聚接入互连方式 城域汇聚节点同接入节点间的互连是数据设备的 POS端口通过 SDH设备标准155M、 622M端口实现的。通过该种方式数据设备实现分布在南北郊各区县的数据接入汇聚设备通过传输 SDH城域传送网完成汇聚收敛。在数据网组网汇聚点与核心点连接方式上，以链形连接为主，保护完全依靠传输承载实现。 SDH保护功能在数据接入侧，传输转接节点为无保护，其余依靠 SDH环网的保护倒换实现数据业务保护。 (3)基于 DWDM层面的数据业务承载方式 中国移动通信集团公司长期以来推动全网的 IP化进程，网络建设 正如火如荼的开展，传输专业配合长途 IP承载网、 CMNET、软交换需求开通长途软交换 2。 5G业务63条， 10G业务 19条（数据截至 2007-8-31） ,实际现网应用的承载模式为数据业务 SDH WDM的运作模式，从长途四期二阶段开始对 IP OVER WDM的技术进行业务承载试验，传输专业的发展走出了一片新天地。 2.4. 传输现网基于 IP 承载网的 数据节点组网 应用 长途一级干线承载 IP 承载网和 CMNET大颗粒数据业务目前最成熟的方式是 IP OVER SDH。主要实现思路是标准的 IP数据帧结构在数据链路层 采用 PPP协议技术 把数据内容 映射进 SONET/SDH帧结构净负荷区 ，在物理层加入 SDH帧结构的标准开销字节完成 SDH成帧。 目前电信运营商在运营业务技术的具体实现时由同 SDH设备对接的 IP设备的POS板卡完成相应转换过程，提供标准的大颗粒级联数据业务光口同 SDH传输设备标准的 2.5G、 10G光口对接， SDH的对接端口作为业务接入端口，通过时隙交叉，进入SDH环网或 1 1的 MSP保护链中。 SDH承载与 DWDM之上， SDH网元的光纤连接承载于 DWDM系统不同方向的不同波道之上，通过路由迂回到达目的节点接入对端SDH网元， 单边波分系统发生光缆阻断通过 SDH层面的环网保护确保承载业务不受损伤。 IP over WDM实现了 IP业务的超大带宽传输，该技术已经在电信运营商网络转型中发挥着巨大作用。目前该技术已经得到了运营商的广泛认可。在中国移动去6ecb2c2c12db54f65259056bc0a988b9.doc 年的省际光传送网传输系统四期工程和长途软交换网四期工程设备采购中， WDM设备就已成了采购重点之一。 在中国移动集团的统一部署下， IP OVER WDM的业务测试和应用在全国范围内开展。上海作为重要试点基地牵头完成了 IP OVER WDM的测试工作，目前典型应用实例为长途一级干线 CMNET和 IP承载网的 10G颗粒的数据业务通过长途一级干线四套平台波道的转接直接通过波分系统承载业务至目的节点。网络结构图如下： IP OVER SDH一干传输上海范围内承载了现网 CMNET、 IP承载网等数据电路，数据速率集中于 155M、 2。 5G、 10G，目前开通业务 2。 5G业务 63条， 10G业务 19条。在长途一干四期二阶段的 IP OVER WDM的测试中开通了 CMNET的上海广州、上海杭州、上海成都； IP承载网上海南京的测试业务。 IP OVER WDM通过对用户信号的双发，分别从多套波分平台上迂回到达目的地，在目的节点完成业务的选收，一旦波道出现故障，可以通过收端的主备用切换完成相关业务保护。 在资源占用和时隙使用情况方面， IP OVER WDM的资源占用主要是对波分平台的波道占用，由于直接把业务接入波分系统对波分板位占用多余 SDH系统承载于波分平台上对波分系统板位的占用，大大节省了传输 SDH层面的资源占用，可以在单波道发生故障时发生实现保护，保护倒换时长接近于 SDH的水平。 2.5. 存在问题及解决 2.5.1. 专线业务主要存在问题及解决思路 1市场的用户级别定义同技 术层面对各等级业务达到维护要求所必须具备的物T M U X O M U T M U X O M U 1 + 1 保护 控制 单元 O D U T M U X 1 + 1 保护 控制 单元 T M U X O D U OADM 华为 WDM 系统 中兴 WDM 系统 IP大颗粒光口 IP大颗粒光口 6ecb2c2c12db54f65259056bc0a988b9.doc 理条件不适应，开通数据业务阶段不考虑现网节点实际情况与用户签订脱离实际的高级别协议，单纯依靠故障处理来实现高级别数据业务的维护要求，产生用户投诉率高问题。 解决思路：考虑现网节点实际情况，通过技术手段的分级保护、分层管理提升专线电路可用率。核定用户级别，确定物理条件制约节点，落实后续相关网络改造 2不同级别数据电路从网络结构、抗故障能力等方面没有实质区别，带来中断业务故障问题概率在四个等级上平均分布，未为通过技术手段有效实现电路级别越高故障概率越低的效果。 解决思路：建立传输城域网承载四级专线电路的技术标准规范和改造方式规范，通过技术手段实现高级别专线用户故障概率越低，辅以故障处理实现要求提升数据专线维护水平。 3数据业务接入方式单一，业务应用单一，服务内容单一，承载数据业务以点对点 VPN应用为主，难以适应未来发展需求。 解决思路：具备条件情况下，根据用户 QOS要求，用新技术手段，拓展业务方式，实现用户个性化需要。承载数据业务的部分数据层协议的应用，提供丰富接入手段。 4数据用户接入占用传输城域网资源大，规模数据业务承载存在传输瓶颈。数据专线业务对传输 端口资源、时隙资源占用情况严重，依靠目前承载方式无法适应未来规模数据业务接入需求。 解决思路：结合数据网组网的下沉式传输 MSTP城域网完成用户接入，就近收敛于数据节点，通过 IP OVER WDM技术提供数据网汇聚至核心、核心之间的大颗粒的宽带有保护通道，辅以传输设备应用数据业务 MPLS和 GFP共享方式，节省带宽与资源的综合组网方式解决传输数据业务承载的未来发展需要。 5、传输现网 城域网中数据节点组网 应用以点到点和少量点到多点方式为主，提供简单数据透传应用，保障单纯依靠 SDH层面且多数网络拓扑不具备环形组网 条件。 解决思路：尝试数据层面保护方式在传输上的简单应用作为有机补充。 2.5.2. 数据核心网传输互连主要问题 (1)大颗粒的数据业务对 SDH 传送网的挑战： (2)电信级保护的 IP 业务对数据网的挑战： (3)大量的 IP 对纤芯资源的挑战： 6ecb2c2c12db54f65259056bc0a988b9.doc 2.6. 本章小结 本章上海移动目前城域数据节点按接入汇聚层、核心层进行了逐个的现状分析，从实际情况中找出存在的问题和主要解决办法。 6ecb2c2c12db54f65259056bc0a988b9.doc 第 3章 业务需求组网实现方式 3.1 基于 MSTP 的接入汇聚层 数据节点组网方案 3.1.1传输数据面临的挑战 目前集团数据专线电路主要由 CMNET、 VOIP、 VPMN 和出租专线 这 4 种业务类型组成，其中 CMNET 占据专线电路总数 70%，从 CMNET 电路的开通情况上可以反映出整个传输数据目前面临的问题和挑战。 目前 CMNET 电路在南北郊各区中基本都有一个数据汇聚点，但是在拥有 CMNET总数 63%的市中心各区则主要靠浦东、武胜、钦州、万荣、长寿这几个局点的传输数据单板来进行数据业务汇聚。截至 2007 年底传输城域汇聚环总数将达到 64 个，未来数据业务的接入又是新业务发展的重要方向，全部依靠传输从个接入点把数据业务汇聚到数据核心节点，带来传输端口资源、时隙资源、带宽资源、逻辑组资源等的浪费， 当数据业务的数量与规模发展到一定程度，以目前的组网和承载方式必然对业务的发展带来瓶颈与制约，迫切需要根据现实情况和未来发展为数据业务的组网找到一条解决之道。 传统数据网络的布局同传输网络布局的无关性带来资源浪费。城域数据网接入节点设立于传输骨干楼宇中，传输汇聚网络完成从用户到骨干楼宇的汇聚。而城域数据网在各区县均有自己的接入路由器，如果能实现传输与数据汇聚点的共点，在汇聚层完成数据业务收敛，通过传送网搭建的高速率 GE通道由数据网完成业务至骨干楼宇数据点的汇聚，对节省传输资源、分层汇聚、提高安全性、减少数据业 务开通负责度都有很大好处。 数据业务基于 IP层本身无保护。数据业务的保护是基于 MSTP的 SDH保护倒换基础之上，自己业务本身无保护，带来对网络组网结构要求高，需要环网来满足保护需要。 局部问题带来全局影响。数据业务带宽宽，但实际使用是是多个 VC12绑定在一起提供宽带服务，当其中一个或一个以上 VC12故障时，影响整个业务通信。 接入段无保护机制。用户接入 MSTP系统时通过相应光、电口连接，无法实现保护。 对用户提供数据业务服务除了带宽可选外，无法提供更多 QoS的服务，对数据的特色之一差异化服务无法体现。 对数 据业务本身的保护和告警传递机制适应不够，无法实现真正的透传。 MSTP带来 SDH相关资源的浪费。对设备本身承载能力来讲，数据业务通过 VC12来6ecb2c2c12db54f65259056bc0a988b9.doc 传递效率低，设备本身的数据特性单板的接入能力有限，对宝贵的槽位资源是严重的浪费，无法开展大规模的数据接入应用。 3.1.2传输数据城域网中专线电路实现方式 1、 EPL EPL 业务完成用户站点的点到点、点到多点连接，并可以实现用户业务的汇聚功能。 (1)点对点透传 组网应用： A、 B 两公司的业务需要在甲地和乙地之间透 明传送，组网如下所示。 VCTRUNK 1MAC1MAC2VCTRUNK 1VCTRUNK2 VCTRUNK2MAC1ANE 1 NE 2B BAMAC2OptiX OSN 3500 企业用户实现方式 省省 内内 骨骨 干干 网网 城城 域域 传传 输输 网网 汇汇 聚聚 层层 集团 写字楼 中小企业 写字楼 集团 写字楼 中小企业 写字楼 写字楼 写字楼 城城 域域 传传 输输 网网 骨骨 干干 层层 综综 合合 本本 地地 传传 输输 网网 MSC GSN ATM GSR MSC GSN ATM GSR 预预 制制 N 155M带带 宽宽 预预 制制 N 155M带带 宽宽 MSTP综综 合合 业业 务务 传传 送送 网网 模模 型型 DCN 网络级网管 本地网网管 城域传输网网管 干线网 管 6ecb2c2c12db54f65259056bc0a988b9.doc 实现方式 端口路由 硬件配置 在 NE 1 和 NE 2 上各配置 1 块 EFS4 单板，接入 A公司和 B 公司的以太网业务。EFS4 单板可插放槽位参考“附录 A 网络配置要求”。 业务路由 NE 1 NE 2 A公司 MAC1VCTRUNK1 VCTRUNK1MAC1 VCTRUNK1 绑定 5 个 VC-12 B 公司 MAC2VCTRUNK2 VCTRUNK2MAC2 VCTRUNK2 绑定 1 个 VC-3 保护 业务的保护可以依靠 SDH 设备自身的保护方 式。 小结 采用点到点的透明传送方式， EPL 业务在线路上独享带宽，且和其它业务完全隔离，安全性高。适用于大客户专线应用。 (2)EPL 业务应用（汇聚） 实现方式 实现方式 端口路由 +VLAN 路由 A 公司总部NE 1 NE 2A 公司市场部A 公司技术支持OptiX OSN 3500 企业用户MAC1MAC2VLAN100MAC1VLAN100VLAN200VLAN200VCTRUNK1VCTRUNK2汇聚方向：在乙地，市场部的业务和技术支持的业务分别通过 NE 2 的一个 MAC 端口接入，添加不同的 VLAN 标签（ VLAN ID： 100 和 VLAN ID： 200），并各自通过一个 VCTRUNK 传送到甲地。在甲地 NE 1 实现两业务汇聚，并通过一个 MAC 端口输出。 分发方向： NE 1 的以太网处理板对来自 A公司总部（标签 为 VLAN ID： 100 和 VLAN ID： 200的数据）的业务进行处理，根据以太网业务中不同的 VLAN 标签将数据分别通过不同的VCTRUNK 送往乙地的两个分部。 硬件配置 在 NE 1 和 NE 2 上各配置 1 块 EFS4 单板，接入 A公司总部和 A公司分部的以太网业务。 EFS4单板可插放槽位参考“附录 A 网络配置要求”。 业务路由 NE 1 NE 2 总部 市场部 MAC1+VLAN ID：100VCTRUNK1+VLAN ID： 100 VCTRUNK1+VLAN ID：100MAC1+VLAN ID： 100 VCTRUNK1 绑定 5 个 VC-12 总部 技术支持 MAC1+VLAN ID：200VCTRUNK2+VLAN ID： 200 VCTRUNK2+VLAN ID：200MAC2+VLAN ID： 200 VCTRUNK2 绑定 5 个 VC-12 6ecb2c2c12db54f65259056bc0a988b9.doc 保护 业务的保护可以依靠 SDH 设备自身的保护方式。 小结 MSTP 设备可以实现 EPL 业务的汇聚，实现以太网业务点到多点的组网应用。通过VLAN 标签的识别，可以使多条 EPL 业务共享 MAC 端口，节省端口资源。 2、 EVPL 组网应用 由于两部门接入的 VLAN 相同，且需要共享带宽，因此可以应用 EVPL 业务实现需求。 EVPL 业务采用 MPLS（ Multiprotocol Label Switching） L2 VPN 封装格式，支持外层标签（ Tunnel）和内层标签（ VC）的识别。如下图所示： VCTRUNK 1MAC1MAC2 MAC2MAC1分部 1NE 1 NE 2A 公司 OptiX OSN 3500分部 2市场部技术支持市场部技术支持实