中国电信IP城域网组网技术方案

深圳电信新技术开发中心-PAGE1-目录TOC\o"1-3"\h\z一、设计原则 3二、设备用途说明和命名规则 62.1Site代码 62.2设备命名规则 62.3设备用途描述 7三、网络架构 113.1核心骨干模块(backbone) 113.2Internet(163/169)连接点模块 133.3IPVPN服务模块 143.4商业Internet接入模块 183.5小区Internet接入模块 203.6政府上网接入模块 223.7主机托管模块 23四、设备互连 254.1远程连接 254.2本地连接 254.3设备插槽分配策略 264.4VLAN编号和用途说明 26五、IP地址 295.1IP地址模式 295.2域内路由协议(IGP) 295.3IP地址分配 295.4IP子网规划 30六、和163/169的连接 336.1缺省路由 336.2EBGP出口路由设计 346.3在多出口上实现流量均衡 34七、MPLSVPNPE-CE的连接 36八、VPN的Internet接入 388.1VPNInternet网关 388.2VPDNforVPN 40九、NMS网段 42十、安全控制 45十一、QoS 4811.1可选择的工具 4811.2实现的模型 49附件一：IP地址分配计划表 53附件二：小区Internet接入方案 581、SSO（Service-Sign-On）系统 582．RedbackSMS宽带接入服务器 623．两种方式的比较。 63附件三：图表 65

一、设计原则随着深圳电信的互联网业务的快速发展，可以预测的用户需求在几年内将成几何级数增长，同时，随着中国加入WTO的时间表的逼近，来自各个方面的竞争压力不断增加。但是，目前深圳电信的互联网基础设施还不够发达，不足以迅速占领市场的制高点，在未来的竞争中立于不败之地。因此，深圳电信局决定建设一个先进的、灵活的、可靠的、基于标准的城市骨干通信平台，使得深圳电信能够基于这个平台，针对市场上IP用户的大量宽带多媒体应用的需求，迅速推出一系列崭新的宽带多媒体业务，从而吸引更多的用户，增加市场竞争力，实现网络的商用价值，并为今后满足市场新的业务需求而迅速推出新的业务打好基础。深圳IP城域网一期工程的建设目标是将IP城域网建成为数据业务的统一骨干平台，在此平台上为政府、企业、学校提供高速接入，同时提供VPN等增值业务。基于以上的建立目标，深圳IP城域网的设计原则为：可靠性原则；可扩充性原则；简单和易于管理的原则；可以集中管理的原则；效率高；和现有网络有较好的集成；安全性；网络可靠性通过下述的设计思路来达到：在网络核心层进行Partialmeshed冗余物理连接；接入层设备通过Dualhoming双连接到核心层；网络采用多出口设计到Internet(163/169)；在接入层采用Routesummarization减少边缘链路波动对核心的影响；合理采用静态路由，提高可靠性；网络可扩充性通过下述的设计思路来达到：网络采用明显的“核心—分布”层次结构；简单而有效的IP地址分配策略；采用可靠和可扩展的IGP路由协议；简单和易于维护性通过下述设计思路来达到：所有的网络设备被分配专门的用途；避免复杂的配置；网络设备命名直观而易记；统一的slot、port、VLAN的分配策略；每台设备都配有loopback地址，易于维护；集中管理通过下述设计思路来达到：为中央网络管理系统配有专门的管理网段；从中央网管网段可以到达所有设备；VPNPE-CE连接从NMS网段同样可以到达；为所有互连网段包括VPNPE-CE连接都采用合法IP地址；运行的高效性通过下述设计思路来达到：核心层互连链路采用相同接口类型和相同速率，便于作负载平衡；城域网内部采用缺省路由配合IGPmetric作出口选择；和Internet的多连接上采用BGPMED特性进行负载分担；和现有网络的集成通过下述设计思路来达到：采用开放的、标准的路由协议将城域网分为多个路由区域，现有网络可以通过单独的域连接上来；和Internet(163/169)的BGP连接通过保留的AS号，这样不会影响广东省和中国电信163/169网络出国的BGP路由；安全性通过下述设计思路来达到：对所有重要事件进行log；限制对设备的SNMP和TELNET；采用NTP协议对全网的设备进行同步；对不安全的端口上将路由协议进行Passive，防止不必要的路由泄露；对网络设备的User和Privilege状态进行存取控制；网络总体结构如图所示：二、设备用途说明和命名规则2.1Site代码SiteSiteCode枢纽SN黄木岗HMG电信DX南山NS新安XA龙中LZ沙头角STJ东港中心DG新南头XNT机关专用局JG蛇口SK鸿波HB龙脉LMSite代码是地点名的拼音缩写而成。前11个site是本期工程所要安装设备的点，后2个site不涉及设备安装。2.2设备命名规则M-HMG-M-HMG-12012-ASiteCodeUniqueIdUniqueIde.g.A–1st12012;B-2nd12012EquipmentTypeEquipmentTypeMANMAN解释:设备类型为“6509”代表Catalyst6509switch的LANswitch部分；设备类型为“6509R”代表Catalyst6509switch的routing部分：

6509R1代表安装在6509的primarysupervisorycard上的MSFCfeaturecard；

6509R2代表安装在6509的Redundantsupervisorycard上的MSFCfeaturecard。2.3设备用途描述SiteDeviceModelDeviceNameUsage枢纽楼GSR12012M-SN-12012-AMPLScorerouter7507M-SN-7507-AMPLS3620M-SN-3620-AVPNManagementCErouter2924M-XLM-SN-2924-AVPNaccessconcentrator2924M-XLM-SN-2924-BCommercialInternetaccessconcentrator6509-MSFCM-SN-6509R1-AInter-VLANrouting6509-MSFCM-SN-6509R2-AInter-VLANrouting6509M-SN-6509-ACommunityInternetaccessconcentrator黄木岗GSR12012M-HMG-12012-AMPLScorerouter7513M-HMG-7513-AMPLS2924M-XLM-HMG-2924-AVPNaccessconcentrator2924M-XLM-HMG-2924-BCommercialInternetaccessconcentrator6509-MSFCM-HMG-6509R1-AInter-VLANrouting6509-MSFCM-HMG-6509R2-AInter-VLANrouting6509M-HMG-6509-ACommunityInternetaccessconcentrator电信GSR12012M-DX-12012-AMPLScorerouter7507M-DX-7507-AMPLS2924M-XLM-DX-2924-AVPNaccessconcentrator2924M-XLM-DX-2924-BCommercialInternetaccessconcentrator6509-MSFCM-DX-6509R1-AInter-VLANrouting6509-MSFCM-DX-6509R2-AInter-VLANrouting6509M-DX-6509-ACommunityInternetaccessconcentrator6509-MSFCM-DX-6509R1-BInter-VLANrouting6509-MSFCM-DX-6509R2-BInter-VLANrouting6509M-DX-6509-BReservedfor163serverhostinginDX东港中心6509-MSFCM-DG-6509R1-AInter-VLANrouting6509-MSFCM-DG-6509R2-AInter-VLANrouting6509M-DG-6509-AServerhosting6509-MSFCM-DG-6509R1-BInter-VLANrouting6509-MSFCM-DG-6509R2-BInter-VLANrouting6509M-DG-6509-BServerhosting南山GSR12012M-NS-12012-AMPLScorerouter7507M-NS-7507-AMPLS2924M-XLM-NS-2924-AVPNaccessconcentrator2924M-XLM-NS-2924-BCommercialInternetaccessconcentrator6509-MSFCM-NS-6509R1-AInter-VLANrouting6509-MSFCM-NS-6509R2-AInter-VLANrouting6509M-NS-6509-ACommunityInternetaccessconcentrator新南头6509-MSFCM-XNT-6509R1-AInter-VLANrouting6509-MSFCM-XNT-6509R2-AInter-VLANrouting6509M-XNT-6509-AServerhosting6509-MSFCM-XNT-6509R1-BInter-VLANrouting6509-MSFCM-XNT-6509R2-BInter-VLANrouting6509M-XNT-6509-BServerhosting新安GSR12012M-XA-12012-AMPLScorerouter7507M-XA-7507-AMPLS2924M-XLM-XA-2924-AVPNaccessconcentrator2924M-XLM-XA-2924-BCommercialInternetaccessconcentrator龙中GSR12012M-LZ-12012-AMPLScorerouter7507M-LZ-7507-AMPLS2924M-XLM-LZ-2924-AVPNaccessconcentrator沙头角GSR12012M-STJ-12012-AMPLScorerouter7507M-STJ-7507-AMPLSPErouter2924M-XLM-STJ-2924-AVPNaccessconcentrator2924M-XLM-STJ-2924-BCommercialInternetaccessconcentrator蛇口7507M-SK-7507-AMPLSPErouter2924M-XLM-SK-2924-ACommercialInternetaccessconcentrator机关专用局6509-MSFCM-JG-6509R1-AInter-VLANrouting6509-MSFCM-JG-6509R2-AInter-VLANrouting6509M-JG-6509-AGovernmentagencyInternetaccessconcentrator设备用途说明：MPLSCoreRouter设备用作MPLS核心Label交换路由器；不直接连接任何用户；所有核心层路由器之间、核心路由器和PE路由器之间的连接必须MPLSEnabled；核心路由器只能运行独一的IGP路由协议；MPLSPERouter设备用作MPLSprovideredgerouter（PE）；所有VPN用户端的连接终结在PE上；同时，PE路由器作为Internet分布层接入路由器；PE在IGP上作为ABR，进行路由聚合；VPNAccessConcentrator设备用于VPN扇出，上联链路为PE路由器GEVLANTrunk；每一个FE交换端口属于一个单独的VLAN；每个FE交换端口和用户设备通过FE-to-Fiber单模光纤转换器连接；

☆注：该转换连接不属本次工程范畴CommercialInternetAccessConcentrator设备用于商业用户的高速Internet接入；每一个FE交换端口属于一个单独的VLAN；每个FE交换端口和用户设备通过FE-to-Fiber单模光纤转换器连接；注：该转换连接不属本次工程范畴Inter-VLANRouting设备用作Inter-VLAN路由，这些VLAN是通过Switch建立起来的；同时，该设备还用于Internet接入路由器；设备在IGP中作为ABR，进行路由聚合；CommunityInternetAccessConcentrator设备用于小区用户高速Internet接入；SupervisoryEngine上的GE端口通过多模光纤连接到本地的MPLScore路由器上；VLAN1用于Inter-VLAN路由器（MFSC）作为管理网段；VLAN通过FE-to-Fiber单模光纤转换器和小区的用户设备相连；注：该转换连接不属本次工程范畴ServerHosting设备（LAN交换机）用于连接各种主机托管服务器；SupervisoryEngine上的GE端口通过单模光纤连接到远程的MPLScore路由器上；VLNA1作于Inter-VLAN路由器（MFSC）作为管理网段；VLANManagementCERouter设备作为一个CE路由器，连接中央网管网段，通过VPN连接到所有的用户VPN上，以便于中央网管对所有PE－CE链路和CE路由器进行管理；一个FE端口连接到本地PE上网管专用FE端口，另一个FE端口连接到LocalServerHosting以太网交换机上，通过网管专用网段和网管主机相连接；GovernmentInternetAccessConcentrator设备用作政府机构上网的接入集中器，提供高速Internet连接；6509上的supervisoryengine的GE口通过单模光纤连接到最近的MPLSCoreRouter；VLAN1用于Inter-VLAN路由器（MFSC）作为管理网段；VLAN通过FE-to-Fiber单模光纤转换器和小区的用户设备相连；注：该转换连接不属本次工程范畴

三、网络架构深圳IP城域网在网络结构上分成核心层和接入层，在功能上提供VPN互连、高速商业Internet接入、高速小区Internet接入、政府上网接入、主机托管连接等多种服务类别。因此，为了在一种清晰的结构上进行网络设计，对网络进行功能模块的划分，将深圳IP城域网分为以下几个模块：核心骨干模块Internet(163/169)连接点模块IPVPN服务模块商业Internet接入模块小区Internet接入模块政府上网接入模块主机托管模块BackboneModuleBackboneModuleIP-VPNServiceModuleCommercialInternetAccessServiceModuleCommunityInternetAccessServiceModuleGovernmentInternetAccessServiceModuleServerHostingServiceModuleInternetPeeringModuleNetworkManagement3.1核心骨干模块(backbone)1、结构城域网的核心骨干模块由分布在7个不同地点的7台CiscoGSR12012路由器构成，分别是：M-SN-12012-A 枢纽的GSR12012M-HMG-12012-A 黄木岗的GSR12012M-DX-12012-A 电信的GSR12012M-NS-12012-A 南山的GSR12012M-XA-12012-A 新安的GSR12012M-LZ-12012-A 龙中的GSR12012M-STJ-12012-A 沙头角的GSR12012这7台GSR12012通过POS接口卡单模光纤以partialmeshed结构互连；为了确保核心骨干模块的MPLS标签分配和路由表的稳定，这7台GSR12012及它们之间互相连接的Link必须独立地分配在IGP的area0域中。从其它模块学到的路由在进入Core之前必须先进行Aggregate或Summarize，以免造成对Core的路由影响。CoreAreaCoreAreaServiceModulesServiceModulesServiceModulesAggregatedorSummaryRoutesOnlyDXLZHMGXANSSNSTJ2、实现作为IP城域网的核心，要承载包括IPv4和MPLSVPN两种不同的traffic，所以，每台CoreRouter必须是能够支持TagSwitching。在这种配置下，MPLSVPN的traffic被TagSwitched，而普通IPv4的traffic被routed。下面是一台Corerouter的Sampleconfiguration:Tag-switchingadvertise-tagsinterfacepos2/0description“SM01fiberlinktoM-XA-12012-Apos2/0”ipaddress52tagswitchingip为了减少TagSwitch的目标lable，可以采取accesslist的方法来限制标签的分配。配置如下：Tag-switchingadvertise-tagsfor1Access-list1permit30 //loopback0addressofM-SN-7507-AAccess-list1permit31 //loopback0addressofM-HMG-7513-AAccess-list1permit32 //loopback0addressofM-DX-7507-AAccess-list1permit33 //loopback0addressofM-NS-7507-AAccess-list1permit34 //loopback0addressofM-XA-7507-AAccess-list1permit35 //loopback0addressofM-LZ-7507-AAccess-list1permit36 //loopback0addressofM-STJ-7507-A在上面的配置下，TagSwitching在限于目标地址是MultiProtocolBGPneighbor的CoreRouter的loopback地址，大大减轻了CoreRouter在Lable分配上的开销。其它traffic进行普通路由。3.2Internet(163/169)连接点模块1、结构在本期IP城域网工程中，黄木岗和电信的两台CoreRouter：M-HMG-12012-A和M-DX-12012-A作为和163/169连接的边界路由器。其中，黄木岗M-HMG-12012-A通过一条OC-48链路连接到163；电信M-DX-12012-A通过一条GE链路连接到163。CoreAreaCoreArea163BackboneDXLZHMGXANSSNSTJ在广东省163扩容工程结束后，这种连接将改变。到那时，2台新加入的GSR路由器M-SN-12012-B和M-NS-12012-B将代替本期工程中的2台边界路由器作为新的163出口路由器。边界路由功能随之而转移到新的GSR路由器上。在第六章中将详细讲述和163边界路由器的路由策略，包括如何在多出口点之间进行Inboundtraffic和Outboundtraffic的loadbalance，以及如何保证路由对称性的问题。2、实现深圳IP城域网和163网之间运行BGP路由协议，下面是M-HMG-12012-A的SampleConfiguration：routerbgp65001nosynchronizationnetworkmaskneighbor6remote-as123neighbor6description“2.5GbpslinkstoHB163Backbone”neighbor6version4neighbor6filter-list1inneighbor6filter-list10outipas-pathaccess-list1deny^*ipas-pathaccess-list10permit^$iproutenull0iproute6城域网的边界路由器不从163路由器学习任何Internet路由，所有IP城域网不知道的路由都通过缺省路由送至163网络。3.3IPVPN服务模块1、结构IPVPN服务模块包括向用户提供IP-VPN服务的路由器和交换机，路由器主要是7507或7513，交换机主要是2924。这些设备包括：ProviderEdge(PE)Router(Cisco7500seriesrouters):M-SN-7507-AM-HMG-7513-AM-DX-7507-AM-NS-7507-AM-XA-7507-AM-LZ-7507-AM-STJ-7507-AVPNAccessConcentrator(CiscoCatalyst2924M-XLLANswitches):M-SN-2924-AM-HMG-2924-AM-DX-2924-AM-NS-2924-AM-XA-2924-AM-LZ-2924-AM-STJ-2924-A所有VPNAccessConcentrator2924M-XL都是100MbaseT以太网交换机，通过GE链路连接到7500系列路由器上。该GE链路被定义为multi-VLANTrunk。2924M-XL上的每个100M端口被映射到一个单独的VLAN上，7500路由器上为每个VLAN建立一个sub-interface。M-DX-7507-AM-DX-7507-ARouter……….VLAN1xxVLAN109Logicallyfunctionaspoint-to-pointlinksRouteratcustomersite要向用户提供IP-VPN服务，需要进行下列步骤：在VPNAccessConcentrator2924M-XL上分配一个100M端口；通过FE-to-Fiber单模光纤转换器连接用户端的设备；将分配到的100M端口映射到VPNAccessConcentrator2924M-XL的一个VLAN上；在PE7500的GE端口上为该VLAN建立一个sub-interface；将该sub-interface联系到一个VPN上；在用户端，用户提供CE路由器通过100M端口连接到PE上。2、实现A、VLANTrunkTrunk是交换机之间或交换机和路由器之间的点到点链路，trunk在整个网络内承载multi-VLAN的流量。目前有两种trunk封包技术，一种是Cisco专用技术ISL(InterSwitchLink)，另一种是IEEE802.1Q，是国际标准。在本次城域网工程中，使用IEEE802.1Q作为inter-VLAN的trunk封包技术。下面是2924M-XL用作VPNAccessConcentrator的SampleConfiguration：interfacegigabitethernet1/1switchportmodetrunkswitchporttrunkencapsulationdot1Q下面是PE路由器7500的trunk端口的Sampleconfiguration：interfacegigabitethernet8/0/0.103encapsulationdot1Q103ipaddress52B、MPLSVPNMPLS采用虚拟路由表的方法来实现一个路由器上多个VPN的路由表。每一个VPN对应一个或多个VRFs(VPNrouting/forwardinginstance)。VRF定义连接到PE上的VPN成员(一个site)资格。一个VRF包括一个IP路由表、一个CEF(ciscoexpressforwarding)表、几个相关联的端口、和一些控制路由的规则和参数。用户site和VPN之间可以不是一一对应的，一个用户site可以是多个VPN的成员。但是，一个用户site只可以和一个VRF相关联。一个用户site的VRF包括所有该site所属VPN到该site的路由。数据包的路由和交换由VRF路由表和单独的CEF表所控制，每一个VPN对应一个路由表和一个CEF表，这样可以防止packet被交换到不关联的端口上去，同时也防止不关联的端口的packet被交换到该VPN中。VPN路由信息的传播由VPNroute-targetcommunities来控制，这主要是通过BGP的extendedcommunities属性来实现的。VPN路由信息的传播通过下述的方法进行工作：当一条从CE处学习到的VPN路由被inject到BGP中时，一些VPNroutetargetcommunities属性被赋于它；其中主要包括route-target属性，该属性决定这些route将被export到哪些VRF。每个VRF配置有一个importroute-target列表，该列表指明了一个BGP的update中的community属性应该包含什么route-target才能被目标VRF接受。比如，某一个VRF的importroute-target列表指明route-targetcommunitiesA、B和C，这样，每一个MP-iBGP的update中communities属性的route-target中有A或B或C的route将被import到该VRF中。一个PE路由器可通过静态路由、RIP或BGP从CE处得到某一个IP前缀的路由，该前缀是标准IPv4的前缀。然后，PE通过加上一个8字节的RD(routedistinguisher)将它转换成为一个VPN-IPv4的前缀。通过这种方法，可以使用户地址唯一，即使用户使用的是IANA规定的保留地址。用于生成VPN-IPv4前缀的RD(routedistinguisher)由PE路由器的VRF配置命令指定。MPBGP协议为VPN的每个VPN-IPv4前缀传递NLRI(NetworkLayerReachabilityInformation)。BGP实体之间的通信有两种可能，AS内的iBGP和AS间的EBGP，PE-PE和PE-RR(routereflector)之间为iBGP，PE-CE之间为EBGP。BGP协议通过BGP多协议扩展(BGPmultiprotocolextensions参见RFC2283,MultiprotocolExtensionsforBGP-4)来传递VPN-IPv4的路由可达性信息，多协议扩展的BGP采用的方法为限定BGP的peer只能从其它VPN的同伴处得到BGP路由。IP包经过MPLS标签交换到其目标地址，其选路的基础是VRF路由表和VRFCEF表。PE路由器为每一个从CE路由器学到的前缀产生一个label，然后将这个label作为一个BGPCommunities属性附加到BGP更新中传递出去。当一个源PE路由器从CE路由器处得到一个IP包，它使用从目标PE路由器学到的label将该IP包发送出去。当目标PE路由器得到这个labeledIP包后，将label从IP包中去除，作为一个纯IP包发送到CE路由器。当labeledIP包在核心骨干部分传递时，其基于labelswitching或trafficengineeredpath进行，一个用户的IP包在核心穿行时，携带了2层label：第一层label指示到正确的目标PE路由器；第二层label给目标PE路由器指示，到哪一个其连接的site链路。下面以黄木岗M-HMG-7513-A为例，给出建立一个名为“education”的VPN的sampleconfiguration：Step1:createvrfinstanceipvrfeducation !DefineVPNRoutinginstance“education”rd65001:101!Specifytheroutedistinguisherroute-targetboth65001:101!Configureimportandexportroute-targetsfor“education”Step2: ActivatingPEexchangeofVPNv4NLRIoveriMP-BGP:routerbgp65001 !ConfigureBGPsessionsnosynchronization nobgpdefaultipv4-activate !DeactivatedefaultIPv4advertisementsneighbor30remote-as65001 !DefineIBGPsessionwithanotherPEneighbor30description“M-SN-7507-Aloopback”neighbor30update-sourcelo0address-familyvpnv4unicast !ActivatePEexchangeofVPNv4NLRIneighbor30activateexit-address-familyStep3: AssociateinterfaceswithaVPN:interfaceGigabitEthernet5/0/0!SetupGEinterfaceasVRFlinktoaCErouteripvrfforwardingeducationipaddress52interfaceGigabitEthernet8/0/0.101!Setupup2924FEportasVRFlinkencapsulationdot1q101ipvrfforwardingeducationipaddress52Step4: AssumingstaticroutesareusedforconnectingtheCEsidenetwork:iproutevrfeducationiproutevrfeducation第七章将详细阐述MPLSVPNPE-CE连接的实现，第八章阐述VPN用户如何连接到Internet。3.4商业Internet接入模块1、结构城域网的这一部分主要包括用于向用户提供商业Internet接入服务的设备和链路。用户在自己驻地有自已的路由器用于进行Internet接入。商业Internet接入模块部分包括以下设备：AccessRouter(Cisco7500seriesrouters):M-SN-7507-AM-HMG-7513-AM-DX-7507-AM-NS-7507-AM-XA-7507-AM-LZ-7507-AM-STJ-7507-AM-SK-7507-ACommercialInternetAccessConcentrator(CiscoCatalyst2924M-XLLANswitches):M-SN-2924-BM-HMG-2924-BM-DX-2924-BM-NS-2924-BM-XA-2924-BM-LZ-2924-AM-STJ-2924-BM-SK-2924-B注：7500路由器作为一个接入平台同时起IP-VPN功能和商业Internet接入功能。商业Internetaccessconcentrator通过FE接口接到7500路由器上，作为上联链路。每个单独的2924交换机的100M以太网端口定义为独立的VLAN，在7500路由器上的FE端口上，为每个accessVLAN定义一个sub-interface。在逻辑结构上，商业Internet接入模块和IP-VPN服务模块非常相似。它们的区别在于使用的VLAN编号不一样。VLAN编号规则见下一章。M-DX-7507-AM-DX-7507-ARouter……….VLAN2xxVLAN201Logicallyfunctionaspoint-to-pointlinksRouteratcustomersiteActingasAreaBorderRouter(routesummarizationhappenedhere)为了向用户提供商业Internet接入功能，需要进行以下几个步骤的配置：在CommercialInternetAccessConcentrator上分配一个100M以太网端口；通过FE-to-Fiber单模光纤转换器将该端口延伸到用户端；在CommercialInternetAccessConcentrator上为该端口分配一个VLAN；在7500路由器的FE端口上生成一个sub-interface，将该sub-interface联系到这个VLAN上；为这一段链路分配IP地址；在7500路由器上为用户的network作静态路由；2、实现因为accessVLAN可以看作是point-to-point连接，我们只需要为这段链路分配一个/30的子网。因为VLAN是multi-access介质，所以不能作ipunnumbered处理。在用户驻地，用户需要提供一个具有100M以太网接口的路由器，用于接入城域网。用户的IP地址块可以从城域网的用户网络地址块中分配，也可以从其它地方申请到的IP地址。建议采用前者，因为这样可以作路由聚合，减少网络开销。为了使用户的IP地址可以从Internet和MAN上访问到，在7500上要做静态路由，然后将此静态路由redistribute到IGP中。在7500上要做IGP的addresssummarization，这样防止过多的externalroute进入MAN的骨干。下面是提供商业Internet接入的7500路由器的Sampleconfiguration：interfaceFastEthernet6/0/0.101encapsulationdot1q101ipaddress52routerospf100redistributestaticmetric10metric-type1subnetsnetwork55area0network55area3network55area3summary-addressiproute403.5小区Internet接入模块1、结构城域网的这一部分主要包括用于用信息化小区用户提供高速Internet接入服务的设备和链路。小区驻地设备假定为一台路由器或一台以太网交换机，用户在自己家里通过一台PC和一个以太网卡上Internet。这部分的连接方式以及用户的论证、计费等功能的详细讨论，见附件。商业Internet接入模块部分包括以下设备：CommunityInternetAccessConcentrators:M-SN-6509-AM-HMG-6509-AM-DX-6509-AM-NS-6509-ACatalyst6509以太网交换机的每个100M端口被配置单独的VLAN，一个100M端口通过FE-to-Fiber单模光纤转换器延伸到用户驻地，该段地址的分配从骨干网的IP块中分配。小区和城域网的连接方式可以有两种，一种是小区通过路由器和6509相连，在种结构下，AccessVLAN逻辑上可以看作point-to-point的点到点链路，这使得网络具有较好的可扩充性，同时限制了用户端的广播影响到城域网的性能。这种结构下小区路由器必须配置100M以太网接口另一种方式是小区通过Switch或Hub和6509相连，这种结构下，6509的下联端口和用户相享一个广播域，用户的广播包会影响6509的性能。但这种结构对小区的要求更低，易于实现。这两种结构下，小区的IP地址分配都是按地址块进行，当小区用户增加需要增加IP地址时，分配另一块IP地址给小区，前者在路由器上作路由，后者通过对6509的相关端口设置SecondaryIP地址来实现。相对而言，前者更具有灵活性、可扩充性，而且效率更高。后者则实现简单，成本更低。逻辑上，小区Internet接入服务模块实现结构图如下：M-DX-6509R1-AM-DX-6509R1-ARoutingEngineM-DX-6509R2-ARoutingEngine……….……….VLAN401VLAN4xxVLAN402VLAN4xxVLAN1MANBackboneCommunityAccessNetworkLogicallyFunctionasPoint-to-pointLinkVLAN11Sign-onserverRadiusserverServiceGateway小区接入的网络可以采用任何组网技术，小区的网络采用的IP地址块最好从城域网分配到的用户IP地址块中分配，这样有利于做routesummarization。2、实现正如拨号接入用户，小区Internet用户也需要经过论证才能访问Internet，论证通过后，还需要对用户的访问进行计费。这部分功能需要安装另外的论证服务网关，在小区接入的Accessconcentrator上要建立一个专用的VLAN，用于连接这些论证服务器或服务网关。如果只需要对用户进行粗粒度的计费，还可以在6509的接口上设置CAR以限制小区总体接入带宽，以租用线路的方式向用户提供服务。这个VLAN的IP地址从骨干网的IP地址块中分配。不同的小区接入网从不同的IP地址块中分配IP地址。详细讨论见附件。3.6政府上网接入模块1、结构城域网的这一部分主要包括用于深圳市政府的用关部门接入Internet的设备和链路。政府上网接入方式和商业Internet接入的方式相似，接入accessconcentrator(6509)的每一个100M端口通过FE-to-Fiber单模光纤转换器延伸到政府部门，政府部门驻地设备应包括一台路由器和一台/多台交换机，其中路由器应配有100M以太网接口。政府上网接入模块只包含1部设备：M-JG-6509-AM-HMG-7513M-HMG-7513-ARouterM-JG-6509R1-ARoutingEngineM-JG-6509R2-ARoutingEngineMANBackbone……….……….……….IP-VPNServicesBroadbandInternetServicesVLAN1VLAN101VLAN1xxVLAN301VLAN3xxVLAN302VLAN3xx2、实现政府上网接入模块的逻辑结构使得可以向政府机关及部门提供灵活的服务，同样的Accessconcentrator可以提供高速Internet接入或IP-VPN服务。要实现上述功能，7513和6509之间的GE链路需要定义为IEEE802.1Qmulti-VLANtrunk。三台路由器之间通过VLAN1互联。像IP-VPN和商业Internet接入实现一样，接入VLAN采用/30掩码，实现步骤和商业Internet接入相同。3.7主机托管模块1、结构城域网的这一部分主要包括用于通过城域网提供主机托管服务的设备和链路。主机托管模块包括以下设备：Catalyst6509LANswitches(eachwithdualMFSCroutingengines)M-DG-6509-AM-DG-6509-BM-XNT-6509-AM-XNT-6509-B东港中心的两台6509交换机采用两条GElonghaul光纤连接到电信和黄木岗，新南头的两台6509交换机通过两条GElonghaul光纤连接到南山和新安。每台6509LAN交换机含有2台内嵌的路由器，下图以一个节点为例说明主机托管模块的逻辑结构：VLAN2VLAN2M-DG-6509R1-ARoutingEngineM-DG-6509R2-ARoutingEngineM-DX-12012-AVLAN3M-DG-6509R1-BRoutingEngineM-DG-6509R2-BRoutingEngineM-HMG-12012-AVLAN1VLAN11VLAN12VLAN13ServerHostingVLANManagementVLAN2、实现为了使主机托管VLAN具有尽可能大的可用性，在该模块采用ciscoHSRP(HotStandbyRoutingProtocol)。采用HSRP可以提供很好网络可用性，因为到托管主机的IP路由不依赖于一台单独的路由器。当HSRP在网段上使用时，它提供一个虚拟的MAC地址和一个IP地址，做成HSRP的路由器共享这两个地址。某一时刻只有一台路由器被选中用工作路由器，工作路由器对数据包进行路由和交换。对于一个包含4台路由器的HSRP组，需要4+1个IP地址和MAC地址。Standby的路由器侦测Active路由器的失败，当Active路由器down机后，Standby路由器选出另一个Active路由器，该路由器接管该Group的IP地址和MAC地址,对数据包进行路由和交换。四、设备互连4.1远程连接一共有20个单模光纤连接，用于连接13个点(site)。LinkID.A-endB-endWave-LengthFOPowerBudgetDeviceID.Slot/PortDeviceID.Slot/PortSM01M-HMG-12012-APos2/0M-XA-12012-APos2/0155024dBSM02M-HMG-12012-APos3/0M-NS-12012-APos2/0155024dBSM03M-SN-12012-APos2/0M-HMG-12012-APos4/0155024dBSM04M-SN-12012-APos3/0M-DX-12012-APos2/0155024dBSM05M-DX-12012-APos3/0M-STJ-12012-APos2/0155024dBSM06M-DX-12012-APos4/0M-LZ-12012-APos2/0155024dBSM07M-NS-12012-APos3/0M-XA-12012-APos3/0155024dBSM08M-DX-12012-APos5/0M-NS-12012-APos4/0155024dBSM09M-SN-12012-APos4/0M-NS-12012-APos5/0155024dBSM10M-SN-12012-APos5/0M-STJ-12012-APos3/0155024dBSM11M-HMG-12012-APos5/0M-LZ-12012-APos3/0155024dBSM12M-HMG-12012-APos6/0HB-12008Pos?/?155024dBSM13M-DX-12012-AGe8/0(LH)HB7507GE?/?(LH)130010.5dBSM14M-HMG-7513-AGe9/0(LH)M-JG-6509-AGE1/2(LH)130010.5dBSM15M-HMG-12012-AGe8/0(LH)M-DG-6509-BGE1/2(LH)130010.5dBSM16M-DX-12012-AGe9/0(LH)M-DG-6509-AGE1/2(LH)130010.5dBSM17M-NS-12012-AGe8/0(LH)M-XNT-6509-AGE1/2(LH)130010.5dBSM18M-XA-12012-AGe8/0(LH)M-XNT-6509-BGE1/2(LH)130010.5dBSM19M-NS-12012-AGe9/0M-SK-7507-AGE1/0130010.5dBSM20M-DX-12012-AGe8/1LM7500GE?/?130010.5dB注：参见图1、图2。4.2本地连接注：参见图3a――图3g。

4.3设备插槽分配策略为了有效的利用设备的内部总线，提高交换效率，对设备上的各种类型的接口卡的插槽需要进行合理的分配，插槽分配策略为：CiscoGSR12012GRP和redundantGRP/R始终占用slot0和slot1；所有的POSlinecard从slot2开始；所有的3GElinecard从slot8开始；Cisco7507RSP4和redundantRSP/R始终占用slot2和slot3；靠近RSP的Slots优先分配；上联到GSR12012的GEIP占用slot1；下联到Catalyst2924的GEIP占用slot4；需要连接到远端用户VPN的GEIP占用slot5；VIP/PA-FE占用slot6；Cisco7513RSP4和redundantRSP/R始终占用slot6和slot7；靠近RSP的Slots优先分配；GEIPforremoteVPNcustomersiteisallocatedslot5whererequired上联到GSR12012的GEIP占用slot4；下联到Catalyst2924或Catalyst6509的GEIP从slot8开始；VIP/PA-FE占用slot12；Cisco6509SUP1A和redundantSUP1A/2supervisoryengines始终slot1and2；GEport1/1始终使用MM-SXGBIC进行多模连接；GEport1/2始终使用SM-LXGBIC进行单模连接；其它模块从slot3开始；Catalyst2924M-XLGE上联模块始终安装在port1/1上；4.4VLAN编号和用途说明作为一个规则，VLAN编号以site基准，即VLAN号在一个site内是唯一的，并且，统一的VLAN编号法有助于消除歧意和有助于排错。其中一个例外是VLAN1,因为可能有许多不互连的Catalyst交换机，因此可能有许多不规则数量的VLAN1用于管理VLAN。一般地，采用下面的VLAN编号规则：VLAN1用于管理网段；VLAN2—VLAN10保留用于设备互联和其它特别用途；VLAN11—VLAN100用于ServerhostingVLANVLAN101—VLAN199用于IP-VPN接入VLAN201—VLAN299用于商业Internet接入VLAN301—VLAN399用于政府上网接入VLAN401—VLAN499用于小区Internet接入下面是本期城域网的VLAN的编号方案：SiteEquipmentVLANUsage枢纽M-SN-6509-A2UplinktoGSR9NMSSegment11ServerhostingVLANM-SN-2924-A101to124IP-VPNaccessM-SN-2924-B202to224CommercialInternetaccess黄木岗M-HMG-6509-A2UplinktoGSR11ServerhostingVLANM-HMG-2924-A101to124IP-VPNaccessM-HMG-2924-A202to224CommercialInternetaccess机关专用局M-JG-6509-A301to348GovernmentInternetaccess电信M-DX-6509-A2UplinktoGSR11ServerhostingVLANM-DX-2924-A101to124IP-VPNaccessM-DX-2924-B202to124CommercialInternetaccess东岗中心M-DG-6509-A2UplinktoGSR11ServerhostingVLANM-DG-6509-B3UplinktoGSR12ServerhostingVLAN南山M-NS-6509-A2UplinktoGSR11ServerhostingVLANM-NS-2924-A101to124IP-VPNaccessM-NS-2924-B202to224CommercialInternetaccess蛇口M-SK-2924-A102to124IP-VPNaccess新南头M-XNT-6509-A2UplinktoGSR11ServerhostingVLANM-XNT-6509-B3UplinktoGSR12ServerhostingVLAN新安M-XA-2924-A101to124IP-VPNaccessM-XA-2924-B202to124CommercialInternetaccess龙中M-LZ-2924-A101to124IP-VPNaccess沙头角M-STJ-2924-A101to124IP-VPNaccessM-STJ-2924-B202to224CommercialInternetaccess

五、IP地址5.1IP地址模式本期城域网所有的网络设备及互连的IP地址全部采用合法IP地址，包括PE-CE之间网段。根据下文描述的IP地址分配策略，一共需要18个C类地址；为了满足一段时间内用户发展的需要，最好能够申请到32个C类地址。为了使IP地址的分配清晰，按其功能将18个C类地址可以分为三块：Block1(1个C)用于城域网骨干核心模块，包括GSR路由器和7500路由器的loopback地址以及它们之间互连链路的地址。Block2(2个C)用于IP-VPN服务模块的PE-CE之间的链路地址。Block3(15个C)用于其它接入模块，包括accessVLAN、managementVLAN、serverhostingVLAN等，根据不同的area进行进一步的子网化。5.2域内路由协议(IGP)IGPOSPFProcess-id100AS#65xxx考虑以下几个方面的原因，城域网采用OSPF作为IGP：OSPF是开放的IETF标准协议；OSPF已被证明是可靠的和可扩展的；高效的路由聚合和缺省路由机制在OSPF中是现存的；目前深圳163的POPsite是采用OSPF，容易集成；OSPF和MPLS的结合是被证明成功的，而IS-IS和MPLS的结合需要对IS-IS进行修改；5.3IP地址分配为了进行路由聚合和负载分担，需要进行分域(areaing),对每一个area，以C为单位进行地址分配。一共分为15个Area，Area0包括核心7台GSR路由器、8台7500路由器、8台6509交换机及它们互联的链路。其它14个域由7500及6509的接入链路和用户路由器组成，主要目的是为了避免用户链路的不稳定造成核心的波动。1、核心层IP地址块：Area0UseMaskCountIPConsumedCorerouterLo0address/32787500routerLo0address/3288Inter-corePOSlink/301144Interconnecting163/3028Interconnecting龙脉/3014Area0linkto8x7500/30832Area0linkto8x6509-MFSC/29864Total168需要C类地址：1个C(Net1)2、IP-VPN服务模块PE-CE地址块因为IP-VPN的PE-CE之间的链路的IP地址只出现在管理VRF和其它VPNVRF中，所以不必要对这一块地址进行summarize。这样，只要从一个地址块中分配这一部分IP即可。UseMaskCountIPConsumedIP-VPNPE-CELink/30126504Total504需要C类地址：2个C(Net10&Net14)3、其它服务模块地址块这部分地址用于其它服务模块的地址分配，包括商业Internet接入模块、信息化小区Internet接入模块、主机托管模块、政府上网模块以及管理模块等。这一部分的IP地址预计需要15个C，其详细说明见附件一：IP地址分配计划表。5.4IP子网规划为了有效使用IP地址，必须对IP地址进行子网化，通过对每个area用VLSM(可变长子网掩码)进行地址分配可以最大限度的利用IP地址。下面是每一个C类地址的子网化规划：AreaABRNetworkStartIPEndIPMaskUsage0-Net10239/30P2P240255/32Loopback1M-SN-7507-ANet20239/30VPNP2P240247/30VLAN1248255/32Loopback2M-SN-6509R-ANet3063/26VLAN11224239/28VLAN1240247Reserved248255/32Loopback3M-HMG-7513-ANet40239/30VPNP2P240247/30VLAN1248255/32LoopbackNet50239/30VPNP2P240247/29VLAN1forJG6509A248255/30Loopback4M-HMG-6509-ANet6063/26VLAN11224239/28VLAN1240247Reserved248255/32Loopback5M-DX-7507-ANet70239/30VPNP2P240247/30VLAN1248255/32Loopback6M-DX-6509R-ANet8063/26VLAN11224239/28VLAN1240247Reserved248255/32Loopback7M-DG-6509-A&M-DG-6509-BNet9063/26VLAN11224239/28VLAN1240247Reserved248255/32LoopbackNet100255/24VLAN128M-NS-7507-ANet110239/30VPNP2P240247/30VLAN1248255/32Loopback9M-NS-6509R-ANet12063/26VLAN11224239/28VLAN1240247Reserved248255/32Loopback10M-XNT-6509R-A&M-XNT-6509R-BNet13063/26VLAN11224239/28VLAN1240247Reserved248255/32LoopbackNet140255/24VLAN1211M-SK-7507-ANet150239/30VPNP2P240247/30VLAN1248255/32Loopback12M-XA-7507-ANet160239/30VPNP2P240247/30VLAN1248255/32Loopback13M-LZ-7507-ANet170239/30VPNP2P240247/30VLAN1248255/32Loopback14M-STJ-7507-ANet180239/30VPNP2P240247/30VLAN1248255/32Loopback

六、和163/169的连接在设计上，深圳IP城域网和163/169网是2个不同的自治系统(AS)；这样设计是为了防止2个网络之间的相互影响。在这两个网络的互连上，采用下面的路由策略：Redistribute缺省路由进入IP城域网；通过OSPF的metric值选择不同的出口；通过EBGP在多个出口和163网进行互连；通过BGP的MED属性选择进口，进行负载分担；6.1缺省路由要将缺省路由inject进OSPF，需要采用Route-map配置，下面的configuration将出现在电信和黄木岗的GSR12012路由器上，这两台路由器在本次工程中作为到163网的边界路由器：routerospfnnndefault-informationoriginatemetric-type1route-mapSEND_DEFAULT_IFaccess-list1permitaccess-list2permitx.x.x.xroute-mapSEND_DEFAULT_IFpermit10matchipaddress1matchipnext-hop2iproutex.x.x.x其中，x.x.x.x地址是163网一侧的端口的IP地址。Metric-type1OSPF的Metric的类型之一，用于将该路由作为internal和externalMetrics。这样就可以将流量在电信和黄木岗2个出口之间进行流量平衡。如果其中一条到163的链路断了的话，注入的缺省路由可以被自动撤销。在电信和黄木岗的GSR12012上，如果不存在其它直连的缺省路由的话，不会再有别的缺省路由被注入到OSPF的域中。

6.2EBGP出口路由设计深圳IP城域网将会采用保留的AS号码，这个号码由广东省数据通信局提供，以免和广东省163网的AS号以及中国电信其它保留AS号发生冲突。下面的configuration是电信和黄木岗的GSR12012的BGP配置：routerbgp65xxxnetworkx.x.x.0maskx.x.x.0neighbora.b.c.dremote-asnnnnneighbora.b.c.dfilter-list10outipas-pathaccess-list10permit^$其中：network语句中x.x.x.0是分配给城域网的IP地址，可以有多条，具体视分配到的IP地址而定；neighbor语句中a.b.c.d指163网一侧的BGPpeer的IP地址；在广东省163骨干网上要确保：分配给深圳IP城域网的地址要通过其上联的BGP协议向上一层BGPpeer通报，以使得该块IP地址在Internet上是可以路由的；分配给深圳城域网的保留AS号在出广东省163网时应去掉；163骨干路由器和电信、黄木岗的GSR12012必须是直连的；在广东省163、169两网合一及扩容工程之后，广东省163网在深圳的骨干节点将会移至枢纽大厦和南山，此时可以将电信和黄木岗的出口割接到新的出口，路由策略不变。6.3在多出口上实现流量均衡由于城域网和163网之间存在多个出口，所以必须要采取一定的策略来实现路由冗余和流量均衡。缺省路由的策略可以在城域网内部实现出口流量的均衡；对于入口流量的均衡采用以下策略完成：城域网这个超网可以分为多个子网段，既然我们以C为单位进行area的划分，所以同样采用C为粒度划分网段；多条以C为目标的network语句配置在BGP的路由协议中；通过将各自的Internalmetric转换成MED值，通过BGP注入到163网的BGP协议中，从而为选择入口路由提供依据；下面的configuration是一个示例：routerbgp65xxxnetworknet1.0masknetworknet2.0masknetworknet3.0mask...networknet18.0mask

七、MPLSVPNPE-CE的连接MPLSVPNPE-CE的连接可以分为2种类型：直接连接到7500路由器的GE端口上；通过Catalyst2924M-XL的VLANtrunk连接7500路由器的GE端口，Catalyst2924上的每个端口就是一个VLAN；不管是直接连接到7500，还是通过VLAN连接到7500，这种PE-CE的连接可以看成是point-to-point的逻辑连接，这段link将被分配到一个/30的子网。下图描述了这种设置：FEtosingleModefiberconverterFEtosingleModefiberconverterCatalyst2924M-XLRemoteCEManagementinterfaceManagementinterfaceRemoteCERouterVLAN1GE/30subnetRemoteCERouterVLAN1GE/30subnetVLAN102Port0/2VLAN102Port0/2VLANTrunk7500VLANTrunk7500/30subnet/30subnetVPNPE-CEVLAN的VLAN号从101分配起。Port0/1,如果不用作VLAN的trunk，分配VLAN101，Port0/2分配102，以此例推；以黄木岗7513的VPNPE-CE连接举例说明如下：M-HMG-7513-Ainterfacegigabitethernet8/1.103M-HMG-2924-AVLAN103port0/3CErouterinterfacefastethernet0/0Sampleconfiguration:

PERouter(M-HMG-7513-A)ipvrfeducationrd65xxx:101route-targetexport65xxx:101route-targetimport65xxx:101Interfacegigabitethernet8/1.103ipaddress52ipvrfforwardingeducation*where65xxxistheprivateAS#oftheShenzhenMANPERouter(M-HMG-7513-A)ipvrfeducationrd65xxx:101route-targetexport65xxx:101route-targetimport65xxx:101Interfacegigabitethernet8/1.103ipaddress52ipvrfforwardingeducation*where65