甘肃电信多数据中心云资源池融合+方案

甘肃电信“多站点数据中心融合+”解决方案刘承罡2016.3版本更新CONFIDENTIAL2V0.1根据辽宁移动、浙江移动三网的案例编写V0.2增加辽宁移动、浙江移动案例V0.3增加四川移动音乐基地和浙江电信案例V0.4增加甘肃电信的资源池融合需求Agenda1什么是“多站点数据中心融合+”2多数据中心融合的技术难点3VMware多数据中心融合+解决方案4案例分享5集团思路分享CONFIDENTIAL3运营商多数据中心融合+：（BSS/OSS/MSS）+VAS&NFV4BSS渠道客服营业BOSS计费经分CRMBASS综合监控话务数据4A传输性能OSS采购统一信息创新管理集团ERPMSSGIS短信中心短信网关SCP/SDPVAS+NFV+XComputeStorageNetwork计算池存储池网络池ComputeStorageNetworkComputeStorageNetwork统一运营业务连续性保障统一运维“多数据中心资源融合+”对运营商的优势基于多数据中心横向扩展的统一资源池，实现完全弹性的容量统一资源池管理，根据服务按需供给适应长期和短期的需求变更将服务和硬件完全解耦比如：把3G服务和4G服务使用相同的物理基础架构新业务的快速部署网元侧、IT侧的基于软件的快速部署按照项目和租户的高度定制化网络根据客户或者客户类别设计网络服务和IT服务5Agenda1什么是“多站点数据中心融合+”2多数据中心资源融合的技术难点3VMware多数据中心融合+解决方案4运营商三网融合案例&经验教训CONFIDENTIAL6一、网络割裂导致资源池利用率降低7核心交换机：三层接入交换机：三层边界路由器、防火墙一、网络割裂导致资源池利用率降低按照业务域进行的网络隔离（某省移动云资源池一期）iLoKVM业务区域业务区域OSSMSS汇聚核心交换出口区周边网络接入设备管理CMNETIntranetCONFIDENTIAL10二、物理网络大二层之后安全域隔离DataCenterPerimeterDataCenterPerimeter在数据中心内部很少或没有东西向安全控制InternetInternet安全控制不足基于IP的安全策略难以运维核心交换机：三层接入交换机：二层边界路由器、防火墙物理的接入交换机直接二层接入核心，所有的业务VLAN终结在核心交换机

实现整个数据中心的资源调度二层二层二层二层二、物理网络大二层之后安全域隔离传统方案1：通过VRF，将直连路由虚拟成分段路由（xx移动IDC）通过VRF把核心交换机虚拟出很多虚拟路由器，网关配置在VRF上东西向隔离VRF:配置复杂，配置静态路由，然东西向通信强行走虚拟防火墙问题：配置复杂，每新增一个项目（业务平台），需要新虚拟一个VRF，配置东西向路由、安全域，无论是性能、效率还是维护的复杂度在大规模环境下都无法接受额外的路由迂回核心交换机：三层接入交换机：二层边界路由器、防火墙二层二层二层二层传统方案2：网关配置在防火墙上(xx移动融合资源池)网关配置在防火墙上，性能是最大的问题额外的路由迂回三、多数据中心的横向扩展和无缝融合集中的资源管理、安全管理、自定义网络管理和存储策略管理CONFIDENTIAL14UniversalFirewallPolicy四、统一的存储策略管理CONFIDENTIAL15面向设备的管理服务静态分级粗略的资源分配控制的颗粒度不够频繁的数据迁移费时的流程缺少自动化响应请求速度慢复杂的流程虚拟化

管理员存储

管理员应用

管理员非标准硬件利用率不高过度置备专用的高成本硬件五、业务连续性解决方案的主要问题16复杂????????应用主机存储网络昂贵软件主机存储基础设施每应用成本超过1万不可靠每年一次DR测试六、融合后的IT需要快速满足业务新增和变化的需求项目管理员我想快速部署一个LAMP应用授权队列用户紧凑的IT需求硬件获取基础设施部署非自动化的计划和部署硬件容量管理困难云管理员Agenda1什么是“多站点数据中心融合+”2多数据中心融合的技术难点3VMware多数据中心融合+解决方案4案例分享CONFIDENTIAL18计算虚拟化抽象层网络虚拟化概述物理基础架构调配速度慢安置受限移动受限依赖于硬件需要大量操作网络虚拟化概述物理基础架构计算虚拟化抽象层以编程方式调配可将任意工作负载安置在任意位置可将任意工作负载移至任意位置与硬件松耦合高效操作网络虚拟化抽象层软件定义的数据中心一调配速度慢安置受限移动受限依赖于硬件需要大量操作硬件网络…InternetPhysicalNetworkTopology计算资源….InternetPhysicalNetworkTopology数据中心虚拟化层…InternetPhysicalNetworkTopology网络虚拟化层Internet网络虚拟化层PhysicalNetworkTopology网络视角的虚拟机操作模式Internet网络虚拟化层虚拟网络软件容器，如虚机虚拟网络拓扑PhysicalNetworkTopology基于VXLAN的逻辑交换26L2FrameL2FrameVXLAN

HDRUDP

HDROuter

IPHDROuterMACHDRL2Frame源虚拟机发送标准的二层帧1源宿主机(VTEP)

增加VXLAN,UDP&IP包头封装2目标宿主机(VTEP)解封装4物理传输网络把虚机的帧当作标准的IP包转发3原始的二层帧送到目标虚拟机5传输网CONFIDENTIALInnerDestMACInnerSourceMACOptionalEtherTypeOptionalInner802.1QOriginalEthernetPayload原始以太帧OuterDestMACOuterSourceMACOptionalVXLANTypeOptionalOuter802.1QIPHeaderDataIPProto-colHeaderCheckSumOuterSourceIPSourcePortDestPort(8472)UDPLengthUDPCheckSumVXLANFlagsRSVDVXLANNI(VNI)FCSRSVDVXLAN封装帧OuterEthernetHeader14bytesOuterIPHeader20bytesOuterUDPHeader8bytesVXLANHeader8bytesEtherTypeOuterDestIP

VXLAN帧结构27VTEPs*IPoverUDPencapsulationCONFIDENTIAL网络虚拟化带来的路径优化网络虚拟化带来的路径优化

－

防火墙VMwareNSX组件控制

面板NSX控制器运行态将虚拟网络与物理网络解耦独立于数据路径高可用数据

面板NSXEdgeVDS/OVS虚拟化层扩展模块FirewallDistributedLogicalRouterVXLANNSXvSwitch高可用虚拟机服务于南北向流量的数据面板路由和高级服务智能网络边界线速性能管理

面板NSX管理器单点配置RESTAPI和用户界面高可用CMP消费者自服务门户vCAC,vCD,Openstack,Cloudstack,自定义门户CONFIDENTIAL31

ExternalNetworkVDSGuestVM

Partner

Service1VMDFWFilteringModuleSlot2Slot4TrafficRedirection

ModuleNSX的服务链实现DVSFiltercontains16slots.Slots0-3and13-16arereservedforVMwareuse.Servicesareassignedtheremainingslotsintheirregistrationorder.Trafficcomesoutofthefirstserviceandisthensenttothenextserviceintheorder.Tochangetheorderoftheservicesintheslots,goto:ServiceDefinition-><SpecificService>->Manage->EditthePropertiestochangethe“Precedence”NetworkSecurityServicesSlot5FilteringModulePartner

Service2VM网络虚拟化可以做什么软硬件分离物理的虚拟的易于复制，多租户/多应用自动化部署和管理网络操作云操作独立于硬件虚拟化：运行便捷终端用户视角看不到网络的变化虚拟的物理的Internet数据中心边界零信任关系Micro-Segment深度边界安全硬件网络无法完成基于多厂商、多型号的硬件网络设备构建底层网络，更低成本，更长生命周期。跨三层网络分配虚拟机资源，构建统一的资源池。底层网络只提供IP传输，相对稳定。上层的虚拟网络可以提供多租户、多应用之间的天然隔离，不再需要维护窗口，虚拟网络变更和维护不影响其他租户/应用。虚拟网络和虚拟机类似，以软件方式实现，通过SDN控制器控制，通过云管平台集中部署和维护，提供和虚拟机相同的交付速度。基于宿主机虚拟化层的防火墙机制可以对任意两个虚机之间做安全防护。可以提供以虚拟机为最小颗粒度的虚拟资源池划分，以及基于虚拟化环境变量的防火墙策略。基于多数据中心构建网络虚拟化的建设目标&实现机制

CONFIDENTIAL33建设目标1

真正硬件无关、站点无关的按需小二层网络！DistributedLogicalRouter多数据中心下的逻辑网络(6.2)CONFIDENTIAL35vCwithNSXManagervCwithNSXManagervCwithNSXManagerLogicalSwitchLocalVCInventoryLocalVCInventoryLocalVCInventoryvCenterAvCenterBvCenterCNSXControllerClusterLogicalSwitchNSXControllerClusterNSXControllerClusterDistributedLogicalRouterLogicalSwitchNSX网络域、安全域需要跨越多个站点DistributedLogicalRouterDistributedLogicalRouterLogicalSwitches多数据中心下的统一逻辑网络的实现方式：四个统一（Universal）CONFIDENTIAL36LocalVCInventoryLocalVCInventoryLocalVCInventoryvCenter&NSXManagerAUniversalObjectConfiguration(NSXUI&API)UniversalConfigurationSynchronizationUniversal

ControllerClusterPrimarySecondaryvCenter&NSXManagerBvCenter&NSXManagerHSecondaryUniversalLogical

SwitchesUniversalDistributedLogicalRouterUniversal

DFW跨越多数据中心的逻辑网络(NSX6.2)全局控制器集群至少三台主机总是在单一站点和VC上运行NSXControllers通过全局对象池来保证全局对象的的唯一性:保证全局逻辑交换机VNI的一致性和唯一性保证全局分布式路由器UDLRID的一致性和唯一性全局控制器除了管理全局的网络，也负责管理每个数据中心内的逻辑网络和逻辑路由一个逻辑二层网络到底是一个站点内，还是跨越多个站点，是由他所在的传输区域决定的跨VC的vMotion可以通过全局逻辑交换机来实现，也可以通过L2VPN来实现CONFIDENTIAL37多个数据中心

一个主站点

和多个

从属站点的NSXManagers多数据中心下的统一网络标签池(VXLANID)多数据中心下的全局传输区域多数据中心下的统一逻辑交换机（二层网络）多数据中心下的统一分布式路由器建设目标2

在多个数据中心统一维护安全策略！多数据中心的分布式防火墙(NSX6.2)NSX6.2支持在主站点上对全局对象安全策略的集中管理：通过把防火墙规则的五元组“应用给”一个全局对象即可实现全局对象的安全规则，会自动同步给所有的从属站点全局对象的配置变更只能在主站点操作，从属站点只读权限inventory目前全局安全策略的五元组规则，只能基于IP/MAC来编写，无法基于安全组

资源池名等对象，因为暂时缺少全局的Inventory功能支持VXLAN和VLAN的部署环境跨越VC的vMotion同样支持安全策略携带CONFIDENTIAL44PrimarySecondarySecondarySecondarySecondarySecondarySecondarySecondary多数据中心下的统一分布式防火墙45UniversalSectionLocalSection多数据中心下的统一分布式防火墙46UniversalDFWRules

SupportedConfigurationObjectsCONFIDENTIALRule-IDSourceDestinationServiceActionAppliedToRule-IDSourceDestinationServiceActionAppliedToL2rules:L3rules:UniversalMACSetUniversalSG(containingUniversalMACSet)GlobalIPSetGlobalSG(containingGlobalIPSet)UniversalLSDFW-only(incaseofVLANbackeddvPg)Note:Rule-ID(32bitformat)isthesameacrossallNSXinstancesUniversalServices(pre-definedanduser-defined)UniversalServices(pre-definedanduser-defined)多数据中心下的全局安全组、IP/MACSets&Services的使用方式47全局安全组和数据中心内部的Local安全组共存建设目标3

多数据中心的Egress路由优化vCenterServerL3NetworkSiteASiteBVM1VM2VM3UniversalLogical

SwitchAUniversalDistributedLogicalRouterSiteANSX

EdgeGWUplinkNetASiteBNSX

EdgeGWUplinkNetBMulti-SiteEnhancement:LocaleIDNSX6.2引入了一个新的LocaleID的概念，用来帮助Controller向分布式路由的数据平面------每台Esxi主机分发路由（LocaleID默认等于NSXMamager的UUID）如果LocalEgress没有启用，该LocaleID会被分布式路由器忽略当启用了本地出路由优化后，

NSXController会把本站点的Edge上的路由，仅发送给有匹配的LocaleID的ESXihosts使用每个站点特定的uplink，每个站点都有自己特定的北向路由信息，目前支持最大8个站点的出路由优化如果是一个NSXManager管理多个站点，可以按照集群、甚至主机来设置北向的路由优化LocaleID:

NSX-ALocaleID:

NSX-BCONFIDENTIALvCenterServerControlVM

w/LocalEgressControlVM

w/LocalEgress多数据中心出站的路由优化多数据中心出站的路由优化:动态路由50UniversalDistributedLogicalRouterPrimary

ControlVME1VCAwithNSXManager(Primary)RouteUpdates

withLocaleIDSiteAPhysical

RoutersUniversalTransit

VXLANUplinkASiteANSXEdge

ServicesGWVCBwithNSXManager(Secondary)Route

Updateswith

LocaleIDPeeringOSPF,BGPE8E1SiteBPhysical

RoutersUniversalTransit

VXLANUplinkBE8Secondary

ControlVMPeeringOSPF,BGPRouteUpdateswithLocaleIDRoute

Updateswith

LocaleIDUCCUniversal

Logical

SwitchesSiteBNSXEdge

ServicesGW多数据中心出站的路由优化:静态路由51UniversalDistributedLogicalRouterE1vCwithNSXManager(Primary)StaticRoutes

withLocaleIDSiteA

Physical

RoutersUniversalTransit

VXLANUplinkASiteBNSXEdge

ServicesGWHAE1SiteASiteB

Physical

RoutersUniversalTransit

VXLANUplinkBNSXEdge

ServicesGWHAStaticRoutes

withLocaleIDRoute

Updateswith

LocaleIDRoute

Updateswith

LocaleIDUniversal

ControllerClusterPrimary

ControlVMLocaleID:

Site-ALocaleID:

Site-BUniversal

Logical

Switches多数据中心之后云平台的整体能力提升

CONFIDENTIAL52DistributedLogicalRouter真正的按需“小二层”，Controller可以实现站点之间的“高可用”CONFIDENTIAL53vCwithNSXManagervCwithNSXManagervCwithNSXManagerLocalVCInventoryLocalVCInventoryLocalVCInventoryvCenterAvCenterBvCenterCNSXControllerClusterLogicalSwitchNSX网络域、安全域需要跨越多个站点，站点之间最大延迟支持100ms以上多数据中心按业务的路由自定义：不同业务走不同出口54UniversalDistributedLogicalRouterPrimary

ControlVME1VCAwithNSXManager(Primary)RouteUpdates

withLocaleIDSiteAPhysical

RoutersUniversalTransit

VXLANUplinkASiteANSXEdge

ServicesGWVCBwithNSXManager(Secondary)Route

Updateswith

LocaleIDPeeringOSPF,BGPE8E1SiteBPhysical

RoutersUniversalTransit

VXLANUplinkBE8Secondary

ControlVMPeeringOSPF,BGPRouteUpdateswithLocaleIDRoute

Updateswith

LocaleIDUCCUniversal

Logical

SwitchesSiteBNSXEdge

ServicesGWPrimaryVMs灾备网络能力提升/24/28/24/28NoNetworkReaddressing(DynamicRouting)VXLANVXLANVLANVLANvCenter+SRMvCenter+SRMDynamicRouting(OSPF,BGP)PrimaryVMsPlaceholderVMsDistributedLogicalRouterDistributedLogicalRouterDynamicRouting(OSPF,BGP)SG-Prod-01SG-Dev-01SG-Prod-01SG-Dev-01SiteANSXEdgeGWSiteBNSXEdgeGW双活数据中心能力提升56CONFIDENTIALvCenterSRMvCenterSRMPrimaryVMsSG-Prod-01PlaceholderVMs(SRMProtected)Active-ActivePairActive-ActivePairSG-Prod-01Non-SRMProtectedNon-SRMProtectedActive数据中心Active数据中心ReplicationUniversalLogicalSwitchUniversalDistributedLogicalRouterUniversalDFWUniversalDFWSiteAESGLocalEgressLocalEgressSiteBESGMasterNSXManagerUniversalControllerClusterSecondaryNSXManager远距离vMotion横跨大陆的距离—需求

100毫秒的RTT250Mb带宽标准vMotion或者SharedNothingvMotion需求场景：灾难规避、永久搬迁

云平台下以应用为中心的统一的存储策略管理虚拟化为实现面向应用的存储自动化提供了有利条件vSphere虚拟化层是驱动自动化的最佳位置：实时了解所有应用的存储资源需求直接掌控数据通路有底层存储系统的全局视图可自动化配置存储硬件无关59All-SSDHybridServerSANVMware实现软件定义存储的方案60新的控制平面从以硬件为中心向应用为中心转变新的数据平面从专用硬件向

业界标准硬件转变软件定义存储当今的存储策略驱动的自动化跨阵列统一管理动态控制VVOL与ServerSAN闪存加速分布式架构软件定义存储解决方案的三大要点61vSphereVSAN-分布式存储基于存储策略的管理VMware软件定义存储解决方案VVOL-整合独立的外部存储支持VVOL的存储设备“三网融合+”

统一的存储策略管理方案发布的功能快照复制重复数据消除加密概览无文件系统ESX通过VASA(vSphereAPIforStorageAwareness)API管理阵列阵列以逻辑方式分区为多个容器，称为存储容器虚拟机磁盘（名为VirtualVolumes）以本机形式存储在存储容器中。从ESX到阵列的IO通过名为协议端点(PE)的访问点传输将数据服务的负载分流至阵列通过基于存储策略的管理框架进行管理vSphere基于存储策略的管理VirtualVolumes存储策略容量可用性性能数据保护安全性PEVASA提供程序PE解决方案5：

云平台下统一的业务连续性、多活解决方案虚拟化极大地简化了业务连续性解决方案64资源整合封装硬件无关所有与系统相关的信息都存储在磁盘数据中可以通过数据保护工具来保护整个系统可靠地将虚拟机恢复到任何硬件容灾站点可以采用低端设备减少生产端和容灾端的硬件需求在容灾端可以采用较高的整合比

65类别关键应用，核心应用二三级应用非生产应用解决方案Active-ActiveDCVMReplication

RecoveryManagerVMReplication

DataProtectionSLARPO=0

RTO<3MinsRPO<15Mins

RTO<1HoursRPO<15Mins

RTODependent应用场景BC,DA,DRDA,DRDA,DR(Manually)需求条件Layer2Network,RTT<200ms

StorageVirtualizationLayer2/3Network

AnyDist.

AnyStorageDevicesLayer2/3Network

AnyDist.

AnyStorageDevices管理工作量LowMiddleHigh成本HighMiddleLow基于业务的需求选择合适的解决方案vSphere6.0VMwareFaultTolerance66可保护在任何操作系统中运行的高性能关键任务应用；无需进行特定于应用的管理和学习持续可用性—基础架构出现故障时不会造成停机和数据丢失；不会中断TCP连接全自动响应优势增强的虚拟磁盘格式支持能够热配置FT大大提高的FT主机兼容性其他的新功能特性ESXiESXi快速检查点操作同步主虚拟机辅助虚拟机4个虚拟CPU4个虚拟CPU主虚拟机即时故障切换同城站点B同城站点A同城双活数据中心解决方案——城域存储集群(vMSC)67需求条件数据中心距离小于100公里，具备裸光纤链路通过二层IP网络连接两个数据中心，BW>250M，RTT<100ms.可通过NSX或传统大二层网络技术实现采用存储虚拟化技术提供数据同步服务(RTT<5ms)存储支持FC,iSCSI,NFS等类型如EMCVPLEX,NetAppMetroCluster,HPLeftHand,IBMSVC利用VSAN实现存储的跨数据中心镜像第三站点提供仲裁服务VMware相关产品与服务vSphereEnt+NSX网络虚拟化专业服务跨数据中心集群vCenter1仲裁站点C控制器控制器异地(同城)灾备解决方案68需求条件通过二层或三层IP网络连接两个数据中心采用基于vSphere或阵列的复制技术vSphere内置复制功能免费，RPO=15分钟-24小时，文件级一致性，虚拟机级别颗粒度支持异构存储，vCenter直接管理阵列复制功能由合作伙伴提供，需额外购买支持同步或异步复制，应用级一致性，LUN级别颗粒度VMware相关产品与服务vSphereEnt+vCenterSiteRecoveryManagerVSAN专业服务vSpherevCenterServerSiteRecoveryManager生产站点服务器阵列

复制vSphere复制vSpherevCenterServerSiteRecoveryManager灾备站点服务器同城双活数据中心解决方案——利用SRM管理负载69扩展的存储站点1集群vCenterSRMESXiESXiESXi站点2集群ESXiESXiESXiVolumeAatSite1(FullR/Waccess)VolumeAatSite2(FullR/Waccess)SRMvCenter扩展的

二层网络方案特点两站点有各自管理服务器SRM具备站点感知能力可制定详细的测试与恢复计划自动执行测试与恢复计划提供全面业务连续性保护的基础架构平台70一个平台：采用标准技术，统一资源调度，统一管理

高可用容错迁移存储迁移备份复制快照

关键应用二三级应用开发/测试数据库教学/科研同城双活异地灾备两地三中心数据中心迁移解决方案6：

云平台下具备自服务能力的自动化运维和运营“三网融合+”下分权分域的运维监控管理问题描述解决方案通过VCOPS6的权限管理，以资源池、集群为单位为多个客户、租户分配管理权限，实现云网管的多租户每个业务、每个项目需要有自己的监控界面大规模环境的私有云，重要业务需要重要业务的PM、平台维护人员对平台可用性、性能自行自服务性质的监控可配置的基本的自服务操作能力创建多用户给用户分配对象和权限：指定VCOP用户只能在一个资源池的权限资源池的统一监控页面,可以设置以资源池单位的告警展现针对具体的告警进行“RootCause”分析77根据“RootCause”分析的结果进行“建议操作”78进行建议操作后CPU“告警”消失总结：大部分虚拟机层面的运维操作完全可以在统一运维管理平台中统一完成2025/2/1679可以支持自定义的Python脚本实现更高级的自定义自助式用户界面减少了对物理拓扑和云管理员的依赖“三网融合+”云管理员项目管理员VMwarevSphere自助式用户界面自定义自己的网络拓扑自定义自己的存储策略自定义自己的计算资源池自定义自己的容灾、备份和演练VMwarevCloudDirector&Agenda1什么是“多站点数据中心融合+”2多数据中心融合的技术难点3VMware多数据中心融合+解决方案4案例分享CONFIDENTIAL81辽宁移动三网融合总体思想与建设原则总体思想IT资源软硬分离，形成云计算基础架构体系B/M/O域网络融合，构建统一IT网络架构构建统一安全运维管理体系组织架构趋向扁平化管理建设原则要求小型机应用必须迁移至x86优先考虑部署到虚拟化云平台上除核心数据库等应用外，其它全部实现资源池云化云计算资源池辽宁移动X86云资源池业务系统现状资源池(2000+VMs/300+服务器)BSS(30+VMs)渠道客服营业BOSS计费经分CRMBASS综合监控话务数据4A传输性能OSS(1200+VMs)采购统一信息创新管理集团ERPMSS(160+VMs)GIS手机导航12585车务通LBS(600+VMs)改造难点与解决办法1.BSS/MSS/OSS全部纳入资源池，安全管理策略如何考虑？云资源池内VLAN隔离采用虚拟化防火墙2.原来三层物理网络架构需要如何改造？统一接入大二层核心仍用三层3.双活中心技术上如何实现？网络虚拟化，二层隧道技术脱离IP+Mac地址访问方式4.小机上的业务如何改造才能迁移至云资源池？拆分应用，多实例化分布式处理5.云资源都集中在共享存储，业务集中带来风险增高，如何解决？采用存储虚拟化，分散存储风险采用SSD盘缓存保证IOPS性能实现云平台级别的容灾和数据保护辽宁移动三网融合现网架构OSS、MSS、BSS、IT共处云资源池之内通过VLAN隔离，防火墙虚拟分区浙江公司私有云管理平台公司私有云平台包括两大资源池：网管资源池部署自有业务系统与网管支撑系统；支撑资源池部署业务支撑系统与管理信息系统。支撑资源池中的资源应能通过资源池管理平台实施统一的配置、监控、调度和回收等管理，对外以服务的方式提供IT资源。支撑资源池中可以包括多个资源池类型，不同类型的资源池具有不同的定位和用途。不同类型资源池可以包含一个或多个节点，节点之间可以是负荷分担或相对独立(根据资源池类型规划)，同一个节点内部的资源应能供多个应用或一个应用的多个模块共享。私有云管理平台网管资源池支撑资源池Network/HostsDiagram１、核心系统：同时在两个节点配置资源,每个核心系统独享所分配到的资源，双节点均配置为高可用——部署在专用资源池2、重要系统：在单个节点配置资源，每个重要系统独享所分配到的资源，单节点配置为高可用——部署在通用资源池3、一般系统：在单个节点配置资源，允许多个系统共享同一物理资源域（物理资源域根据各IT系统所需业务域划分）不做高可用设置——部署在通用资源池Vmware在浙江移动IT资源池支撑的应用和分析序号项目运行vmware虚拟化的物理机器数量说明1统一开通18已完成2移动营业厅4已完成3渠道协同34已完成4统一支付网关8外部小系统5互联网4外部小系统6远程写卡8已完成7CRM应用能力提升34已完成8终端管理二期18外部小系统9Verint3外部小系统10OA系统12外部小系统11积分联盟2外部小系统

合计145另外，浙江移动的重要的项目服务接口总线采用oracleESB部署到vmware平台上。云平台能力和应用需求映射vmware产品功能特性web服务器中间件服务器接口服务器数据库服务器ThinProvisioning***

UpdataManager

HighAvailability***

DataProtection****vMotion***

热添加****FaultTolerance

*

StoragevMotion***

vSphereReplication****vShieldEndpoint

vShieldZones

虚拟串行端口集中器

vStorageAPI

DirtributedResourcesScheduler(DRS)*

*

*

DisritbutedPowerManagement(DPM)*

DistirbutedSwitch

I/O控制（网络和存储）

*

*

*

主机配置文件和AutoDeploy

StorgeDRS

配置文件驱动的存储

*SR-IOV

资源池****vAPP***

SRM(容灾）

*网卡和存储的多路径****浙江电信业务平台云资源池90浙江电信业务云计算资源池有两个节点：绍兴轻纺城节点，金华城南节点。计算资源：400余台X86服务器；存储资源：1PB；网络资源：各类网络设备40余台。部署实施NSX之前已经全面通过部署VCNS的vShieldApp实现了大二层之后的东西向隔离面临的主要问题是：1.二层过大，一旦出现问题后影响面广2.之前通过IRF的解决方案实现大二层，扩展能力较差（2对2个站点，2个站点之间要求高带宽、低延迟）3.缺少分布式路由的能力4.缺少自定义网络的能力5.需要适应虚拟化的“自定义小二层”CONFIDENTIAL91浙江电信NSX物理主机设计92CONFIDENTIAL管理节点：金华计算节点：绍兴Edge出口节点：绍兴浙江电信NSX物理网络设计93CONFIDENTIAL充分利用浙江电信现有网络架构（UCS刀片交换机不具备三层能力），设计NSX的承载网络。网络虚拟化平台现状管理集群:3台管理主机AD服务器一台，数据库一台，vCenter一套。NSX管理器一台，NSX控制器三台。边界集群:2台边界网关主机运行边界路由器(Edge)和分布式路由控制器（DLR）。VDS两个，分别承载VXLAN和边界网关上联流量。94承载的业务平台–天翼阅读应用系统迁移天翼阅读系统的迁移，环境包括：计算集群:26台计算主机，由vCNS环境迁移至NSX环境。完成迁移的业务虚拟机：268台。迁移的业务网络数量：2个VLAN。VLAN

700：已迁移并在VXLAN上稳定运行。VLAN

701：目前使用VLAN承载。未来向VXLAN进行迁移。95使用NSX二层桥接功能进行业务VM的迁移CONFIDENTIAL96根据VMware最佳实践，通过将VLAN网络割接至VXLAN，实现业务网络的抽象化，为将来业务的快速扩展铺平道路。通过使用逻辑交换机和逻辑路由器，优化网络流量。边界网关设计为内部地址通过默认路由路由方式对外建立连接。网关使用静态路由将需要访问内部的流量向Edge传输，后者通过OSPF获得路由进行数据包分发。Edge上联口仅需配置点对点传输接口即可，配置简便。规划中还提供另一种可选的边界网关服务方式，即内部地址仅在Edge内部使用，对外使用NAT的方式进行通信。外部VLAN在Edge上联口终止。外部网关设备无需额外路由配置。该设计提供了另一种灵活的网关服务提供方式，未来计划选用这种模式，不再使用物理的NAT和LB。VDS-UplinkVLAN16PhysicalGatewayOSPFDefaultGatewayVXLAN

5000(VLAN700)VXLAN

5003Edge-TYYD-70XDLR-TYYD-70X浙江电信NSX逻辑网络设计静态路由orNAT+直连路由97后期规划：虚拟网络组网逻辑架构：EDGE和DLR设计成租户独享，也即业务平台独享。业务平台之间（租户之间）独立，网段完全自己分配，允许重叠。租户EDGE，DLR,VXLAN均由管理平台根据用户需求自动创建，创建第一台虚机时，实例化网络，屏蔽网络创建及配置的复杂性。98每个业务平台组网逻辑架构：通过使用逻辑交换机和逻辑路由器，优化网络流量使用EDGE提供NAT、南北向流量的防火墙控制、公网IP申请、负载均衡等服务，使用分布式防火墙提供东西向流量的防火墙服务，使用云管理平台的虚拟路由器（VR）提供DHCP和DNS服务内部地址仅在Edge内部使用，对外使用NAT的方式进行通信。外部VLAN在Edge上联口终止。外部网关设备无需额外路由配置如业务平台需要多个外网出口（163,CN2,DCN），需要相应增加Edge的上链口、绑定地址池，并配置上行路由。基于DFW的东西向访问控制优势：东西向ACL控制通过分布式防火墙（DFW）进行控制，基于资源池、安全组等逻辑对象来进行控制管理IP、vMotionIP和可能存在的存储IP地址，还采用传统的VLAN方案+ACL方案，但是种类和地址段的增加都大大降低了DFW中常见的ACL访问规则写法：方案1（单独vCenter）：Allow业务平台A(业务平台A,Ｂ，Ｃ，Ｄ)；Allow业务平台Aoutsideof(虚拟数据中心)……最后加上：BlockAny浙江电信NSX二期项目自服务云平台创建VPC应用用户ACL规则到子网配置负载均衡服务接口示例（一）创建VPC创建连接SG与LR的LogicSwitch创建LR和SG用LogicalSwitch连接LR和SG配置LR和SG默认防火墙规则配置默认网关、OSPF路由配置HA每步都需要调用NSXAPI实现接口示例（二）应用用户ACL规则到子网在分布式防火墙中创建此子网的规则段（Section）将ACL规则更新到此Section接口示例（三）配置负载均衡服务获取SG的负载均衡设置获取SG的防火墙设置配置ApplicationProfile、Pool、VirtualServer等在SG防火墙配置规则允许负载均衡服务IP和相应端口被访问104通过VxLAN可以自定义小二层网络，避免大二层网络问题的同时避免计算资源孤岛，并且实现了可扩展的多租户网络，可以由租户自管理和自配置以业务平台（租户）为单位实现路由，负载均衡，NAT和防火墙功能，由此达到网络资源池的二次隔离和封装的目的，用以实现任何一个业务平台的网络变更、割接都不会对其他业务和大网造成影响。分布式路由功能的引入，大大减轻资源池核心交换机的流量压力和配置的复杂性，优化了东西向数据流，也为以业务为单位的QoS及SLA定义提供了便捷。资源池多层次的安全控制，包括资源池东西向流量安全和南北向进出流量安全，可以根据各业务平台需求，灵活选择通过纯软或软、硬结合的防火墙实现。把数据中心内虚拟网络和物理网络真正解耦，实现数据中心内部网络硬件无关性实施效果概述：四川移动音乐基地NSX部署案例CONFIDENTIAL105部署目的本次部署的主要目的是为了让用户更好的了解VMwareNSX的架构及功能，验证采用NSX为云平台实现SDN的可行性。同时为咪咕音乐公司在关键业务云化的项目中采用VMwareNSX网络虚拟化解决方案积累故障处理经验，为后期NSX运维提供服务保障。本次部署也验证了VMwareNSX的逻辑网络组件（逻辑交换机、逻辑路由器、逻辑防火墙、逻辑负载平衡器、SSLVPN等）的主要功能。部署目的本次部署的主要目的是为了让用户更好的了解VMwareNSX的架构及功能，验证采用NSX为云平台实现SDN的可行性。同时为咪咕音乐公司在关键业务云化的项目中采用VMwareNSX网络虚拟化解决方案积累故障处理经验，为后期NSX运维提供服务保障。本次部署也验证了VMwareNSX的逻辑网络组件（逻辑交换机、逻辑路由器、逻辑防火墙、逻辑负载平衡器、SSLVPN等）的主要功能。部署业务：账号管理、产品制作、合同系统等约200个VM部署环境108说明：

Mgmt-Edge集群组成节点为41，47，53三台，位于N09,N08,N07三个不同的机架。vCloud1-HP385G8计算集群组成节点为剩余的所有27台主机。NSX部署环境由30台HP385Gen8服务器组成的两个集群，分别为管理集群：Mgmt-Edge，由3台主机构成；计算集群：vCloud1-HP385G8，由27台主机构成，在每台服务器上安装VMware的ESXi6.0。部署环境-管理集群网络配置拓扑109部署环境-计算集群网络配置拓扑110NSX逻辑拓扑5000LS-Mgmt5001LS-DLR-Edge15003LS-ZHGLVTEP8Esxi-230.5818VTEP0Esxi-230.6010VTEP1Esxi-230.6111VTEP2Esxi-230.6212VTEP1Esxi-230.4111VTEP7Esxi-230.4717VTEP3Esxi-230.5313Compute-ClustervDS-Compute-VTEPEdge&Mgmt-ClustervDS-Edge-VTEPTransport

Zone：Migu-TZDLR-1140.13140.14140.11140.12Edge-1Client-110Client-111交换机名称厂商用途12518-1华三核心交换（生产）12518-2华三核心交换（生产）9306-1华为管理网络接入9306-2华为管理网络接入vSwitch0VMware管理网络vDS-VSAN1VMware计算集群vSAN网络vDS-VSAN2VMwareEdge集群vSAN网络vDS-ComputeVMware计算集群生产网络vDS-EdgeVMwareEdge集群网络端口组名称Vlan

ID所属交换机上联网卡负载均衡策略所属集群VM-Mgmt0vSwitch00,1A/P

(A0,P1)Mgmt-EdgeManagement

Network0vSwitch00,1A/P

(A0,P1)Mgmt-EdgeVM

Network0vSwitch00,1A/P(A0,P1)vCloud1-HP385G8vSAN-Edge3601vDS-VSAN-Edge6,7LACP(Src

IP)Mgmt-EdgevSAN13600vDS-VSAN16,7LACP(Src

IP)vCloud1-HP385G8VTEP-Edge3502vDS-Edge-VTEP2,3A/P(A2,P3)Mgtm-EdgeVTEP13501vDS-Compute-VTEP1,2,3,4LACP(Src

IP)vCloud1-HP385G8Edge-13511vDS-Edge4,5A/P(A4,P5)Mgmt-EdgeEdge-23512VDS-Edge4,5A/P(A4,P5)Mgmt-EdgeIP

PoolRangeNetMaskGatewayNSX-ControllerIPPool05-07VTEP-Edge1-3VTEP-12-0N09Mgmt&vMotionFT【3599】vSAN【3600】VTEP【3501】集群1ESXi-230-411172.16.18.411【3601】1【3502】Mgmt-Edge2ESXi-230-422172.16.18.42172.16.16.422vCloud1-HP385G83ESXi-230-433172.16.18.43172.16.16.433vCloud1-HP385G84ESXi-230-444172.16.18.4444vCloud1-HP385G85ESXi-230-455172.16.18.4555vCloud1-HP385G86ESXi-230-466172.16.18.4666vCloud1-HP385G8N08Mgmt&vMotionFTvSANVTEP1ESXi-230-477172.16.18.47172.16.17.47【3601】7【3502】Mgmt-Edge2ESXi-230-488172.16.18.4888vCloud1-HP385G83ESXi-230-499172.16.18.4999vCloud1-HP385G84ESXi-230-500172.16.18.5000vCloud1-HP385G85ESXi-230-511172.16.18.5111vCloud1-HP385G86ESXi-230-522172.16.18.5222vCloud1-HP385G8R07Mgmt&vMotionFTvSANVTEP1ESXi-230-533172.16.18.53172.16.17.53【3601】3【3502】Mgmt-Edge2ESXi-230-544172.16.18.5444vCloud1-HP385G83ESXi-230-555172.16.18.5555vCloud1-HP385G84ESXi-230-566172.16.18.5666vCloud1-HP385G85ESXi-230-577172.16.18.5777vCloud1-HP385G86ESXi-230-588172.16.18.5888vCloud1-HP385G8R06Mgmt&vMotionFTvSANVTEP1ESXi-230-599172.16.18.5999vCloud1-HP385G82ESXi-230-600172.16.18.6000vCloud1-HP385G83ESXi-230-611172.16.18.6111vCloud1-HP385G84ESXi-230-622172.16.18.6222vCloud1-HP385G85ESXi-230-633172.16.18.6333vCloud1-HP385G86ESXi-230-644172.16.18.6444vCloud1-HP385G8R05Mgmt&vMotionFTvSANVTEP1ESXi-230-655172.16.18.6555vCloud1-HP385G82ESXi-230-666172.16.18.6666vCloud1-HP385G83ESXi-230-677172.16.18.6777vCloud1-HP385G84ESXi-230-688172.16.18.6888vCloud1-HP385G85ESXi-230-699172.16.18.6999vCloud1-HP385G86ESXi-230-700172.16.18.7000vCloud1-HP385G8H3C-12518

VLAN表IPGateWay备注vSAN-13600172.16.16.x/24EnableIGMPvSAN-Edge3601172.16.17.x/24EnableIGMPVTEP-1350110.26.132.x/24MTU

1600VTEP-Edge350210.26.133.x/24MTU

1600vMotion3598172.16.19.x/24FT3599172.16.18.x/24Edge-13511/29Edge-23512/29HW-9306

VLAN表端口模式AccessMgmt10.25.230.X系统虚拟机名称IP地址用途密码NTP

Server物理机6时间服务器DNS

ServerDNS-999域名服务器music_2015vCenter

ServervCenter-10000虚拟化管理软件VMware@2015NSX

ManagerNSX-Manager-10101网络虚拟化管理软件VMware@2015UpdatemanagerUpdateManager-10202Esx主机升级组件vCopsvCops-10303运维软件VDPA-1VDPA-10404备份软件Controller-1Controller-105NSX

ControllerController-3Controller-306NSX

ControllerController-4Controller-407NSX

ControllerClient-1Client-11010远程访问跳板机music_2015Client-2Client-11111远程访问跳板机music_2015NSX网络平台多租户扩展设计Edge-1

VXLAN5001toVXLAN5VXLAN5006toVXLAN5010

DLRInstance6

DLRInstance1LS-App1LS-App2LS-App3WebLogicalSwitchAppLogicalSwitchDBLogicalSwitchTenant1..Tenant5Tenant6..Tenant10Edge-2

VLAN

3511VLAN

3512/2912518/29/29/29/29/29

Edge-1详细规划设计Edge-1VXLAN5002

VXLAN5001

UplinkUplinkExternalNetwork业务系统2DLR