zhaopin数据中心建设方案

陈明思科系统中国网络技术有限公司

数据中心建设技术交流议题新一代数据中心的发展趋势新一代数据中心的网络架构数据中心建设方案Extranet接入1Extranet接入2安全控制安全控制安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1 安全控制前置2安全控制安全控制办公业务

安全控制网管1网管2安全控制广域网区核心骨干网分行2分行1主网银备网银安全控制安全控制InternetInternet高速交换核心安全控制灾备中心安全控制……传统架构的问题：硬件为中心的“竖井化”数据中心应用系统及服务通讯的应用服务器的基础架构网络基础架构基础设施(电力,冷却,

布线,及物理安全)存储的基础架构现有的基础架构缺乏灵活性相互难以配合的服务资源利用率低不一致的安全策略相互矛盾的优化方案不一致的业务永续/容灾计划物理资源无法复用重复人力物力投入僵化隔离的基础架构任何变动牵涉复杂效率15～25％

--Gartner电力、制冷40％

--IDC部署新业务平均8周--CIOSurvey存储网络服务器????Applications计算资源网络资源存储资源用户界面企业应用系统业务需求虚拟机虚拟机虚拟机虚拟机智能业务调度机制构建云数据中心成为必然的发展方向将DC的IT资源看成云，以可计量的方式按需、保质的取用资源，屏蔽底层的复杂性，把精力投入到IT资源的应用上去优势：随需而动的业务灵活性自动化的业务部署最佳的资源优化使用全局一致的服务可预测和有保证的业务服务质量高效节能、绿色环保资源池热备应用资源（数据库／中间件）Hostmobility:Hosts—especiallyvirtualhosts—mustbemovablewithoutinterruptingexistingconnectionsorrequiringaddresschanges.Effectiveuseofavailablebandwidth:Aworkloadshouldnotbelimitedbynetworkbandwidthwhileusablebandwidthexistsalongalternatepaths.Self-configuration:Networkelements

mustbeabletoforwardtrafficwithoutmanualconfigurationofforwardingtables.Atscale,manualconfigurationmakesmanagementuntenable.Scalability:Thenetworkshouldscaletoaccommodatetheneedsofmoderndatacenterswithoutviolatingtheprecedingrequirements.Scalingbyhierarchicallygroupingsmallernetworks,e.g.,groupingRespectsLayering:Thearchitecturemustworkwithunmodifiedsoftwarestacks,e.g.,operatingsystemsandcomputeplatforms,andhigherlayersmustnotneedtounderstanddetailsofthearchitecture’simplementation.Topologyindependent:Thearchitecturemustworkwitharbitrarytopologies,e.g.,FatTree,HyperX,orJellyfish.Restrictingthenetworktoaparticulartopology,e.g.,FatTree,preventsnetworkoperatorsfromconsideringalternatetopologiesthatmayofferbetterperformance,lowercost,orbothTheModernDataCenterNetworkMUSTbeoptimizedforAutomationItmustprovideReductioninOperationalCostsItmustprovideProvisioningandOperationalAgility

ItmustprovideImprovedReliabilityItmustbeOpen

ItmustbefocusedontheBusinessApplications新一代数据中心网络需求新一代数据中心需要灵活的基础架构

—以应用为中心的基础架构业务自动化自动化网络自动化管理业务自动化部署ComputeComputeStorageStorageServicesServicesL2,L3ProgrammableAutomationMonitoringAppsProvisioningAppsNetworkingAppsEnd-UserApps应用优化优化基础架构为应用优化基础架构应用可视化CongestionManagement60%60%90%DynamicLoadBalancingDynamicPacketPrioritization资源融合融合ComputeComputeStorageStorageServicesServicesSpineSwitchesL2,L3LeafSwitchesFabric打破应用资源竖井资源整合化虚拟化议题新一代数据中心的发展趋势新一代数据中心的网络架构数据中心建设方案如何构建以应用为中心的基础架构资源融合融合ComputeComputeStorageStorageServicesServicesSpineSwitchesL2,L3LeafSwitchesFabric打破应用资源竖井资源整合化虚拟化传统数据中心的业务分区竖井Extranet接入1Extranet接入2安全控制安全控制安全控制安全控制Extranet1Extranet2主机生产业务B安全控制安全控制生产业务A前置3安全控制前置1 安全控制前置2安全控制安全控制办公业务

安全控制广域网区核心骨干网分行2分行1主网银备网银安全控制安全控制InternetInternet安全控制灾备中心安全控制资源利用率低物理资源无法复用重复人力物力投入缺乏灵活性僵化隔离的基础架构任何变动牵涉复杂高速交换核心网管1安全控制网管2安全控制10传统数据中心基本为南北向流量，流量模型相对固定由于虚拟化技术的采用，云计算数据中心将增加很多东西向流量（虚拟机迁移、虚拟机互访、集群技术的采用），流量模型更为复杂由于一台服务器承载了多个虚拟机，导致云计算数据中心的流量急剧增加，10G／40G技术已经开始大量使用L3L2汇聚层接入层虚拟接入层汇聚层接入层虚拟接入层L2客户端－服务器虚拟机－虚拟机虚拟机－虚拟机服务器－服务器服务器－服务器服务器－服务器/服务器－虚拟机新一代数据中心流量模型发生重大变化Change#5服务器－服务器虚拟机－虚拟机客户端－服务器服务器－服务器/服务器－虚拟机服务器－服务器分区1分区2对应传统分区的竖井化的网络架构VLAN1~10L3L2VLAN11~20VLAN21~30OracleRAC、HACMP等的集群化并行处理要求二层延展VMware、Hyper-V等虚拟环境需要自由灵活的虚机调度范围同部门服务器跨区延展（跨区的VLAN延展）FCoE等存储融合需要低延迟、高吞吐、纯二层交换环境传统设计为何做不到真正的资源融合传统生成树传统跨机箱捆绑传统VXLAN传统VXLAN，传统二层多路径（TRILL…）环路不稳定无负载均衡根本无法扩展不能横向扩展不稳定脑裂组播洪泛难于管理不支持三层路由VLAN/VXLAN无法通信WAN/Core边缘终结所有的主机二层协议：包括MAC学习,ARP,IGMP,LLDP,DHCP……内部严格的故障隔离：Fabric内没有生成树、ARP广播、未知单播洪泛等等，象传统的路由网络一样可扩展VLANAnywhere：任何服务器可在任意VLAN，VLAN可延展到全网GatewayAnywhere：任意位置都可做任意VLAN路由，同一VLAN网关一致RoutingAnywhere：无论VLAN内还是VLAN之间都以类似三层路由的方式通信需要全新一代的Fabric技术：NGFabric

象三层路由网络一样的扩展和隔离性，实现统一的二层/三层转发GWIP:GWMAC:0011:2222:3333增强型的VXLANCisco

NGFabric灵活拓扑横向扩展高可用性动态接入带来优势动态、可横向扩展的拓扑NGFabric提供灵活的拓扑推荐的拓扑形态——节点小型化、分布扁平化（“胖POD”）动态平滑横向扩展：PayasYouGrow节点分布式、小型化：更细颗粒度的扩展高可用、高性能、低延迟简化管理如何构建以应用为中心的基础架构应用优化优化基础架构为应用优化基础架构应用可视化CongestionManagement60%60%90%DynamicLoadBalancingDynamicPacketPrioritization应用趋势：向小型化分布式计算发展存储资源计算资源不仅大数据计算，而且传统事务型应用也开始小型化、分布式处理，例如：VMwarevSAN,SAPERPonHANA，……Mainframe/RISC/FTEnterprisex86platformsOTT’sHyperscale计算和存储节点本身的性能和可靠性对网络的依赖网络更多的参与到计算过程中网络流量模型的根本改变南北东西AnyPlatform、AnyHypervisor、AnyApplication统一接入智能Fabric对各类业务转发需求是“可见的”高效跨网段通信、组播能力；安全管控内置完成；内置按需流量负载均衡；智能服务优化接入；……流量智能转发，负载合理分布，消除流量热点，提高性能和可靠性高性能的智能统一Fabric

为虚机、物理机、智能服务设备提供以流量最优化方式通信物理机VMwareESXMicrosoftHyper-VRedhatKVMNVGREVXLANVLANVXLANIntelligentFabric交换架构推荐采用40G主干虚拟化技术的采用，使服务器的网络吞吐量急剧增加服务器万兆接入目前处于飞速发展阶段40G技术目前已经成熟，并开始商用部署，而且呈现出加速发展的势头考虑整个DC的技术先进性，建议交换架构骨干层采用40G互联综合布线要求采用40G布线系统（采用OM3、OM4光缆）

铜缆推荐采用6类、6A类、7类、7A类，支持1G、10G思科交换架构的40GBIDI技术

更低成本，更简单的部署和管理传统40G新型40G75%端口成本75%布线成本应用的可视性：硬件辅助精确测量流量

基于应用的遥测（ApplicationBasedTelemetry）输入监控目标比如：某应用的WebServer到AppServer将收发两端的计数器联系在一起反馈结果PacketsReceivedonLeaf#5sentfromLeaf#1Path

12066Path22963Path32866Path42506DifferencePath

12Path20Path33Path40PacketssentfromLeaf#1toLeaf#5Path

12068Path22963Path32869Path42506PayloadIP应用标识Leaf地址M硬件设置标记应用的可视性：应用健康监测HYPERVISORHYPERVISORHYPERVISORHEALTHSCORELATENCYDROPCOUNTVISIBILITYVMsPhysicalApplicationDeliveryControllerFirewall96%Microsecond(s)PacketsDropped52573PayloadIPeVXLANiVTEPVNIDFlagsPolicyGroup应用标识的实现应用的可视性：基于健康状态的资源调整HEALTHSCORELATENCYDROPCOUNTVISIBILITYVMsPhysicalApplicationDeliveryControllerFirewallCiscoConfidential2352%Microsecond(s)PacketsDropped1035096%525168应用的可视性：应用级故障定位和云租户视角管理如何构建以应用为中心的基础架构业务自动化自动化网络自动化管理业务自动化部署ComputeComputeStorageStorageServicesServicesL2,L3ProgrammableAutomationMonitoringAppsProvisioningAppsNetworkingAppsEnd-UserApps以应用为中心对各类软硬件资源实现优化调度

Accessconfiguration,VLAN,

VSAN,Security,andHardeningOperatingSystemConfigurationOSType,PatchLevel,SettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueserviceID,Applicationrevisions,andStoragesettingsApplicationresources:Server,Storage,Network

Security,OSUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpoolUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpoolUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpoolUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpool策略组合为ApplicationProfile形成ApplicationNetworkProfile，ServerProfile，StorageProfile等在融合一体化的资源池内自动调配应用所需的各项资源234Storage

SMEServer

SMENetwork

SME专项主题专家(SME)根据应用需求定义专项策略1Security

SMEApp.

SMEOS

SMEApplicationProfileServerProfileNetworkProfileStorageProfileSecurityProfile

Accessconfiguration,VLAN,

VSAN,Security,andHardeningOperatingSystemConfigurationOSType,PatchLevel,SettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueserviceID,Applicationrevisions,andStoragesettingsApplicationresources:Server,Storage,Network

Security,OSUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpoolUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpoolUplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpool策略组合为ApplicationProfile形成ApplicationNetworkProfile，ServerProfile，StorageProfile等在融合一体化的资源池内自动调配应用所需的各项资源234Storage

SMEServer

SMENetwork

SME专项主题专家(SME)根据应用需求定义专项策略1Security

SMEApp.

SMEOS

SMEApplicationProfileServerProfileStorageProfileSecurityProfile以应用为中心对各类软硬件资源实现优化调度Uplinkportconfiguration,VLAN,

VSAN,QoS,andEtherChannelsServerportconfigurationincluding

LANandSANsettingsNetworkinterfacecard(NIC)

configuration:MACaddress,VLAN,andQoSsettings;hostbusadapterHBAconfiguration:

worldwidenames(WWNs),VSANs,

andbandwidthconstraints;andfirmwarerevisionsUniqueuserID(UUID),firmwarerevisions,andRAIDcontrollersettingsServiceprofileassignedtoserver,

chassisslot,orpoolNetworkProfile举例：ApplicationNetworkProfile实现“应用定义的网络”

通过控制器APIC（ApplicationPolicyInfrastructureController）ADCappdbf/wADCWEBAPICHYPERVISORHYPERVISORHYPERVISORConnectivityPolicySecurityPoliciesQoS

BandwidthReservationAvailabilityStorageandcomputeApplicationL4-L7ServicesSLAQoSSecurityLoad

BalancingAPPLICATION

NETWORKPROFILEExtensibleScriptingModel新一代数据中心网络架构设计Spine（Nexus9500）LeafNexus93128BorderLeafNexus93128ECMP40GSpine（Nexus9500）LeafNexus9396LeafNexus931281/10G1/10GInternet灾备中心外联区/安全服务区1/10GSpine（Nexus9508）LeafNexus93128BorderLeafNexus9396ECMP40Gxnx210GInternetSpine（Nexus9508）LeafNexus9396LeafNexus9396APIC控制器APIC控制器APICAPIC带外管理网10G10GRSLVSLVS添加APIC控制器演变化ACI组网模式网络服务设备的部署模式负载均衡设备资源池防火墙设备资源池动态添加安全服务可以根据业务需求，弹性的为物理或虚拟的应用添加防火墙、负载均衡等安全服务应用和安全服务可以由不同专业的人员负责，更易于划分管理界面APIC控制器是网络和服务的控制中心不管终端在任何位置，均可以灵活的添加网络服务WebServerAppTierAWebServerWebServerAppTierBAppServer服务链“Security5”策略重定向ApplicationAdminServiceAdminService

GraphbeginendStage1…..StageNProvidersinstinst…Firewallinstinst…LoadBalancer……..ServiceProfile“Security5”服务链定义议题新一代数据中心的发展趋势新一代数据中心的网络架构数据中心建设方案数据中心现状InternetCatalyst4506Catalyst3750Catalyst2960SGEGEGEGECatalyst3750FCFCSAN网络改造第一阶段InternetNexus9508Catalyst2960S10G/40GGE/10GGEGEVPCCatalyst3750Nexus93128TNexus9396ASA5585ASA5585Nexus2248GEFCFCSAN网络改造第二阶段:向ACI组网模式演进InternetNexus950810G/40GGE/10GNexus93128TNexus9396Service/BorderLeafASA5585GE/10GNexus93128TASACluster（防火墙资源池）APIC控制器ClusterAPICAPICAPIC负载均衡资源池网络服务设备的部署模式负载均衡设备资源池防火墙设备资源池动态添加安全服务可以根据业务需求，弹性的为物理或虚拟的应用添加防火墙、负载均衡等安全服务应用和安全服务可以由不同专业的人员负责，更易于划分管理界面APIC控制器是网络和服务的控制中心不管终端在任何位置，均可以灵活的添加网络服务WebServerAppTierAWebServerWebServerAppTierBAppServer服务链“Security5”策略重定向ApplicationAdminServiceAdminService

GraphbeginendStage1…..StageNProvidersinstinst…Firewallinstinst…LoadBalancer……..ServiceProfile“Security5”服务链定义利用集群技术实现防火墙性能线性提升ASA5585平台支持最多8台防火墙组成集群（9.2版本支持高达16台组成集群），共同工作好处：增强整体性能：8台cluster支持高达超过300G的性能投资保护：所有的节点都参与流量转发，实现按需扩展简化管理，cluster中的多台防火墙统一管理，统一配置，统一策略增加冗余度，各台防火墙之间存在备份机制，无中断升级单数据中心部署双活数据中心部署3/1/34/1/43//1/44/1/3N9K-13/1/34/1/43/1/44/1/3vPC48vPC41vPC42Po40Po40N9K-20/60/70/80/90/60/70/80/9Po48DataPathPort-ChannelControlPort-Channel建设多活数据中心数据中心1数据中心2SANExtensionsLANExtensions数据中心互连访问优化哪些数据需要数据同步？对实时性要求如何？能否采用IP方式实现数据同步？如果一定要同步，可考虑两地三中心模式。不同数据中心之间是否有二层互通需求访问速度的优化通常采用CDN服务来实现多数据中心互联解决方案GEInternetNexus9396ASR1002XInternetXX机房XX机房ASR1002XGEGE数据中心1同城数据中心ASR1002XASR1002XASR1002XOTVIpsecVPNIpsecVPN访问路径优化：智能DNSLayer3CoreIntranetISPAISPBAccessAggAccessVM=00DefaultGW=DCADCBVLANA00KAL-APChangeIP000000GSSSNATSNATKAL-APonVIPL2Links(GEor10GE)L3Links(GEor10GE)KAL-APonVIPACEACE防火墙集群工作原理InsideNetworkOutsideNetworkOwnerDirectorForwarderSYNClientServerSYN/ACK2:OwnerQuery4:SYN/ACK3:Ownerlocation1:StateupdateSYN/ACKSYNAfterstep4,AllremainingpacketsareforwardeddirectlytoownerASACluster利用vPC技术将两台设备虚拟为一台传统模式与vPC模式对比L2Non-vPCvPCVirtualPortChannelPhysicalTopologyLogicalTopology利用vPC技术可以将两台设备虚拟化为一台设备，接入层设备可使用PortChannel方式上联，不必使用STP协议可为虚拟机迁移、服务器集群提供可靠的二层网络环境提高了网络的可用带宽双上联的服务器可工作在Active-Active模式思科FEX架构－简化管理，降低成本ModularSwitchFixedbackplane=FabricExtenders(RemoteLineCards)Cross-bar&Supervisor分布式模块化交换机10GbEthernetfortheBackplanePhysicalChassisModelVirtualChassisModelNexus7000/6000/5000PlatformNexus2000PlatformFEX技术实现接入层虚拟化虚拟接入交换机（构成一个计算域）L3L2利用思科Nexus9