数据中心新技术介绍

数据中心新技术介绍数据中心拓展部：王宏伟2010年8月关于Server-to-networkedge的故事未来几年，数据中心的新技术都将发生在Server-to-networkedge；FCOE、CNA、CEE、EVB，都是Server-to-networkedge的故事；数据中心以太网络三个技术方向：融合、IO虚拟化、40G/100GFWLBIPSNetStreamFWLBIPSNetStreamServer-to-netwokredge虚拟化：

服务器虚拟化EVB融合架构：CEEFCoE概述——虚拟化的定义虚拟化是资源的逻辑表示，它不受物理限制的约束——

引自IBM《虚拟化与云计算》“虚拟化”的定义包含了三层含义：虚拟化的对象是各种各样的资源；经过虚拟化后的逻辑资源对用户隐藏了不必要的细节；用户可以在虚拟环境中实现其真实环境的部分或全部功能;“虚拟化”的两种形式：N:1虚拟化1:N虚拟化概述——包罗万象的虚拟化虚拟化服务器虚拟化存储虚拟化桌面虚拟化软件虚拟化网络虚拟化服务器虚拟化：使用虚拟化软件在一台物理服务器上运行多个操作系统；网络虚拟化：将网络的硬件和软件进行整合，想用户提供虚拟网络连接的技术，VLAN/VPN/VRF/IRF/VDC等，后面将详细讨论；存储虚拟化：为物理存储设备提供一个抽象逻辑视图，用户通过这个统一的逻辑接口来访问被整合的存储资源，RAID/NAS/SAN。软件虚拟化：应用虚拟化、高级语言虚拟化（JAVA/JRE）；桌面虚拟化：将个人桌面环境保存在远端服务器上，终端与桌面解除耦合；虚拟化：

服务器虚拟化EVB融合架构：CEEFCoE服务器虚拟化的基本概念虚拟化前:每台主机一个操作系统；软件硬件紧密地结合

；在同一主机上运行多个应用程序通常会遭遇沖突；系统的资源利用率低；硬件成本高昂而且不够灵活；虚拟化后:解除了操作系统和服务器硬件的互相依赖；每个虚拟机（逻辑服务器）被封装成一个大文件，可拷贝/克隆；个系统间逻辑隔离，故障隔离；虚拟机独立于硬件,可在其他服务器上运行；借助虚拟化软件在一台物理服务器上运行多个操作系统；服务器虚拟化的两个术语在虚拟化中有两个常用的术语：VirtualMachine、virtualmachine

monitorVirtualMachine（VM）是指运行在Hypervisor之上，拥有CPU、IO、内存等虚拟硬件资源并可支撑操作系统运行的一个完整的系统平台。virtualmachinemonitor（VMM）或叫做Hypervisor，是支持虚拟机运行的软件平台，负责虚拟机（VM）的托管和管理，它直接运行在服务器硬件上，因此其实现直接受底层体系机构的约束。VMM，有两种典型的实现：主机实现方案（hosted），也叫做主机虚拟化，实现：VMwareServer(GSX)、VMwareWorkstation、VMwareFusionMicrosoftVirtualPC、MicrosoftVirtualServer裸金属实现方案（bare-metal）,也叫做裸金属虚拟化，实现：VMwareESXServerCitrixXenServerMicrosoftHyper-V当前市场上的主流产品服务器虚拟化的典型实现VMM作为一个应用程序运行在通用操作系统之上，操作系统管理资源。多个虚拟机的OS间相互独立，一个虚拟机宕机不影响其他虚拟机。操作系统支持的硬件，虚拟机就能支持。性能低。VMM负责硬件资源的管理。VM应用层、VM内核、Hypervisor处于不同的CPU特权等级多个虚拟机的OS间相互独立，一个虚拟机宕机不影响其他虚拟机。处理性能高，接近非虚拟化运行模式；VMM（虚拟化软件）ApplicationApplicationOSOS一个虚拟机一个虚拟机主机虚拟化的结构ApplicationApplicationVMM（虚拟化软件）OSOS一个虚拟机一个虚拟机裸金属虚拟化的结构CPU演进：单核→双核→四核→八核→

…双核四核四核八核每核运行1.5个虚拟机（该比例是Intel提出的虚拟机SLA限制条件，即运行于满负载机器之上的所有作业的完成时间不应超过其在空载机器上单个VM中运行所需时间的1.4倍）；装备1个8核CPU的服务器可运行12个虚拟机动态迁移运行中的VM可实现动态迁移到不同物理及的虚拟平台上分区在单一物理服务器上同时运行

多个虚拟机隔离在同一服务器上的虚拟机之间

相互隔离封装整个虚拟机都保存在文件中，而且可以通过移动和复制这些文件的方式来移动和复制该虚拟机服务器虚拟化的关键特性虚拟层虚拟交换机CPU虚拟化内存虚拟化存储资源虚拟化传统数据中心视图虚拟架构视图OperatingSystemExchangeOperatingSystem虚拟化层OperatingSystemVPNOperatingSystem虚拟化层OperatingSystemFile/PrintOperatingSystem虚拟化层OperatingSystemCRMOperatingSystem虚拟化层服务器虚拟化的对传统IT架构的改变虚拟化层虚拟交换机CPU虚拟化内存虚拟化存储资源虚拟化服务器虚拟化的对传统IT架构的改变服务器虚拟化的关键特性——动态迁移服务器硬件VMM服务器硬件VMMVMotion迁移虚拟机SAN、iSCSI或NAS动态迁移可在X86架构的VMWAREESX上实现，也可以在IBMP6小型机上实现；在不中断服务的情况下，将VM迁移到其他的物理服务器上；可用在灾备、资源调整、服务器维护等场合；实现迁移的服务器必须在一个二层网络内，VM的GW在相同设备上；Intel®Core™

MicroarchitectureEnhancedIntel®Core™MicroarchitectureNextGeneration

IntelMicroarchitectureXeon7500Xeon5400Xeon3300FutureFutureFutureXeon5300Xeon7300Xeon320065nm45nmHigh-K2006-20072007-20082008-2010DualCore5100DualCore7200DualCore3000Intel®VTFlexMigrationIncreasedVMMobilitywithVMwareFail-Over防故障LoadBalance负载分担

DisasterRecovery容灾ServerMaintenance服务器维护VMVMIntelCPU对虚拟机VMotion特性的支持借助intelVTFlexmirgration和vmwareESX的VMotion，先前在各代服务器间实时迁移虚拟机的障碍已得到解决。IBMP6/P7CPU支持“分区实时迁移”IBMSystemp系统的动态分区迁移技术，允许将正在运行的生产应用程序从一个物理服务器移动到另一个物理服务器动态分区迁移有助于实现连续的可用性目标：通过动态地将应用程序从一个服务器移动到另一个服务器，减少计划停机时间。通过允许您将工作负载从负载较重的服务器移动到具有空闲容量的服务器，可以应对不断变化的工作负载和业务需求。通过允许您简单地整合工作负载，并关闭不使用的服务器，减少能量的消耗。IBMP6/P7CPU都支持“分区实时迁移”，类似与VMWARE的VMotion。“分区实时迁移”需要服务器部署在同一个二层网络中。虚拟化：

服务器虚拟化

EVB融合架构：CEEFCoE物理网卡虚拟交换机VSwitch虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡虚拟交换机虚拟化Server虚拟机1虚拟机2虚拟机3虚拟机4虚拟网卡虚拟网卡虚拟网卡虚拟网卡核心层汇聚层接入层接入层服务器虚拟化带来网络接入层的变化传统的VSwitch的问题1——管理边界问题物理网卡虚拟交换机VSwitch虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡虚拟服务器边界物理服务器边界二层网络边界这部分由服务器管理员负责运维。这部分由网络管理员负责运维。这部分由谁负责运维？物理服务器中的逻辑网络由谁管？相似的情况：刀片服务器中的交换机模块由谁管？Server-to-networkedge是当前数据中心技术发展的热点，融合、IO/虚拟化是热点的两个主题；其实，EVB/FCOE/CEE，都是在讨论边界上的技术问题；传统的VSwitch的问题2——VM流量监管问题物理网卡VSwitch虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡从虚拟机到物理服务器之外的流量可以通过交换机镜像、网流分析设备进行监控；虚拟机之间的流量无法进行监控；也有将虚拟交换机软件进行改进，以实现流量监控或镜像的方式，但这种方式需要消耗过多的CPU资源。可监控的服务器流量不可监控的服务器流量物理网卡VSwitch虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡传统的VSwitch的问题3——服务器访问控制数据中心服务器之间采用了矩阵式的访问控制策略。不同的虚拟机之间需要通过ACL实现访问控制；传统的VSwitch实现ACL需要消耗CPU资源，对服务器性能有影响；安全策略与VM的迁移紧绑定问题需解决；EVB实现虚拟机的边缘接入控制VirtualEthernetBridge(VEB)VirtualEthernetPortAggregation(VEPA)也称BasicVEPAMultichannelRemoteReplicationMAC+VIDtosteerframesMAC+VIDtosteerframesusestagforremoteportsusestagtoreplicatepackets仿真802.1桥功能已有实现(vSwitch,SR-IOVbridge)与现有网络可配合运行无需修改当前报文格式有限的可视性(不易管理)有限的网络功能本地转发性能较强Legacy,pervasive修改802.1桥功能与现有大部分交换可配合运行Hairpin方式不修改现有报文格式

FullbridgevisibilityAccesstobridgefeaturesConstrainedperformanceLeveragesVEBresources利用ProviderBridge802.1Qbc功能类似远端业务接口

RemoteServiceInterface使用现有报文格式(S-tags).创建桥虚拟端口定义受控SComponent组件

AccesstobridgefeaturesAdjacentbridgemulticastreplication(性能有限)扩展Multichannel可外部级联定义新的tagformatDefinesnewnamespaceHP/3COM802.1Qbg的解决方案MAC/PHY虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡VMMVM1VM2VM3VEPA以太网交换机VirtualEtherPortAggragation方案：现在的交换机只要稍做驱动修改就可支持这种模式；原来的VSwitch变成了VEPA，但还是CPU处理，性能有一定限制；在物理网络上实现了流控和安全控制；物理服务器边界也是网管边界；实现流量监控、安全控制物理服务器边界虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡VMMVM1VM2VM3以太网交换机实现流量监控、安全控制物理服务器边界虚拟网卡VM3VSwitchVEPA多通道标签处理模块MAC/PHY多通道标签处理模块Mutil-Channel方案：可同时支持软/硬VSwitch、VEPA，需要升级网卡和接入层交换机支持Q-IN-Q；在物理网络上实现了流控和安全控制物理服务器边界也是网管边界；物理网卡物理网卡CISCO的802.1Qbh解决方案虚拟化之后的服务器虚拟网卡虚拟网卡虚拟网卡VMMVM1VM2VM3以太网交换机实现流量监控、安全控制虚拟网卡VM3VSwitchVEPAM标签处理模块（标签复制）MAC/PHYM标签处理模块M标签处理模块（标签复制）非虚拟化的服务器MAC/PHY物理网卡物理网卡操作系统非虚拟化的服务器MAC/PHY物理网卡端口扩展FEX为解决多通道技术多播转发的复杂性，提出了端口扩展技术；端口扩展技术实现了M部件，专用于对多播报文进行转发；M部件增加对多播tag的添加和删除；操作系统两个标准草案的比较802.1Qbg：目标是定义EVB的基本功能；VEPA及其multi-channel是由HP、3COM、IBM、Broadcom、Qlogic、emulex等公司支持发起确定的IEEE标准，将2011年初成为正式标准；协议定义了虚拟机VMM以及交换机对来自VM的报文的处理方式，将VM的流量牵引到交换机上做转发、监管、安全控制，然后在送回到VM。该协议明确了服务器管理边界、网络管理边界。802.1Qbh：目标是定义端口扩展；CISCO主导的802.1Qbh，预计在2012年成为正式标准；该协议定义了新的以太网报文格式（增加了M-TAG），一组M-tag代表一组端口，用于远端的部件进行报文的复制（多播）。这两个标准不冲突，Qbg实现VM之间交换的基本功能，可以借助Qbh提高多播的处理性能；Qbh可以单独实现，但对硬件有特殊要求；虚拟化：

服务器虚拟化EVB融合架构：CEEFCoE传统数据中心基础网络的挑战HPCLANSAN传统数据中心网络的问题：分离的多套网络服务器多IO接口多套机房布线以太网高性能计算网存储网发展趋势—IO整合操作系统I/OI/OI/OI/OI/OI/OLANTCP/UDP/IPSANiSCSCI-TCPSCSCI-FCHPCRDMAiWARP以太网以太网FC以太网InfinibandLAN应用存储应用HPC应用操作系统LANTCP/UDP/IPSANiSCSCI-TCPSCSCI-FCHPCRDMAiWARP增强以太网LAN应用存储应用HPC应用增强以太网FCHBANICFCHBANIC…FC流量FC流量Enet流量Enet流量CNAFC流量和Enet流量CNAFC流量和Enet流量CAN：Converged

Network

Adapter

IO整合带来的收益——简化管理、节能、降成本LANSANASANBLANSANASANBEthernetFCCEE&FCOE多套网络独立运行，多个故障域（以太网、FC网等），多个管理团队（以太网管人员、FC网管人员）；各网络利用率都不充分；每个服务器超过5个IO接口卡（两个数据以太网卡、一个管理以太网卡、两个HBA卡）服务器部署时间长，需配多个IO卡减少了服务器的IO接口，简少服务器接入层设备（网络、存储），简化服务器接入层布线；降低数据中心用电，绿色节能，降低数据中心建设成本；采用统一的网络管理界面；即融合了存储网络，又未改变传统FC存储网络的部署方式；>10Gbps.8-10Gbps.ExistingFibreChannelEthernet1,2,4Gb16Gb8GbNAS,iSCSIFCoCEE1Gb传统交换10Gb统一交换40Gb统一交换统一交换的基础——高性能以太网在FCSAN（FC-BASE2），服务器和交换机之间、交换机与交换机之间采用4G或8G。10G以太网提供了LAN/SAN融合的基础；FC采用基于Buffer-to-BufferCredit的流控机制，保证FC网络传输无丢包；通过FCOE技术，可实现FC在以太网上的承载传输；融合增强以太网技术（CEE），提供了不丢包的以太网传输以及二层多路径转发，保证FC传输不丢包以及FC传输的效率；虚拟化：

服务器虚拟化EVB融合架构：CEEFCoEIEEE的数据中心桥接（DCB）和IETF的TRILL统称为融合增强型以太网(CEE)。特性或标准好处Priority-basedFlowControl(PFC)IEEE802.1Qbb使得多种流量类型共享以太链路，不同流量类型不互相影响EnhancedTransmissionSelection(ETS)IEEE802.1Qaz将流量按服务类型分组，提供不同流量的最小带宽保证同时提高链路利用率CongestionNotification(QCN)IEEE802.1Qau实现2层网络端到端的拥塞管理DataCenterBridgingExchangeProtocol(DCBX)提供增强以太网能力的自动协商L2MultiPathing(L2MP)IETFTRILL消除2层拓扑中的生成树，通过ECMP来充分利用链路带宽融合增强以太网技术（CEE）Priority-basedFlowControl(PFC)