数据中心新技术介绍.ppt

数据中心新技术介绍 数据中心拓展部 王宏伟2010年8月 关于Server to networkedge的故事 未来几年 数据中心的新技术都将发生在Server to networkedge FCOE CNA CEE EVB 都是Server to networkedge的故事 数据中心以太网络三个技术方向 融合 IO虚拟化 40G 100G 虚拟化 服务器虚拟化EVB融合架构 CEEFCoE 概述 虚拟化的定义 虚拟化是资源的逻辑表示 它不受物理限制的约束 引自IBM 虚拟化与云计算 虚拟化 的定义包含了三层含义 虚拟化的对象是各种各样的资源 经过虚拟化后的逻辑资源对用户隐藏了不必要的细节 用户可以在虚拟环境中实现其真实环境的部分或全部功能 虚拟化 的两种形式 N 1虚拟化 1 N虚拟化 概述 包罗万象的虚拟化 虚拟化 服务器虚拟化 存储虚拟化 桌面虚拟化 软件虚拟化 网络虚拟化 服务器虚拟化 使用虚拟化软件在一台物理服务器上运行多个操作系统 网络虚拟化 将网络的硬件和软件进行整合 想用户提供虚拟网络连接的技术 VLAN VPN VRF IRF VDC等 后面将详细讨论 存储虚拟化 为物理存储设备提供一个抽象逻辑视图 用户通过这个统一的逻辑接口来访问被整合的存储资源 RAID NAS SAN 软件虚拟化 应用虚拟化 高级语言虚拟化 JAVA JRE 桌面虚拟化 将个人桌面环境保存在远端服务器上 终端与桌面解除耦合 虚拟化 服务器虚拟化EVB融合架构 CEEFCoE 服务器虚拟化的基本概念 虚拟化前 每台主机一个操作系统 软件硬件紧密地结合 在同一主机上运行多个应用程序通常会遭遇沖突 系统的资源利用率低 硬件成本高昂而且不够灵活 虚拟化后 解除了操作系统和服务器硬件的互相依赖 每个虚拟机 逻辑服务器 被封装成一个大文件 可拷贝 克隆 个系统间逻辑隔离 故障隔离 虚拟机独立于硬件 可在其他服务器上运行 借助虚拟化软件在一台物理服务器上运行多个操作系统 服务器虚拟化的两个术语 在虚拟化中有两个常用的术语 VirtualMachine virtualmachinemonitorVirtualMachine VM 是指运行在Hypervisor之上 拥有CPU IO 内存等虚拟硬件资源并可支撑操作系统运行的一个完整的系统平台 virtualmachinemonitor VMM 或叫做Hypervisor 是支持虚拟机运行的软件平台 负责虚拟机 VM 的托管和管理 它直接运行在服务器硬件上 因此其实现直接受底层体系机构的约束 VMM 有两种典型的实现 主机实现方案 hosted 也叫做主机虚拟化 实现 VMwareServer GSX VMwareWorkstation VMwareFusionMicrosoftVirtualPC MicrosoftVirtualServer裸金属实现方案 bare metal 也叫做裸金属虚拟化 实现 VMwareESXServerCitrixXenServerMicrosoftHyper V 当前市场上的主流产品 服务器虚拟化的典型实现 VMM作为一个应用程序运行在通用操作系统之上 操作系统管理资源 多个虚拟机的OS间相互独立 一个虚拟机宕机不影响其他虚拟机 操作系统支持的硬件 虚拟机就能支持 性能低 VMM负责硬件资源的管理 VM应用层 VM内核 Hypervisor处于不同的CPU特权等级多个虚拟机的OS间相互独立 一个虚拟机宕机不影响其他虚拟机 处理性能高 接近非虚拟化运行模式 VMM 虚拟化软件 Application Application OS OS 一个虚拟机 一个虚拟机 主机虚拟化的结构 Application Application VMM 虚拟化软件 OS OS 一个虚拟机 一个虚拟机 裸金属虚拟化的结构 CPU演进 单核 双核 四核 八核 双核 四核 四核 八核 每核运行1 5个虚拟机 该比例是Intel提出的虚拟机SLA限制条件 即运行于满负载机器之上的所有作业的完成时间不应超过其在空载机器上单个VM中运行所需时间的1 4倍 装备1个8核CPU的服务器可运行12个虚拟机 服务器虚拟化的关键特性 虚拟交换机 CPU虚拟化 内存虚拟化 存储资源虚拟化 传统数据中心视图 虚拟架构视图 OperatingSystem Exchange OperatingSystem OperatingSystem VPN OperatingSystem OperatingSystem OperatingSystem OperatingSystem CRM OperatingSystem 服务器虚拟化的对传统IT架构的改变 服务器虚拟化的对传统IT架构的改变 服务器虚拟化的关键特性 动态迁移 VMotion迁移虚拟机 SAN iSCSI或NAS 动态迁移可在X86架构的VMWAREESX上实现 也可以在IBMP6小型机上实现 在不中断服务的情况下 将VM迁移到其他的物理服务器上 可用在灾备 资源调整 服务器维护等场合 实现迁移的服务器必须在一个二层网络内 VM的GW在相同设备上 Intel Core Microarchitecture EnhancedIntel Core Microarchitecture NextGenerationIntelMicroarchitecture Xeon7500 Xeon5400 Xeon3300 Future Future Future Xeon5300 Xeon7300 Xeon3200 65nm 45nmHigh K 2006 2007 2007 2008 2008 2010 DualCore5100 DualCore7200 DualCore3000 Intel VTFlexMigration IncreasedVMMobilitywithVMwareFail Over防故障LoadBalance负载分担DisasterRecovery容灾ServerMaintenance服务器维护 VM VM IntelCPU对虚拟机VMotion特性的支持 借助intelVTFlexmirgration和vmwareESX的VMotion 先前在各代服务器间实时迁移虚拟机的障碍已得到解决 IBMP6 P7CPU支持 分区实时迁移 IBMSystemp系统的动态分区迁移技术 允许将正在运行的生产应用程序从一个物理服务器移动到另一个物理服务器动态分区迁移有助于实现连续的可用性目标 通过动态地将应用程序从一个服务器移动到另一个服务器 减少计划停机时间 通过允许您将工作负载从负载较重的服务器移动到具有空闲容量的服务器 可以应对不断变化的工作负载和业务需求 通过允许您简单地整合工作负载 并关闭不使用的服务器 减少能量的消耗 IBMP6 P7CPU都支持 分区实时迁移 类似与VMWARE的VMotion 分区实时迁移 需要服务器部署在同一个二层网络中 虚拟化 服务器虚拟化EVB融合架构 CEEFCoE 物理网卡 虚拟交换机VSwitch 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 虚拟交换机 虚拟化Server 虚拟机1 虚拟机2 虚拟机3 虚拟机4 虚拟网卡 虚拟网卡 虚拟网卡 虚拟网卡 核心层 汇聚层 接入层 接入层 服务器虚拟化带来网络接入层的变化 传统的VSwitch的问题1 管理边界问题 物理网卡 虚拟交换机VSwitch 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 虚拟服务器边界 物理服务器边界 二层网络边界 这部分由服务器管理员负责运维 这部分由网络管理员负责运维 这部分由谁负责运维 物理服务器中的逻辑网络由谁管 相似的情况 刀片服务器中的交换机模块由谁管 Server to networkedge是当前数据中心技术发展的热点 融合 IO 虚拟化是热点的两个主题 其实 EVB FCOE CEE 都是在讨论边界上的技术问题 传统的VSwitch的问题2 VM流量监管问题 物理网卡 VSwitch 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 从虚拟机到物理服务器之外的流量可以通过交换机镜像 网流分析设备进行监控 虚拟机之间的流量无法进行监控 也有将虚拟交换机软件进行改进 以实现流量监控或镜像的方式 但这种方式需要消耗过多的CPU资源 可监控的服务器流量 不可监控的服务器流量 物理网卡 VSwitch 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 传统的VSwitch的问题3 服务器访问控制 数据中心服务器之间采用了矩阵式的访问控制策略 不同的虚拟机之间需要通过ACL实现访问控制 传统的VSwitch实现ACL需要消耗CPU资源 对服务器性能有影响 安全策略与VM的迁移紧绑定问题需解决 EVB实现虚拟机的边缘接入控制 VirtualEthernetBridge VEB VirtualEthernetPortAggregation VEPA 也称BasicVEPA Multichannel RemoteReplication MAC VIDtosteerframes MAC VIDtosteerframes usestagforremoteports usestagtoreplicatepackets 仿真802 1桥功能已有实现 vSwitch SR IOVbridge 与现有网络可配合运行无需修改当前报文格式有限的可视性 不易管理 有限的网络功能本地转发性能较强Legacy pervasive 修改802 1桥功能与现有大部分交换可配合运行Hairpin方式不修改现有报文格式FullbridgevisibilityAccesstobridgefeaturesConstrainedperformanceLeveragesVEBresources 利用ProviderBridge802 1Qbc功能类似远端业务接口RemoteServiceInterface使用现有报文格式 S tags 创建桥虚拟端口定义受控SComponent组件AccesstobridgefeaturesAdjacentbridgemulticastreplication 性能有限 扩展Multichannel可外部级联定义新的tagformatDefinesnewnamespace HP 3COM802 1Qbg的解决方案 MAC PHY 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 VMM VM1 VM2 VM3 VEPA 以太网交换机 VirtualEtherPortAggragation方案 现在的交换机只要稍做驱动修改就可支持这种模式 原来的VSwitch变成了VEPA 但还是CPU处理 性能有一定限制 在物理网络上实现了流控和安全控制 物理服务器边界也是网管边界 实现流量监控 安全控制 物理服务器边界 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 VMM VM1 VM2 VM3 以太网交换机 实现流量监控 安全控制 物理服务器边界 虚拟网卡 VM3 VSwitch VEPA 多通道标签处理模块 MAC PHY 多通道标签处理模块 Mutil Channel方案 可同时支持软 硬VSwitch VEPA 需要升级网卡和接入层交换机支持Q IN Q 在物理网络上实现了流控和安全控制物理服务器边界也是网管边界 物理网卡 物理网卡 CISCO的802 1Qbh解决方案 虚拟化之后的服务器 虚拟网卡 虚拟网卡 虚拟网卡 VMM VM1 VM2 VM3 以太网交换机 实现流量监控 安全控制 虚拟网卡 VM3 VSwitch VEPA M标签处理模块 标签复制 MAC PHY M标签处理模块 M标签处理模块 标签复制 非虚拟化的服务器 MAC PHY 物理网卡 物理网卡 操作系统 非虚拟化的服务器 MAC PHY 物理网卡 端口扩展FEX 为解决多通道技术多播转发的复杂性 提出了端口扩展技术 端口扩展技术实现了M部件 专用于对多播报文进行转发 M部件增加对多播tag的添加和删除 操作系统 两个标准草案的比较 802 1Qbg 目标是定义EVB的基本功能 VEPA及其multi channel是由HP 3COM IBM Broadcom Qlogic emulex等公司支持发起确定的IEEE标准 将2011年初成为正式标准 协议定义了虚拟机VMM以及交换机对来自VM的报文的处理方式 将VM的流量牵引到交换机上做转发 监管 安全控制 然后在送回到VM 该协议明确了服务器管理边界 网络管理边界 802 1Qbh 目标是定义端口扩展 CISCO主导的802 1Qbh 预计在2012年成为正式标准 该协议定义了新的以太网报文格式 增加了M TAG 一组M tag代表一组端口 用于远端的部件进行报文的复制 多播 这两个标准不冲突 Qbg实现VM之间交换的基本功能 可以借助Qbh提高多播的处理性能 Qbh可以单独实现 但对硬件有特殊要求 虚拟化 服务器虚拟化EVB融合架构 CEEFCoE 传统数据中心基础网络的挑战 HPC LAN SAN 传统数据中心网络的问题 分离的多套网络服务器多IO接口多套机房布线 以太网 高性能计算网 存储网 发展趋势 IO整合 操作系统 I O I O I O I O I O I O LANTCP UDP IP SANiSCSCI TCPSCSCI FC HPCRDMAiWARP 以太网 以太网FC 以太网Infiniband LAN应用 存储应用 HPC应用 操作系统 LANTCP UDP IP SANiSCSCI TCPSCSCI FC HPCRDMAiWARP 增强以太网 LAN应用 存储应用 HPC应用 增强以太网 FCHBA NIC FCHBA NIC FC流量 FC流量 Enet流量 Enet流量 CNA FC流量和Enet流量 CNA FC流量和Enet流量 CAN ConvergedNetworkAdapter IO整合带来的收益 简化管理 节能 降成本 Ethernet FC CEE FCOE 多套网络独立运行 多个故障域 以太网 FC网等 多个管理团队 以太网管人员 FC网管人员 各网络利用率都不充分 每个服务器超过5个IO接口卡 两个数据以太网卡 一个管理以太网卡 两个HBA卡 服务器部署时间长 需配多个IO卡 减少了服务器的IO接口 简少服务器接入层设备 网络 存储 简化服务器接入层布线 降低数据中心用电 绿色节能 降低数据中心建设成本 采用统一的网络管理界面 即融合了存储网络 又未改变传统FC存储网络的部署方式 10Gbps 8 10Gbps Existing FibreChannel Ethernet 1 2 4Gb 16Gb 8Gb NAS iSCSI FCoCEE 1Gb传统交换 10Gb统一交换 40Gb统一交换 统一交换的基础 高性能以太网 在FCSAN FC BASE2 服务器和交换机之间 交换机与交换机之间采用4G或8G 10G以太网提供了LAN SAN融合的基础 FC采用基于Buffer to BufferCredit的流控机制 保证FC网络传输无丢包 通过FCOE技术 可实现FC在以太网上的承载传输 融合增强以太网技术 CEE 提供了不丢包的以太网传输以及二层多路径转发 保证FC传输不丢包以及FC传输的效率 虚拟化 服务器虚拟化EVB融合架构 CEEFCoE IEEE的数据中心桥接 DCB 和IETF的TRILL统称为融合增强型以太网 CEE 融合增强以太网技术 CEE Priority basedFlowControl PFC PFC可以基于每个以太网优先级使能Pause功能不同流量类型映射到不同的优先级不同流量类型之间不会互相影响每个优先级需要独立的资源 buffer EnhancedTransmissionSelection ETS 将网络中的流量优先级分成不同的优先级组 PriorityGroup 为每个PG分配一定的带宽如果一个PG未消耗为其分配的带宽 其他PG可以使用这些未使用的带宽 CongestionNotification QCN 当设备发生拥塞时 就会生成拥塞通知 并向入口端节点发出降低发送速率的请求入口端节点降低造成拥塞的发送速率当拥塞消失后 就会主动向入口设备发出指示 允许提高发送速率 DataCenterBridgingExchange DCBX 用于发现对等配置 并在符合DCB要求的桥接之间交换配置信息IEEE数据中心桥接的以下参数可由DCBX进行交换ETS中的优先级组PFC拥塞通知逻辑链路状态应用 Layer2Multi path L2MP TRILL TRILL TransparentInterconnectionofLotsofLinks TRILL是一种二层多路径技术 它使用IS IS协议来学习交换机网络的拓扑 计算以太网连接各端点之间的最短路径和等价路径 支持多条并行路径 流量可以在多条并行路径中负载均衡 这样可以提高网络的扩展性 性能以及可用性 虚拟化 服务器虚拟化EVB融合架构 CEEFCoE FC概述 FC技术出现在80年代末期 1994年由ANSIT11制定首个标准FC技术目前在SAN 存储区域网络 中广泛使用在拓扑 速率 距离等方面具有灵活性和可扩展性能够提供路由控制 访问控制等能够提供冗余 高可用性 FCRoadmap FC Base2用于服务器和交换机之间或者交换机与交换机之间的链路 目前主流为4G 8G 16G正在研发 FC Base10用于交换机与交换机之间的链路 ISL 目前主流为10G 20G的产品已经面世 FC协议的地址 FCFabric DomainID10 DomainID11 FCID11 00 01 FCID10 00 01 DomainID8Bits AreaID8Bits PortID8Bits WWN是固定地址 64位 每个FCFabric设备 HBA 交换机 存储 都拥有一个 或多个 WWN地址 由厂商在出厂前分配 该地址主要用来做身份识别和安全控制FC ID是动态分配的地址 24位 FC设备注册到FCFabric时动态获得 由FC主交换机分配 SwithDomain ID Area Port idFCFabric中的每个Switch拥有一个Domain ID 由此也限制了FCFabric中Switch的数量 239 FC ID地址出现在FC报文头中 FCSwitch用这个地址来路由转发FC报文 FCSAN的基本结构 FCHBA FCHBA Initiator FabricA 服务器 磁盘阵列 FabricB FCSwitch FCSwitch FCSwitch FCSwitch FC交换机SANFabric的组成部分服务器为实现冗余高可用 通常配有有两块HBA卡 每个HBA卡拥有自己的WWN 相当于以太网MAC 服务器有多个端口 连接到不同的SANFabric 服务器不同的HBA接入到不同的SANFabric 冗余的路径提供了负载均衡和高可用性 服务器到到同一盘阵存在多路径 但服务器上的驱动可使操作系统认为只连接了一个SCSI设备 FC设备连接时需要进行链路初始化 区分端口类型 分配地址 计算优选路径等过程 Target BuffertoBufferCredits流控机制 FCHBA FCHBA R RDY PACKET FCSwith 16 16 15 16 服务器 FC采用基于Buffer to BufferCredit的流控机制 能够保证FC网络无丢包 用来控制报文发送的步调 Credit值在链路初始化时协商获得 当发送一个报文后BB Credit减1 当减到0时便不能再发送报文当收到对端发来的R RDY后BB Credit加1通常端口的BB Credit数目代表了该端口接受方向可以缓存的报文的个数 B2B机制还要考虑传输的速率 距离 FibreChannel的端口类型 F Port F Port F Port E Port U Port NP Port N Port U Port Endnode E Port N Port E Port 服务器 磁盘阵列 NPVSwitch FCSwitch Endnode N Port Endnode 服务器 磁盘阵列 FC节点端口 服务器或存储设备 N Port 和Fabric直连的端口NP Port 与NPV设备相连 FC交换机端口F Port Fabric端口 和N Port相联E Port 扩展端口 交换机到交换机 U Port 通用端口 可以转变为E或F NPIV的概念 E MAIL WEB APP E MAILI ON PORT ID1 WEBI ON PORT ID2 APPI ON PORT ID3 F PORT F PORT N PORT SERVER N PortIDVirtualization NPIV 即给一个N PORT 分配多个FC ID 目的是使多个应用能共享同一个HBA 而使用不同的FCID 便于进行灵活的策略控制 在服务器虚拟化时 可以给不同的VM分配不同的FCID 类似网卡虚拟化 FCSwitch NPV的概念 Eth1 1 Eth1 2 Eth1 3 Server1N PORT ID1 Server2N PORT ID2 Server3N PORT ID3 F PORT F PORT NP PORT FCSwitch FCNPVSwitch F PORT N PORT N PortVirtualizer NPV 对于NPIVSwitch看来 NPVSwitch的行为就像一个支持NPIV的服务器 NPVSwitch把终端设备的login尽可能均匀的分布到多个上行端口上 NPVSwitch不需要占用DomainID 提高了FC网络的可扩展性 一个FCFabric中最多只有239个DomainID 一台交换机需要占用一个DomainID 简化了网络管理 FSPF FabricShortestPathFirst 路由 FSPF是FCFabric的路由选择协议 与IP中的OSPF类似 FSPF基于DomainID进行FC报文的逐跳路由转发 在FCFabric中 一个DomainID标识一个FCSwitch FSPF最多支持239个FCSwitchFSPF支持多路径路由 以太网需要支持二层多路径的原因 FSPF仅运行在E port上 只在交换机之间运行 FSPF基于每个VSAN运行 FSPF FCoE FCoverEthernet 增强以太网 FC流量 FCoE就是把FC帧直接映射到以太网上进行承载 FC数据流和其他数据流共享以太网链路 INCITST11FC BB 5WG中定义FCOE 由于没有使用TCP 故需要无损的以太网 DCE CEE DCB 保证不丢包 FCOE保留N Port F Port E Port的结构 FCOE保留了FC的管理模式 保护了原有投资 LAN SANA SANB FCoESwitch ServerwithCNA IP流量 FCoE协议栈和帧格式 从FC角度看来 FCoE是把FC连接在一种新型的链路上 从以太网的角度来看 FCoE仅是其承载的另外一种上层协议 ULP 整个FC报文最长2180字节 FCOE协议报文有两种类型 FCOE数据承载报文 ethtype 0 x8914 FIP FCoEInitializationProtocol 协议报文 用于发现支持FCOE的VLAN 建立和维护FCoE虚链路的协议 Ethtype 0 x8906 FC BB 5 FCOE 标准中的一些术语 VN PORT VirtualN Port 物理N PORT可以实现多实例 每个实例即VN PORT VF PORT VirtualF Port VE PORT VirtualE Port FCOE LEP 实现FC报文到FCOE报文的封装 解封装 FCOE报文发送 接收的组件 FCOE Controler 实现FIP协议的组件 FCOE架构模型 ENode是服务器CNA的实现模型 FCF FCOEForwarder 是FCSwitch的实现模型 在FC中 两个FC设备间是点对点连接 而在Ethernet网络中 两台FC设备可以通过广播链路连接 FCOE用虚链路代替FC网络的物理链路 FCOE的虚链路通过链路两端FCOE LEP LinkEnd Point 的MAC地址进行标识 FCOE报文的寻址和转发过程 存储阵列上的FCN Port发送出FC帧 其目的地址为1 1 1 源地址为7 1 1 DomainID为7的FC交换机收到报文后 查表 将其转发到路径最短的端口 DomainID为3的FCOE交换机收到报文后 发现该报文需要通过以太网络传送 便将FC报文封装在以太报文中 该以太报文的目的MAC地址B 接收方交换机的FCoE实体的MAC地址 源MAC地址A 发送方交换机的FCoE实体的MAC地址 FCoE报文到达FCoE实体的MAC地址为B的交换机后 交换机检查FC报文中的D ID在自身的Domain范围内 使用新的目的MAC地址C 主机的MAC地址 和新的源MAC地址B对报文进行重新封装 并从相应的端口发送 MAC地址为C的CNA收到FCoE报文 MAC地址是逐跳变化的 FCID是端到端的 FCoE网络组成与需求 FCoESwitch FCF FCoESwitch FC