【数据中心】融合数据中心解决方案

融合数据中心解决方案日期：二月23密级：保密杭州华三通信技术有限公司ConvergedDataCenterSolution面向企业信息化的可持续发展能力基础设施虚拟化、服务提供虚拟化根据需要分配资源和弹性扩展能力IT设施呈“竖井状”硬件资源利用率低基础设施部署固化概述

灵活性存储整合服务器整合

网络整合整合提高利用率和效率自动化基于自定义，自适应架构

虚拟化提高灵活性，响应能力半自动部署数据中心整合

自动化部署网络虚拟化

静态部署应用虚拟化存储虚拟化服务器虚拟化数据中心的发展趋势时间轴

灵活性整合提高利用率和效率自动化基于自定义，自适应架构

虚拟化提高灵活性，响应能力数据中心的发展趋势时间轴云化数据中心Overlay网络云管理ICNICN服务服务虚拟化数据中心Overlay网络ICNICN服务服务标准数据中心服务汇聚汇聚接入接入接入接入数据中心的发展趋势

灵活性整合提高利用率和效率自动化基于自定义，自适应架构

虚拟化提高灵活性，响应能力时间轴云化数据中心Overlay网络云管理ICNICN服务服务虚拟化数据中心Overlay网络ICNICN服务服务标准数据中心服务汇聚汇聚接入接入接入接入服务服务服务多中心汇聚汇聚接入接入接入接入汇聚汇聚接入接入接入接入数据中心发展面临的挑战标准数据中心虚拟化数据中心服务Overlay网络ICNICN服务服务服务服务服务多中心汇聚汇聚接入接入接入接入汇聚汇聚接入接入接入接入汇聚汇聚接入接入接入接入设备链路利用率低维护管理复杂度高故障中断恢复时间长服务器接入可靠性低设备链路耦合度高VLAN数量存在瓶颈服务器利用率低硬件资源复用性差多中心入口选择多中心二层互联服务器健康探测数据库存储扩展云化数据中心Overlay网络云管理ICNICN服务服务云中心资源池化云中心资源控制云中心网络自动化云中心统一管理融合数据中心的构建基础架构整合统一网络平台统一计算平台自动化基础架构虚拟化基础架构虚拟化自动化私有云公用云整合与集中融合数据中心管理层融合数据中心的核心理念—“八大件”计算网络存储计算虚拟化存储虚拟化网络虚拟化控制层1计算、网络、存储硬件，构建数据中心硬件平台2计算、存储、网络虚拟化技术构建基础架构虚拟平台3控制层实现基础硬件层虚拟化层融合控制4管理层实现计算、网络、存储多维度统一管理融合数据中心整体架构 POD：标准化交付单元PointofDelivery，可复制的数据中心基础架构单元（共享资源池），其中主要包括：集成计算堆栈，ICN，各类服务节点POD是二层网络扩展的边界，能够支持模块化、灵活地扩展数据中心的容量和规模 ICN：集成计算节点IntegratedComputeNode，由多种预集成组件构成的计算资源堆栈，可包含计算、网络或存储功能，以及一组接入交换节点的二层端口

服务：资源节点提供各种基础服务功能的资源节点，包括防火墙(FW)、负载均衡(LB)、存储(NAS)、跨中心二层扩展(EXD)等功能标准区虚拟化区云化区Overlay网络ICNICN服务服务Overlay网络云管理ICNICN服务服务服务服务汇聚汇聚接入接入接入接入核心1融合数据中心标准POD设计2融合数据中心虚拟化POD设计3融合数据中心云化POD设计4融合数据中心多中心融合5融合数据中心核心组件目录6融合数据中心优势总结服务服务设备链路利用率低L3L2标准POD设计核心设备和汇聚设备都是一主一备的方式标准POD设计双链路上行都是一主一备的方式维护管理复杂度高随着数据中心的发展，网络管理节点数量越来越大，管理复杂度高服务器接入可靠性低标准POD设计网卡采用单链路链接，可靠性低传统数据中心POD设计存在的问题二层启用生成树，VLAN规划复杂；三层启用VRRP，路由规划复杂接入接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心融合数据中心标准POD设计标准POD服务汇聚汇聚接入接入标准POD是提供服务的组件集合，可包括计算、网络、安全策略的集合。其特点：常规连接方式，无计算虚拟化，标准网络协议标准POD规格具体由汇聚接入设备的规格决定标准POD模块化设计可明确的功能及服务需求，标准化功能模块可预测并可控的基础设施需求：电力、空调、布线、风道可预测的网络扩展需求接入接入IRF2IRF2IRF2IRF2IRF2IRF2IRF2服务服务L3L2接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入性能翻番使用IRF2后，核心设备和汇聚设备都是负载分担的方式使用IRF2后，接入到汇聚以及汇聚到核心的双链路上行都是负载分担方式简化运维使用IRF2后，二层不需要生成树；三层不需要VRRP；多台设备只需配置一次高可靠性秒级到毫秒级的切换时间，业务不中断融合数据中心标准POD设计—IRF2简化架构将核心、汇聚、接入三层网络架构简化为核心、汇聚两层架构简化运维数十倍的减少网络中管理设备数量，极大地简化网络管理和维护集中管理接入设备配置和版本统一通过汇聚设备下发，便于集中管理融合数据中心标准POD设计—IRF3IRF3IRF2服务服务L3L2接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入提升带宽NICTeaming技术采用负载均衡的形式，与主备模式相比可以提升带宽高可靠性无论哪个网卡或者链路出现故障，服务器对外的网络链接不会中断融合数据中心标准POD设计—网卡双活IRF2IRF2IRF2IRF2IRF2IRF2IRF2服务服务L3L2接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入按需服务可以根据需要将对应的流量引到安全服务区，对于不关注的流量进行直通弹性扩展安全服务区采用插卡式安全设备，可以根据性能需要弹性扩展融合数据中心标准POD设计—服务IRF2IRF2IRF2IRF2IRF2IRF2IRF2L3L2接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入FWIPSLB融合数据中心核心层设计方式一方式二方式三接口类型万兆捆绑可靠性很高非常高非常高收敛时间秒级毫秒级毫秒级协议私有标准标准+私有转发路径本地优先等价路径等价路径管理非常简单相对复杂简单方式一方式二方式三ECMP特点可管理性优先思路单逻辑核心，拓扑不变，管理简单故障收敛速度快特点标准路由协议涉及等价路由，负载分担故障收敛速度较快特点双逻辑核心，冗余度和可靠性相比现有设计增加一倍双逻辑核心，业务分流及流量分担设计简单、清晰ECMP核心核心核心核心汇聚汇聚汇聚汇聚核心核心核心核心汇聚汇聚汇聚汇聚核心核心核心核心汇聚汇聚汇聚汇聚融合数据中心核心层链路设计核心层汇聚层方式一方式二拓扑类型口字型连接全交叉连接接口类型万兆捆绑可靠性很高非常高收敛时间快（秒级）非常快（毫秒级）建设成本中高协议动态路由转发路径单边等价路径管理非常简单简单核心层汇聚层方式一方式二核心核心汇聚汇聚核心核心汇聚汇聚标准POD网络设计连接方式管理复杂度可用性扩展能力端口成本生成树协议方式一低低高低无环路，不需要STP方式二较低中中低有环路，需要STP方式三高高中高有环路，需要STP方式四中高高高逻辑上无环路，不需要STP方式一方式二方式三方式四核心层汇聚层横向虚拟化IRF2纵向虚拟化IRF3核心核心汇聚汇聚核心核心汇聚汇聚核心核心汇聚汇聚核心核心汇聚汇聚IRF2IRF2IRF2接入接入接入汇聚汇聚接入接入接入接入汇聚汇聚接入IRF31融合数据中心标准POD设计2融合数据中心虚拟化POD设计3融合数据中心云化POD设计4融合数据中心多中心融合5融合数据中心核心组件目录6融合数据中心优势总结标准POD存在的问题问题问题1：服务器利用率低问题2：标准硬件部署固化问题3：硬件资源复用性差标准POD服务汇聚汇聚接入接入接入接入服务器虚拟化提升资源利用率CAS计算资源池OSOSOSOSOSOSOSOSOSOSOSOSOSOSOSOSOSOSOS不用再担心服务器故障导致的业务中断不用再花几个月才能上线某个新业务不会再让计算资源大量闲置、调配不均不用再担心机房空间不够、搬迁麻烦

虚机管理

完备的虚拟机生命周期管理

虚机迁移

采用同一厂商、同一产品族和同一

代处理器的服务器组成的集群，可

以获得最好的迁移兼容能力

高可用性

CAS虚拟机高可用集群，适用于

对业务运行连续性要求较高的场合

兼容性好

兼容Vmware等虚拟机管理软件虚拟化POD1虚拟化POD2虚拟化POD3H3CCASCVKVEPAvSwitchH3CCASCVMH3C

iMC

H3CCASCIC

VEPA加密私有协议

RESTAPI

RESTAPI

SNMPSSH….服务器虚拟化利器—H3CCAS平台Overlay网络ICNICN服务服务Overlay网络ICNICN服务服务Overlay网络ICNICN服务服务服务器虚拟化对网络提出新挑战虚拟化前物理服务器承载业务服务器所有流量均经过网络服务器与交换机互连端口固定虚拟机承载业务虚拟机之间流量不可见、难管理虚拟机动态迁移使业务更灵活服务接入接入接入接入汇聚汇聚服务虚拟化后服务接入接入接入接入汇聚汇聚服务VMVMVMVMVMVM应对虚拟化挑战已有的解决方案IRF2IRF2IRF2IRF2IRF2IRF2IRF2服务服务L3L2接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入TRILLVEPAVEPAVEPAVEPA接入IRF2/TRILL组建大二层网络，实现等价多路径转发大二层网络支持虚拟机动态迁移前后IP/MAC不变EVB802.1Qbg

遵循EVB标准，实现虚拟机之间流量可视化利用网管软件实现虚拟机流量的控制管理

虚拟机动态迁移前后网络配置自动跟随大二层组网面临的问题与挑战服务服务L3L2接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入Layer2Layer2Layer2问题-1ARP广播风暴问题问题-3数据中心内部互访安全控制问题-2L3网关需要大ARP表项问题-4大2层的4KVLAN限制问题问题-5大型FullLayer2网络运维问题,TRILL的OAM定义不完善，难以像L3网络那样维护解决问题新思路-Overlay定义：Overlay网络是一个建立在已有网络上的虚拟网络，逻辑节点和逻辑链路构成了Overlay网络优势1：大容量MAC和ARP表项优势2：解决4KVLAN上限问题优势3：解决VLANtrunk问题优势4：解决虚拟机迁移网络依赖服务服务接入接入接入接入接入接入接入汇聚汇聚汇聚汇聚核心核心接入基于IP层的物理网络架构，仅IP可达即可Underlay虚拟机之间通信建立独立的隧道传输OverlayOverlay网络物理网络主机DB服务器1服务器VM1VM2主机DB服务器2vSwitchOverlay边缘设备逻辑链路192.168.20.100/24192.168.10.100/24192.168.30.100/24VM1的IP地址：192.168.10.3/24VM2的IP地址：192.168.20.4/24Overlay技术原理Overlay控制平面服务发现Overlay边缘设备如何发现彼此地址通告和映射Overlay边缘设备交换其学习到的主机可达信息物理网络和Overlay网络地址之间的映射隧道管理如何管理Overlay边缘设备之间的虚拟连接关系Overlay数据平面提供数据封装和解封装，交给承载网络传输接入接入接入汇聚汇聚vSwitch内置VTEPL2GW内置VTEPL3GW内置VTEP融合数据中心虚拟化POD虚拟化PODOverlay网络ICNICN服务服务虚拟化POD是在标准POD的基础上，部署大量计算虚拟化的一组服务模块。计算虚拟化部署使得POD服务能力从服务器数量转换为CPU核数、内存容量等虚拟化POD特点计算能力划分粒度更细服务器资源利用率更高计算系统的可靠性更高计算能力的协调更灵活融合数据中心虚拟化POD设计SpineSpineLeafLeafLeafLeafICN1ICNnICNSWICNSWX86RISCFWIPSLBEXDFWIPSLBEXDL3L2NASSANOverlay网络采用Spine-Leaf扁平化架构，每个节点使用双机双上行设计，以保证可靠性Spine与Leaf之间部署基于Vxlan的Overlay大二层技术Leaf节点可以与ICNSW融合FW、IPS、LB、EXD旁挂在Spine节点，网关部署在Spine节点ICN是融合计算、网络、虚拟化为一体的高集成设备IPSAN部署在Leaf节点下，FCSAN单独部署VCFCCAS虚拟化POD内扩容方案SpineSpineLeafLeafLeafLeafICN1ICNnICNSWICNSWX86RISCFWIPSLBEXDL3L2NASSANOverlay网络LeafLeafICN1ICNSWX86VCFCCAS虚拟化POD外扩容方案SpineSpineLeafLeafLeafLeafICN1ICNnICNSWICNSWX86RISCFWIPSLBEXDFWIPSLBEXDL3L2NASSANOverlay网络CoreCoreSpineSpineLeafLeafLeafLeafICN1ICNnICNSWICNSWX86RISCFWIPSLBEXDFWIPSLBEXDL3L2Overlay网络Overlay网络VCFCCAS虚拟化POD集成计算节点（ICN）设计VCVCServerServerServerServerVCVCServerServerServerServerVCVCServerServerServerServerICNSwitchServerServerServerServerServerFCoESwitchX86RISCLeafLeafSANSANICN按照服务器的类型，主要包括x86服务器和小型机ICNSwitch负责实现ICN内部计算与网络之间，以及与NAS服务节点的IP互联FCoESwitch实现IP与FC网络的融合，减少占用空间、能耗及管理成本ICN内的服务器用于处理计算需求，承载业务应用ICN内部的服务器通过ICNSwitch统一上联POD的Leaf，通过FCSwitch连接SAN网络ICN内虚拟接入层，采用基于软件的分布式虚拟交换机或基于硬件的网络接口虚拟化技术，实现虚机感知能力虚拟化POD部署样例服务器TOR交换机服务器服务器服务器服务器服务器TOR交换机服务器服务器服务器服务器数据库小机TOR交换机数据库小机数据库小机服务器服务器汇聚核心交换机跳线架汇聚核心交换机OVSVMVMOVSVMVM虚拟交换机服务器虚拟化资源池部署支持VXLAN

VTEP的分布式虚拟交换机TOR交换机服务器虚拟化机柜TOR交换机无特殊要求，数据中心交换机即可，数据库机柜TOR交换机部署支持VXLANGW的盒式交换机汇聚核心交换机部署支持VXLANIPGW的核心交换机Overlay网络的应用优势SpineSpineLeafLeafLeafLeafICN1ICNnICNSWICNSWX86RISCFWIPSLBEXDFWIPSLBEXDL3L2NASSANOverlay网络VCFCCAS管理界面多种部署模式，明确管理策略IP地址灵活分配（IP地址与物理网络解耦）迁移控制消除网络限制（大二层、VLAN数量）虚机任意迁移（单中心、多中心范围）多租户业务、多租户之间灵活隔离1融合数据中心标准POD设计2融合数据中心虚拟化POD设计3融合数据中心云化POD设计4融合数据中心多中心融合5融合数据中心核心组件目录6融合数据中心优势总结融合数据中心云化POD云化POD服务服务Overlay网络云管理集成计算节点云化数据中心内计算资源、存储资源、网络资源均可以以服务的形式对外提供，按需交付Overlay网络数据中心网络虚拟化，消除网络通道与基础网络硬件耦合性集成计算节点由多种预集成的计算组件构成的计算资源节点，对外提供集成计算能力云管理融合云管理平台，实现计算资源、网络资源和存储资源的统一管理服务提供L4-L7层、存储扩展以及二层网络扩展的各种基础服务功能集成计算节点

网络

业务网络与存储网络分离

利用Overlay技术实现计算与网络融合

计算

利用融合计算产品提高单位空间的计算能力

存储

存储虚拟化技术vStor实现低成本共享存储池

控制

网络控制器实现网络随业务自动化响应

计算控制器实现计算能力统筹部署

管理

融合云平台实现计算资源、网络资源和存储

资源的统一管理云化POD架构设计SpineSpineLeafLeafLeafLeafICN1ICNnICNSWICNSWX86RISCFWIPSLBEXDFWIPSLBEXDL3L2NASSANOverlay网络VCFCCAS云平台CSM云化POD计算设计VCVCServerServerServerServerVCVCServerServerServerServerVCVCServerServerServerServerICNSwitchCSMSelf-ServicePortalCSMDistributedOpenStack(Network/Storage)FCoESwitchLeafLeafSANSAN业务机柜管理机柜FCoESwitch存储机柜Disk

ArrayDisk

ArrayDisk

ArrayDisk

ArrayDisk

ArrayCSMMainOpenStack(Compute)业务机柜、管理机柜、存储机柜分离部署业务机柜计算节点安装虚拟化平台提高计算节点利用率业务机柜ICN交换机上行连接数据中心内网以及FCSAN网络管理机柜部署云平台CSM以及控制器云平台CSM支持HA部署，提高业务连续性将直连硬盘组成集群，形成计算、存储一体化，最大支持256个节点内置于hypervisor，可横向扩展用SSD缓存优化性能，用HDD做持久存储vStor由CVM统一管理H3CCASCVKH3CCASCVMvStorVMVMVMVM云化POD存储设计零存储(vStor)虚拟化虚拟化虚拟化策略,安全,QoS应用1应用2云化POD网络自动化需求网络网络网络PhysicalInfrastructure云化POD控制设计面向应用编程北向接口融合控制层OPENFLOW控制器与交换机建立OF信道控制器通过信道对OF交换机集中管理添加、修改以及删除OF交换机流表项OF交换机可以主动将报文上送控制器控制器维护全网信息包括IP,MAC,VLAN控制器根据全网信息，计算转发最短路径接入接入接入接入接入接入接入接入云化POD控制详细设计VCVCServerServerServerServerVCVCServerServerServerServerVCVCServerServerServerServerICNSwitchCSMSelf-ServicePortalCSMDistributedSDNVCFCFCoESwitchLeafLeafSANSAN业务机柜管理机柜FCoESwitch存储机柜Disk

ArrayDisk

ArrayDisk

ArrayDisk

ArrayDisk

ArrayCSMMainSDNVCFCHA最多支持32节点集群整个集群支持200K个VM首包上送速率达500PPS云化POD自动化效果处理器池存储池服务虚拟化资源虚拟化平衡服务与资源

AnyService，AnyTime，

AnyWhere，AnyDevices融合控制层云化管理目标：管理统一化存储资源池存储卷存储卷存储卷存储卷存储卷存储卷计算资源池VMVMVMVMVMVM网络资源池计算管理网络管理存储管理网络管理计算管理员网络管理员存储管理员资源池之间管理割裂业务变更需求响应慢部门之间沟通成本增加计算计算资源池网络存储网络资源池存储资源池存储卷存储卷存储卷VMVMVM存储卷存储卷存储卷VMVMVM计算控制器网络控制器存储控制器云管理平台

计算、网络、存储资源统一管理统一管理平台提高管理效率快速完成业务部门新增需求资源统一管理应用交付管理服务编排资源管理网络管理计算管理存储管理安全管理云管理平台CSM开放平台OPENSTACK云管理利器—CSM服务运营管理计费营账管理云计算安全管理

云平台

云平台跨中心集群部署

控制器 A:控制器单数据中心内部署 B:控制器跨中心集群部署

基础架构

双中心部署相同的计算虚拟化平台

双中心之间二层网络互通云化POD扩展设计VCFCCAS云平台计算API存储API网络API服务服务Overlay网络云管理ICNICN云化POD服务服务Overlay网络云管理ICNICN云化POD1融合数据中心标准POD设计2融合数据中心虚拟化POD设计3融合数据中心云化POD设计4融合数据中心多中心融合5融合数据中心核心组件目录6融合数据中心优势总结双活数据中心建设需求ISP1ISP2ISP4ISP3数据中心1数据中心2WEB层服务器应用层服务器主数据库WEB层服务器应用层服务器备数据库业务连续性要求公有云建设各行业容灾中心建设5/6级灾备等级要求运营商云资源池整合ISP1ISP2ISP4ISP3数据中心1数据中心2双活数据中心不同建设层次整体切换应用升级应用切换灰度切换双活数据中心解决方案-链路切换ISP1ISP2ISP4ISP3数据中心1数据中心2WEB层服务器应用层服务器主数据库WEB层服务器应用层服务器备数据库DC到DC的切换链路故障主数据中心灾难双活数据中心解决方案-应用切换ISP1ISP2ISP4ISP3数据中心1数据中心2DC到DC的切换链路故障主数据中心灾难应用切换某应用不可用双活数据中心解决方案-灰度切换ISP1ISP2ISP4ISP3数据中心1数据中心2DC到DC的切换链路故障主数据中心灾难应用切换某应用不可用灰度切换Web层APP层DB双活数据中心解决方案-应用升级ISP1ISP2ISP4ISP3数据中心1数据中心2DC到DC的切换链路故障主数据中心灾难应用切换某应用不可用灰度切换Web层APP层DB应用升级应用版本升级客户端版本升级业务流量灵活可控ISP1ISP2ISP4ISP3数据中心1数据中心2双活数据中心整体架构路径选择二层互联健康探测存储扩展GTMGTMGTMGTMLTMLTMLTMLTMISP1ISP2ISP4ISP3数据中心1数据中心2双活数据中心二层互联GTMGTMGTMGTMLTMLTMLTMLTM物理通道数据通道光纤直连、波分复用VPLS、EVIISP1ISP2ISP4ISP3数据中心1数据中心2双活数据中心物理通道二层互联—波分方案GTMGTMGTMGTMLTMDCI波分设备光纤DCISWLTMDCISW波分设备高带宽高安全低延时易维护ISP1ISP2ISP4ISP3数据中心1数据中心2GTMGTMGTMGTMLTMLTMLTMLTMARP广播泛滥未知目的报文泛滥ARP广播报文会扩散到整个二层网络中，占用网络资源浪费网络带宽未知单播和未知组播报文扩散到整个二层网络，占用网络资源传统二层互联的技术局限DWDM/CDWM/DarkFiberSTP域扩大在STP域扩大到整个二层网络，管理复杂，网络震荡，业务中断ISP1ISP2ISP4ISP3数据中心1数据中心2H3C以太网虚拟互联技术—EVIGTMGTMGTMGTMSWSWEVI传输链路无关配置管理简单站点完全独立不影响现有网络多中心融合优势总结提高备中心利用率灾备中心部署业务，提高备中心利用率提升业务连续性主中心发生大故障，业务自动切换到备中心分业务自动切换哪个业务故障，切哪个业务，业务之间完全独立流量路径最优业务切换后，流量路径随之切换，哪进哪出业务级健康探测探测业务系统状态，深度健康检查1融合数据中心标准POD