FusionCube 1000虚拟化技术白皮书

1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name FusionCube DOCPROPERTY ProductVersion 6.0 DOCPROPERTY DocumentName 技术白皮书 (虚拟化)前言概述本文档介绍了华为FusionCube 6.0版本 虚拟化场景的产品价值、产品架构、高性能、线性扩展、系统安全以及系统可靠性。读者对象本文档主要适用于以下工程师：营销工程师技术支持工程师维护工程师符号约定在本文中可能出现下列标志，它们所代表的含义如下。符号说明表示如不避免则将会导致死亡或严重伤害的具有高等级风险的危害。表示

2、如不避免则可能导致死亡或严重伤害的具有中等级风险的危害。表示如不避免则可能导致轻微或中度伤害的具有低等级风险的危害。用于传递设备或环境安全警示信息。如不避免则可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果。“须知”不涉及人身伤害。对正文中重点信息的补充说明。“说明”不是安全警示信息，不涉及人身、设备及环境伤害信息。目 录 TOC h z t 标题 1,1,标题 2,2,标题 3,3, 标题 4,4, 标题 5,5, 标题 7,1, 标题 8,2, 标题 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading

3、 2,2,Appendix heading 3,3,Appendix heading 4,4,Appendix heading 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc256000000 前言 PAGEREF _Toc256000000 h ii HYPERLINK l _Toc256000001 1 产品概述 PAGEREF _Toc256000001 h 1 HYPERLINK l _Toc2

4、56000002 2 产品价值 PAGEREF _Toc256000002 h 2 HYPERLINK l _Toc256000003 3 产品架构 PAGEREF _Toc256000003 h 3 HYPERLINK l _Toc256000004 3.1 FusionSphere场景架构 PAGEREF _Toc256000004 h 4 HYPERLINK l _Toc256000005 3.1.1 架构 PAGEREF _Toc256000005 h 4 HYPERLINK l _Toc256000006 3.1.2 典型配置 PAGEREF _Toc256000006 h 5 HY

5、PERLINK l _Toc256000007 3.1.3 组网 PAGEREF _Toc256000007 h 6 HYPERLINK l _Toc256000008 3.1.4 工作原理 PAGEREF _Toc256000008 h 7 HYPERLINK l _Toc256000009 3.2 Vmware场景架构 PAGEREF _Toc256000009 h 8 HYPERLINK l _Toc256000010 3.2.1 架构 PAGEREF _Toc256000010 h 8 HYPERLINK l _Toc256000011 3.2.2 典型配置 PAGEREF _Toc2

6、56000011 h 8 HYPERLINK l _Toc256000012 3.2.3 组网 PAGEREF _Toc256000012 h 10 HYPERLINK l _Toc256000013 3.2.4 工作原理 PAGEREF _Toc256000013 h 10 HYPERLINK l _Toc256000014 4 分布式存储 PAGEREF _Toc256000014 h 14 HYPERLINK l _Toc256000015 4.1 架构概述 PAGEREF _Toc256000015 h 14 HYPERLINK l _Toc256000016 4.2 关键业务流程 P

7、AGEREF _Toc256000016 h 17 HYPERLINK l _Toc256000017 4.2.1 数据路由 PAGEREF _Toc256000017 h 17 HYPERLINK l _Toc256000018 4.2.2 IO路径 PAGEREF _Toc256000018 h 18 HYPERLINK l _Toc256000019 4.2.3 Cache机制 PAGEREF _Toc256000019 h 19 HYPERLINK l _Toc256000020 4.3 存储管理 PAGEREF _Toc256000020 h 21 HYPERLINK l _Toc2

8、56000021 4.3.1 存储集群管理 PAGEREF _Toc256000021 h 21 HYPERLINK l _Toc256000022 4.3.2 存储服务化 PAGEREF _Toc256000022 h 21 HYPERLINK l _Toc256000023 4.4 数据冗余 PAGEREF _Toc256000023 h 22 HYPERLINK l _Toc256000024 4.4.1 多副本 PAGEREF _Toc256000024 h 22 HYPERLINK l _Toc256000025 4.4.2 Erasure Code PAGEREF _Toc2560

9、00025 h 22 HYPERLINK l _Toc256000026 4.5 特性介绍 PAGEREF _Toc256000026 h 23 HYPERLINK l _Toc256000027 4.5.1 SCSI/iSCSI块接口 PAGEREF _Toc256000027 h 23 HYPERLINK l _Toc256000028 4.5.2 精简配置 PAGEREF _Toc256000028 h 25 HYPERLINK l _Toc256000029 4.5.3 重删压缩 PAGEREF _Toc256000029 h 26 HYPERLINK l _Toc256000030

10、4.5.4 快照 PAGEREF _Toc256000030 h 28 HYPERLINK l _Toc256000031 4.5.5 链接克隆 PAGEREF _Toc256000031 h 29 HYPERLINK l _Toc256000032 4.5.6 多资源池 PAGEREF _Toc256000032 h 30 HYPERLINK l _Toc256000033 4.5.7 QoS PAGEREF _Toc256000033 h 30 HYPERLINK l _Toc256000034 4.5.8 存储双活 PAGEREF _Toc256000034 h 31 HYPERLINK

11、 l _Toc256000035 4.5.9 存储异步复制 PAGEREF _Toc256000035 h 32 HYPERLINK l _Toc256000036 5 硬件设备平台 PAGEREF _Toc256000036 h 34 HYPERLINK l _Toc256000037 5.1 机架服务器平台 PAGEREF _Toc256000037 h 34 HYPERLINK l _Toc256000038 5.1.1 1288H V5机架服务器 PAGEREF _Toc256000038 h 34 HYPERLINK l _Toc256000039 5.1.2 2288H V5机架服

12、务器 PAGEREF _Toc256000039 h 35 HYPERLINK l _Toc256000040 5.1.3 2488H V5机架服务器 PAGEREF _Toc256000040 h 36 HYPERLINK l _Toc256000041 5.1.4 ARM机架服务器 PAGEREF _Toc256000041 h 37 HYPERLINK l _Toc256000042 5.1.5 OEM第三方机架服务器 PAGEREF _Toc256000042 h 38 HYPERLINK l _Toc256000043 5.2 E9000刀片服务器平台 PAGEREF _Toc256

13、000043 h 38 HYPERLINK l _Toc256000044 5.2.1 E9000机框 PAGEREF _Toc256000044 h 38 HYPERLINK l _Toc256000045 5.2.2 E9000刀片 PAGEREF _Toc256000045 h 39 HYPERLINK l _Toc256000046 5.2.3 高性能交换板 PAGEREF _Toc256000046 h 41 HYPERLINK l _Toc256000047 6 安装部署和运维管理 PAGEREF _Toc256000047 h 45 HYPERLINK l _Toc2560000

14、48 6.1 自动化部署 PAGEREF _Toc256000048 h 45 HYPERLINK l _Toc256000049 6.1.1 FusionCube Builder PAGEREF _Toc256000049 h 45 HYPERLINK l _Toc256000050 6.1.2 系统初始化 PAGEREF _Toc256000050 h 47 HYPERLINK l _Toc256000051 6.1.3 设备自动发现 PAGEREF _Toc256000051 h 48 HYPERLINK l _Toc256000052 6.2 统一运维管理 PAGEREF _Toc25

15、6000052 h 48 HYPERLINK l _Toc256000053 6.2.1 业务发放管理 PAGEREF _Toc256000053 h 49 HYPERLINK l _Toc256000054 6.2.2 一键式运维 PAGEREF _Toc256000054 h 50 HYPERLINK l _Toc256000055 6.2.3 Call Home PAGEREF _Toc256000055 h 54 HYPERLINK l _Toc256000056 7 性能和可扩展性 PAGEREF _Toc256000056 h 55 HYPERLINK l _Toc25600005

16、7 7.1 系统高性能 PAGEREF _Toc256000057 h 55 HYPERLINK l _Toc256000058 7.1.1 分布式I/O环 PAGEREF _Toc256000058 h 55 HYPERLINK l _Toc256000059 7.1.2 分布式SSD Cache加速 PAGEREF _Toc256000059 h 56 HYPERLINK l _Toc256000060 Read/Write Cache PAGEREF _Toc256000060 h 57 HYPERLINK l _Toc256000061 大块Pass Throught PAGEREF

17、_Toc256000061 h 59 HYPERLINK l _Toc256000062 7.1.3 硬件加速 PAGEREF _Toc256000062 h 59 HYPERLINK l _Toc256000063 7.2 线性扩展 PAGEREF _Toc256000063 h 60 HYPERLINK l _Toc256000064 7.2.1 存储平滑扩容 PAGEREF _Toc256000064 h 61 HYPERLINK l _Toc256000065 7.2.2 性能线性扩展 PAGEREF _Toc256000065 h 61 HYPERLINK l _Toc2560000

18、66 7.2.3 一键式扩容 PAGEREF _Toc256000066 h 62 HYPERLINK l _Toc256000067 7.3 FusionCube分布式存储相对于传统SAN的性能优势 PAGEREF _Toc256000067 h 63 HYPERLINK l _Toc256000068 7.3.1 更高的性能 PAGEREF _Toc256000068 h 63 HYPERLINK l _Toc256000069 7.3.2 线性Scale-up/Scale-out PAGEREF _Toc256000069 h 64 HYPERLINK l _Toc256000070 7

19、.3.3 大池POOL PAGEREF _Toc256000070 h 65 HYPERLINK l _Toc256000071 7.3.4 SSD Cache vs SSD Tier PAGEREF _Toc256000071 h 66 HYPERLINK l _Toc256000072 8 系统可靠性 PAGEREF _Toc256000072 h 68 HYPERLINK l _Toc256000073 8.1 数据可靠性 PAGEREF _Toc256000073 h 68 HYPERLINK l _Toc256000074 8.1.1 块存储集群可靠性 PAGEREF _Toc256

20、000074 h 68 HYPERLINK l _Toc256000075 8.1.2 数据一致性 PAGEREF _Toc256000075 h 68 HYPERLINK l _Toc256000076 8.1.3 数据冗余保护 PAGEREF _Toc256000076 h 69 HYPERLINK l _Toc256000077 8.1.4 快速数据重建 PAGEREF _Toc256000077 h 70 HYPERLINK l _Toc256000078 8.1.5 数据存储多路径 PAGEREF _Toc256000078 h 70 HYPERLINK l _Toc25600007

21、9 8.2 硬件可靠性 PAGEREF _Toc256000079 h 71 HYPERLINK l _Toc256000080 8.3 系统亚健康增强 PAGEREF _Toc256000080 h 71 HYPERLINK l _Toc256000081 8.4 备份与恢复 PAGEREF _Toc256000081 h 74 HYPERLINK l _Toc256000082 8.5 容灾恢复 PAGEREF _Toc256000082 h 76 HYPERLINK l _Toc256000083 8.5.1 双活解决方案 PAGEREF _Toc256000083 h 76 HYPER

22、LINK l _Toc256000084 8.5.2 异步复制解决方案 PAGEREF _Toc256000084 h 77 HYPERLINK l _Toc256000085 9 系统安全 PAGEREF _Toc256000085 h 78 HYPERLINK l _Toc256000086 9.1 系统安全威胁 PAGEREF _Toc256000086 h 78 HYPERLINK l _Toc256000087 9.2 总体安全框架 PAGEREF _Toc256000087 h 79 HYPERLINK l _Toc256000088 9.2.1 网络安全 PAGEREF _Toc

23、256000088 h 80 HYPERLINK l _Toc256000089 9.2.2 应用安全 PAGEREF _Toc256000089 h 81 HYPERLINK l _Toc256000090 权限管理 PAGEREF _Toc256000090 h 81 HYPERLINK l _Toc256000091 Web安全 PAGEREF _Toc256000091 h 81 HYPERLINK l _Toc256000092 数据库加固 PAGEREF _Toc256000092 h 81 HYPERLINK l _Toc256000093 日志管理 PAGEREF _Toc25

24、6000093 h 82 HYPERLINK l _Toc256000094 9.2.3 主机安全 PAGEREF _Toc256000094 h 82 HYPERLINK l _Toc256000095 操作系统加固 PAGEREF _Toc256000095 h 82 HYPERLINK l _Toc256000096 9.2.4 数据安全 PAGEREF _Toc256000096 h 82 HYPERLINK l _Toc256000097 数据加密 PAGEREF _Toc256000097 h 83产品概述随着数据不断增长以及互联网业务的兴起，新兴业务的激增、业务数据呈现几何倍数增

25、加，传统服务器+存储的架构已经无法很好满足业务发展需求，分布式、云化技术应运而生。越来越多的企业采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率以及缩短业务上线周期。但在应用过程中，企业面临如下挑战：虚拟平台部署和管理复杂，运维费用仍然维持增长趋势。安装部署复杂，硬件来自多厂商，规划、部署、调优需要丰富的经验支撑。多厂商设备，售后支持界面多，解决问题慢。系统庞大（不同厂商硬件设备维护、虚拟平台管理），维护难度大。企业越来越关注成本控制、业务敏捷、风险管控，希望能拥有总成本低、新业务的上线时间快、资源可弹性伸缩、安全可靠、高性能的IT系统。华为FusionCube是一个开放的、可扩

26、展的系统，具有计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务自动化快捷部署、统一管理、资源智能弹性伸缩、运维简单的特点，可帮助客户业务快速上线，快速实现不同云应用的部署，同时降低维护管理的难度。产品价值FusionCube遵循开放架构标准，集成服务器、分布式存储及网络交换机为一体，无需外置存储设备，并预集成了分布式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。主要价值如下：融合FusionCube实现了计算、存储和网络资源的融合：硬件融合：计算存储网络高度集成，线性扩容。管理融合：统一运维管理，提高资源利用率，降低OPEX费用。应用融合：针对应用业务模型，软硬件深度调优

27、，实现性能提升。简单FusionCube实现了预安装、预集成和预验证、上电后的设备自动发现、统一的维护管理，端到端的简化了业务交付：简化安装：硬件预置安装，软件预置集成，设备进场后开箱即用。简捷交付：设备上电自动发现，参数自动配置，实现业务快速上线。简单维护：统一界面管理，故障主动排查，简化日常运维。优化FusionCube通过采用业界领先硬件，以及分布式存储软件，为应用提供最优的业务体验：存储优化：通过内置分布式存储，为数据库应用提供了高并发、高吞吐量的存储服务。网络优化：支持25GE网络，提供高带宽的交换网络开放FusionCube是基于开放的超融合架构构建的基础设施平台，不绑定特定的上层

28、应用，可以为业界主流虚拟化平台、数据库等提供计算、存储和网络资源：兼容主流虚拟化平台（FusionSphere，VMware vSphere）。一套系统同时支持物虚拟化和数据库混合部署。产品架构华为FusionCube总体架构主要由：硬件平台、分布式存储软件、安装部署和运维管理平台、虚拟化平台以及相应的备份容灾方案，其中虚拟化平台支持华为自研的FusionSphere虚拟化平台以及Vmware虚拟化平台。另外,FusionSpere场景下，FusionCube支持混合部署方案，在支持FusionSphere虚拟化平台外还能同时支持物理节点部署，为系统数据库提供相应的计算、存储和网络资源。华为F

29、usionCube总体架构详细构成如下图所示：华为FusionCube总体架构华为FusionCube总体架构组件说明名称说明FusionCube CenterFusionCube的管理软件，管理其中的虚拟化资源、硬件资源，提供系统监控管理和运维管理等功能。FusionCube Builder提供现场快速安装部署FusionCube系统软件，可用于现场更换虚拟化平台软件或者更新版本。FusionCube分布式存储使用分布式存储技术，通过合理有序组织服务器的本地硬盘，提供高性能高可靠的块存储业务。虚拟化平台支持华为自研FusionSphere虚拟化平台和Vmware虚拟化平台，提供系统虚拟化管理

30、平台。备份软件用于备份系统业务虚拟化，主要包括自研的备份软件eBackup和第三备份软件Veeam、CV、爱数等主流备份软件。容灾软件提供基于存储双活和存储异步复制的容灾方案，容灾软件主要采用自研BCManager和UltraVR硬件平台服务器使用1288H V5/2288H V5/2488H V5机架服务器，支持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，计算、存储都在服务器内部署完成，支持GPU，SSD PCIe等IO加速扩展，支持丰富的交换模块10GE/IB，根据业务要求灵活配置。FusionCube遵循开放架构标准，融合服务器、分布式存储及网络交换机为一体，并预集成了分布

31、式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。 HYPERLINK l _ZH-CN_TOPIC_0207594211 o 3.1 FusionSphere场景架构 HYPERLINK l _ZH-CN_TOPIC_0207594330 o 3.2 Vmware场景架构FusionSphere场景架构FusionCube 6.0版本中FusionSphere虚拟化场景采用KVM虚拟化架构，系统主要由华为自研硬件平台或兼容适配的第三方服务器、FusionCube分布式存储系统、FusionSphere虚拟化平台以及FusionCube Center管理平台构成，其中FusionCu

32、be Builder提供相应额软件安装操作。配套软件eBackup、Veeam、UltraVR等可以给系统提供备份、容灾等高级特性。架构在FusionSphere虚拟化的部署中，FusionCube分布式存储软件直接部署在Hypervisor内核中，节点的HDD和SSD Cache存储介质通过FusionCube分布式存储软件构造成系统共享的存储池资源，同时FusionSphere虚拟化平台将节点的计算资源虚拟提供给节点上的业务虚拟机使用。根据节点提供的功能特性差异，又分为管理融合节点、存储融合节点、计算节点和物理数据库节点，详细的节点架构如下图：Fusionsphere场景节点架构Fusio

33、nSphere场景各类节点说明名称说明部署原则MCNA（管理节点）具有管理功能的节点，其上部署了VRM、FCC/FSM等管理虚拟机。同时也可提供存储和计算功能必须部署2个。SCNA（存储计算节点）具有存储、计算功能的节点。提供FusionCube分布式存储HDD磁盘以及SSD Cache存储资源以及虚拟化计算资源根据需要部署1个多个。CNA（计算节点）具有计算功能的节点。只能提供虚拟化计算资源根据需要部署0个多个。DBN（数据库节点）物理部署节点，可提供系统数据库计算资源根据需要部署0个多个。典型配置FusionCube 6.0版本中FusionSphere虚拟化场景可支持大容量的HDD+SS

34、D Cache混合部署场景以及高性能的全SSD部署场景。具体的场景配置具体如下：混合部署场景节点典型配置：配置项典型配置说明服务器类型机架服务器/刀片服务器/高密服务器等服务器根据客户对机柜空间、磁盘大小、密度、PCIE网卡数量等选择合适的服务器类型；机架服务器：优势为灵活，支持各类硬盘类型，预留多个PCIE槽位，支持GPU卡。不足是空间占用大；刀片服务器：优势为集成度高，可支持计算、存储、网络集成在一个机柜内。不足是只支持2.5寸硬盘，单节点容量偏小，节点网卡配置固定；高密服务器：优势为存储计算密度高，4U4或2U4节点，节点支持2块系统盘以及3.5或2.5寸硬盘类型；不足是后置PCIE槽位

35、不足，且不支持GPU卡；CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘2T/4T/6T/8T SATA盘，1.2T/1.8T/2.4T SAS盘操作系统盘默认为2*600GB SAS盘FusionCube分布式存储要求SATA/SAS盘必须要采用3副本或者EC配比为N+2及以上的冗余策略。FusionCube分布式存储在部署过程中会占用3个节点上的一块磁盘用于存放ZK元数据。Cache华为自研NVME SSD V5盘或卡；华为自研S

36、AS SSD V5盘；系统的cache大小可根据客户业务压力灵活配置，一般默认配置为800GB NVME SSD V5盘/卡，缓存主存比建议=3%；Cache类型出华为自研的NVME SSD和SAS SSD外，还可支持Intel、三星、镁光等完成兼容性验证的SAS/SATA SSD盘。网卡2*10GE+2*10GE默认推荐管理、业务共用2*10GE网口，存储网络平面独占2*10GE网口，如果配置了容灾，则建议再增加2*10GE网口用于复制网络平面。全闪存部署场景节点典型配置：配置项典型配置说明服务器类型机架服务器/刀片服务器/高密服务器等根据客户对机柜空间、磁盘大小、密度、PCIE网卡数量等选

37、择合适的服务器类型；机架服务器：优势为灵活，支持各类硬盘类型，预留多个PCIE槽位，支持GPU卡。不足是空间占用大；刀片服务器：优势为集成度高，可支持计算、存储、网络集成在一个机柜内。不足是只支持2.5寸硬盘，单节点容量偏小，节点网卡配置固定；高密服务器：优势为存储计算密度高，4U4或2U4节点，节点支持2块系统盘以及3.5或2.5寸硬盘类型；不足是后置PCIE槽位不足。CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源。磁盘ES3000

38、NVME SSD V5盘； ES3000 SAS SSD V5盘操作系统盘为2*480GB SATA SSD盘或2*600GB SAS盘FusionCube分布式存储默认全闪存场景采用2副本或者EC配比为N+2以上的冗余策略，客户如果要求更高的可靠性也可采用三副本（成本更高）。全闪存磁盘默认采用华为自研盘，推荐采用3DWPD磁盘，业务写入数据量不大场景下，可采用1DWPD磁盘。全闪存场景下，分布式存储ZK元数据放在操作系统磁盘空间上，为满足ZK元数据的性能要求，操作系统推荐采用480GB SATA SSD盘，5节点以上可采用600GB SAS盘（ZK元数据与管理VM不在同节点上）。网卡2*10

39、GE+2*10GE默认推荐管理、业务共用2*10GE网口，存储网络平面独占2*10GE网口，如果配置了容灾，则建议再增加2*10GE网口用于复制网络平面。组网华为FusionCube 6.0版本FusionSphere场景的系统组网包含：管理平面、存储平面、业务平面、BMC平面以及容灾涉及的复制、仲裁平面。详细的组网情况如下：FusionSphere场景系统组网图通信平面类型说明介绍：管理平面：FusionCube系统的管理网络平面，用于系统的业务操作和运维管理，支持TCP/IP协议，支持GE/10GE组网，可以与业务平面共网卡，通过VLAN隔离；存储平面：FusionCube分布式存储节点间

40、数据读写操作网络平面，支持TCP/IP协议、RDMA协议，支持10GE/25GE组网，建议独占网卡，网口配置active-backup模式的网口聚合；业务平面：客户业务通信网络平面，支持TCP/IP协议，支持GE/10GE组网，可以与管理平面共网卡，通过VLAN隔离；BMC平面：服务器设备管理平面，访问FusionCube系统服务器设备的运维管理平台；复制平面：容灾方案中，主备站点间的数据同步网络平面，支持TCP/IP协议，支持GE/10GE组网，建议系统独占网卡，避免与其他网络平面争抢资源；工作原理业务IO流程FusionSphere场景下，业务虚拟机部署在主机KVM虚拟化平台上，存储采用的

41、FusionCube分布式存储资源，虚拟机IO通过SCSI协议，直接与运行在Hypervisor内核中的分布式存储软件进行数据交互，详细业务IO流程参考REF _fig128091439154315 r h图3-4。FusionSphere场景业务IO流程图FusionSphere场景下的节点架构IO路径短，效率更高。业务管理与运维FusionSphere场景下，FusionCube HCI系统支持系统预安装集成能力，系统在出厂时已将系统硬件BIOS和磁盘RAID配置、虚拟化平台、管理软件、分布式存储软件预安装在节点内，客户在接到产品后，上电后可以在短短的几十分钟内完成系统的配置、初始化。客户

42、完成系统初始化后，即可在系统行发放业务虚拟机使用。在FusionCube Center管理页面上，支持业务虚拟机的创建以及虚拟机生命周期的管理，支持对系统硬件、存储、计算资源、虚拟机等监控管理，将系统各个组件的告警汇总统一上报管理，提供系统的一键式运维能力，包括：一键式扩容、升级、日志收件、健康巡检等。虚拟化平台一些高级特性或配置可通过单点登录的方式跳转至虚拟化管理平台FusionCompute页面进行操作，如：计算集群的创建配置、DVS创建和配置、虚拟机高级特性配置等非常用操作。Vmware场景架构FusionCube 6.0版本中Vmware虚拟化场景采用ESXi虚拟化架构，系统主要由华为

43、自研硬件平台或兼容适配的第三方服务器、FusionCube分布式存储系统、ESXi虚拟化平台以及FusionCube Center管理平台构成，其中FusionCube Builder提供相应额软件安装操作。配套软件eBackup、Veeam、BCManager、SRM等可以给系统提供备份、容灾等高级特性。架构在VMware虚拟化的部署中，FusionCube分布式存储软件部署在控制器虚拟机（CVM）中，节点的HDD和SSD Cache存储介质通过VMDirectPath I/O直通给CVM上，然后通过FusionCube分布式存储软件将HDD和SSD Cache构造成系统共享的存储池资源，同

44、时Esxi虚拟化平台将节点的计算资源虚拟提供给节点上的业务虚拟机使用。根据节点提供的功能特性差异，又分为管理融合节点、存储融合节点和计算节点，详细的节点架构如下图：Vmware场景各类节点说明名称说明部署原则MCNA（管理节点）具有管理功能的节点，其上CVM部署了FCC/FSM等管理进程。同时也可提供存储和计算功能必须部署2个。SCNA（存储计算节点）具有存储、计算功能的节点。提供FusionCube分布式存储HDD磁盘以及SSD Cache存储资源以及虚拟化计算资源根据需要部署1个多个。CNA（计算节点）具有计算功能的节点。只能提供虚拟化计算资源根据需要部署0个多个。典型配置FusionCu

45、be 6.0版本中Vmware虚拟化场景可支持大容量的HDD+SSD Cache混合部署场景以及高性能的全SSD部署场景。具体的场景配置具体如下：混合部署场景节点典型配置：配置项典型配置说明服务器类型高密服务器等(停止销售)/机架服务器根据客户对机柜空间、磁盘大小、密度、PCIE网卡数量等选择合适的服务器类型；机架服务器：优势为最灵活，支持各类硬盘类型，预留多个PCIE槽位，支持GPU卡,需要配套两张RAID卡或M.2组RAID1。不足是空间占用大；高密服务器：优势为存储计算密度高，4U4或2U4节点，节点支持2块系统盘以及3.5寸或2.5寸主存盘，前置PPCIE槽位配置SSD Cache以及

46、M.2卡，后置PCIE槽位不足（2个8X槽位），不支持GPU卡。CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源。磁盘2T/4T/6T/8T SATA盘，1.2T/1.8T/2.4T SAS盘操作系统盘默认为2*600GB SAS盘FusionCube分布式存储要求SATA/SAS盘必须要采用3副本或者EC配比为N+2以上的冗余策略，SAS盘可采用2副本、三副本或者EC配比为N+2以上的冗余策略。Cache华为自研SAS SSD V5盘；

47、Intel NVME系统的cache大小可根据客户业务压力灵活配置，一般默认配置为1600GB NVME SSD V5盘；默认要求缓存主存比=3%。网卡2*10GE+2*10GE默认推荐管理、业务共用2*10GE网口，存储网络平面独占2*10GE网口，如果配置了容灾，则建议再增加2*10GE网口用于复制网络平面。全闪存部署场景节点典型配置：配置项典型配置说明服务器类型机架服务器/刀片服务器（停止销售）/高密服务器（停止销售）根据客户对机柜空间、磁盘大小、密度、PCIE网卡数量等选择合适的服务器类型；机架服务器：优势为灵活，支持各类硬盘类型，预留多个PCIE槽位，支持GPU卡。不足是空间占用大；

48、刀片服务器：优势为集成度高，可支持计算、存储、网络集成在一个机柜内。不足是只支持2.5寸硬盘，单节点容量偏小，节点网卡配置固定；高密服务器：优势为存储计算密度高，4U4或2U4节点，节点支持2块系统盘以及3.5或2.5寸硬盘类型；不足是后置PCIE槽位不足CPU/内存配置2*Intel Xeon Gold 5120 Processor8*32GB RDIMM DDR4 2666MHzCPU/内存配置根据客户的业务规格和配置可以动态调整配置，提供更多的计算资源磁盘Intel NVME； ES3000 SAS SSD V5盘操作系统盘为2*480GB SATA SSD盘或2*600GB SAS盘F

49、usionCube分布式存储默认全闪存场景采用2副本或者EC配比为N+2以上的冗余策略，客户如果要求更高的可靠性也可采用三副本（成本更高）。全闪存场景下，分布式存储ZK元数据放在操作系统磁盘空间上，为满足ZK元数据的性能要求，操作系统推荐采用480GB SATA SSD盘，5节点以上可采用600GB SAS盘（ZK元数据与管理VM不在同节点上）。网卡2*10GE+2*10GE默认推荐管理、业务共用2*10GE网口，存储网络平面独占2*10GE网口，如果配置了容灾，则建议再增加2*10GE网口用于复制网络平面。组网华为FusionCube 6.0版本Vmware场景的系统组网包含：管理平面、存储

50、平面、业务平面、BMC平面以及容灾涉及的复制、仲裁平面。详细的组网情况如下：Vmware场景系统组网图通信平面类型说明介绍：管理平面：FusionCube系统的管理网络平面，用于系统的业务操作和运维管理，支持TCP/IP协议，支持GE/10GE组网，可以与业务平面共网卡，通过VLAN隔离；存储平面：FusionCube分布式存储节点间数据读写操作网络平面，支持TCP/IP协议、RDMA协议，支持10GE/25GE组网，建议独占网卡，网口配置active-backup模式的网口聚合；业务平面：客户业务通信网络平面，支持TCP/IP协议，支持GE/10GE组网，可以与管理平面共网卡，通过VLAN隔

51、离；BMC平面：服务器设备管理IP平面，访问FusionCube系统服务器设备的运维管理；复制平面：容灾方案中，主备站点间的数据同步网络平面，支持TCP/IP协议，支持GE/10GE组网，建议系统独占网卡，避免与其他网络平面争抢资源；仲裁平面：容灾双活方案中，业务站点与仲裁站点之间的网络通信平面，支持支持TCP/IP协议，支持GE/10GE组网。工作原理业务IO流程Vmware场景下，FusionCube分布式存储软件部署在控制器虚拟机（CVM）中，节点的HDD和SSD Cache存储介质通过VMDirectPath I/O直通给CVM上，通过FusionCube分布式存储软件将HDD和SSD

52、 Cache构造成系统共享的存储池资源，存储通过ISCSI协议将卷设备挂载到主机上供业务虚拟机使用。详细业务IO流程参考下图：Vmware场景业务IO流程图Vmware场景下分布式存储软件运行在CVM上，IO路径更长。业务管理和运维Vmware场景下，FusionCube HCI系统在出厂时已将系统硬件BIOS和磁盘RAID配置，客户在接收产品上电后，可以通过FusionCube Builder安装工具快速完成安装部署的参数设置，完成Esxi、CVM虚拟机OS、FusionCube Center管理平台、分布式存储软件安装等系统的软件安装。完成系统安装部署后，客户在FusionCube Cen

53、ter管理平台界面上对系统进行配置、然后完成系统的整体初始化。系统需要接入vCenter进行管理，如果客户已有vCenter，则可以直接将系统接入即可，如果客户没有，则可以在系统上部署vCenter管理虚拟机，再将系统接入到vCenter上。日常业务管理运维过程中，客户业务管理发放统一在vCenter上进行操作，客户在vCenter Server上进行创建管理虚拟机，主机集群等虚拟化平台相关操作管理也均在vCenter上操作。系统的运维管理则统一在FusionCube Center上操作，系统会将硬件设备、存储的告警汇总上报管理，但不包含Esxi虚拟化平台的错误告警，由vCenter Serv

54、er进行管理。FusionCube Center可以提供系统的一键式运维能力，包括：一键式扩容、日志收件、健康巡检等。支持Vmware VAAIVAAI是“vStorage APIs for Array Integration”的缩写，VMWare为提升虚拟化的性能将一系列与存储相关的操作卸载到存储设备提出了一系列API标准，需要存储设备按规范实现这些API。FusionCube分布式存储实现了以下特性的API：Copy offloadCopy offload 也被称作Full Copy 或Clone Blocks。当虚拟机克隆或根据模板创建虚拟机时，涉及到大量数据块的拷贝。通过Copy of

55、fload，不需要在ESXi服务器端进行拷贝，而是在存储端离线进行，从而降低ESXi服务器端资源开销。也可用在存储vMotion场景。Copy offload 示意图Block Zeroing创建虚拟机时对虚拟磁盘立即清零是比较安全的，且后续使用性能没有性能下降。通过Block Zeroing 大大减少ESXi主机与存储设备间的交互。Block Zeroing 示意图Automatic Test and Set(ATS)VMFS文件系统允许多主机对同一共享逻辑卷的并发访问，这是vMotion运行的必要条件。VMFS有一个内置的安全机制，防止虚拟机被超过一台的主机同时运行或修改。 vSphere

56、采用“SCSI预留”作为其传统文件锁定机制，这种方式在某项存储相关的指令操作期间，比如增量快照增长或发生时，均使用 “RESERVE SCSI”命令锁定整个逻辑卷。这有助于防止冲突，不过也拖延了存储工作的完成，因为主机必须等待逻辑卷的解锁命令 “RELEASE SCSI”才能继续写入。使用ATS命令是一种硬件辅助的锁定机制，可以离线地对存储阵列 加锁，这样就可以对个别磁盘数据块而非整个逻辑卷。这样可以使得余下的逻辑卷在锁定期间继续被主机访问，十分有助于避免性能下降。该功能同时通过VMFS 数据存储，允许同一集群中部署更多的主机，以及更多的虚拟主机部署在同一个逻辑卷上。Automatic Tes

57、t and Set 示意图UNMAP/Reclaim commandVMFS 是文件系统，而下层为块。当删除或迁移虚拟机后，VMFS端看空间大，而下层未做实际的空间回收。当存储层提供API供VMFS调用，ESXi通过该接口通知下层回收空间。下层实现接口后，当虚拟机从一个DataStore迁走或删除立即调用该接口，阵列上的空间立即被回收。UNMAP 示意图分布式存储FusionCube内置分布式存储为业务提供存储服务，FusionCube分布式存储提供是块存储设备，采用独特的并行架构、创新的缓存算法、自适应的数据分布算法，既消除了热点也提高了性能，并且能够以超快的重建时间实现自动化自修复，提供卓

58、越的可用性和可靠性。线性扩展和弹性FusionCube分布式存储采用全分布式DHT架构，将所有元数据按规则分布在各节点，避免了元数据瓶颈，支持线性扩展。FusionCube分布式存储采用了独特的数据分块切片技术，以及基于DHT Hash的数据路由算法，可以将卷的数据均匀的分散到较大的资源池故障域范围内，使得每个卷可以获得更大的IOPS和MBPS性能，也使得每个硬件资源的负载相对均衡。高性能FusionCube分布式存储免锁化调度的IO软件子系统，彻底解决了分布式锁冲突，使得IO路径上无需进行任何锁操作和元数据查询，IO路径短、时延低；分布式的无状态机头，可以充分发挥各个硬件节点的能力，大大提升

59、了系统的并发IOPS和并发MBPS。同时FusionCube分布式存储采用分布式的SSD cache技术，配合大容量的SAS/SATA盘做主存，使得系统的性能可以具备SSD的性能和SAS/SATA的容量。高可靠性FusionCube分布式存储支持多种数据冗余保护机制，如2副本、3副本、EC等；在此基础上，FusionCube分布式存储支持设置灵活的数据可靠性策略，允许将不同的副本放在不同的服务器上，保证在服务器故障的情况下，数据仍然不丢失、仍然可访问。同时采用对有效数据分片进行数据的冗余保护，在硬盘、服务器故障的时候，能够对有效数据进行并行重建，1TB硬盘的重建时间小于30分钟，大大增强系统的

60、可靠性。丰富的存储高级功能精简配置，当用户对卷进行写操作时才分配实际物理空间，来为用户提供比物理存储资源更多的虚拟存储资源。卷快照，将用户的逻辑卷数据在某个时间点的状态保存下来，作为快照点；快照不限次数且性能不下降。链接克隆，基于增量快照提供链接克隆，一个快照可以创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。 HYPERLINK l _ZH-CN_TOPIC_0207594150 o 4.1 架构概述 HYPERLINK l _ZH-CN_TOPIC_0207594178 o 4.2 关键业务流程 HYPERLI