招行北京分行FusionStorage分布式存储技术建议书

招行北京分行FusionStorage 分布式存储技术建议书文档版本 01发布日期 2014-9-15华为技术有限公司版权所有 ? 华为技术有限公司 2014。保留一切权利。非经本公司书面许可， 任何单位和个人不得擅自摘抄、 复制本文档内容的部分或全部， 并不得以任何形式传播。商标声明和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。由于产品版本升级或其他原因， 本文档内容会不定期进行更新。 除非另有约定， 本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密华为技术有限公司地址： 深圳市龙岗区坂田华为总部办公楼 邮编：518129网址： 客户服务邮 support@箱：客户服务电 4008302118话：TableofContents目录TableofContents目录....................................................................................................31项目概述.....................................................................................................................41.1项目背景.....................................................................................................................41.2项目需求.....................................................................................................................52项目技术方案..............................................................................................................52.1方案整体架构..............................................................................................................52.1.1软硬件部署图...................................................................................................52.1.2硬件平台...........................................................................................................82.1.3FusionStorage分布式存储系统概述................................................................82.1.4FusionStorage分布式存储系统详细描述......................................................分布式机头.............................................................................................分布式缓存.............................................................................................集群元数据管理.....................................................................................多数据副本.............................................................................................数据一致性.............................................................................................快速数据重建.........................................................................................掉电保护.................................................................................................132017-9-13 华为机密，未经许可不得扩散 第3页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密2.1.5云管理平台.....................................................................................................基于角色访问控制.................................................................................物理资源管理.........................................................................................物理设备接入协议.................................................................................虚拟化资源管理.....................................................................................资源集群管理.........................................................................................虚拟负载均衡管理.................................................................................自动化运维.............................................................................................监控管理.................................................................................................计量管理.................................................................................................0安全管理.........................................................................................242.2系统部署方案............................................................................................................262.2.1总体组网方案.................................................................................................262.2.2与客户网络对接.............................................................................................272.2.3一体机2层模式连接用户网络.......................................................................282.3系统可靠性分析........................................................................................................292.3.1数据持久度分析.............................................................................................292.3.2可靠性场景分析.............................................................................................292.4系统关键数据备份.....................................................................................................303系统软硬件配置清单及说明......................................................................................31项目概述1.1项目背景招行北京分行准备采用虚拟化与云计算技术来构建 IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：存储资源弹性问题： 多业务负载、资源的动态需求变化存储扩展的问题： 共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、2017-9-13 华为机密，未经许可不得扩散 第4页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密CPU/Cache与HDD不同步问题）形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨room），硬盘重建的时间问题针对上述问题，建议使用FusionStorage分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，做为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务，同时兼顾文件和对象存储服务。工程计划利用建设的分布式存储（采用 X86服务器介质）代替原虚拟化计算平台使用的集中式 FCSAN存储系统，系统建设裸存储容量 2048T，并通过规范接口纳入集团云管理平台统一管理。1.2项目需求起配3台RH2288H，用于开发测试环境。项目技术方案2.1方案整体架构2.1.1 软硬件部署图Figure图1RH2288H+FusionStorage 软硬件部署图2017-9-13 华为机密，未经许可不得扩散 第5页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密FusionCube虚拟化一体机管理节点部署如下。1)FusionManager：负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，提供基于 web的统一维护界面；整个系统的业务通过云管理FusionManager呈现，诸如用户管理、集群管理、业务模板管理、虚拟机管理、统一硬件管理、告警、监控等功能均由 FusionManager对外提供。2)FusionCompute：负责云平台计算资源虚拟化和资源分配，包括 VRM和CNA两部2017-9-13 华为机密，未经许可不得扩散 第6页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密分。VRM:VirtualResourceManagement虚拟资源管理软件，负责虚拟资源的管理，可管理多个逻辑集群；将物理资源 (计算、存储、网络等 )转换成可动态调整的虚拟资源，供虚拟机使用；CNA：计算节点代理，在每个需要虚拟化的服务器上物理部署，提供虚拟化功能；3)FusionStorage：分布式云存储，包括 FusionStorageManager和FusionStorageAgent两部分。FusionStorageManager：存储管理软件， FusionCube使用分布式云存储技术，通过合理有序组织服务器的本地硬盘，提供高性能高可靠的块存储业务。FusionStorageAgent:存储节点代理，在每个需要虚拟化的服务器上物理部署，用于访问FusionStorage分布式存储池资源的代理；管理节点FusionManager(FM)、VRM(FusionCompute)部署在虚拟机上，需要占用 2台物理服务器做主备。其中 FusionManager、UHM合部在同一台虚机中， VRM部署一台虚机中，都是主备部署。管理服务器命名为 MCNA节点，其余为提供计算资源的服务器命名为 CNA。管理节点使用两块本地硬盘做 RAID1做管理节点虚机的存储。 其他本地硬盘在 FusionStorage软件组织下，提供分布式存储池，用于业务虚拟机。管理节点主备占用两台服务器，管理服2017-9-13 华为机密，未经许可不得扩散 第7页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密务器剩下的计算资源可以给业务虚机使用。一套FusionCube系统中至少需部署3个存储节点，除2-3块系统使用外，所有服务器的本地硬盘都可组成分布式存储池，非管理节点刀片可用于部署应用虚拟机，应用虚拟机使用FusionStorage分布式存储池资源。管理、计算和存储服务器可以混合部署，减少服务器的数量。2.1.2 硬件平台硬件平台由通用 X86服务器组成，服务器要求内存最小为 64GB,每台服务器可配置 1块及以上的PCIE-SSD卡、SSD固态硬盘或者NvDimm条。每服务器的硬盘数量 >=4。本次项目采用 FusionCube大容量存储服务器，该服务器可以配置 1～2张高性能的PCIE-SSD卡做读写缓存，同时每台服务器可以配置 12块大容量SATA盘为分布式存储提供服务。2.1.3 FusionStorage 分布式存储系统概述传统的SAN存储目前正被业界广泛使用，但 SAN有其固有缺点：成本高：必须独立的机头IOPS受限：热点数据存在瓶颈，导致 IOPS低下重建时间长：重建期间引入数据丢失风险容量有限：受集中式机头性能限制，总容量受限管理复杂：需要单独的管理系统FusionStorage分布式存储系统可有效解决 SAN存储带来的这些问题。 它采用新一代分布式存储架构和大规模并行的分布式网格存储技术，使用了“横向扩展 ”的存储架构，利用分布式多节点网格并行分担存储负荷， 并通过细粒度数据分布算法保证数据的恒定均衡分布， 它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。简单地说， FusionStorage总体思想是通过在服务器上部署该软件，可以将所有服务器的本机磁盘组织成一个虚拟存储资源池，卷被切片分割打散到整个资源池所有硬盘中，达到细粒度，高并发存取数据的目的。2017-9-13 华为机密，未经许可不得扩散 第8页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密Figure图1FusionStorage 分布式存储原理FusionStorage分布式存储具有如下优点：高IOPS,低时延：应用大容量 Cache技术，提升 IOPS；卷被切片分割打散到整个资源池所有硬盘中， 条带化宽度增加，单卷可获得的性能大幅提升；访问均衡，无热点 ,资源池中各节点的利用率相同；无需预先设置固定 RAID组，大资源池适应应用负载的动态变化；应用程序通过 Cache直达存储，时延更低；无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制；无级扩容：分布式机头 (每server服务器相当于一个机头 )，无性能瓶颈，可无级扩容非烟囱式扩展：存储与计算同步平滑扩展。即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。管理简单：结构简单带来管理简单；免于低层配置管理： FusionStorage与FusionCube集成，仅需要做应用层面的管理，免去大量2017-9-13 华为机密，未经许可不得扩散 第9页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密低层配置管理事务。零性能管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。数据重建快：并行重建速快；数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问。数据分片在资源池内打散， 硬盘故障后，可在全资源池范围内自动并行重建， 仅重建实际数据，无需热备盘； 重建1TB数据时间 <30分钟。2.1.4 FusionStorage 分布式存储系统详细描述FusionStorage通过分布式架构把分散的、低速的 SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比 SAN设备更高的IO能力，把性能发挥到极致。FusionStorage系统软件架构FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。 在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。2017-9-13 华为机密，未经许可不得扩散 第10页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密存储集群在IO过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点。同时存储节点会将每台服务器上的缓存设备划分成读写缓冲去， IO直接写到cache中就项主节点返回。当缓冲区达到一定的水位后， 存储节点会自动将缓冲区的数据刷到主存设备 （机械硬盘/SSD）上。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的 CPU资源，提供比集中式机头更高的 IOPS分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage支持将服务器 SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后， IO立即返回。同时 IO也会数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的 SATA硬盘，FusionStorage仍然可以发挥很高的 IO性能，整体性能提升1~3倍，同时提供更大的有效容量。FusionStorage支持PCIeSSD用作数据缓存，除具备通常的写缓存外， 增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。集群元数据管理FusionStorage分布式存储软件的元数据服务采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来， 不影响整个系统业务的使用。 本次项目建议采用3台独立服务器做元数据。多数据副本FusionStorage存储系统中没有使用传统的 RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片2017-9-13 华为机密，未经许可不得扩散 第11页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密后的数据按照一定的规则保存集群节点上。如下图所示，对于服务器Server1的磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1’，P1和P1’构成了同一个数据块的两个副本。FusionStorage多数据副本数据一致性数据一致性的要求是：当应用程序成功写入一份数据时，后端的几个数据副本必然是一致的，当应用程序再次读时，无论在哪个副本上读取，都是之前写入的数据。保证多个数据副本之间的数据一致性是FusionStorage的重要特点，FusionStorage采用强一致性复制技术确保各个数据副本的一致性。FusionStorage还支持ReadRepair机制。ReadRepair机制是指在读数据失败时，会判断错误类型，如果是磁盘扇区读取错误，可以通过从其他副本读取数据，然后重新写入该副本的方法进行恢复，从而保证数据副本总数不减少。快速数据重建FusionStorage内部具备强大的数据保护机制。数据存储时被分片打散到多个节点上，这些分片数据支持分布在不同的存储节点、 不同的机柜之间， 同时数据存储时采用多副本技术， 数据会自动保存多份，每一个分片的不同副本也被分散保存到不同的存储节点上。在硬件发生故障导致数据不一致时，FusionStorage通过内部的自检机制，通过比较不同节点上的副本分片，自动发现数据故障。发现故障后启动数据修复机制，在后台修复数据。由于数据被分散到多个不同的存储节点上保存，数据修复时，在不同的节点上同时启动修复，每个节点上只需修复一小部分数据，多个节点并行工作，有效避免单个节点修复大量数据所产生的性能瓶2017-9-13 华为机密，未经许可不得扩散 第12页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密颈，对上层业务的影响做到最小化。数据故障自动恢复流程如下图所示。FusionStorage 数据重建流程FusionStorage支持并行、快速故障处理和重建：数据分片在资源池内打散，硬盘故障后，可在资源池范围内自动并行重建。数据分布上支持跨服务器或者跨机柜，不会因某个服务器或者机柜故障导致的数据不可访问。扩容时可以自动进行负载均衡，应用无需调整即可获得更大的容量和性能。掉电保护系统运行过程中可能会出现服务器突然下电的情况， FusionStorage使用保电介质来保存元数据和缓存数据，以防掉电而丢失。FusionStorage支持的保电介质包括 NVDIMM 内存条、PCIeSSD卡、SSD固态硬盘。程序运行过程中器会把元数据和缓存数据写入保电介质中， 上电后恢复保电介质中的元数据和缓存数据。2.1.5 云管理平台华为云管理平台聚焦于数据中心虚拟化资源管理、自动化运维发放、并对企业 IT管理提供开放的管理接口。 华为云管理系统将整个数据中心云化， 并对系统中用户可见的资源抽取出来纳入统一的资源池管理， 为用户提供一体化的资源管理， 自动资源发放。为用户提供了方便的获取资源的途径。 用户可以通过在服务目录自动化的获取资源并在资源上部署用户需要的应用。华为云管理平台系统架构如下图：2017-9-13 华为机密，未经许可不得扩散 第13页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密Figure图1华为云管理平台系统架构参考方框内是FusionManager云管理平台的功能模块。 “虚拟化管理”可以采用华为的虚拟化管理软件 FusionCompute，也可以采用其他厂家的，如 VMware的VCenter+Vsphere等。云管理软件从软件层面拉通统一各资源管理。 FusionManager云管理平台负责全系统硬件和软件资源的操作维护管理，用户业务的自动化运维。主要功能包括：基于角色访问控制基本角色的访问控制是指为管理员在不同域和组织上分配不同的角色， 从而实现对管理员的权限控制。管理员可以通过用户、 角色和组织的管理， 使不同用户在不同的组织的操作相互独立，实现数据隔离。用户管理第三方认证配置FusionManager系统中，管理员可以配置第三方认证 AD服务器，配置服务器之后，即可将 AD服务器的用户加入系统中。加入系统的AD服务器用户可以作为 FusionManager系统的管理员。当第三方认证用户登录 FusionManager时，在AD服务器上完成密码验证。2017-9-13 华为机密，未经许可不得扩散 第14页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密密码管理管理员可以通过配置密码最小长度、是否包含特殊字符、是否包含用户名、密码修改的重复次数等，灵活设置密码策略，以保证密码的安全性。角色管理角色定义的好处管理员可以通过角色定义不同的权限组合，方便对不同用户授予不同的权限。默认角色FusionManager系统提供了六种默认角色。默认角色包括系统超级管理员、系统操作员、系统查看员、资源管理员、业务管理员和组织管理员。角色类型--

业务管理员类业务管理员类的角色只能拥有应用模板管理、组织资源、应用管理等权限。业务管理员只能查看和管理所在组织中的资源和用户。FusionManager为业务管理员提供了独立的 Portal，供业务管理员管理组织资源。系统管理员类系统管理员类的角色可以拥有系统管理、资源管理、故障管理类的权限。系统管理员可以查看和管理系统资源和用户。FusionManager为系统管理员提供了独立的Portal，供系统管理员管理系统资源。组织管理资源的组织管理组织与虚拟资源关联，管理员可以将 vDC划分给具体的组织。用户的组织管理2017-9-13 华为机密，未经许可不得扩散 第15页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密组织与用户关联，当管理员将vDC划分给组织后，组织内部的管理员可以根据角色对vDC进行管理。组织是针对业务管理员定义的。业务管理员和组织的对应关系是多对一。每个组织中的业务管理员只能查看和管理己所在组织中的资源。单点登录当管理员登录FusionManager系统后，如果需要登录FusionCompute，管理员不需要再次输入用户和密码，可以直接访问FusionCompute的管理界面。物理资源管理FusionManager系统支持机框、服务器、存储设备和交换机等物理设备的管理。 在FusionSphere解决方案中，物理设备需手工方式导入 FusionManager系统。物理设备接入协议FusionManager系统可以接入服务器、存储和交换机设备。服务器管理查看服务器信息FusionManager提供查看服务器的名称、管理 IP地址、BIOS、CPU主频个数、内存大小、硬盘容量、网卡个数和网口个数等信息。服务器操作管理在FusionManager系统中，可以对服务器进行上电、安全下电、强制下电、安全重启、进入维护模式和退出维护模式等操作。服务器监控管理在FusionManager系统中，可以监控服务器的如下指标： CPU占用率、内存占用率、网络流出、网络流入、磁盘I/O写入、磁盘I/O读出和服务器状态等。同时，您还可以按周、月、年及自定义时段查询性能监控结果，您也可以导出查询结果。网络设备管理查看交换机信息FusionManager提供查看交换机的名称、管理 IP地址、型号、类型和状态等信息。查看交换机端口连接状态2017-9-13 华为机密，未经许可不得扩散 第16页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密在FusionManager系统中，可以查看交换机每个端口的编号、状态、发送速率、接收速率、发送丢包率、接收丢包率、发送错误率和接收错误率等信息。网络配置管理在FusionManager系统中，您可以对系统网络进行配置和管理，包括外部网络、组织网络和服务器BMCIP池等。存储系统管理查看存储系统的配置信息FusionManager提供查看存储系统的名称、状态和磁盘数量等信息。存储设备的监控管理在FusionManager系统中，您可以查询存储系统的总容量和可用容量等。虚拟化资源管理虚拟化资源管理是指在 FusionManager系统中，管理员可以统一管理不同系统提供的虚拟资源，包括虚拟机资源、虚拟网络资源和虚拟存储资源等。虚拟机生命周期管理创建虚拟机FusionManager系统中，管理员可以通过以下方式创建虚拟机：创建应用。使用虚拟机模板创建虚拟机。自定义方式创建虚拟机。克隆方式创建虚拟机。销毁虚拟机管理员可以通过删除应用来销毁虚拟机，将不再使用的虚拟机销毁，以释放系统资源。虚拟机操作管理管理员可以通过对一个或多个虚拟机，执行启动/唤醒、安全重启、强制重启、休眠、安全关闭和强制关闭等操作。迁移虚拟机2017-9-13 华为机密，未经许可不得扩散 第17页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密管理员可以将虚拟机从一台主机上迁移到另一台主机上。修复虚拟机虚拟机操作系统异常后，管理员可以对虚拟机进行修复。修复虚拟机不会影响用户数据，确保用户信息不丢失。创建虚拟机快照虚拟机快照可保留虚拟机某一个时刻的状态，当虚拟机出现故障时，管理员可以使用快照将虚拟机恢复到创建快照的时刻点。虚拟机资源调整管理员可以根据业务负载调整资源的使用情况。虚拟机资源调整包括：调整虚拟机的QoS配置了虚拟机CPUQoS后，当虚拟机启动时，系统会根据当前资源使用情况为虚拟机的VCPU绑定物理CPU，直到虚拟机关机。--

调整虚拟机 CPU数目管理员可以根据需要，增加或者减少虚拟机的CPU核数，以便满足虚拟机上业务负载发生变化时，对计算资源的不同需求。调整内存大小管理员可以根据需要增加或者减少虚拟机的内存容量，以便满足虚拟机上业务负载发生变化时对内存的需求。----

增加或修改虚拟磁盘管理员通过增加虚拟磁盘或修改磁盘容量，满足业务对虚拟机磁盘容量变化的需求，实现存储资源的灵活使用。删除虚拟磁盘管理员通过删除虚拟磁盘，释放不使用的磁盘空间，满足业务对虚拟机磁盘容量变化的需求，实现存储资源的灵活使用。增加或修改网卡管理员通过增加虚拟网卡或修改网卡属性，调整虚拟机的网络属性，实现网络资源的灵活使用。删除网卡管理员通过删除虚拟网卡，释放不使用的网卡，实现网络资源的灵活使用。2017-9-13 华为机密，未经许可不得扩散 第18页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密--

增加USB控制器管理员可以为 VMware虚拟化环境中的虚拟机添加 USB控制器，添加 USB控制器后，虚拟机就可以绑定 USB设备。删除USB控制器管理员可以为 VMware虚拟化环境中的虚拟机删除 USB控制器，以释放虚拟机所占用的USB控制器资源。- 绑定或解绑定 USB设备管理员将虚拟机与主机上的 USB设备进行绑定，使得虚拟机能够访问 USB设备，满足用户需求。也可以解绑定，及时释放虚拟机占用的 USB设备资源。- 调整虚拟机磁盘的 IO上限管理员可设置虚拟机每个磁盘的 IO上限，以避免某个虚拟机的磁盘 IO过大，影响其他虚拟机的性能。虚拟机性能监控在FusionManager系统中，管理员可以获取虚拟机 CPU占用率、内存占用率、网络流速和磁盘 I/O等信息，还可以按周、月、年及自定义时段查询性能监控结果。虚拟存储管理FusionManager系统可以管理分布式存储系统上的存储资源，以数据存储为单位分配给资源集群使用。资源集群管理资源集群由计算资源、存储资源和网络资源组成。资源集群是对计算、存储、网络等物理资源的分组，资源集群之间是相对隔离的。一个虚拟化环境中可以有多个资源集群。资源集群管理包括创建资源集群、删除资源集群、扩容资源集群、减容资源集群、查询资源集群、资源集群性能监控和资源集群的调度策略等。在 FusionSphere解决方案中，在虚拟化环境（例如FusionCompute或VMware的vSphere）上实现了创建资源集群、删除资源集群、扩容资源集群、减容资源集群功能。在FusionManager实现查询资源集群、资源集群性能监控和资源集群的调度策略等功能。查看资源集群2017-9-13 华为机密，未经许可不得扩散 第19页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密管理员可以在FusionManager上查看资源集群的基本信息，例如资源集群名称、资源集群所属域、资源集群所属虚拟化环境、资源集群所属资源分区、资源集群中的虚拟机、资源集群中主机资源和存储资源等信息。资源集群性能监控管理员可以在 FusionManager上按周、月、年和自定义时间段查询资源集群性能监控。监控指标包含平均 CPU占用率、平均内存占用率、平均网络流速、 TOPCPU占用主机等信息。设置资源调度策略管理员可以在 FusionManager上设置、查看和处理资源调度策略。资源调度是指通过检查资源集群内各个主机的负载情况，当系统发现部分主机负载较重，会自动在不同的主机之间迁移虚拟机（自动）或者给出虚拟机迁移建议（手动），以达到同一资源集群内的不同主机间的负载均衡。虚拟负载均衡管理FusionManager可以为用户虚拟机或主机提供负载均衡服务。 用户通过申请负载均衡服务器，将虚拟机或主机关联到负载均衡器。负载均衡器根据用户设定的负载均衡策略，将业务请求均匀分发到与之关联的虚拟机或主机上，保证业务的稳定性和可靠性。负载均衡器管理管理员可以查询、创建、删除负载均衡器。监听器管理管理员可以在已经创建的负载均衡器上，增加新的监听器。每个负载均衡器中可以创建多个监听器，对外提供服务。绑定虚拟机或主机管理员可以在FusionManager中，将虚拟机或主机绑定到负载均衡器上，以实现绑定虚拟机或主机的负载均衡。负载均衡策略可以选择轮询模式或者最小连接模式。自动化运维管理员还可以针对不同应用设置不同的伸缩策略， 系统自动根据伸缩策略和应用的负载进行2017-9-13 华为机密，未经许可不得扩散 第20页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密资源弹性伸缩调度。应用自动伸缩管理员可以通过对不同的应用设置不同的资源使用策略， 以达到应用自动伸缩的目的。 设置了自动伸缩策略后， 系统会自动根据资源策略和应用的资源占用率对应用进行动态伸缩 （例如，增加或减少该应用的虚拟机），使应用达到最佳资源占有状态。自动伸缩策略包含组内自动伸缩策略、组间自动伸缩策略和计划任务。组内自动伸缩策略组内自动伸缩策略是针对一个应用而言的。当某个应用的 CPU、内存资源的占用率较高，或者磁盘写入 /读取速度、网络流入 /流出速度较高时，系统可以自动为该应用添加虚拟机，并自动安装虚拟机的应用软件，以降低应用的整体资源负载，使应用能够健康的运行。同时，当应用的资源占用率很低时，系统可以自动减少该应用所使用的虚拟机，释放相应的资源，以达到应用间资源的有效复用和节能减排的目的。组间自动伸缩策略组间自动伸缩策略是针对应用组而言的。指当系统 CPU或内存资源不足的情况下，系统自动根据组间设置的资源复用策略，在资源紧张的情况下，自动释放优先级低的资源，以供优先级高的应用使用。计划任务计划任务是针对应用组而言的。时间计划策略允许用户对于不同的应用实现资源的分时复用。用户可以设置计划策略，使得不同的应用分时段的使用系统资源。例如，白天让办公用户的虚拟机使用系统资源，晚上分配资源给公共虚拟机。开放API和SDKFusionManager提供了支持多语言的 SDK包和灵活的API接口，供用户进行二次开发。开放SDKFusionManager 提供多语言 SDK包，供客户进行二次开发，支持 JAVA和Python两种开发语言。2017-9-13 华为机密，未经许可不得扩散 第21页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密FusionManager 同时提供了 SDK接口文档、二次开发指南和开发样例，为客户顺利进行二次开发提供指导。开发APIFusionManager系统提供开放 API，上层网管通过开放 API从FusionManager中获取资源信息，方便上层网管管理员对系统进行管理和维护。接口安全保护上层网管通过 http和https协议与开放API互通。开放API和上层网管对接使用用户名和密码进行认证。为了保证密码传输安全性， FusionManager系统对密码采用了 RSA2048非对称加密。运维数据获取通过开放API接口，上层网管管理员可方便获取 FusionManager 系统的运维管理数据。例如，实时和历史告警数据、资源的实时和历史监控数据等。通过开放API接口，上层网管管理员可方便获取 FusionManager 系统的资源信息。例如，集群资源、服务器资源、交换机资源和虚拟机资源等。资源的操作维护通过开放API接口，上层网管管理员可对FusionManager系统资源进行维护操作。例如，对虚拟机进行启动、停止、重启等操作；对服务器进行上电、下电、重启等操作。监控管理FusionManager提供拓扑管理、性能监控、告警管理、任务中心管理和操作日志管理等监控管理功能。管理员可以通过监控信息，了解整个系统的软件和硬件的运行情况，及时进行故障处理。拓扑管理管理员通过拓扑视图可以查看物理硬件资源视图和虚拟机资源视图，通过拓扑视图可以了解计算、存储、网络以及虚拟资源的逻辑关系。监控管理2017-9-13 华为机密，未经许可不得扩散 第22页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密状态监控管理员可以查看计算资源、存储资源、网络资源和虚拟资源的当前状态，通过仪盘表的视图方式了解系统的软硬件资源，还可以导出历史监控数据。容量监控管理员可以查看计算资源、存储资源、网络资源和虚拟资源等的系统资源容量情况，以便维护人员和管理员可以提前发现扩减容需求，避免资源浪费和过载的发生。告警管理告警管理是指集中监控所有软硬件告警， 包括计算设备告警、存储设备告警和虚拟资源告警。所有软硬件告警统一以列表的方式呈现给管理员。告警分为以下几个级别：紧急：此类故障会影响系统提供的服务，需立即采取处理措施。重要：此类故障会影响系统的服务质量，需要采取紧急处理措施。次要：此类故障不影响服务质量，但为了避免造成更严重的故障，需要在适当时间进行处理或进一步观察。提示：此类故障提示可能有潜在的错误会影响系统的服务质量，需根据不同错误类型进行处理。为了提高管理员告警处理的效率，您可以进行如下告警功能设置：设置告警转邮件：可以设置将相应级别的告警自动转到管理员邮箱，方便管理员及时获取和处理告警。设置告警阈值：可以设置CPU占用率、内存占用率、磁盘I/O、网络流量等告警阈值，在系统资源达到阈值时，产生告警。操作日志管理管理员可以在 FusionManager查询和导出用户操作日志。计量管理FusionManager支持自动将计量数据记录到文件， 并通过FTP和话单服务器对接， 将计量数据上传到话单服务器。2017-9-13 华为机密，未经许可不得扩散 第23页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密计次话单在用户进行虚拟机、块存储、备份和各类网络资源的申请、修改、释放、冻结和解冻等操作时，FusionManager记录相关信息到话单文件，并发送话单文件给话单服务器。审计话单审计话单是对计量话单的补充，在计次信息遗漏时，为计费提供依据。其中，虚拟机的审计话单记录周期可配置，其他资源的审计话单记录周期是 5分钟。负载均衡流量话单FusionManager定时（每隔一小时）记录每个负载均衡器的流量信息到文件，并发送给话单服务器。弹性IP流量话单FusionManager实时收集网络的弹性 IP流量信息，记录到文件，并发送给话单服务器。0安全管理FusionManager提供了全方位的安全体系。包括日志安全管理、账户和密码安全管理、权限管理、WEB安全管理、数据安全管理、操作系统安全管理和防畸形报文攻击安全管理等。日志安全管理管理员通过查看日志了解系统的运行情况和操作记录，从而进行用户行为审计和问题定位。操作日志记录了用户对系统所做的操作以及操作的结果，例如登录、退出系统和创建虚拟机等。记录操作日志，可以快速定位系统是否遭受恶意的操作和攻击。账户和密码管理FusionManager提供常见账户的密码修改功能，管理员可以定期修改密码，保证系统的密码安全性。权限管理FusionManager为管理员提供了功能强大的权限管理功能，使用户在不同的组织和域下进行独立的操作，实现用户数据隔离。从而保证了系统内部资源的安全性。详情请参考5.1基于2017-9-13 华为机密，未经许可不得扩散 第24页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密角色访问控制 。WEB安全管理防范Web应用的基本攻击，如防止 SQL注入，防止跨站脚本攻击。登录页面支持图片验证码。在Web系统的登录页面，系统随机生成验证码；只有当用户名、密码和随机验证码全部验证通过时，用户才能登录。用户第一次登录时没有验证码输入界面， 只有密码输入错误时才会弹出验证码输入界面。长时间不使用 Web管理系统，系统会自动锁定该管理系统。数据安全管理数据库必须进行基础的安全的配置， 保证数据库运行安全， PostgreSQL数据库的主要安全配置如下：记录数据库的操作日志。禁止数据库帐户远程访问数据库，只能本地访问数据库。可通过系统数据备份，备份文件和数据库的数据，可供管理员在系统故障时恢复系统。操作系统安全管理FusionManager系统使用SUSELinux操作系统，为了保证系统安全性。已经对 SUSELinux操作系统进行基础的安全配置，基础安全配置的主要内容如下：关闭不必要的服务，如屏蔽 Telnet服务和FTP服务。加固SSH的服务。控制文件和目录的访问权限。记录操作日志。防畸形报文安全FusionManager系统与终端用户有交互、与非信任网络互联、容易受攻击的等协议，在测试过程中进行了畸形报文攻击测试，使用 Codenomicon 、xDefend进行畸泛洪类、畸形报文攻2017-9-13 华为机密，未经许可不得扩散 第25页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密击测试。从而保证了系统交互的安全性。2.2系统部署方案2.2.1 总体组网方案管理员Internet Intranet防火墙业务网络VRRP管理网络客户数通网络核心交换机业务/管理混合一体机网络FusionCube一体机部署在客户的数据中心机房中；采用 4*10GE上行到客户核心交换机。网络通信平面划分为业务网、管理网。两个网络之间通过 VLAN是隔离的，保证最终用户不能破坏基础平台。采用RH2288H机架服务器。一体机融合计算和存储资源，提供虚拟化资源。每台服务器配置1个2*10GE端口的普通网卡。每个机柜配置 1对S6724交换机+1个S5728（BMC接入），2017-9-13 华为机密，未经许可不得扩散 第26页,共31页ConfidentialityLevel招行北京分行 FusionStorage 分布式存储系统技术建议书 机密每个机柜支持 12台RH2288H(单柜6kW)；机柜间汇聚交换机可以是客户提供，也可以由华为提供。如果是华为提供可选择 1对S6724作为汇聚交换机（支持 9柜）或者1对S6748（支持20柜）。一体机采用服务器上的本地存储。 本地存储通过 SAS口直接连接到服务器上。 本地存储通过FusionStorage分布式存储软件系统虚拟化成一个大资源池给用户使用。一体机内部网络按照二层网络架构设计， 和客户网络连接可以选择采用二层模式， 二层模式是，子网的网关配置客户网络， 仅将一体机交换机作为接入交换机。 主要应用于要求管理与业务隔离，用户可配置不同子网安全隔离。2.2.2与客户网络对接服务器侧逻辑上分为三个平面：业务平面、存储平面和管理平面，且三个平面之间是隔离的，保证最终用户不能破坏基础平台。存储平面：服务器上存储间通过存储网络二层直接互通。存储设备为虚拟机提供存储资源，但不直接与虚拟机通信，而通过虚拟化平台转化。业务平面：为用户提供业务通道，为虚拟机虚拟网卡的通信平面，对外提供业务应用。可针对不同虚拟机细分VLAN进行访问隔离。管理平面：负责整个云计算系统的管理、业务部署、系统加载等流量的通信。BMC平面主要负责服务器的管理，BMC平面和管理平面隔离。服务器采用2个10GE网口进行组网，业务、管理、存储平面通过两网卡聚合确保链路冗余。外置2个10GE交换机进行接入和汇聚，用于接入机柜内所有机架服务器，以及柜间级联。在交换机上划分VLAN，将管理、业务、存储三个平面逻辑隔离，机柜内交换机再上行汇聚到客户网络中。一体机默认VLAN划分：BMC平面为VLAN4030，管理平面为VLAN4040，存储平面为VLAN4050，业务平面为VLAN2-4000；其中管理平面的子网网段及VLAN划分可根据