华为FusionStorage技术建议书模板(分布式存储)

1、 华为FusionStorage分布式存储技术建议书Huawei Technologies Co., Ltd.华为技术有限公司All rights reserved版权所有 侵权必究FusionStorage分布式存储技术建议书Revision record 修订记录/在提供给客户前需删除本页“修订记录”。 本文档只是供内部参考使用，禁止将本文档原封不动发给客户或代理商。请结合实际项目需要进行必要增删调整。Date日期Revision Version修订版本Change Description修改描述Author作者2014/9/12V1.0初稿完成卢平 002322532014/11/18V

2、1.1评审修改曾祥勇 00159952秦祖福 00172507卢平 00232253Table of Contents 目 录Revision record 修订记录2Table of Contents 目 录31项目概述51.1项目背景51.2项目需求51.3功能需求62项目技术方案62.1FusionStorage总体架构62.2FusionStorage优点概述92.3FusionStorage应用场景102.3.1FusionStorage与FusionSphere融合场景112.3.2FusionStorage与VMware融合场景122.3.3FusionStorage与OpenS

3、tack融合场景133FusionStorage应用中典型硬件平台153.1FusionStorage在机架式服务器上使用153.2FusionStorage在刀片式服务器上使用194FusionStorage应用中网络设计方案204.1总体组网方案204.2在机架式服务器上使用组网方案224.2.1单柜10GE组网224.2.2单柜IB存储组网234.3在刀片服务器上使用组网方案244.3.1虚拟化10GE 刀片服务器组网244.3.2虚拟化IB+SSD组网255服务器数量规划265.1FusionStorage按容量和性能计算服务器数量266FusionStorage产品特性介绍276.1

4、性能卓越276.2高可靠326.3弹性扩展366.4管理简便386.5兼容性407FusionStorage典型应用案例437.1浙江电信选择FusionStorage建设存储资源池437.2华为公司计算云-单资源池5K VM457.3FusionStorage帮助江苏移动CRM系统建设高性能数据库平台467.4华为携手沃达丰打造分布式数据中心487.5华为FusionStorage助力深圳海关加速大数据分析497.6FusionStorage：汇港资讯高效证券交易数据发布云平台建设517.7华为FusionStorage助力BME高效交付股票交易系统528系统软硬件配置清单及说明538.1软

5、件配置538.2硬件配置539缩略语552021-11-15华为机密，未经许可不得扩散第56页, 共56页1 项目概述1.1 项目背景XXX单位准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：l 存储资源弹性问题：多业务负载、资源的动态需求变化 l 存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题） l 形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）l 容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘

6、重建时间长问题 针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。FusionStorage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。1.2 项目需求XXX单位，对存储需求如下，需要根据具体的项目进行修改：序号项目需求描述备注1存储容量要求30T 有效存储容量，SAS磁盘请根据实际需求刷新2性能要求TPMC不小于600万，并发用户量为1000请根据实际需求刷新1.3 功能需

7、求XXX单位，对功能需求如下，需要根据具体的项目进行修改：1、无性能下降智能精简配置2、基于快照的高性能链接克隆3、高性能增量快照技术4、高可靠-多重数据安全保障机制5、高性能、低时延-支持全SSD 存储6、高性能、低时延-支持Infiniband网络互联7、FusionStorage - 全分布式平滑扩展2 项目技术方案2.1 FusionStorage总体架构分布式存储FusionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，

8、具有计算存储高度融合。FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：FusionStorage功能模块:存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等O

9、M功能，同时对用户提供Portal界面。FusionStorage系统软件架构：FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。

10、本地SCSI支持主流的linux操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。存储集群在IO读写过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点；同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区，IO直接写到cache中就向主节点返回。当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓

11、存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage支持将服务器SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后，IO立即返回。同时IO也会将数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升13倍，同时提供更大的有效容量。FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其

12、大容量的优势，进一步提升了系统性能。由于分布式缓存带来的性能优势，IO时延,IOPS都能很好的满足数据库的应用，FusionStorage系统可以支持业界主流的数据库，支持OLAP,OLTP等主流业务。集群元数据管理FusionStorage分布式存储软件的元数据服务采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。多数据副本FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。

13、如下图所示，对于服务器Server1的 磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1，P1和P1构成了同一个数据块的两个副本。2.2 FusionStorage优点概述l 高IOPS,低时延：应用大容量Cache技术，提升IOPS；卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升；访问均衡，无热点,资源池中各节点的利用率相同；无需预先设置固定RAID组，大资源池适应应用负载的动态变化；应用程序通过Cache直达存储，时延更低； l 无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制；无级扩容：分布式机头(每

14、server服务器相当于一个机头)，无性能瓶颈，可无级扩容 非烟囱式扩展：存储与计算同步平滑扩展。即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。l 管理简单：结构简单带来管理简单；免于低层配置管理：仅需要做应用层面的管理，免去大量低层配置管理事务。零性能管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。l 数据重建快：并行重建速快；数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需热备盘； 重建1TB数据时间 < 30分钟。2.3 Fusio

15、nStorage应用场景适合使用FusionStorage的应用场景：l VDI、OA应用。其典型特点是：容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。l 虚拟化环境混合应用。其典型特点是：容量共享需求明显、多应用混合负载、线性扩展。l OLAP应用。其典型特点是：大并发吞吐量，计算和存储带宽要求高。l OLTP应用。其典型特点是：IOPS并发度高。FusionStorage应用场景图：2.3.1 FusionStorage与FusionSphere融合场景FusionStorage适合计算和存储融合的系统，传统的虚拟化方式是在相互分离的计算、存储和网络设备上叠

16、加了一层虚拟化软件。这种方式虽然可以提升资源利用率，但是由于系统的复杂性，并不能简化各类基础设施的运维成本。FusionStorage把计算服务器的本地硬盘组织成一个类似SAN设备的虚拟存储池，对上层应用提供存储功能。 华为云平台FusionSphere主要有虚拟化基础引擎FusionCompute、云管理FusionManager两大组件组成；FusionStorage与FusionSphere融合使用形成华为FusionCube解决方案应用场景，如下图所示：2.3.2 FusionStorage与VMware融合场景FusionStorage与VMware融合使用系统主要由五部分组成：硬件

17、设备、分布式块存储系统，VMware虚拟化平台，统一的云管理平台，备份服务器。VMware与FusionStorage配套使用的系统架构:1、系统初始部署时，在每台部署VMware的服务器上部署一个控制虚拟机，该虚拟机上部署FusionStorage的无状态机头，每个无状态机头上会提供ISCSI的服务端。2、在VMware的ISCSI配置信息中，优先配置本地ISCSI接口信息。VMware的ESXi会根据配置的ISCSI接口信息，扫描FusionStorage的存储信息。可以根据扫描出来的LUN组成DataStore。建议每个DataStore对应一个LUN。3、 创建DataStore后，V

18、Center就可以通过和ESXi的私有协议，创建虚拟机模板和应用虚拟机。FusionStorage与VMware融合使用，在网络部署上需要进行存储节点和计算节点分离部署，不能够融合部署。2.3.3 FusionStorage与OpenStack融合场景FusionSphere Platform在OpenStack的基础上扩展电信运营商和企业建设IT基础设施及业务平台所需要的特性，使用同一套架构同时支撑公有云和私有云的管理，提供了基于OpenStack、ICT统一的开放云平台。FusionSphere Platform保持了OpenStack的开放与兼容性，支持第3方厂商的计算、存储、网络和安全

19、物理硬件，也支持第3方的计算虚拟化、存储虚拟化、网络虚拟化和安全虚拟化产品。在云服务层面，在OpenStack的基础上提供备份、热迁移、亲和性资源调度、电信云定制化扩展、物理资源池等扩展服务；在运维层面，基于OpenStack提供了安装部署、升级/补丁、管理数据备份/恢复、信息收集、健康检查等运维服务。基于OpenStack的FusionSphere解决方案系统架构:组件功能简介OpenStack华为OpenStack是基于开源的OpenStack软件进一步开发的IaaS层软件，提供PaaS层资源和功能，包括虚拟计算服务、对象存储服务、虚拟网络服务、镜像管理、权限管理服务等功能。FusionM

20、anager分为本地数据中心管理和多数据中心管理模块，是华为公司提供的面向PaaS层资源管理的软件，主要提供物理资源、虚拟资源管理和服务，并实现软件服务自动部署等上层应用功能。FusionStorageFusionStorage是一种存储与计算高度融合的分布式存储软件，在通用X86服务器上部署该软件后，可以把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储功能。SAN通用SAN设备，向OpenStack提供存储资源。服务器X86服务器，向OpenStack提供物理的计算资源。与FusionStorage软件结合可提供存储资源。3 FusionStorage应用中典型硬件平台Fusion

21、Storage在通用x86服务器上部署分布式存储软件，把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储接口 3.1 FusionStorage在机架式服务器上使用FusionStorage+机架式服务器，实际项目中每台服务器的CPU型号、内存数量，硬盘个数可根据项目需求配置。机架式服务器硬件图如下：以华为RH2288为例，硬件外观如下图：硬盘位置示意图FusionStorage+机架式服务器有四种刀片类型，MCNA、LCNA、SCNA、CNA。其中MCNA用于部署管理节点；LCNA、SCNA、CNA用于部署用户虚拟机。几个刀片类型说明如下：1、MCNA：管理节点，必配。至少两台服务器

22、，需要配置2P *6核以上CPU，内存至少64G，默认128G。同时作为FusionStorage存储节点。虚拟机部署VRM（4Core/8G内存/50G存储）、FusionManager（4Core/16G内存/280G存储）、这些管理软件采用虚拟机部署，管理虚拟机需要独占本地的两块硬盘提供存储。部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存，FusionStorage管理需要独占一块专门的硬盘。另外配置611个硬盘用于FusionStorage业务存储。2、LCNA：计算和存储节点，必配。同时提供计算和FusionStor

23、age存储能力，可部署用户虚拟机。和SCNA的业务功能相同，区别在于LCNA部署了FusionStorage的MDC软件。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）LCNA节点部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。FusionStorage管理需要独占一块专门的硬盘。另外配置611个硬盘用于FusionStorage业务存储。剩余计算资源可用于部署业务虚拟机。3、SCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用

24、户虚拟机。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。另外配置611个硬盘用于FusionStorage业务存储。剩余计算资源可用于部署业务虚拟机。4、CNA：计算节点，选配。提供计算能力，部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署业务虚拟机。1) 存储虚拟化应用中未使用传统的SAN设备，存储直接使用2288H服务器上的本地硬盘配合

25、高性能SSD卡做读写缓存介质。RH2288H上的本地硬盘根据存储位置，分为前置硬盘和后置硬盘。l 后置硬盘： 2块2.5存SAS盘，用于部署虚拟化Domain0及FusionSphere(或其他虚拟化平台)管理节点VM，根据管理节点的资源消耗，MCNA选择的是600GSAS（FC/FM/FSM管理节点需要消耗约440G的存储空间），LCNA和SCNA均配置300GSAS即可满足要求。l 前置硬盘:选择3.5存SATA盘，物理位置可插12块，支持1T/2T/3T/4T多种配置，可根据用户业务模型选择不同的配置。SSD卡选择华为Tecal ES3000 PCIe SSD高性能存储卡（以下简称ES3

26、000，外观如下图），ES3000为标准的PCIe全高半长插卡，接口类型为PCIe 2.0 x8，适合安装在机架服务器等通用服务器内，适用于搜索引擎、Cache、数据库、视频服务等随机读写操作频繁和IOPS要求较高的业务，具有高性能、高IOPS、高可靠、易维护等优点。ES3000外观2) 交换机每柜配置一对24口10GE交换机S6724，1个GE交换机S5728，多柜间使用48口或24口的10GE交换机S67XX做汇聚。汇聚交换机也可以使用局方的交换机，但网口和数量要求同华为交换机。3.2 FusionStorage在刀片式服务器上使用 FusionStorag+刀片式服务器的物理形态组成，支

27、持计算、存储、交换、电源模块化设计，计算和存储节点按需混配，支持10GE交换模块，根据业务要求灵活配置FusionStorage+刀片式服务器有四种刀片类型，MCNA、LCNA、SCNA、CNA。其中MCNA用于部署管理节点；LCNA、SCNA、CNA用于部署用户虚拟机。几个刀片类型说明如下：1、MCNA：管理节点，必配。至少两台服务器(目前数据库一体机部署MCNA节点只需要一台服务器)，需要配置2P *6核以上CPU，内存至少64G，默认128G。同时作为FusionStorage存储节点。虚拟机部署VRM（4Core/8G内存/50G存储）、FusionManager（4Core/16G内

28、存/280G存储）、FusionAccess管理软件，这些管理软件采用虚拟机部署，管理虚拟机需要独占本地的两块硬盘提供存储。部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存，FusionStorage管理需要独占一块专门的硬盘。另外配置612个硬盘用于FusionSorage业务存储。2、LCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用户虚拟机。和SCNA的业务功能相同，区别在于LCNA部署了FusionStorage的MDC软件。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*

29、2640）和内存配置（至少配置64G，默认128G）部署FusionStorage管理和控制软件，这些软件运行在Domain0，需要1Core CPU，至少25G内存。FusionStorage管理需要独占一块专门的硬盘（用于部署zookeeper进程）。另外配置612个硬盘用于FusionSorage业务存储。部署用户虚拟机。3、SCNA：计算和存储节点，必配。同时提供计算和FusionStorage存储能力，可部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署FusionStorage管理和控制软件，这些软件运行

30、在Domain0，需要1Core CPU，至少25G内存。另外配置612个硬盘用于FusionStorage业务存储，部署用户虚拟机。4、CNA：计算节点，选配。提供计算能力，部署用户虚拟机。根据部署的用户虚拟机规格和内存确定CPU型号（默认2P*2640）和内存配置（至少配置64G，默认128G）部署用户虚拟机。4 FusionStorage应用中网络设计方案注：后续会支持其他厂商的服务器异构，比如HP,DELL,IBM的服务器,本方案中以RH2288和E9000为例进行组网说明，其他服务器的组网与下面的RH2288的组网类似，请根据实际情景进行修改。4.1 总体组网方案1、使用计算和存储融

31、合架构，资源池化，统一运维。 2、业务、存储、管理三网隔离，保证安全，存储网络内部运行，对客户网络部可见。3、虚拟化和桌面云的应用场景使用10GE网络，数据仓库场景使用的情况下使用IB网络。4.2 在机架式服务器上使用组网方案4.2.1 单柜10GE组网接入交换机采用S6724/S6324 接入部署，服务器可采用华为RH5885,RH2288H;其他公司如HP,DELL,IBM的服务器。说明： 1、服务器上默认配置一块2*10GE的网卡，分别与两台10GE交换机连接，两个网口做bond，缺省为负载分担规模 2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分别与两个10G

32、E交换机连接 3、10GE交换机下行承担内部管理、存储、业务平面，10GE上行对接客户网络，默认提供4*10GE，两台10GE交换机堆叠 4、以华为RH2288为例，2m机柜可以部署16台RH2288H，或者部署RH5885服务器6台 5、最大规模16台RH2288H/RH5885服务器，后续扩容需要增加汇聚交换机 4.2.2 单柜IB存储组网说明： 1、服务器上默认配置一块2*10GE的网卡，分别与两台10GE交换机连接，两个网口做bond，缺省为源目的IP和Port负荷分担模式，对应的交换机端口配置eth-trunk2、服务器的BMC 网口与一台GE交换机连接，GE交换机上行两个GE线缆分

33、别与两个10GE交换机连接，对应端口做eth-trunk3、10GE交换机下行承担内部管理、业务平面网络连接，10GE上行对接客户网络，默认提供4*10GE，两台10GE交换机堆叠 4、每台服务器上的两个IB网口分别与两台IB交换机连接，两台IB交换机之间6根线互连，IB网口承担存储平面的通信5、2m机柜可以部署12台RH2288H，或者部署RH5885服务器6台 6、后续扩容需要增加10GE汇聚交换机和IB主干交换机4.3 在刀片服务器上使用组网方案4.3.1 虚拟化10GE 刀片服务器组网说明： 1、每个刀片配置1个2*10GE端口的iNIC网卡或普通10GE网卡（MZ510）； 2、每个

34、机框使用XCUB交换板，通过基本框自级联方式，不使用外置交换机。框间使用4*10GE互联。如果使用华为E9000机框最大支持8框，64个FusionStorage存储节点（CH222）； 3、框内两块交换板通过40G接口堆叠； 4.3.2 虚拟化IB+SSD组网说明： 1、中心框汇聚，10GE和IB交换板，无外置交换机，最大规模7框 2、每扩展框两块10GE交换板与中心框2+2（40GE）互连，内部管理与业务 3、每扩展框两块IB交换板与汇聚框3+3互连，其中直连2根交叉1根IB线，内部存储 4、中心框上行2+2（40GE），外部业务 5、刀片采用计算存储融合方式（CH223），每刀片主要配置

35、：1块2*10GE(MZ510)，1块2*56Gb(MZ611)，2块SSD主存 6、每扩展框存储单面带宽2*56Gb=112Gbps 5 服务器数量规划5.1 FusionStorage按容量和性能计算服务器数量1、1个FusionStorage 存储资源池，两副本情况下最大96块硬盘或者32张SSD卡。三副本情况最大为2000块盘或者300张SSD卡。2、每个存储节点的FusionStorage硬盘或者SSD卡的型号和数目保持相同。如果使用硬盘作主存，则每节点配置建议最小4块硬盘、最多12块硬盘。如果是SSD卡做主存，当前每个节点最少配置1张SSD卡，最多配置2张SSD卡。虚拟化场景下Fu

36、sionStorage单盘/单卡IOPS：Cache类型主存业务侧单盘IOPS假设条件NVDIMMSAS盘2002vCPU，2G内存/OSDCache命中率50%，读写比例4:6，两副本NVDIMMSAS盘1102vCPU，2G内存/OSDCache命中率50%，读写比例4:6，三副本800G SSD卡NLSAS盘1203vCPU，3.5G内存/OSDCache命中率50%，读写比例4:6，三副本400G SSD卡NLSAS盘75NVDIMMSSD卡250006vCPU，2.5G内存/OSDCache命中率50%，读写比例4:6，三副本IOPS计算：对于小块随机场景（如VDI）。基础数据：业务

37、侧单盘IOPS = x ，硬盘数量为n，则卷/应用层面的有效IOPS公式为：总的有效IOPS = x* n容量计算：基础数据：磁盘标称容量 = z ，FusionStorage OSD开销= r ，FusionStorage硬盘数目=m，磁盘空间利用率=q，副本数=k则卷/应用层面的有效容量公式为：总的有效容量 = (z/(1.0243)-r)*q*m/k所需的硬盘数量=max（容量计算的硬盘数目m，IOPS计算的硬盘数目n）举例：某项目要求2000IOPS，20T容量，采用600G SAS盘按IOPS计算，硬盘数y1：基础数据：x = 200则利用上述公式： 2000= 200*y1 y1=

38、10按容量计算，硬盘数y2：基础数据：z = 600G q= 95% k=2 r = 20.7G则利用上述公式：20000 = （600/(1.0243)-20.7）*y2*0.95/2 y2 = 79 （向上取整） 需要的硬盘数N = max（y1,y2）=max(79,9)=796 FusionStorage产品特性介绍6.1 性能卓越FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致。FusionStorage支持使用SSD替代HDD作为高速存储设备，支持使用Infiniban

39、d网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage集群内各服务器节点的硬盘使用独立的I/O带宽，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FusionStorage支持将服务器部分内存用作读缓存，NVDIMM和

40、SSD卡用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升13倍，同时提供更大的有效容量。FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。FusionStorage 计算和存储融合:全局负载均衡FusionStorage的实现机制保证了上层应用对数据的IO操作均匀分布在不同服务器的不同硬盘上，不会出现局部的热点，实现全局复负载均衡。第一，系统自动将

41、数据块打散存储在不同服务器的不同硬盘上，冷热不均的数据会均匀分布在不同的服务器上，不会出现集中的热点。第二，数据分片分配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的均匀分布，换句话说，每块硬盘上的主用副本和备副本数量是均匀的。第三，扩容节点或者故障减容节点时，数据恢复重建算法保证了重建后系统中各节点负载的均衡性。分布式SSD存储FusionStorage支持为高性能应用设计的分布式SSD存储系统，拥有比传统的机械硬盘（SATA/SAS）更高的读写性能。华为SSD卡具有如下特点高带宽：采用PCIe 2.0 x8的接口，提供高达3.0GB的读/写带宽。高IO：4KB数据块，100随机，提

42、供高达600K的持续随机读IOPS和220K的持续随机写IOPS。FusionStorage分布式SSD存储系统通过以下措施增强了可靠性：内嵌的ECC检错/纠错引擎和RAID5引擎, 数据通道间形成二维的检错/纠错机制。内置DATA Scrubbing引擎定时检测存储数据，提前预防数据错误的产生。通道间使用Dynamic RAID算法，实现通道间的资源共享，确保在芯片坏块过多甚至是多个芯片故障的情况下均能正常工作。内部实现冷热数据分类与管理，配合先进的磨损算法，最大程度上提升回收效率，降低写磨损，从而提升SSD的使用寿命。FusionStorage 支持分布式SSD存储系统高性能快照Fusio

43、nStorage提供了快照机制，将用户的逻辑卷数据在某个时间点的状态保存下来，后续可以作为导出数据、恢复数据之用。FusionStorage快照数据基于DHT机制，快照不会引起原卷性能下降。通过一次Hash查找即可判断有没有做过快照，以及最新快照的存储位置，因此效率很高。FusionStorage 快照:高性能链接克隆FusionStorage基于增量快照提供了链接克隆机制，基于一个快照创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。FusionStorage支持1:256的链接克隆比，提升存储空间利用率。Fusi

44、onStorage支持批量进行虚拟机卷部署，能够在秒级批量创建上百个虚拟机卷。克隆卷继承普通卷所有功能：克隆卷可支持创建快照、从快照恢复以及再次作为母卷进行克隆操作。FusionStorage 链接克隆:高速Infiniband网络FusionStorage支持为高带宽应用设计的Infiniband网络，存储交换无瓶颈。56Gbps FDR InfiniBand，超高速互联。标准成熟多级胖树组网，平滑容量扩容。近似无阻塞通信网络，数据交换无瓶颈。纳秒级通信时延，计算存储信息及时传递。无损网络QOS，数据传送无丢失。主备端口多平面通信，冗余通信无忧。单口56Gbps带宽，完美配合极速SSD存储吞

45、吐，性能无限。6.2 高可靠集群管理FusionStorage分布式存储软件采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。集群内选举进程Leader，Leader负责数据存储逻辑的处理，当Leader出现故障，系统自动选举其他进程成为新的Leader。多数据副本FusionStorage存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本。在数据存储前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。如下图所示，对于服务器Server1的 磁盘Disk1上的数据

46、块P1，它的数据备份为服务器Server2的磁盘Disk2上P1，P1和P1构成了同一个数据块的两个副本。FusionStorage 多数据副本:数据一致性数据一致性的要求是：当应用程序成功写入一份数据时，后端的几个数据副本必然是一致的，当应用程序再次读时，无论在哪个副本上读取，都是之前写入的数据。保证多个数据副本之间的数据一致性是FusionStorage的重要特点，FusionStorage采用强一致性复制技术确保各个数据副本的一致性。FusionStorage还支持Read Repair机制。Read Repair机制是指在读数据失败时，会判断错误类型，如果是磁盘扇区读取错误，可以通过从

47、其他副本读取数据，然后重新写入该副本的方法进行恢复，从而保证数据副本总数不减少。快速数据重建FusionStorage内部具备强大的数据保护机制。数据存储时被分片打散到多个节点上，这些分片数据支持分布在不同的存储节点、不同的机柜之间，同时数据存储时采用多副本技术，数据会自动保存多份，每一个分片的不同副本也被分散保存到不同的存储节点上。在硬件发生故障导致数据不一致时，FusionStorage通过内部的自检机制，通过比较不同节点上的副本分片，自动发现数据故障。发现故障后启动数据修复机制，在后台修复数据。由于数据被分散到多个不同的存储节点上保存，数据修复时，在不同的节点上同时启动修复，每个节点上只

48、需修复一小部分数据，多个节点并行工作，有效避免单个节点修复大量数据所产生的性能瓶颈，对上层业务的影响做到最小化。数据故障自动恢复流程如下图所示。FusionStorage数据重建流程：FusionStorage支持并行、快速故障处理和重建：数据分片在资源池内打散，硬盘故障后，可在资源池范围内自动并行重建。数据分布上支持跨服务器，不会因某个服务器故障导致的数据不可访问。扩容时可以自动进行负载均衡，应用无需调整即可获得更大的容量和性能。掉电保护系统运行过程中可能会出现服务器突然下电的情况，FusionStorage使用保电介质来保存元数据和缓存数据，以防掉电而丢失。FusionStorage支持的

49、保电介质为NVDIMM内存条或PCIe SSD卡。程序运行过程中器会把元数据和缓存数据写入保电介质中，上电后恢复保电介质中的元数据和缓存数据。FusionStorage 保电介质（NVDIMM内存和PCIe SSD） 同步容灾基于FusionStorage镜像同步容灾方案，其原理如下图所示，配置主备站点存储镜像关系，粒度为VM挂载的卷。连接镜像关系后，主站点VM下发的I/O写请求，会同步复制到容灾站点镜像卷上。业务I/O流程：1、 Primary站点主机下发I/O写请求。2、 Primary站点将I/O写请求同步发送到Secondary站点。3、 Secondary站点写成功，向Primary

50、站点返回写完成。4、 Primary站点确保Primary和Secondary站点均写成功，向主机响应写请求完成。灾规格：规格名称规格指标RPO0RTO<4Hour网络时延RTT要求 <5ms 备注：两个站点之间的距离小于250KM。同步复制网络带宽 >站点业务峰值写I/O带宽容灾镜像卷最大规格8T镜像卷最大规格4096个镜像6.3 弹性扩展FusionStorage采用的分布式集群架构，天然支持无性能损耗的弹性扩展。DHT数据路由FusionStorage采用DHT（Distribute Hash Table，分布式哈希表）路由数据算法。每个存储节点负责存储一小部分数据，基

51、于DHT实现整个系统的寻址和存储。DHT算法具有以下特点：均衡性(Balance)：数据能够尽可能分布到所有的节点中，这样可以使得所有节点负载均衡。单调性(Monotonicity)：当有新节点加入系统中时，系统重新做数据分配，原来的数据存储位置不需要很大的调整。FusionStorage存储路由采用分布式哈希算法，使得存储系统具有如下特点：快速达到负载均衡：新加入节点只需要搬移很少部分数据分片即可达到负载均衡。数据高可靠：灵活配置的分区分配算法，避免多个数据副本位于同一个服务器、同一个磁盘上。FusionStorage DHT数据路由:平滑扩容节点FusionStorage的分布式架构具有良

52、好的可扩展性，支持超大容量的存储：DHT算法保证了扩容后不需要做大量的数据搬迁，可以快速达到负载均衡状态。扩展计算节点可以同步扩容存储空间，扩容后的系统仍旧是计算和存储融合的，非烟囱式扩展。FusionStorage分布式系统的带宽和Cache都均匀分布到各个节点上，带宽和Cache随着节点的扩容而线性增加。扩容时支持即插即用，扩容后系统自动调整负载平衡，真正实现无级平滑扩容。FusionStorage 平滑扩容节点:资源按需使用FusionStorage提供了精简配置机制，为用户提供比实际物理存储更多的虚拟存储资源。相比直接分配物理存储资源，可以显著提高存储空间利用率。采用分布式Hash技术

53、，天然支持分布式自动精简配置(Thin Provisioning)， 无需预先分配空间。精简配置(Thin Provisioning)无任何性能下降（IPSAN扩展空间时需要耗费额外的性能）。FusionStorage 自动精简配置：6.4 管理简便易管理与华为硬件配合使用的FusionStorage存储软件在出厂前已经做了预安装，在用户机房只需要根据实际情况调整IP配置就可以了。FusionStorage存储软件完成安装部署以后可以自动运行，不需要人工干预，系统缺省配置已经做了优化处理。FusionStorage软件进程包括：Manager、Agent、MDC、VBS和OSD。其中Manag

54、er和Agent共同完成OM功能，MDC、VBS和OSD共同完成存储功能。在虚拟化环境下，FusionStorage的部署如下图所示：FusionStorage 软件部署:软件进程功能描述Manager告警、监控、日志、配置等OM功能，支持主备节点部署。Agent各节点的OM功能代理进程，部署在各节点上，每个节点部署一个进程。MDCMDC是存储管理集群，负责集群的状态控制。MDC管理集群部署在3个节点上，每个节点一个进程。VBSVBS是无状态机头集群，负责卷元数据的管理。每个服务器上部署一个或者多个VBS进程。OSDOSD对象存储设备，执行具体的IO操作。在每个服务器上部署多个进程，与磁盘一一

55、对应，一块磁盘对应一个OSD。Web UI界面FusionStorage提供可视化的Portal界面，用户从Portal界面可以查看系统监控（KPI指标）、告警事件和存储池状态等，操作维护简单。下图显示了FusionStorage的存储池管理界面。FusionStorage Web UI界面:6.5 兼容性硬件兼容性FusionStorage可以运行在华为自产的Tecal RH2288H和Tecal E9000等服务器上， FusionStorage对硬件平台有如下基本要求：FusionStorage运行在通用的X86服务器平台上。FusionStorage采用分布式集群架构，最少需要三个服务器节点。集群内各服务器的硬盘数量必须相同，单个节点上支持412块硬盘。为保证服务器突然下电后，FusionStorage在内存中的元数据和缓存数据不丢失，每台服务器都需要配置4G NVDIMM内存