FusionStorage分布式存储方案建议书

1、 DATE yyyy-M-d 2017-8-31华为机密，未经许可不得扩散第页华为FusionStorage分布式存储方案建议书目 录 TOC o 1-3 u t 标题 4,4 1 项目概述 PAGEREF _Toc491980832 h 41.1 项目背景 PAGEREF _Toc491980833 h 41.2 项目需求 PAGEREF _Toc491980834 h 41.3 功能需求 PAGEREF _Toc491980835 h 62 项目技术方案 PAGEREF _Toc491980836 h 72.1 FusionStorage总体架构 PAGEREF _Toc491980837

2、 h 72.2 FusionStorage产品特性介绍 PAGEREF _Toc491980838 h 92.2.1 精简配置 PAGEREF _Toc491980839 h 102.2.2 快照 PAGEREF _Toc491980840 h 102.2.3 链接克隆 PAGEREF _Toc491980841 h 112.2.4 弹性扩展 PAGEREF _Toc491980842 h 122.2.5 高可靠 PAGEREF _Toc491980843 h 162.2.6 同步容灾 PAGEREF _Toc491980844 h 212.2.7 管理简便 PAGEREF _Toc49198

3、0845 h 232.3 FusionStorage优点概述 PAGEREF _Toc491980846 h 232.4 兼容性 PAGEREF _Toc491980847 h 242.4.1 硬件平台 PAGEREF _Toc491980848 h 242.4.2 虚拟化软件 PAGEREF _Toc491980849 h 252.4.3 操作系统 PAGEREF _Toc491980850 h 252.4.4 兼容列表 PAGEREF _Toc491980851 h 252.5 FusionStorage应用场景 PAGEREF _Toc491980852 h 253 服务器数量规划 PA

4、GEREF _Toc491980853 h 263.1 FusionStorage按容量和性能计算服务器数量 PAGEREF _Toc491980854 h 264 FusionStorage的部署方案 PAGEREF _Toc491980855 h 284.1 资源池划分 PAGEREF _Toc491980856 h 294.2 在FusionSphere的部署方案 PAGEREF _Toc491980857 h 294.3 服务器配置建议 PAGEREF _Toc491980858 h 324.4 FusionStorage与FusionSphere融合场景 PAGEREF _Toc49

5、1980859 h 344.5 FusionStorage与VMware融合场景 PAGEREF _Toc491980860 h 354.6 FusionStorage与OpenStack融合场景 PAGEREF _Toc491980861 h 375 FusionStorage应用中典型硬件平台 PAGEREF _Toc491980862 h 405.1 FusionStorage在机架式服务器上使用 PAGEREF _Toc491980863 h 415.2 FusionStorage在刀片式服务器上使用 PAGEREF _Toc491980864 h 436 FusionStorage应

6、用中网络设计方案 PAGEREF _Toc491980865 h 446.1 总体组网方案 PAGEREF _Toc491980866 h 446.2 在机架式服务器上使用组网方案 PAGEREF _Toc491980867 h 456.2.1 单柜10GE组网 PAGEREF _Toc491980868 h 466.2.2 单柜IB存储组网 PAGEREF _Toc491980869 h 476.3 在刀片服务器上使用组网方案 PAGEREF _Toc491980870 h 476.3.1 虚拟化10GE 刀片服务器组网 PAGEREF _Toc491980871 h 486.3.2 虚拟化

7、IB+SSD组网 PAGEREF _Toc491980872 h 497 FusionStorage典型应用案例 PAGEREF _Toc491980873 h 507.1 浙江电信选择FusionStorage建设存储资源池 PAGEREF _Toc491980874 h 507.2 华为公司计算云-单资源池5K VM PAGEREF _Toc491980875 h 527.3 FusionCube加速华为公司R&A项目数据仓库平台 PAGEREF _Toc491980876 h 537.4 FusionStorage帮助江苏移动CRM系统建设高性能数据库平台 PAGEREF _Toc491

8、980877 h 547.5 华为携手沃达丰打造分布式数据中心 PAGEREF _Toc491980878 h 567.6 华为FusionStorage助力深圳海关加速大数据分析 PAGEREF _Toc491980879 h 577.7 FusionStorage助力中信信托转型互联网金融 PAGEREF _Toc491980880 h 597.8 FusionStorage：汇港资讯高效证券交易数据发布云平台建设 PAGEREF _Toc491980881 h 607.9 华为FusionStorage助力BME高效交付股票交易系统 PAGEREF _Toc491980882 h 628

9、 系统软硬件配置清单及说明 PAGEREF _Toc491980883 h 638.1 软件配置 PAGEREF _Toc491980884 h 638.2 硬件配置 PAGEREF _Toc491980885 h 649 缩略语表 PAGEREF _Toc491980886 h 65项目概述项目背景XXX项目背景仅作参考，需要根据具体的项目进行修改：XXX单位准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：存储资源弹性问题：多业务负载、资源的动态需求变化 存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端

10、网络、CPU/Cache与HDD不同步问题） 形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘重建时间长问题 针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。FusionStorage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。项目需求XXX单位，对存储性能、可靠性

11、、备份的需求如下，需要根据具体的项目进行修改： 承载的业务类型需求本次项目要求分布式存储基于通用的X86服务器，将服务器上物理硬盘，通过多副本的技术组成存储资源池。该资源池可以为下面两类计算资源池提供块存储服务XXX(Vmware)虚拟化计算资源池X86物理裸机使用，比如LINUX/windows/unix等服务器使用。支持的接口协议支持ISCSI协议，能够通过ISCSI协议给LINUX、windows、unix等服务器提供块存储能力。支持本地SCSI协议，可以通过本地SCSI协议为融合一体机提供服务能力。存储容量需求系统裸容量要求：XXX可用容量：按照2副本方式：=XXX TB按照3副本方式

12、：=XXX TB性能要求时延：=XXXmsIOPS:读写比例：8KB随机读写，读写比例其中读占比80%,卷队列深度为128 512KB顺序读写，读写比例其中写占比80%,卷队列深度为128存储块8KB的情况下， IOPS不小于XXX IOPS存储块512KB的情况下，IOPS不小于XXX IOPSCPU利用率：=60%内存利用率：=60%可靠性需求副本要求：2/3副本支持服务器级安全及机柜级安全网络与硬件设备需求本项目资源池的设备包含XXX数据备份恢复需求提供对分布式存储节点设备内的配置信息、管理信息、日志数据、用户信息、设备管理信息等需要备份的数据备份。系统可以将卷的完整副本存储在外部对象存

13、储的服务。卷备份完成后，可以将备份从对象存储中恢复到最初被备份的卷，或到新卷。备份和恢复只能在一个卷处于未附加和可用的状态时进行操作。功能需求XXX单位，对功能需求如下，需要根据具体的项目进行修改：支持运行在通用x86服务器，硬件、虚拟化平台软件支持采用XXX厂家；采用分布式架构，非集中式；支持卷级精简配置；支持卷级链接克隆；支持卷级增量快照；数据副本支持部署在不同服务器、不同机柜，以提供当服务器、机柜故障时不中断存储服务；系统单TB修复时间小于30分钟；支持NVDIMM、PCIE SSD、SSD盘作为存储cache；支持PCIE SSD、SSD盘、SAS、NL-SAS、SATA作为存储介质；

14、存储支持以太、InfiniBand网络互联；支持划分多资源池；支持底层存储虚拟化；支持上层数据库；支持在线扩容和离线扩容项目技术方案FusionStorage总体架构分布式存储FusionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。FusionStorage功能架构图如下所示：FusionStorage功能

15、模块:SAS/SATAX86 CPU硬件设备层存储引擎层集群状态控制数据一致性管理存储服务层备份分布式Cache分布式链接克隆存储驱动层SCSI驱动/iSCSI数据路由管理 并行数据重建集群故障自愈分布式快照分布式精简配置容灾10GE/InfiniBand计算、存储融合服务器PCI-E SSD卡卷管理QOS管理存储管理层存储驱动层：通过SCSI驱动接口向操作系统、数据库提供卷设备。存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数

16、据重建子系统等。存储管理平台：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。FusionStorage系统软件架构：MDCMDCMDCOSDOSDVBSVBSOSDOSDOSDOSDOSDOSDOSDVBSVBS集群管理RSM(Replicated State Machine) data layerStateless interface layerDriver状态视图状态视图SCSI数据复制存储集群无状态机头部件全称作用描述MDCMetadata Control元数据控制软件，实现对分布式集群的状态控制，以及控制

17、数据分布式规则、数据重建规则等。 MDC默认部署在3个节点上，形成MDC集群。VBSVirtual Block System虚拟块存储管理组件，负责卷元数据的管理，提供分布式集群接入点服务，使计算资源能够通过VBS访问分布式存储资源。每个节点上默认部署一个VBS进程，形成VBS集群。节点上也可以通过部署多个VBS来提升IO性能。OSDObject Storage Device对象存储设备服务，执行具体的I/O操作。在每个服务器上部署多个OSD进程，一块磁盘默认对应部署一个OSD进程。在SSD卡作主存时，为了充分发挥SSD卡的性能，可以在1张SSD卡上部署多个OSD进程进行管理，例如2.4TB的

18、SSD卡可以部署6个OSD进程，每个OSD进程负责管理400GB。FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。本地SCSI支

19、持主流的linux操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。存储集群在IO读写过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点；同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区，IO直接写到cache中就向主节点返回。当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。集群管理FusionStorage分布式存储软件的元数据服务采用集群管理方式，不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，对故障硬盘或节点上的数据进行重建，不影响整个系统业务的使用，1T数据

20、重建时间小于30分钟。FusionStorage产品特性介绍精简配置FusionStorage提供了精简配置功能，为应用提供比实际物理存储更多的虚拟存储资源。相比直接分配物理存储资源，可以显著提高存储空间利用率。采用DHT路由技术，系统无需使用专门的集中元数据来记录卷的精简分配情况，和传统SAN相比，不会带来性能下降。FusionStorage 自动精简配置快照FusionStorage提供了快照机制，将用户的卷数据在某个时间点的状态保存下来，后续可以作为导出数据、恢复数据之用。FusionStorage快照数据在存储时采用ROW（Redirect-On-Write）机制，快照不会引起原卷性能

21、下降。FusionStorage 快照链接克隆FusionStorage提供链接克隆机制，支持基于一个卷快照创建出多个克隆卷，各个克隆卷刚创建出来时的数据内容与卷快照中的数据内容一致，后续对于克隆卷的修改不会影响到原始的快照和其他克隆卷。支持1:256的链接克隆比，提升存储空间利用率。克隆卷继承普通卷所有功能：克隆卷可支持创建快照、从快照恢复以及再次作为母卷进行克隆操作。FusionStorage 链接克隆母卷A克隆卷B/母卷B克隆卷A快照C1快照C2克隆卷C克隆卷B1克隆卷B2克隆卷创建快照克隆卷作为母卷克隆卷弹性扩展FusionStorage采用分布式架构，支持无性能损耗的弹性扩展。DHT

22、路由FusionStorage采用DHT（Distribute Hash Table，分布式哈希表）路由数据算法。每个存储节点负责存储一小部分数据，基于DHT实现整个系统数据的寻址和存储。相比DHT路由算法，传统存储一般采用集中式元数据管理方式，元数据中会记录所有LUN中不同偏移量的数据在硬盘中的分布，例如LUN1+LBA1地址起始的4KB长度的数据分布在第32块硬盘的LBA2上。每次IO操作都需要去查询元数据服务，随着系统规模逐渐变大，元数据的容量也会越来越大，系统所能提供的并发操作能力将受限于元数据服务所在服务器的能力，元数据服务将会成为系统的性能瓶颈。不同与传统的集中式元数据管理，Fus

23、ionStorage采用DHT（分布式一致性哈希）进行数据寻址，具体的算法如下图：FusionStorage将哈希空间设置为232，并将该哈希空间划分为N等份，每1等份是1个分区（Partition），这N等份按照硬盘数量进行均分。例如：系统N默认为3600，假设当前系统有32块硬盘，则每块硬盘承载100个分区。上述“分区-硬盘”的映射关系在系统初始化时会分配好，后续会随着系统中硬盘数量的变化会进行调整。该映射表所需要的空间很小，FusionStorage系统中的节点会在内存中保存该映射关系，用于进行快速路由，可见，FusionStorge的路由机制不同于传统阵列，并没有集中的元数据管理，也就

24、不存在元数据服务成为系统的性能瓶颈。举例说明：应用需要访问LUN1+LBA1地址起始的4KB长度的数据，首先构造key=LUN1+LBA1/1M，对该key进行HASH计算得到哈希值，并对N取模，得到partition号，根据内存中记录的“分区-硬盘“映射表可得知数据归属的硬盘。同时，FusionStorage采用的DHT算法具有以下特点：均衡性：数据能够尽可能分布到所有的节点中，这样可以使得所有节点负载均衡。单调性：当有新节点加入系统中，系统会重新做数据分配，数据迁移仅涉及新增节点，现有节点上的数据不需要做很大调整平滑扩容FusionStorage的分布式架构具有良好的可扩展性，支持超大容量

25、的存储：扩容存储节点后不需要做大量的数据搬迁，系统可以快速达到负载均衡状态。支持灵活的扩容方式，可以独立扩容计算节点、硬盘、存储节点，或者同时进行扩容。在扩容计算节点时同步扩容存储空间，扩容后的系统仍旧可以是计算和存储融合。机头、存储带宽和Cache都均匀分布到各个节点上，系统IOPS、吞吐量和Cache随着节点的扩容而线性增加。FusionStorage 平滑扩容节点性能卓越FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致。FusionStorage支持使用SSD替代HDD作为高

26、速存储设备，支持使用Infiniband网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持。分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS和吞吐量。例如：假设系统中有20台服务器需要访问FusionStorage提供的存储资源，每台服务器提供给存储平面的带宽为2*10Gb，我们在每台服务器中部署1个VBS模块（相当于在每台服务器中部署1个存储机头），20台服务器意味着可部署20个存储机头，所能获取到的总吞吐量最高

27、可达20*2*10Gb=400Gb，随着集群规模的不断扩大，可以线性增加的存储机头，突破了传统的双控或者多控存储系统集中式机头的性能瓶颈。分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage集群内各服务器节点的硬盘使用独立的I/O带宽，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FusionStorage支持将服务器部分内存用作读缓存，NVDIMM和SSD用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，Fusion

28、Storage仍然可以发挥很高的IO性能，整体性能提升13倍。FusionStorage支持SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。FusionStorage 计算和存储融合全局负载均衡FusionStorage的 HYPERLINK l _弹性扩展 DHT机制（具体请参加“弹性扩展”章节描述）可以保证上层应用对数据的IO操作会均匀分布在不同服务器的不同硬盘上，不会出现局部的热点，实现全局复负载均衡。第一，系统自动将每个卷的数据块打散存储在不同服务器的不同硬盘上，冷热不均的数据会均匀分布在不同的服务器上，不会出现集中的热点

29、。第二，数据分片分配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的均匀分布，换句话说，每块硬盘上的主用副本和备副本数量是均匀的。第三，扩容节点或者故障减容节点时，数据恢复重建算法保证了重建后系统中各节点负载的均衡性。分布式SSD存储FusionStorage支持为高性能应用提供分布式SSD存储，提供比传统的机械硬盘（SATA/SAS）更高的读写性能。通过在存储节点上配置PCI-E SSD卡，FusionStorge可以将存储节点上的SSD卡组成1个虚拟存储资源池，为应用提供高性能读写能力。FusionStorage可以支持华为自研SSD卡或者其他厂家主流PCI-E SSD卡。高速Inf

30、iniband网络FusionStorage支持为高带宽、低时延应用提供Infiniband网络，通过与Infiniband网络的结合，FusionStorage可提供如下功能：56Gbps FDR InfiniBand，节点间超高速互联。标准成熟多级胖树组网，平滑容量扩容。近似无阻塞通信网络，数据交换无瓶颈。纳秒级通信时延，计算存储信息及时传递。无损网络QOS，数据传送无丢失。主备端口多平面通信，提高传输可靠性。高可靠集群管理FusionStorage分布式存储软件采用集群管理方式，从架构上保证了系统不会出现单点故障，一个节点或者一块硬盘故障自动从集群内隔离出来，不影响整个系统业务的使用。具

31、体为：MDC：集群方式，系统部署35个MDC模块，MDC模块间采用主备工作方式，当主MDC故障时，备MDC会升为主MDC；FusionStorage Manager：主备模式，系统部署2个FusionStorage Manager模块；OSD：主备模式，MDC实时监控OSD的状态，当指定Partition所在的主OSD故障时，存储服务会实时自动切换到备OSD，保证了业务的连续性；多数据副本FusionStorage采用数据多副本备份机制来保证数据的可靠性，即同一份数据可以复制保存为23个副本。针对系统中的每1个卷，默认按照1MB进行分片，分片后的数据按照DHT算法保存集群节点上。如下图所示，对

32、于服务器Server1的 磁盘Disk1上的数据块P1，它的数据备份为服务器Server2的磁盘Disk2上P1，P1和P1构成了同一个数据块的两个副本。例如，当P1所在的硬盘故障时，P1可以继续提供存储服务。FusionStorage 多数据副本数据一致性数据一致性意味着当应用成功写入一份数据到存储系统时，存储系统的几个数据副本必然是一致的，当应用再次读时，无论在哪个副本上读取，都是之前写入的数据。FusionStorage采取多种方式来保证系统中数据的一致性：副本同步写当VBS模块将写操作发送给指定主OSD时，该OSD在写入本节点硬盘时，同时将写操作同步到备OSD，同步过程中严格按照IO编

33、号进行，保证了主OSD接收到的IO顺序和同步到备OSD的IO顺序一致。当主备OSD同时完成写操作时，才向应用返回操作成功。具体流程如下图所示：读修复（Read Repair）Read Repair机制是指在读数据失败时，系统会判断错误类型，如果是磁盘扇区读取错误，系统会自动从其他节点保存的副本读取数据，然后重新写入该副本数据到硬盘扇区错误的节点，从而保证数据副本总数不减少和副本间的数据一致性。快速数据重建FusionStorage中的每个硬盘都保存了多个数据块（Partition），这些数据块的副本按照策略分散在系统中的其他节点。当FusionStorage检测到硬盘或者节点硬件发生故障时，自

34、动在后台启动数据修复。由于数据块的副本被分散到多个不同的存储节点上，数据修复时，将会在不同的节点上同时启动数据重建，每个节点上只需重建一小部分数据，多个节点并行工作，有效避免单个节点重建大量数据所产生的性能瓶颈，对上层业务的影响做到最小化。数据故障自动重建流程如下图所示。FusionStorage数据重建流程FusionStorage支持并行、快速故障处理和重建：数据块（Partition）及其副本分散在整个资源池内，硬盘故障后，可在资源池范围内自动并行重建。数据分布上支持跨服务器，不会因某个服务器故障导致的数据不可访问和不可重建。故障或者扩容时可以自动进行负载均衡，应用无需调整即可获得更大的

35、容量和性能。掉电保护系统运行过程中可能会出现服务器突然下电的情况，FusionStorage使用保电介质来保存元数据和缓存数据，以防掉电而丢失。FusionStorage支持的保电介质为NVDIMM内存条或SSD。程序运行过程中会把元数据和缓存数据写入保电介质中，节点异常掉电并重启后，系统自动恢复保电介质中的元数据和缓存数据。FusionStorage 保电介质（NVDIMM内存、PCIe SSD卡和SSD硬盘） 硬盘可靠性FusionStorage支持硬盘S.M.A.R.T检测、慢盘检测、硬盘SCSI错误处理、硬盘数据扫描等硬盘可靠性处理，通过上述检测完成读修复、磁盘故障移除和数据重建、坏块

36、标记、有效数据磁盘扫描、S.M.A.R.T超阈值和慢盘处理。有效数据硬盘扫描通过周期对硬盘有效数据进行读取扫描，防止静默数据错误(silent data corruption)，如果扫描发现坏道，则进行“读修复”修复故障扇区。坏块标记（BST）系统在硬盘扫描或者读数据的过程中，如果硬盘有坏道存在，产生访问错误，FusionStorage会先尝试进行“读修复”操作，如果该数据的所有冗余副本都同时不可用，则会标记坏扇区为BST并产生告警，提示系统在应用层进行数据修复。硬盘亚健康检查系统通过对硬盘S.M.A.R.T信息以及IO处理能力的监控，识别出硬盘是否处于亚健康状态，并自动将亚健康的硬盘进行数据

37、重建后移除集群。硬盘错误检测系统在IO处理过程中主动识别硬盘WP, ABRT, DF等错误信息，当发现硬盘出现上述故障时，自动启动数据重建，并将故障硬盘移除集群。同步容灾容灾方案基于FusionStorage镜像同步容灾方案，其原理如下 HYPERLINK l d292e110 o 图所示，配置主备站点存储镜像关系，粒度为VM挂载的卷。连接镜像关系后，主站点应用下发的I/O写请求，会同步复制到容灾站点镜像卷上。业务I/O流程：Primary站点主机下发I/O写请求。Primary站点将I/O写请求同步发送到Secondary站点。Secondary站点写成功，向Primary站点返回写完成。P

38、rimary站点确保Primary和Secondary站点均写成功，向主机响应写请求完成。分布式数据同步容灾同步复制采用FusionStorage无状态的分布式软件机头，如下图所示，机头部署在各个服务器上，无集中式机头的性能瓶颈。随着生产站点和容灾站点规模的扩大，用户数据复制无性能瓶颈，可以充分利用站点间网络带宽，降低存储IO时延。Secondary SiteFusion StorageVMVMVM机头机头机头ServerServerServerVMVMVMPrimary SiteFusion StorageVMVMVM机头机头机头分布式数据复制ServerServerServerVMVMVM

39、灾备策略灵活配置容灾站点故障后，支持两种灾备策略配置：对于容灾数据高一致性要求的站点，支持容灾站点故障后，镜像卷业务终止提供服务，以保证镜像卷数据的一致；对于优先保证系统可用性的站点，支持容灾站点故障后，生产站点独立运行，待灾备站点恢复后，再进行数据的增量同步。多种数据同步模式支持全量同步和增量同步两种模式。镜像卷初次同步时支持“瘦分配”卷，仅同步有效数据，同步速度快、效率高，节省站点间带宽和灾备站点存储容量。同步失败后，支持断点续传，降低了同步期间链路故障带来的影响。灾备站点故障恢复后，支持同步增量数据，降低了数据复制需要的时间。镜像卷同步时不中断业务IO。独立复制平面支持采用独立的复制平面

40、，同业务平面、管理平面有效隔离，通过独享的复制平面保证数据同步的安全和QoS。容灾规格规格名称规格指标RPO0RTO4Hour网络时延RTT要求 站点业务峰值写I/O带宽容灾镜像卷最大规格8T镜像卷最大规格4096个镜像管理简便操作维护FusionStorage提供可视化的Portal界面，用户从Portal界面可以查看系统监控（KPI指标）、告警事件和存储池状态等，操作维护简单。升级FusionStorage提供在线升级和离线升级两种方式，可以根据项目要求进行选择。离线升级：升级过程中需要中断业务，业务中断时长一般小于4小时。在线升级：升级过程中不需要中断业务，业务升级时长将和当前系统节点数

41、相关，单个节点的升级时长一般小于15分钟。FusionStorage优点概述高IOPS,低时延：应用大容量Cache技术，提升IOPS；卷被切片分割打散到整个资源池所有硬盘中，条带化宽度增加，单卷可获得的性能大幅提升；访问均衡，无热点,资源池中各节点的利用率相同；无需预先设置固定RAID组，大资源池适应应用负载的动态变化；无级扩容、超大容量：分布式系统，无管理机头瓶颈，容量几乎不受限制；无级扩容：分布式机头(每server服务器相当于一个机头)，无性能瓶颈，可无级扩容 非烟囱式扩展：存储与计算同步平滑扩展。即插即用式扩容：扩容后系统自动调整负载平衡，真正实现无级平滑扩容。管理简单：结构简单带来

42、管理简单；简化底层配置管理：仅需要做应用层面的管理，免去大量底层配置管理事务。降低运维管理的成本：自动负载均衡，无热点，故障自愈，无需进行人工性能优化。数据重建快：并行重建速度快；数据分布可以跨服务器或跨机柜，不会因某个服务器、机柜故障导致数据不可访问。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，仅重建实际数据，无需热备盘； 重建1TB数据时间 =100GB；部署MDC模块的服务器的本地硬盘容量=55GB；虚拟化软件华为ServerSAN解决方案可以兼容业务主流的虚拟化平台，包括Huawei FusionSphere、VMWare和KVM等。操作系统除了给虚拟化平台提供

43、存储服务外，华为ServerSAN还支持通过在物理服务器OS中部署VBS模块提供存储服务，VBS支持部署在目前主流OS上。兼容列表具体请参考FusionStorage兼容性列表。FusionStorage应用场景XXX项目的应用场景如下，需要根据具体的项目进行修改：适合使用FusionStorage的应用场景：VDI、OA应用。其典型特点是：容量共享精简分配、性能共享分时复用、计算和存储配比相对均衡、成本性价比要求高。云资源池应用：其典型特点是以Server SAN形态的Scale-Out能力快速建设好海量的存储系统，缩短上线周期和降低后续运维成本。开发测试云应用：其典型特点是为频繁变动的开发

44、测试环境提供更简单快速的部署方式，并且方便进行横向扩展，成本和性能可预期，管理更容易。数据库应用：其典型特点是提供百万级IOPS，高达120GB/s的IO吞吐和低至150s的时延，满足Oracle、SAP HANA、IBM DB2等主流数据库应用对性能的高要求FusionStorage应用场景图：支持多种虚拟化平台 (FusionSphere/Vmware/KVM)FusionStorage分布式存储资源池应用层虚拟化层数据库物理部署HANA服务器数量规划FusionStorage按容量和性能计算服务器数量IOPS计算：对于小块随机场景（如VDI）。基础数据：业务侧单盘IOPS = x ，硬盘

45、数量为n，则卷/应用层面的有效IOPS公式为：总的有效IOPS = x* n容量计算：HDD/SSD 磁盘介质基础数据：磁盘（HDD/SSD）标称容量 = z(T) ，FusionStorage OSD开销= r(G) ，FusionStorage硬盘数目=m，磁盘空间利用率=q，副本数=k，则卷/应用层面的有效容量公式为：总的有效容量= (z/(1.0244)-r/1024)*q*m/k所需的硬盘数量=max（容量计算的硬盘数目m，IOPS计算的硬盘数目n）所需的服务器数量=roundup（所需的硬盘数量/单服务器硬盘数）备注：因磁盘介质不同或者大小不同的情况下，所需的磁盘数目需要分开计算。

46、如果是同一服务器共存多种介质或者大小不同的磁盘，所需服务器的数量视具体情况调整。举例：某项目要求2000IOPS，20T容量，采用600G SAS盘按IOPS计算，硬盘数y1：基础数据：x = 200则利用上述公式： 2000= 200*y1 y1=10按容量计算，硬盘数y2：基础数据：z = 600G=(600/1024)T q= 95% k=2 r = 21G则利用上述公式：20 = （0.6/(1.0244)-21/1024）*y2*0.95/2 y2 = 81 （向上取整） 需要的硬盘数N = max（y1,y2）=max(10,81)=81需要的服务器数 = roundup（81/单

47、服务器硬盘数）SSD卡介质：基础数据：SSD卡标称容量 = z(T) ，FusionStorage OSD开销= r(G) ，SSD卡划分分区数目=n，FusionStorage硬盘数目=m，磁盘空间利用率=q，副本数=k，则卷/应用层面的有效容量公式为：总的有效容量= (z/(1.0244)-r*n/1024)*q*m/k所需的硬盘数量=max（容量计算的硬盘数目m，IOPS计算的硬盘数目n）所需的服务器数量=roundup（所需的硬盘数量/单服务器硬盘数）备注：因服务器内所选择的SSD卡数目和大小不同，SSD卡可以被划分的分区数目不同。如：2.4T的SSD卡*2的情况下，建议划分成6个分区

48、，每个分区400G；3.2T的SSD卡*6的情况下，建议划分4个分区，每个分区800G。举例：某项目要求2000IOPS，20T容量，采用600G SAS盘按IOPS计算，硬盘数y1：基础数据：x = 200则利用上述公式： 2000= 200*y1 y1=10按容量计算，硬盘数y2：基础数据：z = 2.4T q= 95% k=2 r = 21G则利用上述公式：20 = （2.4/(1.0244)-21*6/1024）*y2*0.95/2 y2 = 21 （向上取整） 需要的硬盘数N = max（y1,y2）=max(10,21)=21需要的服务器数 = roundup（21/单服务器硬盘数

49、）FusionStorage的部署方案资源池划分根据服务器分析，进行资源池划分。具体根据项目的实际情况进行调整。多资源池：1个FusionStorage 存储资源池，两副本情况下最大96块硬盘或者32张SSD卡。三副本情况最大为2000块磁盘或者300张SSD卡。单集群可以支持多资源池，单集群最大支持128个资源池，最大支持的硬盘数为49152。每个存储节点的FusionStorage硬盘或者SSD卡可以按照介质类型和大小不同，划分成不同的资源池。资源池划分：根据数据冗余度，可以按照两副本和三副本不同，各种划分不同的资源池；根据介质类型和大小，可以各自划分成不同的资源池（例如：SATA、SAS

50、、SSD等可以按介质不同划分成不同的资源池。同样的SATA 2T、4T，按照大小不同划分成不同的资源池）；超过单资源池最大硬盘数、服务器数的时候，划分成多个资源池；根据XXX项目实际情况，划分成XXX个资源池。第一个资源池，介质类型为XXX，节点数XXX，介质容量大小XXX；第二个资源池，介质类型为XXX，节点数XXX，介质容量大小XXX；第N个资源池，介质类型为XXX，节点数XXX，介质容量大小XXX。在FusionSphere的部署方案总体部署逻辑图模块功能FusionStorage ManagerFusionStorage管理模块，提供告警、监控、日志、配置等操作维护功能，主备节点部署。

51、FusionStorage Agent代理进程，部署在各节点（服务器）上，实现各节点与FusionStorage Manager通信。MDC元数据控制组件，实现对分布式集群的状态控制，以及控制数据分布规则、数据重建规则等。 VBS虚拟块存储管理组件，负责卷元数据的管理，提供分布式集群接入点服务，使计算资源能够通过VBS访问分布式存储资源。每个服务器上部署一个VBS进程，形成VBS集群。OSD对象存储设备，执行具体的I/O操作。在每个服务器上部署多个OSD进程，一块磁盘对应部署一个OSD进程。FusionStorage采用主备部署方式。Server节点可以部署FusionStorage Agen

52、t，MDC，ZK, OSD模块。管理节点部署OS SuSe CPU 独立管理节点：E5-2620 V2以上 虚拟机部署：4vCPU 内存预留8GB内存 存储预留50GB 可靠 可部署主备两个管理节点 存储节点部署OS RedHat Enterprise Linux 6.x / Huawei FusionSphere 3.X/5.X /Vmware 5.X/RHEL 6.X KVM CPU 分离部署：Intel Xeon E5-2600/4600v2系列处理器，Intel Xeon E7-4800/8800 v2系列处理器 内存2.5GB/SAS OSD；2.5GB/SSD OSD；3.5GB/

53、SATA OSD 存储系统盘：无管理节点2个 600G SAS 盘，有管理节点2个 900G SAS 盘 ZK盘：单独节点部署(只需在其中的三个存储节点部署）或系统盘划出分区，单独时与资源池盘相同资源池数据盘：1-24个 SAS/SATA/SSD，PCIE SSD卡(6*3.2T :24个逻辑盘，2*2.4T:12个逻辑盘 ) RAID卡：支持RAID0/1。要求通过华为认证，新增型号需开发插件（少于10工作日） 网络接口全以太：每服务器41Gb端口，建议210Gb端口；以太加IB：2个1Gb+2个FDR 端口 Cache 一个SSD卡或SSD盘作为写cache,容量为资源盘裸容量的5%左右；

54、 业务节点OS 虚拟化部署：Huawei FusionSphere 3.x or 5.x/VMWare 5.x/ RHEL 6.x KVM物理部署：Red Hat Enterprise Linux 6. 2 or 6.4/SUSE Linux Enterprise Server 11 SP3/Oracle Enterprise Linux 6.2 CPU 物理部署：预留4线程 虚拟化部署：预留4vCPU 内存物理部署：预留3GB虚拟机部署：预留预留6GB 存储与具体应用相关 网络 4个GE（两个用于存储及管理，两个用于业务）或2个10GE或2个10GE+2个IB 服务器配置建议单资源池情况下部

55、署，资源空间占用情况如下：管理节点虚拟部署(主备): 预留8vCPU, 32G内存, 200G硬盘管理节点FusionStorage Manager主CPU: 8vCPUMEM: 32GDisk: 200GFusionStorage Manager备CPU: 8vCPUMEM: 32GDisk: 200G管理节点物理部署(主备): 可以单独部署也可和存储节点融合部署.单独部署: CPU E5-2620v2, 32G内存, 300G硬盘融合部署: 预留8个超线程, 32G内存, 200G硬盘分离部署：存储节点：在存储节点分离部署的情况下，需要预留内存/存储空间参看下表模块内存占用存储占用ZK/M

56、DC5GB55GB：ZK/MDC节点，需要占用一定的存储空间用来存放控制数据，要求至少55G，一般建议独占一块硬盘。备注：只有MDC的节点，则无需占用存储空间存放控制数据。OSD2.5G：硬盘=2TB，OSD的内存占用为2.5GB。3.5G：2TB硬盘=4TB，OSD的内存占用为3.5GB；在IB组网+SSD主存场景下，不管主存容量多大，每个OSD内存占用为3.5GB。计算节点：在计算节点融合部署的情况下，需要预留内存空间参看下表模块内存占用VBS4GB：通常场景下VBS 的内存占用为4GB。6.5GB：在IB组网+SSD主存场景下，占用6.5GBVFS32G：每100万文件融合部署：计算存储

57、融合节点：在计算存储几点融合部署的情况下，需要预留内存/存储空间参看下表：模块内存占用存储占用VBS4GB：通常场景下VBS 的内存占用为4GB。6.5GB：在IB组网+SSD主存场景下，占用6.5GBZK/MDC5GB55GB：ZK/MDC节点，需要占用一定的存储空间用来存放控制数据，要求至少55G，一般建议独占一块硬盘。备注：只有MDC的节点，则无需占用存储空间存放控制数据。OSD2.5G：硬盘=2TB，OSD的内存占用为2.5GB。3.5G：2TB硬盘15ms减少到1ms华为FusionStorage助力深圳海关加速大数据分析海关原系统部署图（新旧系统对比）SZZFJDDB2HP DL5

58、80G5SZDWMANDB1HP DL980G7SZDWMANDB2HP DL980G7SZFXAPP0HP 580G5SZFXDB8HP 580G5EMC CX4-120HP EVA8100EMC CX4-240HP DL580G5+DL580G7VMwareOther VMGEFC原业务系统部署，共7台服务器，3台FCSAN部署:12U机框8刀片内置10GE/IB网络+SSD卡深圳海关性能结果（新旧系统对比）深圳海关性能结果（新旧系统对比）业务挑战前台Web响应缓慢，页面打开超时或分钟级 后台DB全量作业慢，执行时间643小时 单条复杂SQL执行时间长，影响业务体验 资源利用率低(平均CP

59、U占用率10%) 解决方案（数据库部署到高性能虚拟化平台）数据库（SQL SERVER）部署到FusionSphere虚拟化平台 采用分布式存储FusionStorage、PCIeSSD卡、Infiniband等多种软硬件结合的加速技术； 客户收益空间节省1/4功耗节省36%性能最大提升120倍 采用P2V/V2V工具平滑迁移 FusionStorage助力中信信托转型互联网金融 “这正是我理想中的IT平台” -中信信托CIO、原证监会信息中心技术处处长初壮意对FusionCube如此评价。中信欲打造一个全新的IT系统，基于云架构，用以支撑和牵引业务的发展。中信信托是中国资产管理规模最大的信托

60、公司。截至 2012 年年底，中信信托资产管理规模已突破6000亿元，连续五年保持行业第一。 业务挑战机房空间与供电存在较大瓶颈多种应用(100+)，多厂家硬件(IBM、HP、CISCO)， IT运维管理复杂 核心业务的机器在性能、数据存储、带宽、扩展、可靠性等难以满足要求 解决方案将业务所需资源统一池化、按业务负载灵活调度、提升资源利用率 融合计算、存储、网络、虚拟化于一体 采用华为FusionStorage，同时为虚拟化平台、数据库平台提供存储服务 客户收益为中信信托节省了约20%初始投资，75%机房空间，67%的能源消耗节省运维成本达30%新业务上线时间缩短80%FusionStorag