3.3.4 HCDCE152 华为分布式存储解决方案 ISSUE1.00

HCDCE152--1.00李锋/WX640152016-7-20刘立灿/180730新开发华为分布式存储解决方案本节重点介绍FusionStorage的概念，应用场景，兼容性及逻辑架构等基本内容。作为课程的引入，让学员对FusionStorage产品有初步整体的了解和认识，为深入学习理解和使用该产品打下基础学完本课程后，您将能够:描述华为FusionStorage产品及主要应用场景掌握FusionStorage产品兼容性，License授权等信息掌握并描述FusionStorage逻辑架构了解FusionStorage灾备方案FusionStorage产品整体介绍FusionStorage基础概念及关键原理FusionStorage组件功能及相互关系FusionStorageIO流程分析FusionStorage主要功能特性FusionStorage跨服务器、机柜或机房数据可靠性认识ServerSAN概念由多个独立服务器自带的存储组成一个存储资源池，同时融合了计算和存储资源特征专有设备变通用设备计算与存储线性扩展简单管理、低TCO华为ServerSAN产品FusionStorage分布式块存储软件将通用X86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模存储资源池对非虚拟化环境的上层应用和虚拟机提供工业界标准的SCSI和iSCSI接口开放的API计算存储存储计算计算计算存储存储ControllerControllerControllerControllerPCIePCIePCIePCIe传统SAN架构HDDSAN/NASHDDSAN/NASServerVMVMVMVMFC/IPNetworkFC/IPNetworkServerVMVMVMVMCacheCacheHDDSSDHDDSSDHDDSSD……HDDSSDHDDSSDHDDSSD硬盘框硬盘框

控制器控制器控制器控制器

控制器

控制器

控制器控制器孤立的存储资源存储设备只能扩展容量机头瓶颈：双控~16控，且无法线性扩展Cache瓶颈：通常为GB网络瓶颈：10GE、8GFC分布式ServerSAN架构共享式的存储资源池性能与容量横向扩展Server本地存储ServerServerServerVMVMVMVMVMVMInfiniBand/10GENetworkServer1VBSServer2VBSServerNVBS存储服务器OSDOSDOSD……存储服务器OSDOSDOSD……存储服务器OSDOSDOSD……CacheCacheCacheVMVMVMVMVMVM分布式控制器，可线性扩展至4096节点分布式Cache，扩展至TB级P2P无阻塞高速IB网络，56GInfiniBandRDMA存储发展趋势：分布式存储快速增长现在ServerSAN：

由多个独立服务器自带的存储组成一个存储资源池，同时融合了计算和存储资源专有设备变通用设备计算与存储线性扩展简单管理、低TCO华为FusionStorage两大主要应用场景FusionStorageSCSI/iSCSI物理部署虚拟化平台OpenStack查询检索财务报表数据分析HANA公有云VDI开发测试私有云CRMERP市场营销分布式Cache…分布式Cachex86服务器DHT环强一致性算法x86服务器高速网络IB/GE/10GE云资源池数据库及关键应用华为FusionStorage方案选择参考核心系统块/文件一体化海量文件/备份/归档典型场景产品选择云资源池和OLAP数据库分布式存储FusionStorage产品约束1、暂无对象和文件存储2、三节点起步，建议100TB以上规模StorageOceanStor9000StorageOceanStor18000OceanStorV3FusionStorage已有版本信息

(2013to2016)2013-Q32014-Q22016-Q1FusionStorage3.0FusionStorage3.02FusionStorage3.30FusionStorage已有版本升级FusionStorage标准版标准版到高级版升级包FusionStorage高级版FusionStorage3.0标准版FusionStorage3.02标准版FusionStorage3.0高级版FusionStorage3.02高级版FusionStorage3.30标准版FusionStorage3.30高级版销售版本升级发布版本升级注意：销售版本的升级需要购买相应的版本升级包如果需要跳多级，则需要购买多个相应的升级包在有有效的软件升级与支持服务下，客户可以免费按上面的升级路径升级发布版本(Release)FusionStorage

兼容性---硬件&软件硬件兼容性主要包括：服务器HDD盘，SSD盘，PCIESSD卡/盘RAID卡，以太网卡，Infiniband卡软件兼容性主要包括：虚拟化平台操作系统数据库软件FusionStorage

技术规格参数集群指标规格卷规格指标规格单集群存储服务器数量4,096个集群最大卷数量1,280,000个单集群硬盘数量49,152个单资源池最大卷数量65,000个单集群支持的计算节点数量10,240个卷容量64MB～256TB单集群最大资源池数量128个卷最大共享主机数量128个资源池规格指标规格每个主机最大挂载卷数量512个单资源池的硬盘数量两副本（HDD或SSD）：12个～96个三副本（HDD或SSD）：12个～2,048个共享卷最大数量20,000个单资源池的存储服务器数量两副本（HDD或SSD）：3个～16个三副本（HDD或SSD）：3个～256个单个卷最大快照数量无限制，快照总数不超过1,280,000个单资源池的机柜数量非跨机柜数据安全：1个～12个跨机柜数据安全：3个～12个单个卷最大链接克隆数量2,048个单个服务器最多可划分的资源池数量3个同步复制卷的最大数量4,096个iSCSI接口协议指标规格同步复制卷的最大容量2TBiSCSICHAP用户最大数量1,024个每个主机支持的同步复制卷的总容量64TBiSCSI卷最大扩容容量256TBFusionStorage逻辑架构FSM（FusionStorageManager）：FusionStorage管理模块，提供告警、监控、日志、配置等操作维护功能。一般情况下FSM主备节点部署FSA（FusionStorageAgent）：代理进程，部署在各节点上，实现各节点与FSM通信。FSA包含MDC、VBS和OSD三种不同的进程。根据系统不同配置要求，分别在不同的节点上启用不同的进程组合来完成特定的功能FusionStorage逻辑架构（续）MDC（MetaDataController）：元数据控制，实现对分布式集群的状态控制，以及控制数据分布式规则、数据重建规则等。MDC默认部署在3个节点的ZK(Zookeeper)盘上，形成MDC集群VBS（VirtualBlockSystem）：虚拟块存储管理组件，负责卷元数据的管理，提供分布式集群接入点服务，使计算资源能够通过VBS访问分布式存储资源。每个节点上默认部署一个VBS进程，形成VBS集群。节点上也可以通过部署多个VBS来提升IO性能OSD（ObjectStorageDevice）：对象存储设备服务，执行具体的I/O操作。在每个服务器上部署多个OSD进程，一块磁盘默认对应部署一个OSD进程。在SSD卡作主存时，为了充分发挥SSD卡的性能，可以在1张SSD卡上部署多个OSD进程进行管理，例如2.4TB的SSD卡可以部署6个OSD进程，每个OSD进程负责管理400GBFusionStorage部署方式融合部署指的是将VBS和OSD部署在同一台服务器中虚拟化应用推荐采用融合部署的方式部署分离部署指的是将VBS和OSD分别部署在不同的服务器中高性能数据库应用则推荐采用分离部署的方式FusionStorage备份方案云资源池下的备份方案VM1虚拟化平台生产站点eBackupVM2FusionStoragePool全量快照增量快照支持NBU等通用备份软件数据库场景下的备份方案生产站点NBUFusionStoragePoolFusionStorage容灾方案云资源池下的容灾方案VM1FusionSphere虚拟化平台生产站点容灾站点基于主机IO复制容灾管理软件VRGVM2VRG容灾管理软件VM1′VRGVM2′VRGFusionSphere虚拟化平台FusionStoragePoolFusionStoragePool数据库场景下的容灾方案生产站点FusionStoragePool备份站点FusionStoragePoolDataGuard/GoldenGateFusionStorage产品整体介绍FusionStorage基础概念及关键原理FusionStorage组件功能及相互关系FusionStorageIO流程分析FusionStorage主要功能特性FusionStorage跨服务器、机柜或机房数据可靠性基础概念（1）DHT：DistributedHashTable，FusionStorage中指数据路由算法Partition：代表了一块数据分区，DHT环上的固定Hash段代表的数据区Key-Value：底层磁盘上的数据组织成Key-Value的形式，每个Value代表一个块存储空间P1P2P3P4P5P6Pn…分区物理节点DHTKey1Key2Key3Key4…KeynHash寻址映射物理空间Disk1Disk2DisknValue1Value2Value3Value4…Valuen基础概念（1）DHT：DistributedHashTable，FusionStorage中指数据路由算法Partition：代表了一块数据分区，DHT环上的固定Hash段代表的数据区Key-Value：底层磁盘上的数据组织成Key-Value的形式，每个Value代表一个块存储空间Volume：应用卷，代表了应用看到的一个LBA连续编址资源池Volume1Volume2VolumemVirtualBlockServicenetwork122P1P2P3P4P5P6Pn…DHT基础概念（2）资源池：FusionStorage中一组分区构成的存储池，对应到DHT环Volume：应用卷，代表了应用看到的一个LBA连续编址…DiskP1P2PyDiskDiskDiskDiskDiskVolume1Volume2Volume3P1P2Px资源池1Volume10Volume11Server1Server2Server3资源池2基础概念（3）数据副本：FusionStorage采用数据多副本备份机制来保证数据的可靠性，即同一份数据可以复制保存为2~3个副本Disk1P1P2’Disk2Disk3Disk6Disk4Disk5Server1Server2Server3P3P4’P5P6’P7P8’P13P14’P15P16’P17P18’P19P20’P1’P3’P5’P7’P9P10P11P12P13’P15’P17’P19’P21P22P23P24P4’P8’P16’P20’P21P22P23P24P9P10P2’P6’P14’P18’P11P12P9’P10’P11’P12’P2P6P14P18P21’P22’P23’P24’P4P8P16P20FusionStorage数据路由原理FusionStorage数据路由采取分层处理方式：VBS通过计算确定数据存放在哪个服务器的哪块硬盘上OSD通过计算确定数据存放在硬盘的具体位置P1P2P3P4P5P6Pn…HashspaceDisk3Generatekey1(LUN1,LBA1),DataKey1=(LUN1,LBA1),Data…K1K2K3K4K5…MetadataregionDataregionHash(Key1)DiskDisk1Disk2Disk3DiskNPartitionP1P2P3PnQueryroutingtableVBSOSOSDFusionStorage产品整体介绍FusionStorage基础概念及关键原理FusionStorage组件功能及相互关系FusionStorageIO流程分析FusionStorage主要功能特性FusionStorage跨服务器、机柜或机房数据可靠性FusionStorageVBS模块及处理流程VBS模块作为FusionStorage系统存储功能的接入侧，负责完成两大类业务：卷和快照的管理功能IO的接入和处理SCSIInitiatorCLIENTVBMVBPAGENTVSCBlockDriverDeviceManagerKERNELVBS_CLIHeartBeatDATANETMDCOSDOSDOSDSCSITargetVBM模块负责完成卷和快照的管理功能：创建卷、挂载卷、卸载卷、查询卷、删除卷、创建快照、删除快照、基于快照创建卷等FusionStorageOSD模块及处理流程FusionStorage存储池管理的每个物理磁盘对应一个OSD进程，OSD负责：磁盘的管理IO的复制IO数据的Cache处理FusionStorageOSD模块磁盘数据分区磁盘的每一个1M空间都固定的分配给一个key，一定数量连续的key组成一个chunkChunk：一个Partition的存储空间由1个或多个Chunk构成裸盘方式VDB结构...系统保留区1MBMetadata4MBKey区Value区Chunk1ChunkNKey区Value区VDB(Key-ValueDB)...系统保留区1MBMetadata4MBKey区Value区Chunk1ChunkNKey区Value区VersionInformationConfigurationPartitionInformationChunkInformationStatInformationKey1FreeFlagKeyNFreeFlag…Value1Value2ValueN…VDBNameVersionReserveKeySizeValueSizeChunkSizeDiskSizeReserveUsedSpaceKeyNumPartitionNumberPartitionOffsetChunkNumberChunkOffsetReservePartitionIDChunkNumberReserve1..MChunkIDPartitionIDBeginOffsetEndOffsetReserve1..KFusionStorageMDC模块功能MDC（MetadataController）是一个高可靠集群，通过HA(HighAvailability)机制保证整个系统的高可用性和高可靠性：通过ZooKeeper集群，实现元数据（如Topology、OSDView、PartitionView、VBSView等）的可靠保存通过Partition分配算法，实现数据多份副本的RAID可靠性通过与OSD、VBS间的消息交互，实现对OSD、VBS节点的状态变化的获取与通知通过与Agent间的消息交互，实现系统的扩减容、状态查询、维护等通过心跳检测机制，实现对OSD、VBS的状态监控Zookeeper(简称ZK)分布式服务框架主要用来解决分布式应用中经常遇到的，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等，ZK主要工作包括三项：MDC主备管理：MDC采用一主两备部署模式；在MDC模块进程启动后，各个MDC进程会向ZK注册选主，先注册的为主MDC；运行过程中，ZK记录MDC主备信息，并通过心跳机制监控MDC主备健康状况，一旦主MDC进程故障，会触发MDC重先选主数据存储：在MDC运行过程中，会生成各种控制视图信息，包括目标视图、中间视图、IO视图信息等，这些信息的保存、更新、查询、删除操作都通过ZK提供的接口实现数据同步：数据更新到主ZK，由主ZK自动同步到两个备ZK，保证主备ZK数据实时同步。一旦ZK发生主备切换，业务不受影响FusionStorage视图IOView：partition主和osd节点的映射关系PartitionView：partition主备对应的osd关系，ioview是partitionview的子集MDC通过心跳感知OSD的状态；OSD每秒上报给MDC特定的消息（比如：OSD容量等），当MDC连续在特定的时间内（当前系统为5s）没有接收到OSD的心跳信息，则MDC认为该OSD已经出故障（比如：OSD进程消失或OSD跟MDC间网络中断等），MDC则会发送消息告知该OSD需要退出，MDC更新系统的OSD视图并给每台OSD发送视图变更通知，OSD根据新收到的视图，来决定后续的操作对象多副本复制取决于MDC的视图；两副本情况下，当client发送一个写请求到达该OSD的时候，该OSD将根据视图的信息，将该写请求复制一份到该Partition的备OSD。多副本情况下，则会复制发送多个写请求到多个备OSD上OSDViewIOViewPartitionViewOSDIDOSDStatusPartitonIDOSD主PartitonIDOSD主OSDStatusOSD备OSDStatusOSD备OSDStatus视图管理FusionStorage主要模块交互关系系统启动时，MDC与ZK互动决定主MDC。主MDC与其它MDC相互监控心跳，主MDC决定某MDC故障后接替者。其它MDC发现主MDC故障又与ZK互动升任主MDCOSD启动时向MDC查询归属MDC,向归属MDC报告状态，归属MDC把状态变化发送给VBS。当归属MDC故障，主MDC指定一个MDC接管，最多两个池归属同一个MDCVBS启动时查询主MDC，向主MDC注册（主MDC维护了一个活动VBS的列表，主MDC同步VBS列表到其它MDC，以便MDC能将OSD的状态变化通知到VBS），向MDC确认自己是否为leader；VBS从主MDC获取IOView，主VBS向OSD获取元数据，其它VBS向主VBS获取元数据ZK盘ZK盘ZK盘zookeeperMDCzookeeperzookeepMDC(Leader)OSDVBS（Leader）

VBS报告/通知状态MDC获取元数据获取IOView同步元数据MDC集群VBS集群MDCOSD资源池OSDOSD通知状态变化OSDOSDOSDOSDOSDOSD资源池OSDOSDOSDOSDOSDOSDOSDOSDOSD归属通知状态变化获取IOViewFusionStorage弹性扩展FusionStorage的分布式架构具有良好的可扩展性，支持超大容量的存储扩容存储节点后不需要做大量的数据搬迁，系统可快速达到负载均衡状态支持灵活扩容计算节点、硬盘、存储节点，或者同时进行扩容机头、存储带宽和Cache都均匀分布到各个节点上，系统IOPS、吞吐量和Cache随着节点扩容线性增加AppAppAppAppAppApp计算网络(10GE)Server2Server3Server1Server4待扩容加入节点1Server5待扩容加入节点2FusionStorage分布式一体化存储CacheSSDHDDCacheSSDHDDCacheSSDHDDFusionStorage快速数据重建FusionStorage中的每个硬盘都保存了多个DHT分区（Partition），这些分区的副本按照策略分散在系统中的其他节点。当FusionStorage检测到硬盘或者节点硬件发生故障时，自动在后台启动数据修复由于分区的副本被分散到多个不同的存储节点上，数据修复时，将会在不同的节点上同时启动数据重建，每个节点上只需重建一小部分数据，多个节点并行工作，有效避免单个节点重建大量数据所产生的性能瓶颈，对上层业务的影响做到最小化数据分片存储硬件故障故障自动检测自动重建数据副本多节点并行恢复FusionStorageCache写机制OSD在收到VBS发送的写IO操作时，会将写IO缓存在SSDcache后完成本节点写操作OSD会周期将缓存在SSDcache中的写IO数据批量写入到硬盘，写Cache有一个水位值，未到刷盘周期超过设定水位值也会将Cache中数据写入到硬盘中FusionStorage支持大块直通，按缺省配置大于256KB的块直接落盘不写Cache，这个配置可以修改FusionStorageCache读机制FusionStorage的读缓存采用分层机制，第一层为内存cache，内存cache采用LRU机制缓存数据第二层为SSDcache，SSDcache采用热点读机制，系统会统计每个读取的数据，并统计热点访问因子，当达到阈值时，系统会自动缓存数据到SSD中，同时会将长时间未被访问的数据移出SSDFusionStorage预读机制，统计读数据的相关性，读取某块数据时自动将相关性高的块读出并缓存到SSD中FusionStorage分布式CacheFusionStorage集群内各服务器节点的缓存和带宽都均匀分布到各个服务器节点上，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题FusionStorage支持将服务器部分内存用作读缓存，NVDIMM和SSD用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升1~3倍FusionStorage支持SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能Cache共享，水平任意扩展主机APP1主机APP2存储SRV1>存储SRV2存储SRV3>存储SRV1存储SRV2存储SRV3存储SRV4主机APP1主机APP2Cache资源池Cache资源池FusionStorage：分布式Cache资源池9.6TB7.2TBFusionStorage

SSD存储与Infiniband网络SSD存储介质：通过在存储节点上配置SSD盘或PCI-ESSD卡，FusionStorage可以将存储节点上的SSD组成1个虚拟存储资源池，为应用提供高性能读写能力Infiniband高速网络：56GbpsFDRInfiniBand，节点间超高速互联标准成熟多级胖树组网，平滑容量扩容近似无阻塞通信网络，数据交换无瓶颈纳秒级通信时延，计算存储信息及时传递无损网络QOS，数据传送无丢失主备端口多平面通信，提高传输可靠性FusionStorage掉电保护系统运行过程中可能会出现服务器突然掉电的情况，FusionStorage使用保电介质来保存元数据和缓存数据，以防掉电而丢失FusionStorage支持的保电介质为NVDIMM内存条或SSD。程序运行过程中会把元数据和缓存数据写入保电介质中，节点异常掉电并重启后，系统自动恢复保电介质中的元数据和缓存数据NVDIMM内存SSD硬盘PCIeSSD卡FusionStorage产品整体介绍FusionStorage基础概念及关键原理FusionStorage组件功能及相互关系FusionStorageIO流程分析FusionStorage主要功能特性FusionStorage跨服务器、机柜或机房数据可靠性FusionStorage读IO流程APP下发读IO请求到OS，OS转发该IO请求到本服务器的VBS模块；VBS根据读IO信息中的LUN和LBA信息，通过数据路由机制确定数据所在的PrimaryOSD；如果此时PrimaryOSD故障，VBS会选择secondaryOSD读取所需数据PrimaryOSD接收到读IO请求后，按照Cache机制中的“Readcache机制”获取到读IO所需数据，并返回读IO成功给VBSOSDSSDHDDVBSAPPServerServerPrimaryFusionStorage写IO流程OSDSSDHDDOSDSSDHDDVBSAPPServerServerServersyncsyncasyncasyncsyncPrimarySecondaryAPP下发写IO请求到OS，OS转发该IO请求到本服务器的VBS模块；VBS根据写IO信息中的LUN和LBA信息，通过数据路由机制确定数据所在的PrimaryOSDPrimaryOSD接收到写IO请求后，同时以同步方式写入到本服务器SSDcache以及数据副本所在其他服务器的secondaryOSD，secondaryOSD也会同步写入本服务器SSDcache。PrimaryOSD接收到两个都写成功后，返回写IO成功给VBS；同时，SSDcache中的数据会异步刷入到硬盘VBS返回写IO成功，如果是3副本场景，primaryOSD会同时同步写IO操作到secondaryOSD和thirdOSDFusionStorage数据处理过程虚拟磁盘offset(1020K)+len(8k)

VBS

OSD-client0121020k4k000100000000000100010000KEY1KEY2key=KEY1,offset=1020k,len=4kkey=KEY2,offset=0k,len=4kDHTkeypartitionioview路由目标：主osd

OSD（主）DHTkeypartitionptview路由目标：备osd

OSD（备）SNAPkey管理key写的位置以及快照key处理CACHEAIO-DMDISKio调度，读命中，io排序，写缓存等处理io提交以及磁盘故障错误管理|----treeid-------|---blockid-------|---bid--|---sid--|FusionStorage产品整体介绍FusionStorage基础概念及关键原理FusionStorage组件功能及相互关系FusionStorageIO流程分析FusionStorage主要功能特性FusionStorage跨服务器、机柜或机房数据可靠性FusionStorage分布式存储软件总体框架存储接口层SCSI驱动/iSCSI存储服务层分布式链接克隆分布式快照分布式精简配置分布式Cache备份容灾存储引擎层集群状态控制集群故障自愈强一致性复制协议分布式数据路由并行数据重建存储管理FusionStorage块存储功能-

SCSI/iSCSI块接口FusionStorage通过VBS以SCSI或iSCSI方式提供块接口：SCSI方式：安装VBS的物理部署、FusionSphere或KVM等采用SCSI方式iSCSI方式：安装VBS以外的虚拟机或主机提供存储访问，VMware、MSSQLServer集群采用iSCSI模式CVM硬件介质VMWARE-ESXiVBSOSDVMVMiSCSI-InitiatorVMFSiSCSI-TargetVM硬件介质UVP/KVMVBSOSDVMSCSIFusionStorage精简配置功能2TB2TB2TB300GB600GB900GB传统配置自动精简配置时间相比传统方式分配物理存储资源，精简配置可显著提高存储空间利用率FusionStorage天然支持自动精简配置，和传统SAN相比不会带来性能下降FusionStorage快照功能FusionStorage快照机制，将用户卷数据在某个时间点的状态保存下来，可用作导出数据、恢复数据之用FusionStorage快照数据在存储时采用ROW（Redirect-On-Write）机制，快照不会引起原卷性能下降无限次快照：快照元数据分布式存储，水平扩展，无集中式瓶颈，理论上可支持无限次快照卷恢复速度快：无需数据搬迁，从快照恢复卷1S内完成（传统SAN在几小时级别）第一次快照123