华为OceanStorV3融合存储技术培训胶片

华为OceanStorV3融合存储技术培训胶片目录OceanStorV3关键技术OceanStorV3应用场景OceanStorV3硬件架构423OceanStorV3产品介绍1OceanStorV3系列存储系统规格持续领先一代业界最高的可靠性面向未来的云架构统一软件/硬件/管理平台5300/5500V35600/5800V36800V3OceanStorV3系列存储系统规格表5300

V35500

V35600V35800

V36800V3基本规格最大磁盘数500750100012501500最大控制器数88888缓存（每控制器）16GB标准：24GB最大：48GB标准：32GB最大：64GB标准：64GB最大：128GB标准：128GB最大：256GB最大IO模块数（每控制器）22886支持存储协议FC、FCoE、iSCSI、InfiniBand、NFS、CIFS、HTTP、FTP软件特性Smart系列效率提升软件SmartThin、SmartQoS、SmartTier、SmartMotion、SmartPartition、SmartCache*、SmartMulti-Tenant、SmartVirtualization、SmartMigration、SmartErase、SmartCompression*、SmartDedupe*、SmartQuota*Hyper系列数据保护软件HyperSnap、HyperClone、HyperCopy、HyperReplication、、HyperLock主机软件UltraPath、ReplicationDirector存储管理软件DeviceManager，ReplicationDirector，eSight虚拟化特性虚拟机支持VMware、Citrix、Hyper-V、FusionSphere目录OceanStorV3关键技术OceanStorV3应用场景OceanStorV3硬件架构423OceanStorV3产品介绍15300V3/5500V3产品形态体系架构采用最新的pangea硬件平台5300V3/5500V3：盘控分离（2U盘控一体）Active-Active冗余双控制器产品特点高性能：PCIE3.0高速总线和SAS3.0高速IO通道高可靠性：全冗余设计内置BBU+数据保险箱各种数据保护技术高扩展性：IO接口模块热插拔2U支持4张可拔插接口卡，2张板载接口卡绿色节能：CPU智能调频风扇精细化调速5600V3/5800V3/6800V3产品形态体系架构采用最新的pangea硬件平台5600V3/5800V3：盘控分离（3U独立机头）6800V3：盘控分离（6U独立机头）Active-Active冗余双控制器产品特点高性能：PCIE3.0高速总线和SAS3.0高速IO通道高可靠性：全冗余设计内置BBU+数据保险箱各种数据保护技术高扩展性：IO接口模块热插拔3U支持16张接口卡/6U支持24张接口卡绿色节能：CPU智能调频风扇精细化调速5600V3/5800V36800V35300V3/5500V3硬件架构电源/BBU/风扇一体化模块1+1冗余转换效率高达94%支持-48V直流和240V高压直流接口模块2个热插拔接口模块槽位接口类型：8Gb/16GbFC、GE、10GETOE、10GEFCoE、12GbSAS板载接口5300V3每控制器板载4×GE5500V3每控制器板载4×8GFCSAS级联接口每控提供2个SAS级联口5300V3/5500V3硬件系统架构业务子系统ServicechannelManagechannelPowersupplyPCIeGEN3×8电源/BBU/风扇模块0电源/BBU/风扇模块1接口模块A0控制模块B机电子系统PCIeGEN3×812V12V接口模块A1接口模块B1PCIeGEN3×8接口模块B0控制模块A备注：BBU选配，根据写CACHE大小不同，BBU备份方式不同……disk0disk1disk23disk24硬盘子系统5600V3/5800V3硬件架构BBU模块5600V3：1+1冗余；5800V3：2+1冗余支持交流电源掉电保护控制模块双控制器自动变频，降低能耗自带风扇模块（即风扇集成在控制模块中，但可以独立维护）管理模块1+1冗余支持热插拔支持多控Scale-out互联，实现心跳电源模块1+1冗余转换效率高达94%支持240V高压直流接口模块16个接口模块槽位，支持热插拔接口类型：8Gb/16GbFC、GE、10GETOE、10GEFCoE、12GbSAS5600V3/5800V3架构图系统插框BBU模块控制器电源模块管理模块接口模块5600V3/5800V3后端接口示意图123546789电源模块管理模块USB（预留）管理网口维护网口串口12GbminiSASHD8GbFCGE说明：1、管理网络全互联，即一个管理网口可以管理A控和B控；2、串口有对应关系，SMM0管理板的串口对应B控制器；SMM1管理板的串口对应A控制器5600V3/5800V3硬件系统架构业务子系统ServicechannelManagechannelPowersupplyPCIeGEN3×8电源0BBU0BBU1电源1BBU2BBU3接口模块A0控制模块B管理接口模块A管理接口模块B管理子系统机电子系统PCIeGEN2×812V12V接口模块A7……接口模块B7PCIeGEN2×8接口模块B0……控制模块A风扇模块0风扇模块2风扇模块1风扇模块0风扇模块2风扇模块1备注：BBU选配，根据写CACHE大小不同，BBU备份方式不同6800V3硬件架构BBU模块3+1冗余支持交流电源掉电保护控制模块支持双控和四控两种配置自动变频，降低能耗自带风扇模块（即风扇集成在控制模块中，但可以独立维护）管理模块1+1冗余支持热插拔支持多控Scale-out互联，实现心跳电源模块1+1冗余，支持240V高压直流转换效率高达94%接口模块双控支持12个；四控支持24个接口模块模块；支持热插拔接口类型：8Gb/16GbFC、GE、10GETOE、10GEFCoE、12GbSAS6800V3架构图系统插框BBU模块控制器电源模块管理模块接口模块6800V3后端接口示意图USB（预留）管理网口0管理网口1维护网口串口12GbminiSASHD8GbFCGE说明：1、管理网络全互联，即一个管理网口可以管理A控和B控；2、串口有对应关系，SMM0管理板的串口对应B控制器；SMM1管理板的串口对应A控制器1723456896800V3硬件系统架构业务子系统PCIeGEN3×8电源0BBU0BBU1电源3BBU2BBU3接口模块A0控制模块B管理接口模块A管理接口模块B管理子系统机电子系统PCIeGEN3×812V12V接口模块A5……接口模块B5PCIeGEN3×8接口模块B0……控制模块A风扇模块0风扇模块2风扇模块1风扇模块0风扇模块2风扇模块1电源1电源2PCIeGEN3×8接口模块A0控制模块DPCIeGEN3×8接口模块A5……接口模块B5PCIeGEN3×8接口模块B0……控制模块C风扇模块0风扇模块2风扇模块1风扇模块0风扇模块2风扇模块1普通硬盘框硬件架构硬盘模块电源模块级联模块硬盘模块风扇模块级联模块电源模块4U硬盘框（24盘位），支持24块3.5英寸硬盘2U硬盘框（25盘位），支持25块2.5英寸硬盘高密硬盘框硬件架构系统插框电源模块风扇模块级联模块硬盘模块4U高密硬盘框（75盘位）支持安装75块3.5英寸硬盘高密硬盘框布局图I/OModuleI/OModulePowerPowerPowerPowerWidth=446mmI/OModuleFanPowerDiskDiskDiskDiskDisk4UDepth=790mm高*宽*深：4U*446mm*790mm每个高密框最大支持的盘数：5x15=75SAS级联板：1+1备份，支持独立维护；FanFanFanFanFanFan43210131211109857614FrontviewTopviewBackviewSideviewSAS级联板（I/OModule）SAS级联板（I/OModule）A10111213141234569780BCDE目录OceanStorV3关键技术OceanStorV3应用场景OceanStorV3硬件架构423OceanStorV3产品介绍1RAID2.0+软件架构物理硬盘存储池PoolChunkCKG主机看见LUN多种类型硬盘同时存放于存储池每个硬盘空间被切分成精细粒度的块Chunk来自不同硬盘上的Chunk组成CKGLUN可在短时间内创建成功ExtentCKG被切分成更细粒度的空间分级不分级Volume不分级多个Extent组成Volume华为RAID2.0+：

底层介质虚拟化+上层资源虚拟化，同时解决数据快速重构问题和资源的智能分配问题数据快速重构：缩短数据重构时间，从10小时到30分钟，使重构速度提升20倍，大幅降低重构过程对业务的影响和多盘失效的概率存储池内所有硬盘参与重构，仅重构业务数据；由传统RAID多对一的重构模式转变为多对多快速重构模式数据重构速度提升20倍RAID2.0+重构原理传统RAID重构原理RAID2.0+重构原理概念

虚拟快照是指源数据在某个时间点的一致性数据副本。快照技术的一种（一般指虚拟快照和LUN克隆），虚拟快照依赖于源LUN。技术特点瞬间生成：存储系统可以在几秒钟内生成一个快照，获取源数据的一致性副本。占用存储空间少：生成的快照数据并非完整的物理数据拷贝，不会占用大量存储空间。所以即使源数据量很大，也只会占用很少的存储空间。应用场景快速数据备份和恢复（应对误删、病毒等）数据持续保护数据分析、测试虚拟快照激活之前，数据写入动作不变abcefg源LUN资源空间虚拟快照被激活，创建映射表，记录数据映射关系1234567映射表写前拷贝，新数据写入时，先将源LUN的旧数据块写入资源空间同时修改映射表，再将新数据写入源LUNdx源LUN该位置数据块再次被修改时，新数据直接覆盖y快照回滚d快照点非快照点快照时间点的数据HyperSnap工作原理HyperSnap（虚拟快照）HyperClone工作原理在初始同步时主LUN收到生产主机写请求，需要检查同步进度；若要写入位置的数据块尚未拷贝到从LUN，只需要写主LUN即可返回主机成功，稍后利用同步任务将整个数据块同步到从LUN；若要写入位置的数据块已经拷贝，需要分别写入主从LUN；若要写入位置的数据块正在拷贝，需要等待该数据块拷贝完成后分别写入主LUN和从LUN；初始同步完成后可以将主、从LUN分裂，这时主、从LUN都可以用于独立的数据分析及测试，主、从LUN数据的变化互不影响，只是用进度位图记录对应数据块的变化。优势和应用场景主LUN损坏从LUN不受影响，一个主LUN可以有多个从LUN主要用于数据备份和保护、数据测试分析主LUN从LUN000111111进度位图abcdefghiabc初始同步jk已拷贝完成的块位图为“0”，未拷贝完成和正在拷贝的位图为“1”jjk0ell0fghi分裂mn000011相同块位图为“0”，不同块位图为“1”HyperClone工作原理概念

克隆是快照技术的一种，是源数据在某个时间点的完整副本，是一种可增量同步的备份方式。HyperClone（LUN克隆）概念

存储系统中的源LUN数据拷贝到目标LUN中，支持在阵列间和阵列内的拷贝功能。HyperCopy全量拷贝工作原理全量拷贝，即把源LUN数据从头到尾进行一次完整的至目标LUN的拷贝。离线进行，如果复制过程中源LUN收到写IO，则目标LUN上的数据可能不具备时间一致性；因此复制过程中需暂停对源LUN的写IO。

优势和应用场景支持第三方存储支持源LUN比目标LUN容量小的场景阵列间或阵列内的数据迁移数据备份1全量拷贝业务暂停源LUN目标LUNLUN拷贝123456789123456789HyperCopy工作原理HyperCopy（LUN拷贝）

概念

远程复制技术的一种，存储间实时的同步数据，最大限度保证数据的一致性，以减少灾难发生时数据的丢失量。HyperReplication/S工作原理建立同步远程复制之初，会启动一个初始同步，也就是将主LUN数据全量拷贝到从LUN；初始同步完成以后，如果此时主LUN收到生产主机写请求，按照如下流程进行I/O处理：主站点接收生产主机写请求，记录这个I/O对应数据块的差异日志值为“有差异”；主站点将写请求的数据写入主LUN（LUNA），同时利用配置好的链路将写请求发送到远端从站点；判断写LUNA和写LUNB的执行结果，如果都成功，则将差异日志改为“无差异”，否则保留“有差异”，在下一次启动同步时重新拷贝这一个数据块；向主机返回写请求完成。同步远程复制CacheCacheLUNALUNB主站点从站点12223334HyperReplication/S工作原理优势和应用场景零数据丢失复制比可达32:1（同步远程复制+异步远程复制之和）主从存储可互为镜像适用于本地或同城数据容灾HyperReplication/S（同步远程复制）

概念

远程复制技术的一种，存储间周期性地同步数据，最大限度减少由于数据远程传输的时延而造成的业务性能下降。HyperReplication/A工作原理建立异步远程复制之初，会启动一个初始同步，也就是将主LUN数据全量拷贝到从LUN；初始同步完成以后，开始按照下面的流程进行I/O处:每个复制周期启动时在主LUN（LUNA）和从LUN（LUNB）的缓存中产生新的时间片（TPN+1和TPX+1）；主站点接收生产主机写请求；主站点将写请求的数据写入Cache时间片TPN+1中，立即响应主机写完成；

同步数据时，读取前一个周期主LUNA

Cache时间片TPN的数据，传输到从站点，写入LUNB

Cache时间片TPX+1中；若主站点Cache写缓存达到高水位时会自动刷盘，此时时间片TPN的数据会在盘上生成快照；同步时已刷盘的数据从快照中读取并复制到LUNB。异步远程复制CacheCacheLUNALUNB主站点从站点125354N+1NX+1X1采用创新的多时间片缓存技术（专利号：CT/CN2013/080203），实现秒级RPO秒级RPO实现异步远程复制工作原理优势和应用场景性能影响较小，RPO可达到5秒复制比可达32:1（同步远程复制+异步远程复制之和）主从存储可互为镜像适用于本地、同城、异地数据容灾HyperReplication/A（异步远程复制）HyperMirror（卷镜像）卷镜像是一种数据冗余备份技术，可以为一个LUN创建多个镜像物理副本，对LUN提供持续的冗余备份保护，从而提高单个LUN的可靠性和可用性。功能原理创建镜像LUN：将一个本地LUN或外部LUN变成镜像LUN，同时生成一个镜像副本；再为镜像LUN添加一个镜像副本，形成冗余备份同步：初始同步：当创建镜像LUN后，将镜像LUN中的数据全部拷贝到镜像副本中，之后对镜像LUN、镜像副本进行双写增量同步：当镜像副本从“分裂”或“异常断开”中恢复“正常”时，待恢复的镜像副本会增量拷贝镜像LUN变更的数据分裂：分裂出去的镜像副本数据不可用，未分裂出去的镜像副本数据可用SmartTier（智能数据分级）迁移模式提供手动和自动迁移模式。可设置IO监控时段和迁移时段迁移速度可提供三种不同级别的迁移速度：高、中、低迁移策略包括“自动迁移”、“向高性能层迁移”、“向低性能层迁移”、“不迁移”四种方式SmartTier的价值满足企业对性能和容量的双重需求，避免历史数据占用昂贵的存储介质，保证企业有效投入，消除无用容量带来的能耗开销，降低企业TCO，得到最优性价比虚拟化混合负载模型（18个Exchange虚拟机，2个数据库虚拟机，2个应用虚拟机）达到26564的事务IOPS处理能力传统存储华为存储SmartMotion系统上线N个月容量性能系统上线N个月容量性能容量性能容量性能系统刚上线容量性能系统刚上线技术原理在线实时监控硬盘CK的使用率、IO等定时迁移CK至“空闲”硬盘，通过迁移CK实现硬盘容量和性能的均衡双重机制降低迁移对业务的影响：“优先级”和“流控”技术优势实现存储资源智能水平流动，硬盘内部负载均衡新加入硬盘时，数据和性能均衡分布实现在调整过程中业务连续维持容量和性能动态均衡SmartMotion（智能数据迅移）32MB32MB32MB32MB8KB数据量：32KB分配空间：256KB数据量：32KB分配空间：128MB利用率提升数50倍8KB8KB8KB8KB8KB8KB8KB1.写操作ThinLUN2、查询映射表，进行分配或修改Pool用时再分配空间分配物理空间存储实际数据技术原理写时分配：当分配空间不足时，默认以64KB粒度补配空间映射表：逻辑单元和物理单元（即默认64KB粒度）之间通过映射表关联读写重定向：通过映射表将读写逻辑单元的IO重定向到物理单元技术优势高效分配策略：64KB分配粒度，针对小数据块场景，分配效率更高多样回收机制：支持VMwareVAAI命令回收、SymantecStorageFoundation命令回收、WindowsServer2012命令回收、全零页面检测回收SmartThin（智能精简配置）全零数据块/未使用空间非全零数据块/已使用空间主要技术当ThinLUN收到主机写请求时，先将该请求按照Grain粒度（即分配空间的粒度，64KB）进行拆分，并对所有Grain逐个进行零数据检测。查询ThinLUN的空间分配映射表，获取全零Grain的物理空间分配情况。如果全零Grain所在的逻辑地址还未分配物理空间，则直接返回该全零Grain写入成功，不需要对其做写时分配操作。反之，如果全零Grain所在的逻辑地址已经分配物理空间，则触发释放该物理空间的操作，释放空间完成后返回该全零Grain写入成功。ThinLUN映射表POOL①②③④④释放空间数据缩减SmartQoS（智能服务质量控制）限制一般业务性能，避免扰邻启动限流策略一般业务性能冲高，关键业务受影响开启优先级控制

SmartQoS（智能服务质量控制）为不同的业务指定不同性能目标，以满足关键业务的运行。适用于多业务混合应用场景。优先级策略：系统内部维护多个IO队列，队列按照高、中、低档次分类，通过控制前端并发、CPU、Cache、后端硬盘等环节进行IO排队处理流控机制设置上限值：通过限制IOPS、带宽、延时等，限制非关键应用的性能，避免非关键应用抢占过多存储资源SmartQoS（智能服务质量控制）开启性能保障目标：8000流控机制设置下限值：为关键应用设置最低性能目标（如IOPS、带宽、延时等），无论存储负载如何变化，系统尽快最大能力满足关键应用的最低指标SmartPartition（智能缓存分区）SmartPartition（智能缓存分区）通过对系统核心资源缓存的分区，保证关键应用的性能技术原理将存储缓存划分为多个大小不等的缓存分区将不同应用分配到不同的缓存分区系统自动调整每个缓存分区的主机并发和访盘并发，进而调整每个应用的服务质量效果专属缓存分区，实现业务隔离，提高可靠性核心业务专属保障，充分利用缓存资源，大幅提升服务质量适用于多业务混合应用场景SmartVirtualization（智能异构虚拟化）EMCIBM利旧统一资源管理SmartVirtualizationHUAWEI

整合异构存储，充分利旧充分利用现有存储系统，保护既有投资统一访问界面，简化管理通过整合，提升数据效能异构存储数据迁移，数据可用异构存储数据迁移，将数据从陈旧存储系统上迁出，保证数据的可用性跨级存储数据迁入，利用企业级功能特性，改善原有数据的存储效能跨级存储数据迁出，将不活跃数据迁移至廉价存储上，降低TCO资源整合数据迁移SmartMigration（LUN迁移）应用场景结合异构功能在线搬迁友商数据ThinLUN和ThickLUN互换RAID级别迁移技术原理业务数据同步：通过双写和DCL来完成同步，保证迁移完成后的数据一致性LUN信息交换：LUNID不变，交换数据卷ID，使得迁移完成后的源LUN所指向的物理空间变成了目标数据卷，从而实现了用户无感知的业务迁移本端Cache133346源LUN对端Cache525DCL目标LUNPair源LUN目标LUNLUNID数据卷ID0

0LUNID数据卷ID0

0LUNID数据卷ID0

1LUNID数据卷ID1

1LUNID数据卷ID11LUNID数据卷ID10交换前交换中交换后LUN信息交换，改变LUNID与数据卷ID的映射关系SmartMulti-Tenant（多租户）租户管理员BTenantB租户管理员CTenantCDataDataDataDataDataData租户管理员ATenantADataDataData存储管理员存储管理员：对阵列内所有资源进行管理，包括对所有租户的管理租户管理员：只能对租户内资源进行管理多租户特性有效隔离租户间的资源数据，将一部分资源的管理功能下放给各自的租户，由租户的管理员对租户内的资源进行自管理。功能原理分权分域：租户管理员可以进行基本的磁盘（LUN）管理和性能监控存储管理员可以给租户分配磁盘（LUN），并分配租户管理员，以及对租户管理员进行管理资源管理：存储管理员具有完全的资源管理权限，租户管理员仅提供资源查询能力。SmartErase（数据销毁）SmartErase提供两种数据销毁方式：DoD5220.22-M：美国国防部提出的数据销毁标准，该标准提出了一种通过三次覆盖写对可写存储介质进行数据销毁的软件方法使用一个8位的字符进行所有地址覆盖写使用该字符的补码（0和1全反转的字符）进行所有地址覆盖写使用一个随机字符进行覆盖写自定义：自定义覆盖写方式系统按照内部算法生成数据并使用该数据按照用