OceanStor全闪存存储系统技术白皮书

1、华为 OceanStor 5300F, 5500F,5600F, 5800F, 6800F, 18000F V5全闪存存储系统技术白皮书目录 HYPERLINK l _bookmark0 闪存的演进及挑战1 HYPERLINK l _bookmark1 SSD 的产生与优势1 HYPERLINK l _bookmark2 SSD 的架构与现状2 HYPERLINK l _bookmark3 当前 SSD 在企业级存储阵列使用中存在的问题3 HYPERLINK l _bookmark4 针对 HDD 设计的存储阵列软件无法发挥 SSD 的性能优势3 HYPERLINK l _bookmark7

2、针对 HDD 设计的存储阵列软件无法保证 SSD 的可靠性5 HYPERLINK l _bookmark8 1.4 华为对 SSD 在存储产品中应用的构想6 HYPERLINK l _bookmark9 华为 OceanStor F V5 全闪存存储系统7 HYPERLINK l _bookmark10 OceanStor F V5 全闪存存储技术原理8 HYPERLINK l _bookmark11 华为在闪存领域的技术储备8 HYPERLINK l _bookmark12 面对未来全闪存数据中心的存储架构设计9 HYPERLINK l _bookmark13 华为 SSD9 HYPERLI

3、NK l _bookmark14 全新的 Smartmatix2.0 架构10 HYPERLINK l _bookmark15 SAS 3.0 后端全互连10 HYPERLINK l _bookmark16 缓存持续镜像11 HYPERLINK l _bookmark17 4S 弹性扩展12 HYPERLINK l _bookmark18 华为针对 SSD 优化的 RAID2.0 技术13 HYPERLINK l _bookmark19 数据动态负载均衡14 HYPERLINK l _bookmark20 快速精简重构，改善双盘失效率15 HYPERLINK l _bookmark21 3.3

4、 深度优化的全闪存阵列15 HYPERLINK l _bookmark22 3.3.1 优化 IO 流程降低存储阵列的处理时延15 HYPERLINK l _bookmark23 针对闪存架构的增值业务优化20 HYPERLINK l _bookmark24 服务质量分级（QoS）20 HYPERLINK l _bookmark25 虚拟机优化，提升华为全闪存存储效率21 HYPERLINK l _bookmark26 OceanStor F V5 丰富的企业级特性23 HYPERLINK l _bookmark27 平滑的迁移到 OceanStor F V5 全闪存阵列24 HYPERLIN

5、K l _bookmark28 老存储性能优化迁移（SmartMigration）24 HYPERLINK l _bookmark29 LUN 迁移24 HYPERLINK l _bookmark30 异构迁移26 HYPERLINK l _bookmark31 存储异构虚拟化26 HYPERLINK l _bookmark32 从异构存储在线迁移到华为 OceanStor F V5 全闪存存储系统27 HYPERLINK l _bookmark33 缩略语表291 闪存的演进及挑战1.1 SSD 的产生与优势计算、网络、存储是现代 IT 系统的基本组成单元。看计算能力，摩尔定律规范着处理器性

6、能的上升节奏，每 18 个月性能翻倍。看网络能力，网络速度以 5 年为周期进行着10 倍速率（10M/100M/1G/10G/40G/100G）的技术更迭。看存储能力，机械硬盘（HDD）的速度却止步不前，企业级 SAS HDD 仅从 7200 rpm 增长到 15,000 rpm。计算、网络、存储三种基本资源的性能增速不均衡，造成需要通过大量的 HDD 以 RAID 组方式累加，以求得存储性能相对于计算、网络资源的匹配，进而造成了大量存储容量的浪费、能源的消耗。固态盘（Solid State Drives），简称 SSD。由半导体晶体管（闪存颗粒）替代磁介质构成基本存储单元，由电子读写操作替代

7、传统硬盘的马达驱动和机械臂寻道，极大降低了访问的延迟，提高了单位时间内的 IO 访问效率。尤其在随机小 IO 的读写上，时延由 ms 量级下降至 100us 量级。下面两个图为不同层次存储介质的访问时延差别，以及HDD 与 SSD 的性能对比。L1L2L3 代表 CPU 内部缓存层级，DRAM 为内存。相较于HDD，SSD 的访问时延至少降低两个数量级。图1-1 不同层级存储介质访问时延(volatile：易失介质 non-volatile：非易失介质)SSD 的架构与现状固态盘（SSD）由控制单元和存储单元（主要是 FLASH 闪存颗粒）组成，主机侧接口与传统硬盘一致。内部单元分为，主机接口

8、（host Interface）、控制器（Processor）、内存（RAM），闪存颗粒（Flash Package），如下图所示：图1-2 SSD 架构图现状：容量在几百 GB 到几个 TB，16TB 以上的大容量规格逐渐出现单盘 IOPS 在 100K 以上，高性能盘片可达 200K300K硬盘价格逐渐降低，$/GB 成本目前已经与 2.5 寸 15K SAS 持平当前 SSD 在企业级存储阵列使用中存在的问题虽然 SSD 的引入、应用切实提升了传统存储阵列的性能，支持更高的 IOPS 和更低的时延，但是，大部分厂商支持 SSD 的融合存储产品，依然是面向 HDD 而设计的系统， 只是将

9、SSD 作为一种高转速的 HDD 进行使用，并未结合 SSD 本身的特性进行系统的重构与优化。由于系统面向 HDD 的软件设计，SSD 的性能优势无法最大限度发挥，SSD 的寿命也没有得到有效的管理。设计和创造使用大量 SSD 的存储系统，需要首先理解 SSD 和传统 HDD 的不同点，以及这些不同点对存储架构设计造成的冲击。针对 HDD 设计的存储阵列软件无法发挥 SSD 的性能优势SSD 100us 量级时延，使得存储阵列系统处理时延的影响无形中放大IOPS、I/O 并发、I/O 时延之间的关系是：。一块高性能企业级 SAS HDD，4KB I/O 随机访问时延约为 5ms。一块 SAS

10、接口 SSD， 4KB I/O 随机访问时延约为 0.2ms。 HYPERLINK l _bookmark5 如图 1-3 所示，假设将一块 HDD 和一块 SSD 分别接入两台相同配置的主机，然后这两台主机分别以单并发的压力下发 I/O。图1-3 HDD、SSD 直接与主机相连 HYPERLINK l _bookmark5 图 1-3 左侧为 HDD，其 IOPS 为 1 / 5ms = 200 IOPS。 HYPERLINK l _bookmark5 图 1-3 右侧为 SSD，其 IOPS 为 1 / 0.2ms = 5000 IOPS。现在，将 HYPERLINK l _bookmar

11、k5 图 1-3 中的 HDD 和 SSD 分别插入两台相同配置的存储阵列控制器，再通过阵列接入到服务器，如 HYPERLINK l _bookmark6 图 1-4 所示。图1-4 HDD、SSD 通过阵列与主机相连存储阵列控制器会引入处理时延，一般而言，控制器引入的时延随压力的不同而变化， 在单并发这种小压力情况下，引入的时延一般在 0.2ms 左右。此时，主机看到的 IOPS 会发生变化： HYPERLINK l _bookmark6 图 1-4 左侧的控制器加上 HDD，其 IOPS 为 1 / (0.2ms + 5ms) = 192 IOPS。 HYPERLINK l _bookma

12、rk6 图 1-4 右侧的控制器加上 SSD，其 IOPS 为 1 / (0.2ms + 0.2ms) = 2500 IOPS。通过上述计算可以看到，HDD 插入存储阵列后，控制器引入的时延占总时延的比例很小，IOPS 性能几乎无降低。而将 SSD 插入存储阵列后，因为控制器引入的时延占总时延的比例较大，SSD 的性能仅发挥了一半。因此，将存储阵列中的 HDD 简单更换为 SSD，这样所构建出来的存储系统，不能充分发挥 SSD 的高性能优势。SSD 高 IOPS 使得存储阵列系统瓶颈点发生迁移对于传统存储阵列，HDD 是显而易见的性能瓶颈，这也正是为什么通过增加 HDD 就可以增加整个阵列的

13、IOPS 和带宽。传统存储阵列的系统软件，都是围绕着如何消除HDD 的性能瓶颈来设计和开发的。而对于 SSD 来说，单块 SSD 的 IOPS 就已经达到数万，一个常见的 25 盘位硬盘框的潜在最高 IOPS 就已经达到了一百万以上。所以这时候存储阵列的性能瓶颈，一般位于阵列控制器，包括 CPU 处理能力、系统带宽能力、系统软件的设计和算法等等。因此在软硬件设计上就应该有所不同，否则无法充分发挥 SSD 的高性能优势。基于 HDD 设计的 cache 算法不适用于 SSDHDD 的随机访问 IOPS 约为数百，折算成带宽约为 1MB/s；顺序访问带宽约为200MB/s。SSD 的随机访问 IO

14、PS 约为数万，折算成带宽约为几十上百 MB/s；顺序访问带宽约为 300MB/s。对于 HDD，随机访问和顺序访问，二者数据吞吐率差异超过 100 倍。对于 SSD，随机访问和顺序访问，二者数据吞吐率差异只有 24 倍。因为 HDD 的顺序访问和随机访问之间存在巨大的数据吞吐率差异，因此传统存储阵列中的各种各样 cache 算法，都是围绕如何尽量顺序访问 HDD 来设计的。而 SSD 的顺序访问和随机访问之间，数据吞吐率差异没有那么大，情况发生了巨大的变化。适用于HDD 的 cache 淘汰算法，不一定适用于 SSD。针对 HDD 设计的存储阵列软件无法保证 SSD 的可靠性HDD 主要由磁

15、盘、磁头、机械臂、马达等机械部件和控制电路等电气部件组成；而SSD 消除了机械部件，主要由控制器、闪存颗粒等电气部件组成。闪存颗粒的数据写入原理又决定了 SSD 的使用寿命与闪存颗粒的擦写次数紧密相关。因此，HDD 和 SSD 在原理上的不同就决定了二者的故障模式也有很大区别。传统的企业级存储阵列软件针对 HDD 的故障模式做了大量的可靠性设计，但是并未针对闪存颗粒的特征进行可靠性设计，缺少针对 SSD 寿命管理的设计。因此，针对 HDD 设计的存储系统软件无法保证 SSD 的可靠性。1.4 华为对 SSD 在存储产品中应用的构想1、 继承传统企业存储阵列的精华。传统企业存储阵列在功能、可靠性

16、、可维护性等方面，已经积累了多年的经验，例如所有有源器件均冗余且可在线更换、具有丰富的数据保护软件等，类似于这样的特性，全部予以继承。2、 充分考虑 SSD 与 HDD 的巨大性能差异。SSD 的性能高出 HDD 两个数量级，这直接导致系统的瓶颈点发生了迁移，因此以前针对 HDD 的各种性能设计必须被重新审视。3、 充分考虑 SSD 使用寿命限制。针对 SSD 使用寿命特性进行设计和开发，有效管理使用寿命，延长使用时间，保证 SSD 在企业级存储阵列中应用的可靠性。华为 OceanStor 5300F, 5500F, 5600F, 5800F, 6800F, 18000F V5全闪存存储系统技

17、术白皮书2 华为 OceanStor F V5 全闪存存储系统 华为 OceanStor F V5 全闪存存储系统如何更好的在存储阵列中使用 SSD 介质来面对新的挑战，业界的主流产品大致分为混合阵列以及全闪存阵列。华为 OceanStor F V5 全闪存阵列在提供高性能的同时，还可以提供完备的数据保护以及业务连续性保障。基于华为存储完整的解决方案能力，提供 6 个 9 的可靠性保障。1、 继承传统企业存储阵列的精华。传统企业存储阵列在功能、可靠性、可维护性等方面，已经积累了多年的经验，例如所有有源器件均冗余且可在线更换、具有丰富的数据保护软件等，类似于这样的特性，全部予以继承。2、 充分考

18、虑 SSD 与 HDD 的巨大性能差异。SSD 的性能高出 HDD 两个数量级，这直接导致系统的瓶颈点发生了迁移，因此以前针对 HDD 的各种性能设计必须被重新审视。3、 充分考虑 SSD 使用寿命限制。针对 SSD 使用寿命特性进行设计和开发，有效管理使用寿命，延长使用时间，保证 SSD 在企业级存储阵列中应用的可靠性。从客户角度出发，为满足不同需要的应用场景，华为存储将发展 SSD 在存储系统中的应用提升到战略地位，实现了企业级存储的稳定可靠以及全闪存阵列的高性能表现。OceanStor F V5 系列全闪存存储，从存储的产品硬件设计、基本 IO 流程、增值特性软件、SSD 盘片等多个维度

19、基于 SSD 自身特性进行了优化、重构工作，构建产品差异化， 并最大化 SSD 盘片与存储操作系统 OceanStor OS 的深度融合，发挥出 SSD 的优势，提供高性能、高可靠、丰富数据特性的全闪存存储系统。 OceanStor F V5 全闪存存储技术原理华为 OceanStor F V5 通过全局虚拟化技术 RAID 2.0+，将 SSD 和 OceanStor OS 存储软件完美融合，而且 OceanStor F V5 针对 SSD 硬盘进行了多维度的深度优化：达到稳定时延小于 1ms 的性能指标、对 SSD 的寿命进行了有效管理，同时集成传统存储功能丰富、经过市场检验的可靠性能力，

20、充分满足用户在性能、可靠性、成本和容量方面的需要。华为在闪存领域的技术储备华为是业界唯一一家同时具备 SSD 和存储系统研发能力的存储厂商，掌握 SSD 控制器芯片的核心技术，具有自研 SSD 的自主知识产权，目前华为自研 SSD 已申请专利 150 件，已授权专利 130 多件。面对未来全闪存数据中心的存储架构设计华为 SSDSSD 控制器作为盘片的核心部件，直接决定了盘片的性能、可靠性等关键参数。当前HSSD 使用华为自研的第二代控制器，该控制器是一款面向企业级应用，提供目前业界标准 PCIe3.04，SAS3.02 接口，该控制器具备高性能、低功耗特点，同时具备高附加值存储业务特性。针对

21、介质磨损寿命下降的趋势，通过增强 ECC/数字信号处理、内置 RAID 等技术延长 SSD 寿命，满足企业级可靠性应用要求；该控制器支持最新的DDR4、SAS 12Gb 接口速率以及硬件加速 FTL 等技术，为企业级应用提供稳定、低时延的性能。华为自研 HSSD 采用以下手段提升 SSD 盘的整体寿命和数据可靠性：1、 更高的 ECC 处理能力：随着 flash 颗粒制程从 2Xnm 向 1Xnm 演进，颗粒的擦写带来的错误比例逐渐增高，传统业界普遍使用的 BCH 纠错引擎开始变得不能满足flash 的纠错要求。为了保证一贯的数据可靠性，华为 SSD 内嵌了与企业级 SSD 控制器匹配的 LD

22、PC+DSP 算法引擎。该引擎融合硬判决、软判决、DSP 等手段，同时和颗粒厂商深度合作，进行深度调优，使 flash 寿命提升最大 3 到 4 倍。2、 NAND Flash 的内部处理：通过实时监控 NAND Flash 的状态，采用后台巡检、基于介质特性的坏页管理、分类分级管理和 Die 失效冗余的方法来提高 SSD 的可靠性；3、 优化的 SSD 管理调度算法：通过优化的垃圾回收算法(GC)、磨损均衡算法(WearLeveling)、坏块管理算法等，降低 SSD 的写放大系数，直接减少或变相增加对SSD 的磨损次数；4、 系统级针对 SSD 的数据保护：通过电压监控模块以及备电电路保护

23、系统降低异常掉电时可能造成的数据丢失风险。全新的 Smartmatix2.0 架构华为 OceanStor F V5 全闪存存储系统拥有 PCIE3.0 背板全互联、后端 SAS3.0 技术和Intel 新一代 Skylake CPU 所带来的高速通道和强劲的计算能力，灵活满足客户越来越高的性能需求。华为 OceanStor F V5 全闪存存储系统的 6800F V5、18000F V5 每个存储引擎包含 4 个控制器，4 控以内的系统配置，不再需要配置外置交换机和交换线缆，部署更简单，可靠性更好。引擎中 4 个控制器直接通过机框背板的 PCIe 3.0 高速通道全互联。SAS 3.0 后端

24、全互连华为 OceanStor 6800F V5, 18000F V5 全闪存存储系统创新推出 SAS 3.0 后端全互连接口卡。该接口卡由引擎内 4 个控制器共享，与 4 个控制器都有高速 PCIe 连接。DCBASAS ExpanderSAS ExpanderSASControllerSASControllerSASControllerSASController通过后端全互连接口卡，引擎内控制器与硬盘/硬盘框可以实现全连接，引擎内任意两个控制器故障，剩余控制器到硬盘/硬盘框的路径仍然可。01234567891011图 1SAS 3.0 后端全互连接口卡控制控制控制控制器A器B器C器DSAS

25、接口卡SAS接口卡控制控制控制控制器A器B器C器DSAS接口卡SAS接口卡由于每个控制器到每张 SAS 接口卡都有连接，任意接口卡或任意 13 个控制器故障， 剩余控制器仍然有到硬盘的连接。硬盘框硬盘框硬盘SAS接口卡SAS接口卡控制器D控制器C控制器B控制器A硬盘框硬盘框硬盘SAS接口卡SAS接口卡控制器D控制器C控制器B控制器A硬盘 硬盘框硬盘框硬盘 硬盘框硬盘框缓存持续镜像图 2 后端全互连示意图为了达到更高性能，存储系统都设计有数据缓存；为了保证在控制器故障时，保存在控制器缓存中的数据不丢失，数据缓存都会在控制器之间做镜像。在传统设计中，存储系统中的两个控制器相互镜像，当其中一个控制器

26、故障时，另外一个控制器缓存中的数据将失去镜像，为了保证故障时数据不丢失，另外一个控制器只能转为透写，从而导致性能急剧下降。在以高性能低时延为目标的全闪存存储系统中，控制器故障带来的性能冲击是不可接受的，华为 OceanStor 6800F V5, 18000F V5 全闪存存储系统推出的缓存持续镜像技术（Persistent Cache），以创新的思路，彻底解决了这一问题。如图所示，当 A 控故障，控制器 B 的 Cache 数据会选择控制器 C 或者 D 做缓存镜像， 当控制器 D 再故障，控制器 B 和 C 做缓存镜像。当一个控制器故障时，其承载的业务快速切换到镜像控制器，剩余的控制器重新

27、建立镜像关系，确保所有的控制器的缓存仍然有镜像。业务请求可以保持回写而不是透写， 保障了控制器故障后的性能，同时写入 Cache 的数据有镜像冗余保障了系统的可靠性。4S 弹性扩展基于 Smart Matrix 智能矩阵架构，OceanStor F V5 全闪存存储系统能进行 4S 弹性扩展， 并大幅提升系统资源的利用效率。图 5-1 4S 弹性扩展Scale-Up：通过增加内存、硬盘、业务端口，纵向扩展系统性能、容量和连接能力。Scale-Out：通过系统引擎的在线扩展，Smart Matrix 技术将相关资源耦合在一起， 按需增加存储资源，实现了容量和性能的在线线性增长，满足业务对容量和性

28、能的持续增长需求。控的扩展采用背板互联（高端存储）或直连组网（中端存储）；超过 4 控的扩展，采用两个冗余的数据交换机 DSW（Data Switch），在 DSW 中实现数据交换，此种 集群最大支持到 4 个引擎；由于交换链路采用双链路设计，保证集群数据交换网络的冗余性。Scale-Deep：通过整合异构存储系统，将其纳入 OceanStor F V5 全闪存存储系统统一管理，消除信息孤岛，保护客户既有投资。Scale-In：智能卷根据业务需要，在不增加任何新存储资源的前提下，通过系统内部自动均衡完成数据智能分布，提升整体资源利用率，实现自动扩展。当需要扩容存储池，只需插入新的硬盘，系统会自

29、动的调整数据分布，让数据均衡的分布到各个硬盘上；当需要扩容卷时，只需输入想要扩容的卷大小，系统会自动从存储池中划分所需的空间，并自动调整卷的数据分布，使得卷数据更加均衡的分布到所有的硬盘上；华为针对 SSD 优化的 RAID2.0 技术RAID（Redundant Array of Independent Disk，独立冗余硬盘阵列）技术诞生于 1987 年， 最初由美国加州大学的伯克利分校提出，其基本思想是把多个独立的物理硬盘通过相关的算法组合成一个虚拟的逻辑硬盘，从而提供更大容量、更高性能，或更高的数据容错功能。作为一种成熟、可靠的硬盘系统数据保护标准，RAID 技术自诞生以来一直作为存储

30、系统的基础技术而存在，但是近年来随着数据存储需求的快速增长，高性能应用的不断涌现，传统 RAID 逐渐暴露出越来越多的问题。在高性能存储需求场景，大量 SSD 硬盘应用于存储阵列，传统 RAID 受限于硬盘数量， 在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求，同时，随着硬盘容量的增大，以硬盘为单位对数据进行管理也显得越来越力不从心。SSD 硬盘的容量也在逐步增大，以 3.84TB 的 SSD 硬盘来说，在传统的 RAID5（8D+1P）中，其重构时间在 20 个小时左右。重构的进程会占用系统的资源，导致应用系统整体性能下降，当用户为了保证应用的及时响应而限制重构的优先级时，重构的时

31、间还将进一步延长。此外，在漫长的数据重构过程中，繁重的读写操作可能引起RAID 组中其他硬盘也出现故障或错误，导致故障概率大幅提升，极大地增加数据丢失的风险。为了解决传统 RAID 针对 SSD 的上述问题，同时顺应虚拟化技术的发展趋势，众多存储厂商纷纷提出了传统 RAID 技术的替代方案。LUN 虚拟化：以 EMC 和 HDS 为代表的存储厂商，在传统 RAID 基础之上将RAID 组进行更细粒度地切分，再将切分的单元进行组合，构建主机可访问的空间。块虚拟化：以华为和 HP 3PAR 为代表的存储厂商，将存储池中的硬盘划分成一个个小粒度的数据块，基于数据块来构建 RAID 组，使得数据均匀地

32、分布到存储池的所有硬盘上，然后以数据块为单元来进行资源管理。图 1-1 RAID 技术发展数据动态负载均衡传统 RAID 存储系统中一般会有多个 RAID 组，每个 RAID 组中包含几块到十几块硬盘。由于每个 RAID 组的业务繁忙程度不同，导致硬盘的工作压力不均，部分硬盘存在热点，根据 SNIA 的统计数据，热点盘的故障率会明显增高。如下图所示，其中Duty-Cycle 即忙闲度，指的是硬盘工作时间占总上电时间的比例，AFR 为硬盘年故障率，不难看出，Duty-Cycle 高时的硬盘年故障率几乎是低时的 1.52 倍。RAID2.0+技术通过块虚拟化实现了数据在存储池中硬盘上的自动均衡分布

33、，避免了硬盘的冷热不均，从而降低了存储系统整体的故障率。快速精简重构，改善双盘失效率纵观近几年 SSD 硬盘的发展，其容量的增长远远快于性能的进步，现在 15TB 的大容量 SSD 硬盘在当前的企业市场已经非常普遍，而未来 32TB 大高容量 SSD 硬盘也将在未来应用到存储系统。容量的增长使得传统 RAID 不得不面临一个严重的问题：10 年前重构一块硬盘可能只需要几十分钟，而如今重构一块硬盘需要十几甚至几十个小时。越来越长的重构时间使得企业的存储系统在出现硬盘故障时长时间处于非容错的降级状态，存在极大的数据丢失风险，存储系统在重构过程中由于业务和重构的双重压力导致数据丢失的案例也屡见不鲜。

34、基于底层块级虚拟化的 RAID2.0+技术由于克服了传统 RAID 重构的目标盘（热备盘） 性能瓶颈，使得重构数据流的写带宽不再成为重构速度的瓶颈，从而大大提升了重构速度，降低了双盘失效的概率，提升了存储系统的可靠性。深度优化的全闪存阵列优化 IO 流程降低存储阵列的处理时延IO 流程基于传统 HDD 硬盘设计理念，主要是考虑 IO 的合并和顺序度，尽量减少HDD 磁头的移动。SSD 不存在磁头移动的问题，关键要均衡发挥出各个部件的能力，SSD 盘高 IOPS 性能，使得存储阵列的 CPU 处理能力成为性能瓶颈点。OceanStor F V5全闪存存储采用多种技术来提升 CPU 的效率。1CP

35、U 智能分区算法：存储阵列内 I/O 处理时延是由很多因素决定的，高效的调度框架可解决高速介质 I/O 优先调度执行问题，I/O 在执行过程中需要避免锁冲突、CPU 核间干扰、硬中断的干扰，确保每个 I/O 处理时延是固定的，从而保证系统对外提供稳定的 I/O 处理时延。华为OceanStor F V5 全闪存存储的 CPU 智能分区算法能很好的解决这些问题，其实现原理如下：基于不同业务要求对 CPU 计算资源进行分区，隔离 OS、控制平面、计算平面、以及硬件中断任务对业务 I/O 的干扰；基于业务 IO 的特征，再对 IO 处理分区的 CPU 进行分组，并能根据业务压力在各CPU 分组间调度

36、，实现分组内 IO 免锁处理；基于 CPU 核数对内存进行分核预留，确保每个 CPU 核都有自己的内存资源池， 并且提供一个公共的内存资源池确保单个 CPU 核内存资源耗尽的情况下，能够申请到内存。2镜像 I/O 动态聚合算法：华为 OceanStor F V5 全闪存存储采用镜像 I/O 动态聚合技术，保证稳定镜像时延同时， 降低镜像流程的 CPU 消耗，提升随机写 IOPS 性能。镜像流程使用两个对列：接收队列和聚合下发队列；在聚合时只对接收队列中先到达的部分镜像 I/O 进行排序聚合， 降低排序聚合过程对镜像时延的影响，提升镜像通道的利用率。3Cache 自适应算法：存储阵列面临种类繁多

37、的业务模型，例如常见的 OLTP 和 OLAP 的业务模型就完全不一致，如何确保阵列在不同业务模型下都保持优异的性能？华为 OceanStor F V5 全闪存存储通过对 Cache 预取算法、淘汰算法进行深度优化，提供与前端业务匹配的预取、淘汰机制，确保阵列持续保持较高命中率，其实现原理如下：对 Cache 前端 I/O 进行业务模型识别，对 I/O 进行分流管理，对每一流 I/O 提供对应的预取策略，实现 I/O 的精确预取，提升 I/O 命中率；淘汰算法中引入访问频度，有助于保存热点数据，同时能够降低预取数据尚未被访问就被淘汰的概率，进一步提升预取效率。4I/O 下盘技术：主机数据写入华

38、为 OceanStor F V5 全闪存存储拆分为两个阶段：第一步先写入保电的Cache，第二步再将保电 Cache 的数据写入到硬盘。写入 Cache 的过程，华为 OceanStor F V5 全闪存存储采用了事务方式（Transaction）的写入技术。写入 Cache 的主机离散数据，会通过事务做聚合，最终整合为一个逻辑大IO（从几 MB 到上百 MB 不等，逻辑上称之为一个事务）。后续刷盘时，事务内的数据可作为一个逻辑单位，进行集中刷盘，达到了合并离散数据块的目的，减少写入 SSD 时的写放大。华为 OceanStor F V5 全闪存存储采用了 ROW（Redirect On Wr

39、ite）刷盘技术。在将事 务内的数据下盘时，华为 OceanStor F V5 全闪存存储会使用新的物理空间来保存更新的数据，而不是在原位置进行覆盖更新。因此，在将事务内的数据下盘时，就可以分 配物理上连续的空间来保存数据。综上，事务方式写入 Cache，再加上 ROW 写硬盘的策略，就可以有效地将主机的随机数据，在下盘时变成连续 IO，降低 SSD 盘的写放大。ROW 刷盘技术决定了在空间分配的时候，华为 OceanStor F V5 全闪存存储可以灵活地根据硬盘情况，调整空间分配策略。除了前述将主机离散 IO 变成盘上的连续 IO 之外，ROW 策略还可以在 SSD 盘上数据分布不均的时候

40、，选择进行“插空写”，让数据分布更均匀。5I/O 智能调度：对了降低主机 IO 时延，华为 OceanStor F V5 全闪存存储的 I/O 智能调度系统对阵列内不同类型的 I/O 提供不同优先级的调度策略，对数据读写类的 IO 提供最高优先级，确保主机业务的低时延响应；对 Smart/Hyper 系列高级特性产生的 I/O 提供次优先级，确保特性性能满足要求；硬盘重构、Pool 格式化、空间回收等后台任务产生的 I/O 拥有最低优先级，保障数据读写 I/O 时延最低。针对闪存架构的增值业务优化服务质量分级（QoS）随着各行业数字化进程的推进，数据逐渐成为企事业单位的运营核心，用户对承载数据

41、的存储系统的性能和稳定性要求也越来越高。虽然不少存储厂商能够向用户提供性能越来越高的存储设备，但由于存储系统承载的业务种类越来越多，应用场景越来越复杂，如何满足不同业务在存储系统上的服务质量要求成为一个挑战，存储系统 QoS 技术作为一种通过智能调节存储系统中各种资源在不同业务之间进行分配以满足不同业务服务质量的技术便应运而生了。在大量使用 SSD 硬盘后，存储阵列的资源瓶颈从硬盘本身迁移到了存储阵列控制器的资源，比如 CPU 资源、内存资源、网络并发资源等。华为 OceanStor F V5 全闪存存储 SmartQoS 特性可以选择从以下三个方面来保证数据业务的服务质量：IO 优先级调度技

42、术：通过区分不同业务的重要性来划分业务响应的优先级。在存储系统为不同业务分配系统资源的时候，优先保证高优先级业务的资源分配请求。在资源紧张的情况下，为高优先级的资源分配较多的资源，以此尽可能保证高优先级业务的服务质量。当前用户可以配置的优先级分为高、中、低三个等级；IO 流量控制技术：基于传统的令牌桶机制，针对用户设置的性能控制目标（IOPS或者带宽）进行流量限制，通过 IO 流控机制，限制某些业务由于流量过大而影响其它业务；IO 性能保证技术：基于流量扼制的方式，允许用户为高优先级业务指定最低性能目标（最小 IOPS/带宽或最大时延），当该业务的最低性能无法保障时，系统内部通过对其他低优先级

43、业务的 IO 逐级增加时延的方式来限制其流量，从而尽力保障该业务的最低性能目标。虚拟机优化，提升华为全闪存存储效率随着服务器虚拟化技术不断的发展，越来越多的客户在部署业务系统时纷纷选择虚拟机替代原有的传统服务器，此举不仅大大降低了客户前期投资成本，也为后续业务系统的整合，业务数据的迁移、备份等工作打下良好的基础。而相比传统服务器，虚拟机也有其不可忽视的缺点，即：虚拟机绝大部分的 I/O 操作均由软件完成，这就要求系统必须投入大量的 CPU、内存及网络带宽资源用于处理 I/O 操作，随着虚拟机的应用越来越广泛，这一缺点日益突出。针对这一问题，VMware 提出硬件加速概念，通过特殊的 VAAI（

44、VMware vStorage APIs for ArrayIntegration）插件与阵列进行交互，将原本虚拟机完成的操作交付于已通过兼容性认证的硬盘阵列完成，以此来提高系统整体性能。主要完成以下功能：阵列与 VMware 联动，完成清零功能：虚拟机最常见的操作是虚拟盘清零，这项工作占用了大量的 CPU 周期及 DMA 缓冲区，消耗了虚拟机的共享资源。华为OceanStor F V5 全闪存存储与 VMware 联动，将原本属于虚拟机的块清零操作转移至硬盘阵列上，依赖于阵列强大的 CPU 性能，快速完成初始化工作。该功能可使硬盘阵列与 ESX Server 之间的 I/O 数量减少 10

45、倍以上，并加快虚拟盘初始化进程，进而提升业务系统的整体性能。阵列与 VMware 联动，完成复制功能：迁移或克隆虚拟盘时，虚拟机会进行文件块的大量拷贝；当克隆的文件达到几个 G 时，复制的时间可能达到小时级别，将会大幅消耗应用服务器资源并长时间占用网络带宽，影响系统整体性能。OceanStor F V5 全闪存存储与 VMware 联动，将原来属于虚拟机的文件块复制操作转移至硬盘阵列上，通过阵列的硬件系统来优化复制操作，将原本小时级的复制工作控制在秒级，同时减少 ESX 服务器的 CPU 负载，使虚拟机资源充分应用在应用服务器软件层面。该功能可使硬盘阵列与 ESX Server 之间的 I/O

46、 数量减少10 倍以上，提升了 Storage vMotion 等操作的速度，同时也降低了虚拟机的部署难度。阵列与 VMware 联动，完成共享锁功能：集群环境下，为保证虚拟机数据的一致性，通常采用锁机制来保证并发访问时的资源占用问题。传统的做法是在一个ESX Server 访问 LUN 时，系统会将整个 LUN 锁住，从而导致其他 ESX Server 的写 I/O 被暂停，大大降低了写性能；另外，系统锁 LUN 的过程需要执行一系列的命令来获取锁和释放锁，整个过程也会增加 I/O 的延迟。全闪存存储与 VMware联动，将多虚拟机主机的写锁粒度由 LUN 级别缩减到块级别，提高并行写效率，

47、同时减少写延迟，大幅提升单 LUN 可容纳的虚拟机数量，进而提升业务系统的整体性能；阵列与 VMware 联动，完成 Thin LUN 空间回收； OceanStor F V5 丰富的企业级特性当前业界的主流闪存阵列，主要分为企业级阵列优化以及聚焦于硬件架构革新的全闪存阵列，而全闪存阵列由于缺乏在企业市场的积累，大多无法提供完备的企业级高级特性支持。比如本地数据保护、跨数据中心的数据保护以及业务连续性保障。华为 OceanStor F V5 全闪存存储既提供了高性能服务还提供全面的存储企业级特性支持。不改变用户的任何使用习惯，可以轻松实现从传统阵列到全闪存阵列的转化。为了防止灾难发生、病毒入侵

48、，或者开发调测的需要，华为 OceanStor F V5 全闪存存储系统提供了完备的 Hyper 和 Smart 系列数据保护软件，以应对各种需求，为数据又增加一道可靠性防线，确保核心业务稳定在线。 平滑的迁移到 OceanStor F V5 全闪存阵列由于SSD介质价格不断下降，全闪存存储系统的使用也越来越多，如果将现有的如何将种类各异的存储设备纳入到统一管理？当使用全闪存存储系统替换旧的存储系统 时，如何在对业务影响最小的情况下，将业务数据完整安全地迁移到新存储上来？在 新旧存储替换以后，如何合理利用旧存储，提升业务的可靠性？这些问题将是每个IT 系统管理员必须面对的难题，也是IT 系统管理员必备的功课。老存储性能优化迁移（SmartMigration）LUN 迁移华为 LUN 迁移功能可以在不中断原有业务的情况下实现将源 LUN 上的业务完整地迁移到目标 LUN 上，使目标 LUN 可以完全替代源 LUN 来承载业务，实现了业务无感知的情况