2024年存算分离之存储池化报告

存算分离之存储池化报告存算分离之存储池化报告

编写组项目经理：董少杰 中移动信息技术有限公工作组长：王峰 中国电信股份有限公司研究贡献专家：肖爱元 中移动信息技术有限公司刘师锐 中移动信息技术有限公司刘玲 中移动信息技术有限公司王小锋 中移动信息技术有限公司冯轶 中移动信息技术有限公司曹原铭 中国移动通信集团设计院有限公司雷鸣 中国移动通信集团设计院有限公郭亮 中国信息通信研究院谢丽娜 中国信息通信研究院徐育林 华为技术有限公司吴勇 华为技术有限公司杨粲 华为技术有限公司王洪亮 华为技术有限公司杨泽生 华为技术有限公司张伟龙 浪潮电子信息产业股份有限公司路超凡 浪潮电子信息产业股份有限公方兴 烽火通信科技股份有限公司蔡财义 烽火通信科技股份有限公司郭娜 曙光信息产业股份有限公司存算分离之存储池化报告 王灯殿 曙光信息产业股份有限公司王新安 中国移动通信集团山东有限公钟储建 中国移动通信集团浙江有限公司杭跃斌 中国移动通信集团江苏有限公司王衎 中国移动通信集团北京有限公王栋良 新华三技术有限公司王瑞祥 新华三技术有限公司马敏瑞 中兴通讯股份有限公司明勇 四川华鲲振宇智能科技有限责任公司徐华 四川华鲲振宇智能科技有限责任公刘欢 星融元数据技术有限公司存算分离之存储池化报告 目录版声明 2编组 3一存算离技产生背景 8二术语定义缩略语 9（）术和定义 9无化架（DisklessArchitecture） 9无化服器（DisklessServer） 9智盘（）（SmartDisk/Enclosure） 9标容量(Nominalcapacity) 9可容量(EffectiveCapacity) 10重(datadeduplication) 10压(Compression) 10直（Passthrough） 10Namespace 10（）缩语 10三技术展趋势 11四存算离架定义 13五存算离盘规范求及键技术 16（）规要求 16（）性关键术 17支持NVMe-oF协议 17存算分离之存储池化报告 支持Active-Active,全负载衡 18支持ROW写术 18支端到端IO优级控技术 19多分区术 20大顺序技术 20DPU卸技术 21智加速术 21（）资利用关键术 23RAID2.0技术 23数缩减术 24大例EC技术 24硬高密术 25智精简术 25（）安&可性&可性要求 25服质量制 25秒主备换 26硬设备插即用 26缓双副本 26掉保护术 27端端DIF技术 27数销毁术 28安预警 29存算分离之存储池化报告 盘障快隔离 29升过程机透明 29存算分离之存储池化报告 一、存算分离技术产生的背景IT重要动力，随着全球范围内企业数字化转型的快速发展，ITIT作为计算资源载体的计算服务器通常配置内置硬盘作为本地存ITIT1、服务器模型多，通用性差：随着IT基础设施规模的不断和供给不够灵活，同时也增加了管理维护的复杂性。2、资源利用率低，扩容成本高：应用系统需求的多样性及算一体架构中，ITIT容时需要同时扩容计算性能和本地硬盘（计算服务器，扩容成本高。3、本地盘故障影响服务器稳定性：随着服务器规模越来越存算分离之存储池化报告 硬盘故障影响业务持续性的问题不断出现，严重影响业务体验。存算分离系统将服务器本地存储资源和计算资源拆分为独立进方向。二、术语、定义和缩略语（一）术语和定义DisklessArchitectr）DisklessDiskless组整合，真正实现各类硬件的独立扩展及灵活共享。DisklessServe）不包含本地盘的服务器。服务器上的本地盘被拉远池化。框SmartDisk/Enlosu）Diskless的盘片或盘框形态的数据存储部件。(Nominalcapacity)盘标签上标称的容量值。存算分离之存储池化报告 (EffectveCapacity)可以存放超过标称容量的数据。重删(datadeduplicaion)一种数据缩减技术,可以很大程度上减少对物理存储空间的需求。压缩(Compresion)高数据传输、存储和处理效率。直通（Passthrough）数据存储设备通过盘创建Namespace直接映射到主机给用户使用，用户下发的IO地址即为盘上的LBA。Namespae主机软件可访问的LBA地址的集合（二）缩略语功能缩写功能描述NVMe-oF或NoFNon-VolatileMemoryExpressoverFabrics(基于网络的非易失性存储标准)NVMeNon-VolatileMemoryexpress(非易失性高存算分离之存储池化报告 速传输总线)ECErasurecode(纠删码，提升存储效率、安全性)QoSQualityofService(服务质量)RoCERemoteDirectMemoryAccessoverConvergedEthernet(基于融合以太的远程内存直接访问协议)三、技术发展趋势SSD基础设施的重构提供了技术基础。usPCIERoCENVMe渐成为访问远端SSDNOFCXLUB低至亚us，为未来内存拉远访问提供可能性。30TBSSDIBMFCM6.4BNtPPD7BF10B硬128TBSSD；三星去年256TBSSDSSD存算分离之存储池化报告 （EthernetBunchofFlash，EBOF）高性能盘框。这类盘框不再具有复杂企ExpressoverFabric）等接口，以提供高性能存储实现对本地EMCPowerMaxDME(DynamicMediaEnclosures基于NVIDIABlueFiledNVMe-oFInfiniBand；简化IOVastDataHABlueFiled1600NVMe-oF，使用以太网或InfiniBand将SCM和超大SSDNVMefabric。DDN使用SE2420ETHNVMeNOFWesternDigitalOpenFlexASIC免DRAMCPU，实现NoFNVMeASICPCIeSwitchPCIeSSDKIOXIA推出EthernetJBOFMarvell88SN2400NVMe到NOF最后，业界涌现出越来越多的数据处理单元（Processing（InfrastructureProcessingCPU，提升算力能效比。IntelIPUE2000，用以降低数据中心主CPU负载，并更有效和安全地处理数据密集AMDPensando存算分离之存储池化报告 降低延迟、抖动。NVIDIABlueFieldDPU，实现虚拟化、FungibleDPU，可DPUDPU，等等。DPU的落地。四、存算分离架构定义1图1存算分离架构存算分离之存储池化报告 I/OCPUAIHBMHBM10IPHDDIPNVMeSSDIB/RoCEusSSD存储模组即新型盘框存储，作为新型存算架构的重要组件，通过介质、芯片、算法和系统深度协同，最终实现极致性能、极存算分离之存储池化报告 低成本、极致可靠的共享池化大盘。如下图所示：一方面和传统存储相比，新型盘框通过简化IOIODPUDPUCPUGBIOPS1图2IO路径对比1PB/U供更多的数据可用空间，实现极致性价比。集成存储系统的可靠性能力，硬件全冗余，提供极致题，单个硬盘故障导致业务影响等问题。存算分离之存储池化报告 五、存算分离盘框规范要求及关键技术（一）规范要求硬件及尺寸大小要求：关键器件和芯片自主可控，满足国家安全可信要求。2U。接口协议要求：支持FC、iSCSI、NVMeoverRoCE提供丰富的业务接口模块。支持对外提供标准Block扩展。10Gb/25Gb/100Gb/200GbRoCEETH性能密度要求：1M100TB8K100随机读TBIOPS容量密度要求：每U100TB好。存算分离之存储池化报告 可靠性要求：不中断，满足99.999的可用度。支持RAIDEC性能下降小于10。障。安全要求：支持数据加密，支持国密和行业要求。支持数据销毁，满足国家和行业要求扩展要求：支持集群互联，通过Scale-out支持扩展容量，通过Scale-up智能运维要求：1短越好。升级过程中业务无影响。复（二）性能关键技术支持NVMe-oFNVMe是一种抽象协议层，提供可靠的NVMe命令和数据传输。存算分离之存储池化报告 NVMeoverFabricNVMeSSD接内存访问协议，NVMeSSDRoCE题。支持Active-AciveActive-Active的逻辑架构在ALUA（AsymmetricLogicUnitAccess）架构中，LUN/Namespace创建LUN/NamespaceLUN/NamespaceLUN/NamespaceALUAIO均衡。支持ROW写技术硬盘盘片上的Flash颗粒具有擦写次数的限制。在传统的RAID覆盖写（WriteInPlace）的方式下，如果某块盘上的数据成为了热点，那么对这些数据的不断改写，就会导致对应的存算分离之存储池化报告 Flash（包括新写数据和对老数据的改写等都采用RRdrctOnWie重定向写技术）大块顺序写的方式，实现每个Flash颗粒擦写RAID修改写而产生RAIDRAIDROWRAID支持端到端IOI/OCPUI/OI/OIOIO的快速响应。存储设备把I/OI/OI/OI/OI/OI/O为不同类I/OI/O优先级控制，从整体上获得最均衡的内外部I/O存算分离之存储池化报告 多流分区技术SSDNANDFlashSSD个NANDFlashNANDFlashBlock，每个BokPg(B8BNNDFah颗粒中的Block前需要把该BlockSSDBlock了擦除BlockSSD盘的性能和寿命。大块顺序写技术SSDHDDIOHDDIOIOPS非常有限。尽管NL_SASTBIOPS10KSASROWIORAIDRAID存算分离之存储池化报告 CPU统的RAIDROWRAID级别都能实现高性能。DPU源于CPUCPUI/ODPU（DataProcessingUnit）是以数据为中心构造的专用处理器，它比CPUIODPU，可以提升整个计算系统（TOIObypassCPUNVMeoverFabrics（NVMe-oF）RDMA智能加速技术CacheTierCacheTierCacheTier存算分离之存储池化报告 CacheTierDD，以全闪时代的ROWCacheTierIOIO存算分离之存储池化报告 （三）资源利用率关键技术RAID2.040RAID受限于硬盘数量，在数据容量剧增的年代无法满足企业对为单位对数据进行管理也显得越来越力不从心。为了解决传统RAID的上述问题，同时顺应虚拟化技术的发展趋势，众多存储RAID技术的替代方案，即RAID2.0RAIDRAID2.0+具备如下优势：存算分离之存储池化报告 的时间。的重构负载很低，重构过程对上层应用无影响。的写操作而提前达到寿命的上限。数据缩减技术支持数据压缩和重删，提高空间利用率。使用芯卸载压缩、10CPU大比例EC由各个硬盘的细小颗粒组成存储资源池并映射给上层服务器使ECEC（算力卸载到专有芯存算分离之存储池化报告 CU2+2EC（业界通常支持82，空间利用率达到92。实现框内大比例E。硬件高密技术SSDVataData1U@221.5PB1PBU保证性能不降低的同时，实现密度的最大化。智能精简技术（IO完全透明。（四）安全&可靠性&可用性要求服务质量控制存算分离之存储池化报告 服务质量控制可以通过动态地分配系统的资源来满足某些应用程序的特定性能目标。服务质量控制特性允许用户根据应用程序数据的一系列特征（如：IOPS、占用带宽、响应时延等）对特定应用程序设置特定的上限/下限目标。系统根据设定的目标秒级主备切换为了数据传输高可靠，传输场景往往会构建多个网络平面，现利用RoCE网络的智能化特点，结合交换网络智能化特性，实现业务切换时间需<1s。硬件设备即插即用RoCE要具备存储网络端口手动配置IP无需额外进行RoCE缓存双副本为了提升写入数据的速度，需要提供写缓存机制。即数据写存算分离之存储池化报告 AAABAB控任何一个控制器故障时数据不丢失。掉电保护技术BU（备电，当存储阵列在供电故障BBU端到端DIFPI（数据块内部跳变（整块数据被老数据或其它数据覆盖I/O存算分离之存储池化报告 PI前端接收（PI）到下盘这段时间出现跳变或改写能被校验据后会对数据进行校验，一旦出错会通知上层控制器软件通过RAID旦出现问题会降级读（RAI