存算分离之存储池化报告

[编号ODCC-2024-01003]开放数据中心标准推进委员会2024.08发布版权声明转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明编写组 2 3 8 9（一）术语和定义 9 9 93.智能盘（框SmartDisk/Enclosure） 9 9 （一）规范要求 18 （四）安全&可靠性&可用性要求 26 29 8一、存算分离技术产生的背景重要动力，随着全球范围内企业数字化转型的快速发展，IT基作为计算资源载体的计算服务器通常配置内置硬盘作为本地存种架构称为存算一体，是当前IT基础设施采用的主要架构。随着IT基础设施规模的不断扩大，当前存算一体系统的局算一体架构中，IT基础设施会取计算性能需求和本地存储空间容时需要同时扩容计算性能和本地硬盘（计算服务器扩容成9存算分离系统将服务器本地存储资源和计算资源拆分为独立二、术语、定义和缩略语面向数据中心Diskless架构，支持一种数据缩减技术,可以很大程度上减少对物理存储空间的数据存储设备通过盘创建Namespace直接映射到主机给用主机软件可访问的LBA地址的集合Non-VolatileMemoryexpress(非易失性高三、技术发展趋势UB协议等高速互联标准，使设备间实现直接内存交换，时延降以降低数据中心主CPU负载，并更有效和安全地处理数据密集降低延迟、抖动。NVIDIA收购BlueFieldDPU，实现虚拟化、网络、存储、安全的全卸载。微软推出Fungible系列DPU，可四、存算分离架构定义是通用CPU算力，AI算力，网卡算力等多种异构算力的集合。渐成为主流，网络的时延迟降低到几us，可以满足SSD池化性CPU和内存，完全发挥介质性能。新型盘框提供百GB级存储带五、存算分离盘框规范要求及关键技术支持10Gb/25Gb/100Gb/200Gb及以上Ro1M数据块100%顺序读带宽，每TB容量带宽性能应大于复现NVMe标准在多种网络上的扩展，达到降低存储网络协议栈处Active-Active的逻辑架构在ALUA（AsymmetricLogicLUN/Namespace不同时段的压力也不相同，在实际情况下ALUA接收到的主机读写请求是均衡的；同时硬盘接受的硬盘盘片上的Flash颗粒具有擦写次数的限制。在传统的RAID覆盖写（WriteInPlace）的方式下，如果某块盘上的数据成为了热点，那么对这些数据的不断改写，就会导致对应的重定向写技术）大块顺序写的方式，实现每个Flash颗粒擦写修改写而产生RAID写惩罚，有效降低了写入过程阵列控制器的ROW大块顺序写方式使得各种RAID级别都能实现高性能。颗粒中的Block需要先擦除再写。擦除的单位是Block，在擦除生了盘内写放大。通过多流写技术，对存储系寻道速度限制了其随机IO的吞吐能力，IOPS非常有限。尽管NL_SAS盘目前可提供的单盘容量越来越大，但受限于其较低的读和校验修改而产生RAID写惩罚，直接打破了机械盘传统统的RAID覆盖写的方式，ROW大块顺序写的方式使得各种RAID针对确定性的IO处理卸载到专用DPU，可以提升整个计算系统实现全场景性能加速，性能层融合了Cache和Tier两种加速技度结构树的热点统计，对于混合IO模型有（三）资源利用率关键技术RAID受限于硬盘数量，在数据容量剧增的年代无法满足企业对为单位对数据进行管理也显得越来越力不从心。为了解决传统RAID的上述问题，同时顺应虚拟化技术的发展趋势，众多存储支持数据压缩和重删，提高空间利用率。使用芯卸载压缩、的数据不均匀，就可能导致某些压力大的硬盘成为系统的瓶颈。由各个硬盘的细小颗粒组成存储资源池并映射给上层服务器使盘上，实现盘的负载均衡。而资源池内部采用大比例EC技术实现资源池数据冗余，利用硬件EC算法引擎（算力卸载到专有芯（四）安全&可靠性&可用性要求服务质量控制可以通过动态地分配系统的资源来满足某些应用程序的特定性能目标。服务质量控制特性允许用户根对特定应用程序设置特定的上限/下限目标。系统根据设定的目RoCE网络协议，因其本身具有的复杂度，在进行网络基础后台将缓存数据下盘。存储设备采用AA双控架构，数据读写支写数据在缓存到控制器A的时候同时镜像到控制器B，保证AB存储设备内置了BBU模块（备电当存储阵列在供电故障业务异常。为了解决上述问题，通过端到端PI功能保证传输路据在达到盘以后，盘本身会对数据进行PI校验，保证数据在从前端接收（插入PI）到下盘这段时间出现跳变或改写能被校验据后会对数据进行校验，一旦出错会通知上层控制器软件通过RAID冗余恢复跳变前的数据。为了防止数据在盘框前端返回之全标准向硬盘发送一次或者多