浅析计算型存储技术的发展

1.什么是ComputationalStorage（计算型存储）？2022年8月Gartner新鲜出炉了年度存储和数据保护炒作周期（HyperCycleForStorageandDataProtectionTechnologies,2022）报告，ComputationalStorage（计算型存储）位列炒作热点之一。按照SNIA的定义，计算型存储是一种具备计算型存储功能（ComputationalStorageFunction）的架构，用于卸载主机处理或减少数据移动。这种架构将计算资源（在传统的计算和内存架构之外）直接与存储或在主机和存储之间进行整合，使应用性能和/或基础设施效率得到改善。计算型存储出现的目标在于启用并行计算，从而减轻对现有计算、内存、存储和I/O的约束。按照具体的技术形态，ComputationalStorage（计算型存储）又被分为三个大的类别：CSD（ComputationalStorageDevice）、CSP（ComputationalStorageProcessor）和CSA（ComputationalStorageArray）。2.offload（卸载）是计算型存储设计思想的精髓谈到计算型存储就不能不谈OracleExadata数据库一体机。2008年研发的Exadata是针对Oracle数据库进行优化的计算平台，用于解决传统数据库受I/O瓶颈引发的性能问题。在解决思路上，Exadata采用了颠覆性的设计思想-“offload（卸载）”，即将数据库系统中的数据处理行为从计算节点（数据库服务器）卸载到存储节点（存储服务器）进行并行处理，并且仅有计算后的最终结果会被返还给计算节点。这种设计方式大大规避了计算、存储和网络等硬件设备的I/O瓶颈对数据库性能造成的局限。数年前笔者曾做过一次ExadataX5和国产数据库一体机之间的性能对比测试。OLTP场景下二者之间的差异主要体现为硬件配置差异带来的差距，换句话Exadata在OLTP场景下的加速效应可以忽略；而在OLAP场景下，Exadata“卸载”的设计带来2-3倍以上的巨大性能增益，诸如全库扫描体现出的性能已不再受到IB交换机网络带宽的限制。Exadata“卸载”的设计思想可能是计算型存储早期的雏形，但是由于只能在Oracle数据库场景下使用，注定这项技术在市场上的推广受到极大的局限。3.DPU的出现让普适型计算型存储成为可能近几年DPU（Dataprocessingunit）概念异常火爆，但是参与的企业多半隶属半导体行业，如：Intel、Marvel、Samsung等，所出产品也多属于CSD或CSP的范畴。初创公司Fungible在自研DPU芯片同时，开发了一套分离式存储平台（Disaggregatedstorageplatform），其设计核心理念和Exadata如出一撤，就是将数据应用的数据处理环节“卸载”到存储端进行执行，并通过专用的DPU芯片实现加速。因此，Fungible存储操作系统的软件模块除了包括常见的存储（存储协议、EC、消重、压缩、复制等）、网络、安全等功能以外，还增加了数据分析的类别：数据库、大数据、Serverless等富数据应用的协同模块被包括其中。应用运行在计算型存储平台，据称，“在DPU上使用单线程，将X86服务器上的MySQL查询与基于DPU的存储集群进行比较，查询时间提高了75倍；使用正则表达式匹配，拿软件实现与DPU加速操作对比，吞吐量提高了27倍。”4.HPC应用正成为计算型存储技术被最早的实践场景除了作为供应侧的厂商在进行计算型存储的创新努力以外，作为需求侧的最终用户也在进行这样的尝试。美国阿拉莫斯国家实验室(LANL)是世界上最大的科学和技术研究机构之一，它在国家安全、太空探索、可再生能源、医药、纳米技术和超级计算机等多个学科领域开展科学研究。阿拉莫斯的工程人员预计他们的Trinity超算系统在2023年将达到10PBDRAM、100PBFlash存储和0.5EB磁盘存储的规模。在不断发展中的HPC环境下，数据存储环境面临巨大的挑战，譬如：(1).面对CPU频率增益已不复存在、计算内核从1000增加到100万、基准FLOPS在增加，效率却在降低等现实挑战，在PB乃至EB数据量级的数据存储环境下，如何利用横向扩展架构实现更高性能？(2).在系统规模不变大的情况下，如何让存储系统跑的更快？(3).如何更快的解决文件固定尺寸的问题？为了克服这些挑战，阿拉莫斯的工程师与各类科技厂商合作探索计算型存储的创新实践。对存储在文件系统上的数据处理进行“卸载”是设计的核心，为此将每个处理环节涉及数据处理部分卸载到DPU，以近盘/近存储计算来大幅加速数据处理效率。阿拉莫斯在实践中通过EideticomFPGA加速器和NvidiaBlueField-2SmartNIC构建具备数据处理加速的闪存磁盘框（ABOF），将数据访问速度提高了10-30

倍。此外，阿拉莫斯还尝试和SK海力士构建了计算型存储SSD，通过索引关键值存储数据，将仿真输出分析速度提高了1000倍

。5.除了提升数据处理性能，计算型存储对现代数据中心的绿色节能有现实意义2015年三星半导体实验室的一项研究1表明，分布式计算环境下的数据移动将会导致更高的能量消耗。即在一个上千节点的计算集群中，数据移动能耗几乎是计算能耗的两倍以上，而在单个计算节点上，这样的比例则不到5%。数据中心的高能效设计已是趋势，如：“东数西算”工程对数据中心PUE（电能利用效率）要求为<1.2。然而“东数西算”当前更多是资源配置层面的构想，让我们大胆想象一下，如果未来计算型存储技术可以实现跨域的配置，那么真正意义上的“东数西算”就会变成现实，而数据中心资源的高能效将会走向一个新的高度。今天计算型存储尚处在发展早期，当前行业实践也主要发生在HPC和公有云的应用场景，但是在数据库、私有云、大数据、AI等富数据应用场景下，计算型存储同样会存在很好的应用前景。然而任何一项创新技术都需要时间在市场去验证其实用价