2024云栖大会存储话题合集 -全面解读阿里云存储产品能力升级和最佳实践

AI基础设施、ServerlessAI、AI搜索、数据湖、开源等多个领域，更有 6 45 87三、AI与数据融合创新，释放数据价值 169 661、面向AI的存储基础设施升级77(1)面向AI的存储基础设施升级 OSS轻松进行数据预处理。许多AI应用在进行预处理时需要模型支持，通过OSS99(2)全球最完整的存储产品和服务1、AI驱动下的云存储创新(1)数据就像浩瀚的宇宙 (3)存储产品 (4)全球最完整的存储产品和服务(1)对象存储OSS与数智融合的能力创新做数据的检索，可通过自然语言告知需要检索日落的照片，或作为产品经理，需要检索基于文件元信息进行操作对象过滤，输出结果支持JSON\YAML\X(2)诸多产品能力升级的背后关键技术解读力，客户可按照需要的时间点动态的调配值满足不 重点工作为做好一对一的成本模型支撑好100Gbps每租户在每个地域的达成是重点工3、EBS深度解析：云原生时代企业级块存储 言，我们应该从传统的块设备资源管理模式转变为活地扩展磁盘空间。这一改进相较于传统本地的拍照标签关联到特定的业务系统中。这些业务系统可以是ES集群、Kafka集群或(2)诸多产品能力升级背后关键技术解读 下场景：在一个大型企业中，可能有数十个甚至上百个小团队共同使用AI基础设施和型加载的延迟提出了更高的要求。这是从去年的千第一是Burst写吞吐以及最大延迟的可控性，前面已经提到写吞吐可达数百GB，并且存储之间的RDMA连接，并且计算和存储之间的网络实现了存算分离。再往下一层是多个计算节点访问的场景，提供加速效果。我们提供了单个计算节点在顺序读场景下的 5、NAS深度解析：面向云原生应用的文件存储(1)面向云原生应用的文件存储NAS能力更新的计算应用和使用存储的方式发生了巨大的变化。 每一年都会官宣阿里云文件存储的大图，今年非常显著的变化是应对高性能的云原生AI 与传统的性能型规格相比，高级型NAS的定价0.85/GB元，相比性能型规格的每.一是挂载优化：传统上，许多客户通过NFS进行挂载，这涉及一些挂载参数，如.二是容器访问策略：当容器非共享地访问文件存储时.四是可用性探针使用：对于文件存储可用性的探针，建议不必在每个容器上都设置探6、Tablestore深度解析：面向AI场最佳实践(1)面向AI场景的表格存储Tablestore能阿里云Tablestore是与阿里云一起发展的产品。2009年是阿里云成立的一年，而 模对比。交付规模对比的费用下降的两个规格是容量型的规3~9倍。同样在性能消耗情况下，以及在提供这么高的吞吐倍数下，查询时延比自建 使用户在使用向量检索功能时可以不用把两套计算逻辑和两套工程链路分开，不需要做 管理这些数据成为了一个重要的问题。越来越多7、海量数据的智能处理及在网盘场景中的应用实践(1)面向海量非结构化数据的多样化处理能力(2)企业网盘基于智能媒体管理的应用转型对应的视频。用户也可利用超声波的特性实时在网盘上这里演示的是用户直接用自然语言描述自己的8、CloudBackup深度解析：从被动防御到主动保护(1)企业数据保护的挑战和应对策略小概率事件并不意味着它绝对不会发生。据统计，2023年勒索病毒攻击的数量激增了们总结出了四步主动防御策略。第一步是主动发现与(2)主动数据保护技术详解最后一道防护是阿里云的服务器网络保护物理层。所有业务都在VPC（VirtualPrivate配置好后可以重复应用于不同的资源上。我们的线列出这些资源和对应的备份任务。然后对所有任务生成并且匹配无误后就会放到调度和监控层进行行排障操作以确保策略能够正常运行并得到正确的执 在各类大小展会中鲜少被边缘化的话题--人工智能。为何人工智能在过去两年间引起了广这意味着什么？乐观主义者正在持续且大规4Transformer(2)人工智能发展的因素 (3)人工智能开发框架对于存储基础设施的挑战(4)人工智能的数据预处理移动互联网的许多功能也是依靠大数据技术实现的(5)大数据训练张量并行等多种并行方式。在典型的数据并行场景中，整个集群会被划分为多个不同的(6)数据问题(8)落地过程上成功落地。该方案提供了更丰富的开发能力(9)数据管理过程2、构建AI数据管道：从数据到洞察的高效之旅最佳实践在关键的训练场景中，我们需要关注两个核心点：一是快速拉起数据集，二是高效写入(1)OSS面向AI和数据分析的性能演进(2)OSS数据安全与合规(3)OSS数据管理的演进除了传统的OSS外，针对A捕获AI平台对数据的读写请求，然后将这些请求转发给Connector的Runtime。息。为了提升数据检索的丰富性和灵活性，今年我们结合阿里云的表格检索服务进入数据准备阶段，对于希望自建场景的客户，有两种方式可供选择。第一种是使用4、保障业务连续性，企业灾备建设新思路(1)企业业务连续性离不开灾备建设要更高的稳定性。然而，降低成本的压力又非常大。在这三个矛盾之间，如果没有中间的差异化数据到另一个可用区的副卷上并应用。5、使用云存储构建云上推理平台(1)大模型分布式推理工作流(3)大模型分布式推理场景存储需求(4)面向推理基础存储服务(5)高并发场景与分发加载结合高并发场景下的分发需求和函数计算容器存储的特点，NAS在基于函数计算的(6)小模型加速缓存池6、低成本ServerlessAI检索介绍和第二从数据库里寻找用户最近没有发货的商品(2)表格储存介绍检索出来。索引构建有一些其它的策略。上部分查询默认提供同城容灾。同城容灾能力完全不需要用台上导下来的表格存储的功能介绍的文档。点数据详情，看到历史数据，这是通过 算单元，通过tensorcall进行操作；而在进行视频编解码时，则使用Decoder和 通过降低成本和提升吞吐量就能有效解决存储问题。(4)与阿里云存储持续共创AI数据湖边缘缓存方案何节点上都能实现缓存加速和透明接入。换言之，我们可以利用短距离的专线连接术为上层应用提供了一种存储与计算自然分离的全主存储来存放数据，所有数据均保存在对象存储中。另一个重要的抽象组件是WAL3、AI集象智能检索最佳实践结合AI独创获客大模型五、存储热点技术解读—(2)性能提升增加成本，介质单位密度性能下降，如何优化以做到容量。实际上按照单盘提供的100IOPS，100MB/s的能力，1PB容量提供(3)网络接入优化(4)最后一公里(5)总结与展望(1)大模型对存储性能挑战和优化在数据集访问环节，其特征在于训练完整的Epoch过程中，会全面加载整个数据集。据集被完整加载了一次。但在实际训练中，为了获得最佳的模型效果，通常会进行多次 首先在端上构建了一个单机和分布式的两级缓存体系。我们尽量将同步进行操作。这意味着如果有一部分GPU已经完成了读数据集和训练任务