阿里云存储面向AI 的能力升级白皮书（2024版）

阿里云存储面向AIData+AI时代，云存储如何进化AI的发展不仅依赖于大量的数据，而且在AI应用中需要快速处理和分析庞大的数据集，.任意接口（AnyInterface意味着存.任意位置（Anywhere强调存储系统的数据可以在不同地理位置的数据中心之间灵活迁.任意数据（AnyData表示存储系统能够处理各种类型的数据，无论是结构化数据、半结..智能修复（AI-Healing）：利用AI技术对存储系统中的潜在问题进行预测和自动修复，减少.智能管理（AI-Management通过AI算法优化存储资源的分配和调度，智能生成（AI-Generation指的是存储系统能够利用AI技术生成智能报告和洞察，帮助用CONTENTS01StorageforAI02AIinStorage在AI时代，云存储需要高性能升级以满足大批量数据的快速处理需求、支持大规模AI模在AI时代，云存储需要高性能升级以满足大批量数据的快速处理需求、支持大规模AI模型训练和推理、实现低延迟的数据访问，以及适应不断增长的数据存储需求。此外，高性能存储有助于提升数据处理效率，优化AI应用响应时间，保障数据安全和隐私，以及支持存储系统的可扩展性。这些升级对于实现AI技术在各行业的广泛应用和推动数字化Preview资源池Qos实现多业务共池性能隔离多个Preview资源池Qos实现多业务共池性能隔离多个Bucket统一资源池，共享吞吐&QPS支持灵活调配，降低不同业务之间影响更多地域默认性能提升加速器更高性能，更低门槛Preview杭州、新加坡支持单个账号默认100Gbps加速器性能密度提升50%，容量门槛降低99%·OSS加速器：进一步提升热数据性能，起步容量降低到50GB，性能密度提升至30·客户端和工具优化：OSSFS模型加载和文件list性能进一步提升，满足交互式开发或容器环境下对读写全新发布支持Map-style&Iterable-styledatasets面向训练集数据高吞吐拉取全新发布面向StableDiffusion推理模型快速加载直读模式，CKPT模型加载性能提升3.6倍·同时CPFS单文件系统容量上限提升到12PB，单机·文件存储NAS利用弹性文件客户端实现访问加速，单路读吞吐提升1倍，4求不高的应用也能以极低的成本享受到高性能的云存储·在性能弹性方面，可通过性能弹性，最大突发至100万IOPS及顶，既满足了不可预期的业务性能需求，又具备可预期的成本控制；理大量用户请求或者执行大规模部署/更新的应用场景尤为关键。↓↓↓↓↓Autoscaler性能与容量解耦Autoscaler......在AI时代，云存储需高可用性升级以确保业务连续性、数据可靠性，应对业务增长和数在AI时代，云存储需高可用性升级以确保业务连续性、数据可靠性，应对业务增长和数据量激增，提高数据处理效率，支持AI业可用区A可用区B可用区C··简化运维：RegionalESSD除了领先的可用性单的操作，即可享受到自动化的数据保护与恢复能力，极大简化了存储架构的设计与维护，加速企业容支持预配置性能和性能突发，满足更多场景需·同城冗余实例替换本地冗余实例，阿里云具备同城冗余条件的客户在表格存储创建的实例默认升级为同城冗余实例，稳定性SLA提升到99.99%，费用不增加。·备份点病毒检测，在生产环境遭到勒索病毒攻击后，可快速选择干净的备份点进行恢复，避免对生产环的云盘类型，包括ESSDAutoPL、PL0/1/2/3。·预配置StorageClass：支持通过CSI（ContainerStorageInterface）插件和自定义StorageClass、自定义的StorageClass简化云盘的使用和管理。通过CSI插件，用户可以在Kubernetes中自动化管理云盘的生命周期，包括创建、挂载、卸载和删除。通过自定义StorageClass，用户可以根据需求选择不·在客户使用体验上，CPFS支持了跨算力平台挂载的能力，一份数据满足多种算力同时挂载使用。同时上线了配额和日志审计的能力，实现CPFS资文件存储文件存储NAS全面接入Serverless生态，CSI/CNFS/ACS/Fluid云原生计算无缝对接，全新发布ACS集成。·AI智能检索引擎发布，Tablestore多元索引功能新增高召回、高性能、低成本的向量检索功能。.提供全文检索、向量检索、控制检索、多维数值检索的多路召回功能和标量/向量混合检索能力。·索引实时构建性能、在线索引查询时延均远高于开源向量引擎，且单表能承载百亿向量。.索引算法DiskAnn使用内存与硬盘混合索引，更低查询时延，所需内存仅为开源向量引擎的十分之一。·基于标签的资源自动关联备份，一次备份策略创建，自动增减需备份资源，全托管运行。确保企业新增<-------->论低成本随着业务的发展和数据量的爆炸性增长，降本增效的重要性与日随着业务的发展和数据量的爆炸性增长，降本增效的重要性与日俱增。企业既需要以更低的成本存储更多数据，也需要不断提高挖掘数据价值的效率，并降低使用和管理成本。在存储技术上，想要提升数据存储和调用性能的同时降低存储介质成本，分级存储至关重要。阿里云CPFS、NAS、Tablestore、云备份提供了更加灵活的计费模式，以满足不同客户的需求。·CPFS智算版支持性能层和容量层组成的混闪型文件系统，性能层和容量层之间支持配置生命周期策略，在降低存储成本的同时，简化冷热数据的管理删改查，文件可查询、可浏览、可取回，可被实时读取，无需解冻；支持透明访问，自定义生命周期管理安全可靠是云存储立身之本。当企业业务云化之后，云端数据存储仍需要面对勒索、安全可靠是云存储立身之本。当企业业务云化之后，云端数据存储仍需要面对勒索、泄露、误删等安全风险，传统数据存储所使用的数据加密、校验等手段在云上也同样适用。AI时代中，灾备体系依旧是行之有效的数据安全防护手段。因此，阿里云存储面向AI应用场景更新了存储产品安全能力，以保护用户数据，包括加密技术、身份认证机制、访问控制和安全审计等。阻止公共访问Bucket阻止公共访问Bucket默认策略—键开启公网防护，防止盗刷控制台创建Bucket的默认策略选择原生内容安全恶意文件检测针对“AIGC”场景的多模态内容安全检测快速识别常见病毒，防止恶意文件传播和执行面向组织/角色/资源权限管控ControlPolicy/RAMPolicy/STSPolicyBucket/ObjectACL/BucketPolicyPrivateLink简单易用，无需关注底层IP地址冲突问题安全可靠，私网连接服务支持双端鉴权文件存储文件存储CPFS：支持云备份提供数据保护，保障用户数据的安全。云备份还提供不可变备份能力，在出现灾难时有正确的备份数据可恢复；在存储服务中融入AI技术，可以提升数据处理能力，降低运营成本，并加速创新应用的在存储服务中融入AI技术，可以提升数据处理能力，降低运营成本，并加速