AIGC数据存储技术研究报告 2025

人工智能已进入大模型时代，AIGC在各个领域广泛应用，数据量的激增和存储需求的变化对传统存储技术提出了新的要求。《AIGC数据存储技术研究报告》不仅全面分析了AIGC带来的数据存储压力，还详细讨论了如何通过创新的存储架构和数据管理方法应对这些变化。报告中提出的解决方案和技术路径，具有很强的前瞻生成式人工智能激发了海量数据存储的复杂多样需求，数据存储技术已成为发展生成式人工智能的挑战性问题和技术瓶颈之一。《AIGC数据存储技术研究报告》以其系统深入的分析和独到的视角，为数据存储技术发展带来了全新的启示。报告不仅提出了应对当前AIGC数据存储技术难点的解决方案，还对未来数据存储架构的发展趋势进行了预判，为有关行业企业发展和学术研究提供了重要参近年来，从《关于推动未来产业创新发展的实施意见》到《生成式人工智能服务管理暂行办法》，国家出台了一系列旨在鼓励技术创新、规范行业发展和促进产业升级的政策，为AIGC关键技术的健康、可持续发展提供了强有力的保障。在数字经济蓬勃发展的背景下，《AIGC数据存储技术研究报告》的发布，无疑将会助力数据存储领域的产业进一步创新发展。报告系统分析了AIGC产业的创新发展态势，从数据存储的角度揭示了《AIGC数据存储技术研究报告》解析了AIGC与数据存储技术的紧密关系。清晰梳理了AIGC作业流程各阶段中的差异化数据存储需求，为应对AIGC场景的应用指明了技术方向。报告中所提数据处理能力、数据容纳能力具有前瞻性，有利于从更多维度全面评价存储系统。此报告有助于深入理解AIGC场景中数据存储技术，可用在当今数字化转型加速的时代，AIGC正逐渐成为推动各行业创新发展的重要力量。数据是AIGC的基础支撑，随着AIGC的应用呈现爆炸式增长，如何高效、安全地存储使用这些数据，成为制约AIGC产业进一步发展的关键因素。《AIGC数据存储技术研究报告》应运而生，为数据存储行业及AIGC产业的未来发展提供了重要的参考与指导，将推动数据存储架构变革，新存储技术的产业化落地，为AIGC产业的健康、可持续发展提供强有数据存储技术是AIGC发展和应用的重要支撑数据归档五个阶段对存储的不同的需求挑战，并提出了数据处理、容纳、管理、安全、共享、流动六个维度的存储应对技术，并擘画了存储未来的发展趋势。该报告内容全面而客观，非常值得思考和阅读。随着AIGC产业的大力发展，数据作为爆炸式增长的重要生产要素，正在促使存储技术与存储体系不断创新发展。这其中更大的容量、更高的性能、更灵活的扩展方式、更安全可靠的数据保护、以及更加绿色可持续的数据基础设施建设，都是产业关注的重点。《AIGC数据存储技术研究报告》，以全面发展的AIGC研究与应用为场景，全面展示了不断更新迭代的全闪技术、存算一体架构技术、与创新性分布式存储技术的相互结合的发展趋势与落地点。报告汇集了来自产、学、研各界的丰富经验和深入研究，不仅为行业人士提供了更全面的多维度视角，而且在推动技术发展及实现数据价值最大化上也发挥着关键作用。延迟等特性。分布式融合存储则是解决这一问题的重要方案，以此为突破口研究当下数据存储技术的发展现状焦天一素，在作为劳动工具赋能其他生产要素的同时，数据还可以作为劳动对象展现本身的经济价值。存储设备是数据的最终物理载体，是行业、企业和用户数据的保险柜。业务需求和计算技术的更新推动存储设备向高高性能、快迭代的方向演进，软件定义存储凭借横向节点扩展、性能近线性增长和软硬件技术快速迭代的特点分布式融合存储是软件定义存储的发展趋势。早期的软件定义存储，一套集群只能支撑一种数据的读取和写入，对外提供一种服务，数据存储在单一介质中。随着数字经济的发展，一套作业流程同的数据类型，跨集群进行数据处理无疑会增加用户的操作复杂性。同时，一套作业采用多套存增加成本，只能将数据存储在单一介质中的特性使用户在数据存储成本和效率之间不可兼得。立足于新时代数未来，随着技术的不断进步，AIGC有望在更多领域实现突破，如教育、医疗、科研等，进一步拓宽其应用边出《AIGC数据存储技术研究报告》。在报告中，我们将深入探讨AIGC场景下对数据存储提出的新要求和新挑战，以及数据存储对新要求和新挑战的技术应对。同时，我们还将关注数据存储技术的创新和发展，以期为的规则和算法来生成内容。例如，在自然语言处理领域中，研究人员尝试利用规则和语法知识来生成语句，实其大规模应用逐渐成为现实，开始出现在新闻、广告、音乐、电影、游戏等多个领域中。生产的内容更加逼了一系列政策，鼓励人工智能技术的研发和应用，为AIGC产业的发展提供了良好的环境。现将国家各部委支工业和信息化部等创新发展的实施意见》工业和信工信部等年）》术等8大新兴产业，以及生成式人工智能等9大未来产业，统筹国家网信办等七部门《生成式人工智能服工业和信息化部等《关于促进数据安全产业发展的指导意见》《关于支持建设新一场景的通知》础较好的人工智能应用场景，加强研发上下游配合与新技术集科技部等工业和信年）》《国家新一代人工智设工作指引（修订版）》国家标准化管理委员会等五《国家新一代人工智能标准体系建设指南》备、训练、推理、归档不同阶段，在其应用中涵盖了从文本创作、图像生成到音乐和视频制作等多个领域，单技术创新方面分别展现出独特的优势。DDN作为全球领先的大数据存储供应商，其A3I（Accelerated,高性能。满足从大型企业、服务提供商、研究机构到政府机构的广泛需求，其优势主率、GPU利用率和存储容量；第二，全面的深度学习加速。A3I解决方案能够同时为所有工作负载提供实时加横向的数据流动各环节是分析存储需求的着力点，而纵向的系统架构和各模块作用及关系是厘清存储需支种分解期望能够更清晰地理解存储在AIGC整体架构中的地位，使得设计和优化的存储解决方案更具针对性。SaaSIaaS 务务台层PaaS以及基础设施层IaaS。应用层SaaS是AIGC技术产生价值的窗口，模型根据输入数据生成新的内容；分为数据服务、数据集成、数据治理三个部分，其中数据服务主要负责数据的处理和高质量数据集的生成，数据、计算、网络和存储资源进行调度，例如网关服务、数据库服务、多租户管理、鉴权认证，其中对于存储的算资源（CPU、GPU、NPU）、介质资源（磁带、HDD、SSD、内存等）、网络资源（TCP/IP、InfiniBand在AIGC的整体架构中，存储随着数据流动而存在。如图2-1所示，存储主要在数据层、平台层和基础层，据量的快速增长和摩尔定律的快速发展，在更多的场景下，用户更倾向于借助强大的算力以及数据驱动模型进从数据的视角来看，数据采集、数据准备、数据训练、数据推理和数据归档这五个阶段紧密相连，共同支扩展性、低延迟高实时性、接口多样性，以应对海量数据的及时收集。数据准备阶段要求存储系统能够高效读写和灵活组织，支持数据清洗、转换和规范化以适应复杂的数据处理任务。在训练阶段，存储系统需提供强大延迟响应速度要求极高，以保证内容生成的连续性和流畅性。数据归档是数据首轮生命周期的终点和次轮的起在传统设计策略中，数据流动通常遵循一个线性且分离的过程，每个阶段在物理或逻辑上相对独立：数据采集阶段通常照顾数据来源侧的传输方式和协议，将采集的数据迁移到独立的预处理系统上，进行清洗、格式化和转换；然后将预处理后的数据迁移到训练集群上，这不仅增加了数据传输的时间，还可能因为数据传输的延迟影响模型训练的效率；最后模型训练完成后，会按业务需求发布到数据推理生成阶段，并定期将数据从生产环境迁移到备份或归档存储中。这种策略涉及到多次数据移动，耗时增加，并提高业务系统管理存储的复杂在基于统一数据底座的设计策略中，存储数据流动是一个连续的、无缝的过程，每个阶段仅是逻辑上进行区分，在底层都是同一份数据以减少数据的移动和复制。数据采集一另一方面直接与后续的预处理阶段统一考虑数据布局与存储管理方式，在采集时就已经准备好进行下一步的处理；数据准备、数据训练、数据推理生成等后续阶段均能够根据规划和授权无需拷贝直接访问数据；数据归档 型，每一种类型的数据都需要大量的存储空间。因此，存储系统必须具备基础的大容量、可扩展的特点，以应练产生负面影响。因此，存储系统需提供可靠的数据保护机制，如数据备份、冗余存储和故障恢复等，以确保体的数据特性和业务需求进行调整。存储系统应提供灵活的数据管理能力，支持数据的灵活组织、检索和更（1）高I/O、低延迟：数据训练阶段需要频繁地从存储系统中读取大量数据，用以更新模型的参数和权重。因此，存储系统必须具备高性能的读写能力，如在万卡集群、万亿参数大模型的快速训练时，需要存储提（2）快速数据检索与索引:为了提高数据训练的效率，存储系统需要具备快速的数据检索和索引能力。这有助于快速定位到需要的数据块，减少不必要的数据读取和处理时间。为了实现这一目标，存储系统可以采用储系统需要支持这种并行和分布式的工作模式，确保多个计算节点能够同时访问和修改存储系统中的数据，而（4）易管理：在数据训练阶段，存储系统还需要提供灵活的数据管理和优化功能。这包括数据压缩、去重、缓存管理、冷热数据分离等策略，以优化存储资源的利用率和性能。同时，还需要支持数据的动态迁移和生成结果。因此，毫秒级或亚毫秒级的低时延的数据访问是首要需求。这要求存储系统具备高效的数据检索和理结果的显著变化，从而影响用户体验和应用效果。因此，存储系统需要提供可靠的数据保护机制，确保数据在传输、处理和存储过程中不被篡改或损坏。同时，还需要支持数据校验和验证功能，以确保推理过程中使用音频等。因此，存储系统需要提供灵活的数据访问模式，支持多种数据格式和访问协议，以满足不同推理场景理等过程中产生的大量数据，以及模型本身和相关的元数据，安全、有序地存储起来，以便未来可和长寿命，能够抵御物理损坏、电源故障、自然灾害等风险，确保数据不会因时间流逝或外部环境变化而丢还将持续增长。因此，存储系统必须具备大容量和可扩展性，能够容纳不断增长的归档数据，并支持灵活的扩过对归档数据进行合理的分类和索引，可以方便用户快速定位到所需数据，提高数据利用价值。同时，分类存效的存储技术和优化存储资源的使用，可以降低存储成本，提高存储系统的能效比。同时，合理的存储规划和 面上，为满足海量数据存储需求，存储需要具有大容量、可扩展，同时在归档阶段还需要存储可长期保存数据，具有耐久性。在软件功能上，为满足多模态数据存储需求，存储需要支持多种协议，同时，为满足高性能场景的存储需求、提升大模型训练效率，存储需要具有高性能、高并发、低延迟和快速数据检索的功能，支持在面对海量数据存储及其复杂需求时，分布式存储与备份归档的组合方案展现出了独特的优势，能够全面满足这些要求。分布式存储以其卓越的扩展性和大容量的特性，为海量数据的持续增长提供了坚实的基础。它能够根据实际需求无缝扩展存储资源，确保数据的灵活性和可用性，满足不断增长的数据存储需求。同时，分布式存储能通过优化算法和架构设计来提升性能，满足高性能存储需求。在数据归档阶段，备份归档方案的重要性尤为凸显。它确保了重要数据能够长期保存，并且具备高度的耐久性，有效应对数据丢失或损坏的风险。不仅保护了数据的完整性，还通过合理的存储策略和生命周期管理，优化了存储资源的使用效率。在数据管理和数据治理方面，通过集成的数据管理工具，可以实现数据的集中管理和有效治理，确保数据的质量、安全性数据存储的应对技术可以从六个维度进行论述，分别是：数据处理技术、数据容纳技术、数据管理技术、数据I/O密集读写和大文件读写等场景。存储系统采用数控分离架构，通过将I/O的控制主要负责管理数据的属性信息，如位置、大小等，通过优化逻辑控制和数据管理算法来提高存储系统的访问效率和数据一致性。而数据面则直接负责数据的读写操作。将数据管理流和数据传输流进行分离，分别在不同的低了数据传输流在节点间东西向的转发操作，可极大地降低由于数据在存储集群节点间转发所带来的网络和系在当前的AI基础设施平台中，计算服务器配置非常高，更高性能的CPU和更多的插槽数带来了NUMA请求量增大时，所有其他NUMA节点的CPU核的数据访问均集中在单个Socket内，造成了大量跨Socket、跨积，进一步增大整体时延。为了降低跨NUMS0 taeaeS0 taeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeaeck89aeae89aeaeaeaeaeaeaeaeae aeaeaaeaeaeaeaeaeaeaeae ae文件系统内核客户端文件系统内核客户端入时先进入到快速层，介质是快于HDD的NVME或持久内存，配置的EC或副本模式也更快速，对数据进行落响，同时并发性能也会随之提高。第三，GC过程。如果数据删除过多或产生空洞，后台需要进行GC的数据整的搬移则会占用带宽和资源，适用于删除一次就删掉了大量数据且需要重新排布的数据较少的场景；二是对空洞管理的方案，根据空洞的管理进行聚合，性能比较稳定，但是磁盘空间利用率低，适用于少量删除或整体文File134File134FileFile22FileFile↓写数据存储中的高密硬件设计包括高密硬盘设计、免工具设计、高性能接口、高效散热设计、简易维护设计）；更低的延迟，满足AIGC等高性能计算场景的需求；高效散热设计，如优化气流通道、使用高性能风扇和散热器，以及通过智能温控技术配合先进的风冷系统，可以实现最佳工作环境，保障系统稳定运行；简易维护设计，如BMC技术，技术人员可以通过Web管理界面、故障诊断LED等指引设备，并可通过储单元可记录4个位的数据，相比传统的SLC、密度。同时，X-NAND等关键技术的诞生，也缓解了采用AL数据压缩本质是通过使用算法和技术减少数据存储或传输过程中所占空间或带宽的过程。传统的数据压缩算法包含了无损压缩（如Huffman编码、LZ系列编码等）和有损压缩（分形压缩、小波压缩等），以上算法和技术很难满足AIGC场景下量大、类多、速度快的数据的压缩需求，新的数据压缩技术顺势而生。混合列压缩（HCC）技术以块的形式组织数据，同时利用行存储和列存储的方法存储数据。数据一旦被定位，一个行中的列值会被分组到一起，然后将其进行压缩，待压缩完成后数据会被存储到压缩单元中。利用HCC技术库压缩和存档压缩都取得了高效的压缩比，其中，仓库压缩在典型情况下可以提供10：1的压缩率，存档压缩比可以达到15：1，极大的节省了存储空间。此外，存储系统支持基于固定长度数据块或可变长度数据块的重复数据判断和删除机制，通过SHA256等算法计算数据指纹表记录数据特征，当有相同指纹特征的数据写入时只保留一份数据，将重复数据删除，其中基于可变长度数据块计算的指纹信息更加灵活和精确，可支持更高的推理阶段产生的高价值数据需要在温冷存储介质中长期保存，以及在异构存储或跨地域存储系统之间迁移和保完成的数据，通过存储系统的全局文件系统管理能力，可支持数据在跨地域的存储系统之间以及不同存储介质之间自动流动，并支持按照设置的策略对过期数据自动删除，实现数据高效管理。同时全局文件系统支持基于存储系统管理本地存储和后端冷存储介质中的全量数据及元数据，采用全局统一的元数据管理机制，全局文件系统与后端存储之间的元数据同步可采用快照或日志方案。快照方案通过snapdiff获取两个快照间变更的需记录每次元数据变更的日志，通过重放日志的方式在另一套存储系统中将元数据构建出来，实现元数据的同通过全局元数据共享技术构建全局统一命名空间，对外提供统一的数据视图，可视化呈现热冷数据的分机柜级或节点级的故障。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。通过数据重构过与故障恢复不同，故障预测是要对可能发生的故障进行精准预测来实现对数据保护，即“治欲病”。存储故障预测、故障恢复和数据安全防护构成了对数据安全的全方位保护体系，数据安全防护更强调在“治未病”中的保护作用，通过数据加密和防病毒技术实现数据保护。具体来看，数据加密是指存储系统支持数据传输加密和数据存储加密技术，使数据在传输过程到写入落盘的全过程都保持密文状态，防止数据被窃取篡改。对敏感数据的访问拥有认证、授权或加密机制，对于认证凭据的安全存储，在不需要还原明文的场景下，使用不可逆算法加密。通过加密机制确保了即使非法窃取物理磁盘也无法获取实际数据，保证非法途径无法获取明文数据。在读取数据时通过加密密钥解密后返回给客户端，保证数据在解密后内容不发生变化。加密算法支持行为差异，及时侦测出异常访问行为，将存疑文件及时隔离并上报告警。另外也可通过机器学习模型，对未和单一形态的存储已无法同时满足用户对于存储性能、存储容量和存储成本的需求，可通过数据分级功能实现在兼顾性能和成本的双重需求下对数据进行分类管理和存储。文件分级包括分级迁移和分级删除。根据系统中文件大小、类型、路径、存放时间等元数据属性，将满足用户所设置分级策略的文件分别迁移到不同性能存数据分层管理基于数据的访问频率、重要性以及其他相关属性，通过机器学习、数据挖掘等技术，建立数据访问频率预测模型，准确识别出热数据和冷数据，并分别存储在不同的存储介质或存储层级上。当数据在变为温冷状态并满足设定的分层迁移策略时，自动迁移到异地的存储系统中或是不同存储介质的异构存储系统中，当后续的作业阶段触发了对已迁移数据的访问请求时，自动将数据回迁至原存储系统中。通过数据分层管理策略实现数据在全生命周期内的自动迁移和透明流动，包括在后端存储使用磁带库和蓝光存储等冷存储介质的场景，实现数据在高性能的SSD介质、HDD磁存储系统支持远程复制功能，实现数据在跨地域的两套存储集群间流动，提供系统级的故障冗余保护。数据复制可采用目录级的快照技术，将主端存储系统新增快照中的数据复制到从端存储系统，使得从集群的数据和主集群快照保存一致。数据同步包括初始同步和增量同步。初始同步采用目录遍历对比的方式，增量同步是与备份归档存储共同构建统一资源池，分布式并行存储的burstbuffer功能，能够智能识别热点数据，精准分级。统一资源池和全局文件系统能保证数据跨介质、跨设备流动，防止形成数据孤岛，备份归档的存储特性则成本，具备强大的数据容纳能力。基于分布式存储架构和数据、元数据管理功能，则可对外提供数据并行处存储系统发生故障时会导致数据读写操作失败、降低CHK读写性能，影响训练效率。字节级分布式锁、系统故障快速恢复、系统故障预测和系统防护相结合，可以加快故障恢复、提前预测故障和进行系统防护，达到基于分布式存储多协议融合互通的功能，该方案可实现同时支持文件、对象和大数据存储服务，对外同时享、语义无损、性能一致，同时数据在存储池内仅保存一份，但是可以通过多种协议访问，避免不同协议下数据的拷贝，节省50%的数据存储空间。而通过全局元数据共享技术则可以构建统一命名空间，支持跨平台、跨形态、跨地域的全局数据管理，并对外提供统一的数据视图，用户可方便地检索任意位置系统的数据并进行访和共享六种能力，满足数据采集、数据准备、数据训练、数据推理和数据归档五个阶段的存储要求，可以提供4.2.1案例一上海某大学服务国家创新驱动发展战略，瞄准基础学科研究的前沿领域，推动学科交叉和科教融合，在光子科学、人工智能、生物医药、能源科学等重大创新领域积极布局，是一所小规模、高水平、国际化研究型、创新型的大学。该大学和某存储厂商合作以计算和存储为平台融合新技术应用提升创新体系效能，加速科技创新，共同搭建跨学科多模态人工智能计算平台。面向多模态大模型训练，搭建了跨学科技术研究的平台，满足了数字材料、生命制药、芯片制造、数字孪生、人机协作等多个研究方向的大某节点出现故障时，可以自动切换至备用节点，提供存储系统的高可用性，保障科研平台数据不丢失，保证了数据安全性和项目课题运行的持续性。根据后期业务的增长，长期存储系统在线横向扩展新的存储节点，系统源的整体性能。同时，该方案可提供全数据生命周期管理的能力，实现数据按热度进行流动、提供热、温、求。满足跨学科领域研究的需求，为智慧医疗、智能感知、人机协同、数字孪生、材料发现、芯片制造、视觉处理处理4.2.2案例二化数据特征、优化模型训练，最大程度简化用户的工作；底层采用多套存储系统组合方案，根据数据类型不同提供多种数据存取服务，全闪存并行文件系统提供超大带宽和极速海量小文件的处理能力；该存储数据管理系登录服务器登录服务器-间自由流转。存储模块全部支持多种存储类型，多种功能模块协同工作，打破单一软硬件技术壁垒，使业务运行更加顺畅。并且该方案提供闪存存储空间300TB，存储吞吐可达100GB/s+。该解决方案配备高性能存储系统，为用户提供强大、高效的数据存储空间和数据访问的能力，同时提供了多种数据特征提取、整合，多维度动态组织数据集的能力，为用户“再创新，再发现”提供了强力的工具。计算模块提供了异构计算框架的兼容4.2.34.2.3案例三·求。其中，配置了全闪存储集群来支持数百亿参数的医学影像生成模型的训练和推理，通过提供高性能存储解的采集、预处理和归档存储。针对数据安全和隐私保护需求，通过数据传输和存储的加密以及严格的访问控制数据采集数据采集数据训练数据推理数据处理数据预处理阶段有大量医学影像数据需要快速上传和预处理。通过优化数据路径，减少数据传输路径中的瓶颈，提高上传和预处理速度。通过并发优化算法，提升多客户端同时上传和处理数据的效率（上传速率和性能），利用智能缓存技术，加快常用数据的访问速度，高并发上模型训练阶段深度学习模型训练需要高性能存储系统，训练过程中需要频繁读取和写入大量数据，因此需要较通过将大文件分成多个小块存储和处理，提高数据存储和访问效率。通过内置的智能调度算法自动调整存储资源分配，确保高性能需求的训练任务顺利进行。通过全局去重技术，减少重复数据存储量，提升存储利用率。护机制确保医疗数据的安全性和隐私保护，提升系统的合规性和可靠性，确保了研究中心医疗影像数据安全的4.2.4案例四某金融公司的实际业务中数据量巨大，且以非结构化数据类型为主，除了需要存储系统具备提供多种存储服务的能力之外，对数据存取的性能也有较高的要求。在以往的业务流程中，数据存取性能是整个分析建模和训练过程中的最主要的瓶颈。同时，该类用户对数据处理和分析的性能也有严苛要求，要求具有充分利用资源的数据存储吞吐和IOPS，支撑金融数据的高效存取。其次，采用可以提供存储系统，为量化分析需要的结构化数据和非结构化数据提供统一的存储引擎。最后，在应用层配合分布式计容器服务模型训练分析任务高频交易-容器服务模型训练分析任务高频交易-分布式计算系统分布式计算系统全闪存分布式存储系统全闪存分布式存储系统对海量小文件场景下，性能无衰减。配合分布式计算系统，可以承载多种分析应用，并且通过进程和容器的方式运行批量计算、并行计算，动态高效分配资源。提供对GPU等稀缺资源的管理和调度能力，经出台了多种布局算力基础设施的实施方案。目前，国内单个智算中心的存储规瓦时，占社会总用电量的3%。而智算中心引入了更多的算力相关设备，其耗电量将远高于同等规模的数据中心。根据斯坦福人工智能研究院发布的《2023年人工智能指数报告》显示，GPT-3单次训练耗电量就已高达应用中的实时数据处理需