高性能NAS典型创新应用报告 2024

ODCC2024ODCC2024-OA001版权声明对于未经著作权人书面同意而实施的剽窃、复制、修编和翻译出版等侵权行为，ODCC及有关单位将追究其法律ODCC2024ODCC2024-OA001编写组ODCC2024ODCC2024-OA001信息存储产业，特别是以附网存储（NAS）为代表的网络存储技标纲要》在坚持创新驱动发展、加快发展现代产业体系等多个方面，文件数据。附网存储技术因其具有易于部署、更加优化的数ODCC2024ODCC2024-OA001 1 1 3 3 4 4 四、结语......................高性能NAS典型创新应用报告一、NAS存储概述(一)NAS定义和发展历程DAS是一种直接与主机系统相连接的存储架构，存储设备作为计算机的附属部分。SAN是传统的DAS技术的发展延续，存储设备资源。NAS是一种将存储设备直接联网并使用网络文件共享协议提供文件级数据访问的存储架构。NAS广泛应用于消费级和企业级文享文件逐渐发展成为专用存储服务器提供文件共享服务，形成NAS1网络的快速发展，越来越多的厂商开始推出NAS2(二)NAS市场现状及主流产品从国际市场情况分析，全球企业级NAS市场的年复合增长率约为3备数据分级流动、全局共享和容器存储能力。各行各业应用升级对4监测数据显示，2014年-2023年2月全球AAIGC依赖通用基础大模型，训练通用5AI大模型的门槛；利用存储内嵌的算力和新型数据存储格式，可卸热点2：HPC为高性能NAS扩大市场空间6高性能计算(HPC)是使用并行处理来高78需要更好的数据一致性和可移植性。为了应对这些挑战，新的NAS安全性：在多云环境中，数据的安全性也是一个9性能提出了更高的要求，以4K转为8K为例，码率由589Mbps提升二、NAS典型应用场景业银行票据影像、数据交数据交换平台对接200数据要求存储具备较高安全性，具有防勒索能性能：海量小文件场景高话单计费系统话单计费系统是运营商性能：话单处理速度要求中扣费等突发业务浪涌带来的高并发场性能要存储内容类型多涵盖视/存周期长达数年甚至更可用性：7*24小时连续播可服务性：统一的运维管视频监控、海量KB级小文件图片件，上百路并发随机读数十PB级的海量存储空模分布式存储系统运维图片读取时延要求低于移动任务不影响读写业务真、自动驾端设计产生上亿KB级测试以GB级别的大文新仿真，对存储故障检生命科学、基因测序、台、多源异构数据的特有EB级别数据归档需冷冻电镜场景:采集过时管理多个厂商的多套设影像系统、医院数据的80%都来自时延直接影响患者感知平均大小为300KB左像数据时间要求不少于15年。而病理系统通常医院年病理数据增量1~2PB，要求存储可弹性扩燃气企业生需要处理和存储海量生产运行数据和设备设施实时产生的设备运行数采集的数据相结合进行置。存储内容存在多样性能：基础数据查询在10万条/秒以上，文件数据读模型训练、AI大模型已经从传统模储的要求包括海量存储方面。为了满足这些要研发新的存储技术和解集的加载吞吐达到数百(一)金融容器平台NAS应用l通过IO聚合、众核调度，支持小文件小IO性能提升；l通过多路径技术实现性能翻倍。99.99999%，当一个存储控制器发生故障时，业务无中断，性能波动(二)高端制造EDA仿真平台NAS应用EDA是以计算机为工具，为芯片开发设计者提供的一个软件化EDA仿真流程各阶段workload模NAS应用实践如下。l元数据操作算法优化、独立分区提升垃圾回收效率，避免lAA双活替代异步复制，既能满足业务负载均衡的性能需决方案级的四级可靠性设计，实现99.9999%极致可靠，确保仿真业(三)医疗行业数据处理NAS应用务，需要额外提供网关才能实现，导致医院文件系统管理难度增大。部署NAS存储后，存储时延降低30%，性能提高40%，运维效(四)电信运营商话单类业务应用标准话单文件。每天需要处理6000+万个文件，约2000+亿条话单记SAN组网替代FC组网，实现了整体解决方案端到端自主可控。(五)人工智能平台NAS应用城市物联网和供应链物联网的核心场景提供解决方案，对外提供AIGC场景的全套解决方案，持续为客户和社会(六)能源行业物探平台NAS应用繁的链表操作将降低地震数据读写的速度。地震数据处理过程中通件判断数据处理的优劣。该场景存在单个文件用户客户端用户客户端NAS服务计算集群后端分布式存储集群分布式存储业务网络(10GE)计算集群后端分布式存储集群Node1Node2Node3Node4Noden分布式存储集群网络(IB或40GE网络或至少20GE)(七)视频监控AINAS应用型训练与推理应用，即对数据进行多阶段、密集模型训练，生成入，对写入性能、容量要求高；模型调优需反复训练，海量小文件(八)自动驾驶训练平台NAS应用l并行文件系统架构：数据切片打散保存，客户端并发访问l分级存储：将热数据存储在高性能存储池内，冷数据自动(九)媒资视频非线性编辑NAS应用为大文件顺序写模型。每个MacPro客户端单轨道播放带宽要求在为了多台客户端同时多轨道播放不卡顿，时延要求小于0l存储回收站：存储支持回收站特性，避免误删导致的数据(十)燃气企业生产管理系统NAS应用高灵活性与可扩展性。NAS文件系统支持多用户和多种操作系统同l故障预测：建立存储内存故障、硬盘故障、硬盘生命周期l智能升级：一键式评估、升级存储设备到更高软件版本；展NAS应用带来一定的参考，促进产业发AIGC:AI-GeneratedCBFS:Banking,financeandinsurance银行、金融服务BGP：BorderGatewayProtocol边界网BMC：BaseboardManagementController基板管理CBE：ConvergentBillingCIFS:CommonInternetFileSystem公共互联网文件系统CSI：ContainerStorageInterfaceFC：FibreChannel光纤通道IOPS：Input/outputoperationspersecond每秒读写(I/O)操作的次数OPEX：OperatingExpense运营成本RAID:RedundantArrayofIndependentDisks独立磁盘冗余阵列RDMA：RemoteDirectMemoSNIA：StorageNetw