拥抱AI我们需要什么样的存储系统

•开源版：易部署，好维护。2021年发布，10.7Kstars,最大文件系统超过70B文件100PB容量；•企业版：2019年开始服务AI领域。GenAI、自动驾驶、量化交易、生物科技、搜广推等业务广泛使用。知乎人momento存储系统选型的挑战有哪些？描述存储系统时，需要精确量化的形容词描述存储系统时，需要精确量化的形容词描述存储系统时，需要精确量化的形容词•规模：要有容量，和文件数量的预期，很可能不容易准确预估，那是否需要数据快速增长带来的挑战LLM领域•GPT，参数110M，文本5.7G•GPT-2，参数1.5B，文本40G•GPT-3，参数175B，文本45TB•GPT-4，参数1800B，文本1PB单机存储必须转为分布式存储，单机训练也必须转为分布式训练。复杂的数据工作流featureLLM请在自己的环境上测试性能1.高可用性1.高可用性：数据分布在多个节点上，即使某个节点失败，系统2.可扩展性：可以通过增加更多的节点来扩展存储容量和处理能3.容错能力：分布式系统通常设计有数据冗余，可以容忍一定数4.负载均衡：请求可以分散到多1.复杂性：需要复杂的管理工具和协议来协调多个节点。2.数据一致性：在分布式系统中保持数据一致性3.成本：需要更多的硬件和网络资源，可能会增加总4.性能问题：网络延迟和数据同步可能会影响性能。1.简化管理：所有数据都存储在一个位置，便于集中管理和监2.性能：可以部署高性能的硬件来优化读写速度，如使用高速3.成本效益：对于小规模数据，集中4.数据一致性：由于数据存储在单一位置，更容易保证数据的1.单点故障：如果存储设备发生故障2.扩展性限制：随着数据量的增长，集中式存储可能会遇到扩3.性能瓶颈：在高负载情况下，单一存储设备可能会成为性能4.数据迁移困难：在需要迁移到新系统时，可能会因为数据量集中式架构与分布式架构怎么选？1.高可用性：数据分布在多个节点上，即使某个节点失败，系统2.可扩展性：可以通过增加更多的节点来扩展存储容量和处理能3.容错能力：分布式系统通常设计有数据冗余，可以容忍一定数4.负载均衡：请求可以分散到多1.简化管理：所有数据都存储在一个位置，便于集中管理和监2.性能：可以部署高性能的硬件来优化读写速度，如使用高速3.成本效益：对于小规模数据，集中4.数据一致性：由于数据存储在单一位置，更容易保证数据的2.：随着数据量的增长，集中式存储可能会遇到扩4.：在需要迁移到新系统时，可能会因为1.高可用性1.高可用性：数据分布在多个节点上，即使某个节点失败，系统2.可扩展性：可以通过增加更多的节点来扩展存储容量和处理能3.容错能力：分布式系统通常设计有数据冗余，可以容忍一定数4.负载均衡：请求可以分散到多1.复杂性：需要复杂的管理工具和协议来协调多个节点。2.数据一致性：在分布式系统中保持数据一致性3.成本：需要更多的硬件和网络资源，可能会增加总4.性能问题：网络延迟和数据同步可能会影响性能。•JuiceFS：适合云环境，尤其多云。用户态与内核态客户端怎么选？,省去内核态向用户态拷贝用户态与内核态客户端怎么选？---,省去内核态向用户态拷贝用户态与内核态客户端怎么选？•RDMA需要内核模块支持，增加了运维成本；也需要专•存储系统也会被大量CPU节点使用，所以网络普适性很•仅靠吞吐、时延、QPS等指标可以应用不够快，是因为存储慢么？•仅靠吞吐、时延、QPS等指标可以性能、价格的取舍与平衡●读吞吐峰值186GB●读吞吐峰值186GB/s●写吞吐峰值20GB/s●数据量12PiB●文件数2.1亿●客户端1100+●读吞吐峰值186GB●读吞吐峰值186GB/s●写吞吐峰值20GB/s●数据量12PiB●文件数2.1亿●客户端1100+