AWS FSx for Lustre存储系统介绍

1、AWS FSx for Lustre存储系统介绍为高性能与机器学习负载设计的高速云存储Agenda高性能负载介绍Amazon FSx for Lustre 介绍 FSx for Lustre 深入探讨 FSx for Lustre TCO 分析什么是高性能负载需要大量计算能力快速对数据进行处理的负载典型场景:海量数据集水平扩容的计算容量(超过百万核)提供高速数据访问能力快速存储读写能力 高速网络如何在AWS上A行高性能负载？选项 1:数据复制至EC2实例存储或EBS数据存储在S3产生海量数据选项 2:数据复制至一个基于EC2自建的高 性能共享文件系统当工作负载完成时为什么两种选项都使用了文件系

2、统？延时访问成本 文件接口配置和维护复杂的 软件大量的性能参数的 优化确保对外持续提供 服务需要非常专业的 工程师 和大量的时间 精力运行一个并行文件系统对大部分的团队和项目来说 是非常困难的典型的部署在数据中心的高性能文件系统PB级别(以千计的硬件组件)需要一个运维团队来保证持续对,提供服务数据流入流出文件系统配置数据移动/具, 以便将数据从S3导入文件系统运行在多个节点, 或多线程以保证性能等待数据导入完成后才能开始进行计算 记录需要回写至S3的文件Amazon FSxfor Lustre介绍什么是Lustre?15+开源高性能文件系统年成熟系统60%Top 100 超级计算机EDA金融建

3、模地震数据处理广泛应用于计算密集型负载媒体渲染与转码地理空间分析Amazon Sx for Lustre对存放在S3或数据中心的数据进行加速处理原生 POSIX文件系统接口并发访问与S3无缝集成高性能且可扩展为海量数据处理进行成本优化安全与合规高性能且可扩展高性能且可扩展并行文件系统100+ GiB/s 吞吐量 超过百万 IOPS一致的次毫秒级别延时支持从数百至数干节点进 行并发访问基于SSD文件系统吞吐量与IOPS随存储容量进行线性扩展每TB存储空间提供200MB/s基线吞 吐量, 并支持最高12倍突增吞吐量文件系统可扩展至数百GB/s的吞 吐量和过百万IOPS合单基线吞吐单突增吞吐单1TB

4、200 MB/sUp to 400 MB/s10TB2 GB/sUp to 8 GB/s50TB10 GB/sUp to 20 GB/s100TB20 GB/sUp to 40 GB/s与Amazon S3进行无缝集成处理结果返回至S3中进行持久化存储当计算负载完成后, 可直接删除文件系统连接存储在S3上的数据集与FSx for Lustre文件系统存储在S3上的数据被加载至FSx进行处理 Amazon S3 延迟加载示例/file1.txt/file2.txt/folder1/file3.txt/folder2/file4.txts3:/bucket/file1.txt s3:/bucket

5、/file2.txt s3:/bucket/folder1/file3.txt s3:/bucket/folder2/file4.txtAmazon S3集成实现快速数据移动Cloud Bursting : 利用云的弹性实现资源快:扩展数据中心AWSAWS Direct ConnectAWS VPN简单且全托管简单且全托管文件系统服务器 及存储卷的部署 与配置配置并维护Lustre 软件Lustre管理数据从S3导 入导出与现有应用程序菲容POSIX现有应用无须更改Read after write/close 一致性支持文件锁与Linux使用本地 文件系统方式一致安全与合规安全与合规PCI-D

6、SS/ISO/HIPAA数据加密使用VPC安全组进行网络流量 访问控制使用AWS CloudTrail监控与记录API 调用使用AWS IAM进行AdminAPI访问控制高性价比超高速文件系统,提高计算资 源利用率数分钟内创建文件 系统只为使用的资源付费长期数据存储于S3 或本地数据中心高性价比FSx for Lustre 价格(SSD):$0.14 per GB-month ($0.20 per TB-hour)为高性能低成本处理海量数据集而优化TCO 示 例总数据大小: 250 TB每天运行作业对前一天的数据进 行处理每个作业:处理25TB数据需要5GB/s吞吐量 每天运行10小时TCO

7、示 例Amazon FSx for Lustre:($0.20/TB-hr) * (25 TB/job) * (10 hrs/job) * (30 jobs/month) =$1,500 per monthS3存储费用(250 TB-month):Amazon FSx for Lustre活跃数据处理费用:Total:$5,700 per month$1,500 per month$7,200 per month ($0.028 per GB-month)适用场景机器学习高性能计算媒体渲染与转码大数据分析EDA石油与天然气 地震数据处理自动驾驶训练金融建模示例： Sx for Lustre在深度学习的应用ResNet-50, 50层深度神经网络使用超过一百万张图片的ImageNet数据集进S训练训练使用了P3.16xlarge节点, 超过160个GPU,访问存储在FSx for Lustre上的ImageNet图片在基准测试中, 160个GPU的利用F达到了90%至100%, 并以L100,000图片/s的速度:FSx for Lustre进S 访问Amazon Sx for Windows File Serv