DDN WOS对象存储介绍

1、WOS 云存储系统介绍超大规模、面向对象、地理分布Agenda公司简介传统方案的困境WOS定位与典型应用场景WOS技术细节Q&ADDN公司简介规模实力外部存储的品牌厂商 按收入排名DDN 是世界上最大的私人持有的存储厂商DDN 是全球第四大存储厂商Source:行业认证Worlds Largest Privately-Held Storage Co.Fast500 Technology CompanyInc. 500|5000 High-Growth CompanyBest HPC Storage PlatformsBest Practice for Digital MediaHot Tech

2、nology for 2012关键统计数据公司定位：提供高度可扩展和高效的存储解决方案，帮助客户快速成功、随数据集的持续增长轻易扩展、解决性能和容量扩展问题从而获得竞争优势。1998年成立，总部位于Chatsworth, California USA；全球约700名雇员，覆盖4大洲15个国家；拥有超1000家客户，分布在50个国家，已交货容量超过1 EB (1 ExaByte = 1000 PetaByte = 106 TeraByte)市场营销策略: 全球合作伙伴, 增值分销商, 分销商重点关注高性能计算与生命科学、云& 网页内容、富媒体、情报及监控等细分市场在大数据系统上的投资超过1亿美元

3、DDN | 全球大数据解决方案领导者大数据产品家族EXAScaler10Ks of Clients1TB/s+, HSMLinux/Windows ClientsNFS & CIFSWOS1000 Billion ObjectsGeoReplicated8 Million Objects/SecondSelf-HealingMobile Cloud AccessDirectMon大数据平台管理方案SFA12K40GB/s/1.7M IOPS1,680 Drives: 16U-2 RacksEmbedded ComputingSFA770010GB/s, 600K IOPS60 Drives i

4、n 4U; 396 Drives in 20UStorage Fusion ArchitectureCore Storage PlatformsFlexible Drive ConfigurationSFX Automated Flash CachingReadWriteContext CommitInstant CommithScaler50-2000 Nodes200+ Data SourcesHigh Speed ETLUp to 500% Faster Results企业级Hadoop 一体机PB级Lustre存储企业级水平扩展文件存储GRIDScaler1Ks of Clients1

5、TB/s+, HSMLinux/Windows ClientsNFS & CIFSCloud TieringSASSATASSDCloudFoundationThe Structure in Big DataBigStructuredDataBigSemi Structured DataBigUnstructured Data6SFA12K40GB/s/1.7M IOPS1,680 Drives: 16U-2 RacksEmbedded ComputinghScaler50-2000 Nodes200+ Data SourcesHigh Speed ETL700% Faster Results

6、Transactional informationRelational DatabasesHigh IOPSRelatively slow growthVelocityAnalytics informationHadoop, MapReduceHigh IOPSRelatively fast growthVelocity & VarietyFiles, objects, content streamsObject & Cloud StorageIOPS & Throughput!Explosive growthVolume Variety - Velocity高性能计算与生命科学超算基因排序地

7、震资料处理金融建模大学和实验室研究DDN | 目标市场：大数据媒体电视广播后期处理数字中期动漫视频点播政府/数字安全地理空间情报视频监控大规模侦听坚固耐用(rugged)解决方案云/互联网/服务提供商网页内容托管服务提供商存储服务提供商个人云存储DDN | 1000+ 家世界领先的客户对象存储解除了传统方案面临的困境2/7/129NAS在亿级文件数量时的性能瓶颈NAS设备管理了大量目录元数据如果在每个目录下存储几千个文件，读一个几KB的文件可能需要10个以上磁盘操作；即使将每个目录下的文件数量削减为几百个，为获取1个小文件NAS系统仍然需要至少3个磁盘操作：将目录元数据加载到内存并将文件名转换

8、为inode number、从磁盘上读取inode、读取文件本身NAS+NFS/CIFS成本高缓存文件句柄对long tail数据的性能帮助很小WOS每节点可管理40亿个文件对象WOS单一集群可管理10000亿个文件对象；且单位TB的IO性能基本恒定。海量冷数据的成本问题云备份、iCloud、电信运营商的话单日志、Facebook等SNS网站上述海量数据中，long tail数据占很大比例传统CDN使用RAM缓存实现低延迟、高并发，为热点数据提供了高性能；但对long tail数据无能为力Size of HDDSize of RAMCDN的价值如何降低海量数据的存储成本，降低访问long ta

9、il数据的延迟，提高IO性能？Long tailCIO的困境BYOD、Cloud、Social、MobileBig Data！预算有限，分身无术，客户需要一个简化的IT数据与应用系统紧密耦合，“牵一发动全身”扩容、改造、升级常受制于系统现状及软件开发商故障点多，管理复杂，TCO高，新增应用困难，扩容升级困难现有应用新增应用票据影像数据存储票据影像数据存储票据影像数据存储数据索引索引索引索引Hard disk：第一次购买时最优RAID/LUN：安装时用PND算法设定File system: 对现有应用优化Volume Manager：对现有数据优化Data Flow?安装即过时对象对象被存储在几

10、乎无限大的平面地址空间内；将数据保存在被称为Object的容器里每个Object都有data和metadata没有文件系统的复杂性1MB以内对象的每次读写只执行1次硬盘IO对不同大小的文件自动优化IO性能无中心管理Data Metadata Data Metadata Data Metadata 平面命名空间Full File/Object1MB Objects Segmented into 1MB ChunksUser Metadata (1MB) are broken into 1MB increments and are distributed across disks for perf

11、ormance and capacity scale.Block Disk StructureWOS 512B1KB2KB980KB1MBWOS “NoFS” BucketsBlock-BasedApproachesLinux File System (4-16K blocks)inodeVendorInode DB OverheadBlock Fit WasteEfficiencyLinux FS5%15-25%*70-80%Object Disk 0%1%99%磁盘空间利用率95%WOS 消除了在SAN/ NAS文件系统存储中固有的搁置容量WOS 同SAN/NAS文件系统存储相比较，磁盘空

12、间利用率平均高出25%部署1PB的SAN/NAS存储，大约有250TB的磁盘空间被限制，这增加了$50K$100K系统成本，还会浪费电源和场地成本GPFS & WOS 磁盘空间利用率对比扩展能力和TCOSources: - 05/12, EMC Atmos 2.0 Press Release Sources:A; DDN WOS OA vs. Amazon Red. Redundancy40% Data Growth AnnuallyTotal Cost of Ownership 1PB (start), 5 YearsSources: NTAP 8.1.1 Administration Ma

13、nualSources: File Storage Costs Less In The Cloud Than In-House, Forrester Research 2011 WOS6000 Node With 60% Volume DiscountScalabilityEconomics$Ms in Savings Over 5 Years基于WOS快速构建自己的云NAS 协议(NFS, CIFS, 等)原生对象存储接口兼容S3云平台WOS 接入网关NFS 协议访问控制可扩展到跨多个站点多个网关高可靠性、容灾保护云存储平台兼容S3 和 WebDAV 接口多租户报表和计费远程存储，文件共享，备份代理原生对象存储C+, Python, Java, PHP, HTTP REST 接口PUT, GET, DELETE object, RESERVE ObjectID, 等WOS NFS 接入网关可扩展到多个网关容灾保护和高可靠性切换在远程站点间同步数据库本地读写缓存LAN 或WAN 接入WOS 云针对云服务供应商或私有云S3应用以低得多的价格就能使用WOS云存储支持完整的多租户、后向计费和按租户报表谢谢！