DDN高性能存储WOS云存储解决方案

李若甫ruofu.li@WOS®云存储系统超大规模、面向对象、地理分布2014年6月18genda公司简介传统方案的困境WOS®定位与典型应用场景WOS®技术细节Q&ADDN公司简介规模实力外部存储的品牌厂商

–按收入排名DDN是世界上最大的私人持有的存储厂商DDN是全球第四大存储厂商Source:行业认证World’sLargestPrivately-HeldStorageCo.Fast500TechnologyCompanyInc.500|5000High-GrowthCompanyBestHPCStoragePlatformsBestPracticeforDigitalMediaHotTechnologyfor2012关键统计数据公司定位：提供高度可扩展和高效的存储解决方案，帮助客户快速成功、随数据集的持续增长轻易扩展、解决性能和容量扩展问题从而获得竞争优势。1998年成立，总部位于Chatsworth,CaliforniaUSA；全球约700名雇员，覆盖4大洲15个国家；拥有超1000家客户，分布在50个国家，已交货容量超过1EB(1ExaByte=1000PetaByte=106TeraByte)市场营销策略:全球合作伙伴,增值分销商,分销商重点关注高性能计算与生命科学、云&网页内容、富媒体、情报及监控等细分市场在大数据系统上的投资超过1亿美元DDN|

全球大数据解决方案领导者大数据产品家族EXAScaler™10KsofClients1TB/s+,HSMLinux/WindowsClientsNFS&CIFSWOS®256BillionObjectsGeoReplicated8MillionObjects/SecondSelf-HealingMobileCloudAccessDirectMon大数据平台管理方案SFA12K40GB/s/1.7MIOPS1,680Drives:16U-2RacksEmbeddedComputingSFA770010GB/s,600KIOPS60Drivesin4U;396Drivesin20UStorageFusionArchitecture™

CoreStoragePlatformsFlexibleDriveConfigurationSFXAutomatedFlashCachingReadWriteContextCommitInstantCommithScaler™50-2000Nodes200+DataSourcesHighSpeedETLUpto500%FasterResults企业级Hadoop一体机PB级Lustre®

存储企业级水平扩展文件存储GRIDScaler™1KsofClients1TB/s+,HSMLinux/WindowsClientsNFS&CIFSCloudTieringSASSATASSDCloudFoundation高性能计算与生命科学超算基因排序地震资料处理金融建模大学和实验室研究DDN|目标市场：大数据媒体电视广播后期处理数字中期动漫视频点播政府/数字安全地理空间情报视频监控大规模侦听坚固耐用(rugged)解决方案云/互联网/服务提供商网页内容托管服务提供商存储服务提供商个人云存储DDN|1000+家世界领先的客户传统方案的困境NAS的不足NAS性能低下NAS设备管理了大量目录元数据如果在每个目录下存储几千个文件，读一个几KB的文件可能需要10个以上磁盘操作；即使将每个目录下的文件数量削减为几百个，为获取1个小文件NAS系统仍然需要至少3个磁盘操作：将目录元数据加载到内存并将文件名转换为inodenumber、从磁盘上读取inode、读取文件本身NAS+NFS/CIFS成本高昂缓存文件句柄对longtail数据的性能帮助很小传统CDN面临的困境云备份、iCloud、电信运营商的话单日志、Facebook等SNS网站…上述海量数据中，longtail数据占很大比例传统CDN使用RAM缓存实现低延迟、高并发，为热点数据提供了高性能；但对longtail数据无能为力SizeofHDDSizeofRAMCDN的价值＝如何降低海量数据的存储成本，降低访问longtail数据的延迟，提高IO性能？LongtailCIO的困境BYOD、Cloud、Social、Mobile…BigData！预算有限，分身无术，客户需要一个简化的IT数据与应用系统紧密耦合，“牵一发动全身”扩容、改造、升级常受制于系统现状及软件开发商故障点多，管理复杂，TCO高，新增应用困难，扩容升级困难现有应用新增应用票据影像数据存储票据影像数据存储票据影像数据存储数据索引索引索引索引Harddisk：第一次购买时最优RAID/LUN：安装时用PND算法设定Filesystem:对现有应用优化VolumeManager：对现有数据优化DataFlow?安装即过时——WOS®典型应用场景

及其生态系统2/7/1212WOS®：颠覆性的海量非结构化数据存储方案对象被存储在几乎无限大的平面地址空间内；将数据保存在被称为Object的容器里每个Object都有data和metadata没有文件系统的复杂性1MB以内对象的每次读写只执行1次硬盘IO对不同大小的文件自动优化IO性能无中心管理DataMetadataDataMetadataDataMetadata平面命名空间FullFile/Object>1MBObjectsSegmented

into1MBChunksUserMetadata(<64MB)Key-valueorbinaryTag=Beach;ThumbnailsReplication/ProtectionPolicyAsync,Sync,ObjectAssureCodingSecuritySignature64bitChecksumObjectID(OID):ACuoBKmWW3Uw1W2TmVYthAZone2Zone1WOS®

|读写数据流应用/Web服务器(1)一个文件被上传到应用服务器或者web服务器(2)应用程序调用WOS客户端保存(PUT)一个新对象D.应用程序返回文件给用户(3)WOS客户端在节点中保存该对象；后续的对象在云中被自动负载均衡。LAN/WAN内容数据库(5)WOS客户端返回唯一的标识符OID；应用程序保存该OID而不是传统的文件路径，然后应用程序在内容数据库中注册该OID。B.应用程序调用WOS客户端读取(GET)该对象；OID被传递给WOS客户端.A.某用户需要读取一个文件C.WOS客户端自动判断哪个节点拥有被请求的对象，从延迟最低的数据源读取该对象，并迅速将该文件返回给应用程序(4)系统根据WOS的策略复制数据。本例中，该文件被复制到Zone2。OID=5718a36143521602OID=5718a36143521602WOS®用于数据源&数据加速（CDN）ApplicationServer内容源WOSCacheServer内容源内容源ApplicationServerWOSCacheServerEdgeCacheWOSCacheServer内容上传内容上传AutomaticPolicy-based

SynchronizationApplicationServerEdgeCache城市1城市2城市3内容上传中心管理WOS®用于数据采集与图像处理Store&AnalyzeStore&processmonthsofdatainthefieldIn-CountryLocalIn-CountryanalysisIn-Countryprotection1In-CountryRemoteReplicatetoremoteIn-countrycontainerCollaboratebetweensites1境内采集分析Highperformanceaccessforanalysison-siteTotallyhands-off&selfhealingPetabytescapacity,smallfootprintBetterthanRAIDdurability&availabilityAnalyze,Search&ManageStoreanddeeparchiveexabytesofdatainasingleyear3长期高速归档AutomaticallyjoinstoragepoolMassiveScalabilityLowTCOHighreliability,durability,&availabilityAutomaticmanagement,migration&upgrades2TransportTransfercontainersfromthefield现有应用WOS®用于非结构化数据管理平台分布式存储、集中管理、就近访问、水平扩展、确保数据安全精简架构，去掉多余组件，减少了故障点，精准管理完全横向扩展话单查询、医疗云…新增应用RESTHarddisk：每次购买时最优RAID/LUNFilesystemVolumeManager专属索引专属索引DataMetadataDataMetadataDataMetadata…平面命名空间网关WOS®用于提供类似Dropbox的云存储服务某公立大学有40,000名学生要提供经认可的“类似Dropbox”的解决方案要求一个合法的内部解决方案，发现其他竞争解决方案对自己不利文件共享服务提供商，搭售了他们的数据中心和人员DDN的安全WOS®云文件共享解决了上述问题向学生和教职员提供安全的文件存储和共享学生毕业后，除一个永久的电子邮件帐号外，还包括该服务LoadBalancerReplicated,GlobalNamespaceScale-OutObjectStorageCloudGatewaysProvisioning&BillingMulti-tenantAccessviaS3&RESTWOSStorageSmartDevicesBrowserAccessAPIAccess基于策略的自动数据复制Zone2Zone3Zone1中心管理WOS®用于私有云(协同)WOS®技术细节WOS®Core

|主要技术指标市场上最高的存储密度每机柜1.98PB、660个磁头、220亿个对象最高的扩展能力单一命名空间，每集群2560亿个对象小规模起步,轻松扩展到30PB以上;按需在线扩展，集群性能线性提升性能200MB-500MB/node低延迟，1MB以内对象的每次读写只执行1次硬盘I/O用于保存任意比例的大小从512字节到5TB的文件，且存储效率高达99%WOS60004U,60-driveWOSNode(SAS/SATA)1.98PB/11UnitsperRack典型拓扑图(物理连接)Loadbalance注:非DDN产品IP网络注:非DDN产品WOS6000云网关(提供各种协议支持）身份管理平台注:非DDN产品WOSCloudClusterInterconnectService当前版本可水平扩展到256个节点……WOS®

|快速部署十分钟或者更短时间内将WOS节点、接入网络给WOS节点分配IP地址，并制定集群名字(“AcmeWOS1”)进入WOS管理界面。WOS节点出现在“PendingNodes”清单中。拖放该节点到所需的Zone如果需要，指定复制策略SanFranciscoNewYorkLondonTokyo拖放新节点到任何需要扩展的Zone恭喜！WOS集群增加了180TB！WOS®

|易于管理数十PB的部署管理只需要1名全职工程师

单一、全局的命名空间，易于配置和扩展自动、透明、策略驱动的数据复制零干预——通过（按规划）故障点平滑降级数据保护

|ObjectAssure™技术工作特性ObjectAssure(OA)支持WOS-Lib和RESTAPIOA在WOS的单一节点内运行在WOS的保存策略中，指定“单一副本”时，OA功能开启

在WOS集群中，OA和多副本复制保存方法可以混合使用以每个WOS节点为基础，OA侦测多磁盘并发错误，并能纠正2个不同磁盘的并发错误ObjectAssure流程在PUT操作其间,OA将对象切片保存到8个磁盘上，并生成2份校验数据(8+2)如果驱动器发生故障或对象已损坏,WOS使用校验数据重建被损坏的数据（自愈合）。注意故障磁盘上的数据将散布到节点内的多块磁盘上。WOSOA根据需要在读(GETs)操作期间快速纠正数据5678P1P21234X1ClientApp``WOS-Lib“PUT”SelfHealing“GET”数据保护

|ObjectAssure的技术优势传统RAID重建容量损失——备盘容量被搁置重建时间长-必须重建整个驱动器，即使发生故障的驱动器上只有少部分数据数据丢失风险高——如果备用驱动器不可用就不能重建增加支持成本——在备件数量少时，需要立即请求维修降低写性能——RAID降低磁盘写性能，尤其是小文件…x……x…x…x立即请求维修传统RAID存储整个驱动器被重建xxxReplicatedorObjectAssureFS+RAID6WOSWOS在各个驱动器之间重新平衡数据负载充分利用所有驱动器–任何驱动器上的任何可用容量都是备用池的一部分恢复时间缩短50％-只实际数据被复制更快的恢复数倍地提升了整体性能，并降低了数据丢失的风险驱动器故障仅使总容量损失故障驱动器自身的容量在定期维护时，通过更换故障驱动器恢复总容量即时资源调配可用容量:116TB可用容量:118TB可用容量:120TB为恢复容量，可选的计划内维修请求恢复RAID备盘1数据保护

|同步PUT操作同步PUTw/ReplicationWOSLib选择“最短路径”节点

Zone“SanFran”中的节点保存对象到磁盘，并按照策略复制该对象到NewYork和LondonSanFran节点收到来自NewYork和Londonzones的应答SanFran节点返回OID给应用程序ZoneSanFranWOSNodes…WOSNodes…ZoneNewYork01..0501..05ClientAppWOS-LibWOSClusterGroupMapWOSNodes…ZoneLondon01..05234AAAClientApp11数据保护|异步PUT操作PUT带异步复制WOSLib选择“最短路径”节点Zone“SanFran”的节点保存对象的2份副本到不同的驱动器(节点)SanFran节点返回OID给应用程序然后集群(尽快)将对象复制到NewYork&London收到来自NewYork&London的应答，在SanFran的额外副本被立即删除ZoneSanFranWOSNodes…WOSNodes…ZoneNewYork01..0501..05WOS-LibWOSClusterGroupMapWOSNodes…ZoneLondon01..0543AAAA240ms80ms10msLatencyMap在WOS的管理界面中可以查看数据复制的状态高达4路复制1ZoneSanFranWOSNodes…2WOS®|GET

操作(WOS-Lib)Get操作——常规WOS-Lib选择具有最小延迟路径的副本，并发送GET请求Zone“SanFran”中的节点返回对象A给应用程序WOSNodes…ZoneNewYork01..0501..05WOSNodes…ZoneLondon01..05AAAGet操作——修复受损数据WOS-Lib选择具有最小延迟路径的副本，并发送GET请求Zone“SanFran”节点检测到对象损坏WOS-Lib找到下一个最近的副本并读取、返回给客户端应用程序在后台,