横向扩展存储-先进架构支撑全新数据湖应用(Isilon)v3-Bob课件

横向扩展存储—先进架构支撑全新数据湖(Isilon)1©Copyright2015EMCCorporation.Allrightsreserved.横向扩展存储—先进架构支撑全新数据湖(Isilon)1©C议程Isilon的应用场景数据湖概念及特性横向扩展存储Isilon的特点小结议程Isilon的应用场景数据湖概念及特性横向扩展存储Is非结构化数据增长引出数据湖概念数据来源：IDC3201571EB全球发售的总容量非结构化数据所占的比例75%78%80%2016106EB2017

133EB非结构化数据增长引出数据湖概念数据来源：IDC320157大数据应用需要处理任何不能用传统系统处理的数据集非结构化数据增长推动大数据发展社交网络，UGC公共记录位置数据物联网新兴数据源非结构化数据黑暗数据结构化数据传统数据源大数据应用需要处理任何不能用传统系统处理的数据集非结构化数据HPC备份/归档云应用程序移动5©版权所有2014EMCCorporation。保留所有权利。©版权所有2014EMCCorporation。保留所有权利。分析文件共享数据湖RESTSWIFTNFSHTTPNDMPHDFSSMBFTPHPC备份/归档云应用程序移动5©版权所有2014EM数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工作负载无缝的结合。数据湖主要应用于非结构化数据和高扩展性要求的场景目前，Hadoop是最常用的部署数据湖的技术。数据湖是一个概念，Hadoop是用于实现这个概念的技术。EMCIsilon提供了一个企业级的横向扩展数据湖，以帮助管理和保护所有的非结构化数据数据湖的概念数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工谁需要数据湖?ArchiveVMwareBLOBSCloud/ObjectVideoCallRecordingSplunkDBDumpsProbingQuestions:有新的应用场景：Splunk,Cloudera,Hortonworks,Pivotal,RainStor,Teradata,Netezza,Exadata,SASGrid等？需要管理Hadoop的数据增长?需要管理视频监控的数据增长?SharePoint数据增长超出控制？需要存储实现大型数据库dumps,log文件,归档?Hadoop&DataAnalyticsSyncnShareTickerDataRemoteOffice谁需要数据湖?ArchiveVMwareBLOBSCloud优化运营了解行为支持创新管理风险洞察力Hadoop是大数据分析的关键底层技术优化运营了解行为支持创新管理风险洞察力Hadoop是大数据EMC虚拟化计算平台Hadoop套件EMC共享存储平台EMC为您灵活部署恰当的数据湖平台Hadoop部署EMC虚拟化计算平台Hadoop套件EMC共享存储平正确选择HADOOP存储Isilon支持多协议访问整合数据独立扩展计算和存储HDFS支持现有数据无单点故障通过新一代通信技术轻松导入和导出；包括HDFS、S3、Swift和Atmos

API支持容错，端到端数据保护自助资源调配实时批处理RESTSWIFTNFSHTTPNDMPHDFSSMBFTPRESTSWIFTNFSHTTPNDMPHDFSSMBFTP交互式实时批处理Hadoop分析呈现响应云归档移动HPC共享正确选择HADOOP存储Isilon支持多协议访问整合数据独EMCIsilon本机NFS、SMB/CIFS和HDFS企业数据服务功能无客户端驱动程序高性能高吞吐量企业级功能的数据湖平台IsIlon

数据湖帮助Hadoop实现大数据分析数据湖是一个共享的存储基础设施，可以使各种不同的应用程序和工作负载无缝的结合。数据湖主要应用于非结构化数据和可扩展性要求的技术目前，Hadoop是最常用的部署数据湖的技术。数据湖是一个概念，Hadoop是用于实现这个概念的技术。EMCIsilon提供了一个企业级的横向扩展数据湖，以帮助管理和保护所有的非结构化数据EMCIsilon企业级功能的数据湖平台IsIlon数据EthernetJobTrackerTaskTrackerDataNode2ndNameNodeNameNodeHadoop架构–传统DAS模式R(RHIPE)MahoutHiveHBasePIGNameNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeDataNode+ComputeNodeEthernetJobTrackerTaskTrackeEthernetR(RHIPE)PIGMahoutHiveHBaseJobTrackerTaskTrackerDataNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodeComputeNodeNameNode业界第一款与HDFS层本机集成的企业级横向扩展NAS存储平台Hadoop架构-Isilon模式namenodenamenodenamenodenamenodedatanodeEthernetR(RHIPE)PIGMahoutHiveNASSAN云磁带DAS对象14新一代工作负载传统工作负载HPC备份/归档分析移动文件共享云应用程序NASSAN云磁带DAS对象14新一代工作负载传统工作负载H磁带NASDAS云SAN对象Isilon

数据湖基础15新一代工作负载传统工作负载HPC备份/归档分析移动文件共享云应用程序磁带NASDAS云SAN对象Isilon

数据湖基础15新新一代访问方法RESTSWIFTNFSHTTPNDMPHDFSSMBFTP文件文件16HPC备份/归档分析移动文件共享云应用程序新一代访问方法RESTSWIFTNFSHTTPNDMPHDF企业级功能数据保护数据安全性性能管理17Isilon

数据湖基础数据管理企业级功能数据保护数据安全性性能管理17Isilon

数据Isilon数据湖基础的优点消除效率低下的存储岛简化管理、降低成本支持效果更佳的信息共享改善数据保护和安全性加快数据分析以获取新洞察力支持数据驱动型决策123456Isilon数据湖基础的优点消除效率低下的存储岛简化管理、移动访问企业文件应用云业务/虚拟化存储基础架构20PB单一文件系统FTPCIFSNFS对象采用VIPRvOneFS大数据分析SyncplicityHDFS简单可扩展灵活高效第3

代平台第2

代平台横向扩展NAS理想的第2

代/第3

代平台体系结构高IOPS需求应用主目录备份/归档软件定义的

vOneFS移动访问企业文件应用云业务/虚拟化存储基础架构20PB单一文EMCIsilon的市场领导地位树立横向扩展NAS的标准6,000多家

客户横向扩展

市场领导者EMCIsilon的市场领导地位树立横向扩展NAS的EMCIsilon横向扩展NAS体系结构客户端和应用程序RESTfulAPIGETPUTPOSTDELETE千兆位以太网10千兆位以太网网络OneFS操作环境多协议客户端/应用程序层以太网层协议SMBNFSFTPHTTPHDFS

forHadoopRESTforObject群集内通信EMCIsilon横向扩展NAS体系结构客户端和应用IsilonOneFS

操作系统单个卷/文件系统无与伦比的效率简洁性和易用性线性扩展能力轻松增长高性能22IsilonOneFS操作系统单个卷/文件系统无与伦比的全面的企业软件数据保护SmartPools基于策略的自动分层SmartDedupe重复数据消除，可降低存储需求和成本，而不会影响性能SmartQuotas

配额管理和精简资源调配InsightIQ性能监视和报告，可管理存储资源SnapshotIQ快速高效的数据备份和恢复SyncIQ快速灵活的异步复制，可实现灾难恢复保护SmartConnect使用负载平衡的基于策略的客户端故障切换SmartLock基于策略的WORM数据保护数据管理全面的企业软件数据保护SmartPoolsSnapshotIEMCIsilon横向扩展NAS产品系列性能和容量的线性扩展高事务性平台高吞吐量平台近线存储平台S系列X系列容量性能NL系列高密度平台HD系列EMCIsilon横向扩展NAS产品系列性能和容量的2015ISILON硬件平台新产品S210高事务性平台X410高吞吐量平台HD400高密度平台X210高吞吐量平台NL410近线存储平台2U，24盘位4U，36盘位4U，60盘位2U，12盘位4U，36盘位SAS+SSDSATA+SSDSATA+SSDSATA+SSDSATA+SSD375万

的

IOPS200GB/s并发访问带宽50PB单一文件系统X200升级产品NL400升级产品即将更新现有平台新推平台2015ISILON硬件平台新产品S210X410HD40高达37TB最高20PB最高1PB硬盘

驱动器SmartFlash

DRAM节点1节点2节点3节点4IsilonSmartFlash首个也是唯一的全局一致横向扩展闪存即缓存26高达37TB平台特性全局一致的闪存缓存在单个群集中扩展至1PB闪存缓存简单、自我优化的性能与闪存利用率主要优点闪存缓存增加

30倍

—最高1PB与37TBDRAM每GB成本是DRAM的1/5是高性能计算(HPC)应用程序（如渲染、CAD和软件设计）的理想之选高达37TB最高20PB最高1PB硬盘

驱动器Isilon可在单文件系统、

单卷群集中从16TB

扩展到50PB不到60秒即可完成扩展，

不会造成宕机可大规模扩展高于传统存储系统的可扩展性Isilon可在单文件系统、

单卷群集中从16TB

扩Isilon简单性和易用性单个卷和文件系统目录和文件跨群集分条自动化无需手动干预无需重新配置无需更改服务器或客户端装载点或应用程序无需数据迁移无需

RAID单个卷Isilon简单性和易用性单个卷和文件系统单个卷将效率提升到全新水平IsilonAutoBalanceAutoBalance自动将内容移至新存储节点消除了“热点”实现无与伦比的存储容量利用率—超过80%空空空空空完全完全完全完全平衡平衡平衡平衡平衡AutoBalance跨节点自动平衡数据降低了扩展存储的成本、复杂性和风险将效率提升到全新水平IsilonAutoBalanceASmartPools自动分层单点管理单个文件系统/单个卷多个性能层自动数据移动基于策略的分层管理透明的重新分配无需更改应用程序优化存储资源使存储资源自动与数据要求保持一致消除数据迁移Policy<30days>30daysS210NL40030days-

2years>2yearsNL400HD400SmartPools自动分层单点管理Policy<30d无与伦比的数据保护和可用性具有超强恢复能力的群集体系结构100%100%100%100%100%100%100%100%FailedFailed借助N+2、N+3和N+4保护，多个驱动器或节点发生故障时，数据仍100%可用借助N+1保护，

单个驱动器或节点发生故障时，数据仍

100%可用对于Isilon，群集中的节点越多，驱动器重建时间越短无与伦比的数据保护和可用性具有超强恢复能力的群集体系结构10企业数据保护选项

快速轻松的备份和灾难恢复WAN/LANIsilonNL

系列群集IsilonS系列和

X系列群集磁盘到磁盘备份远程归档和灾难恢复使用SnapshotIQ实现

高效快照使用SyncIQ复制数据简单的按钮式故障切换/回切企业数据保护选项

快速轻松的备份和灾难恢复WAN/LANIsilon安全和法规遵从性选项法律IT会计市场营销基于角色的访问控制(RBAC)用于安全隔离的访问分区WORM数据保护文件系统审核具有自加密驱动器(SED)

的静态数据加密(DARE)Isilon安全和法规遵从性选项法律IT会计市场营销基于角Isilon面向Hadoop的优点

就地分析本机集成加速获得洞察结果企业数据保护快速的快照、备份和数据恢复针对灾难恢复的简单高效的数据复制降低成本无需专用Hadoop基础架构效率远超基于DAS的方法增加灵活性同时支持任何与Apache兼容的Hadoop分发集成Ambari以便管理、监视和调配具有本机Hadoop集成的横向扩展存储Isilon面向Hadoop的优点

就地分析具有本平台特性行业标准对象存储能力PB规模适用于非结构化数据和对象存储的多功能数据湖基础主要优点同时访问文件、对象和Hadoop不需要进行更改就可以运行基于Swift的新一代应用程序经验证的平台可以降低风险新的适用于对象存储的OpenStackSwift平台特性行业标准对象存储能力主要优点同时访问文件、对象和HIsilon横向扩展NAS易于管理单个文件系统、单个卷、全局命名空间可大规模扩展可在单个群集中从16TB扩展到50PB以上无与伦比的效率超过80%的存储利用率、自动分层以及SmartDedupe企业数据保护高效备份和灾难恢复，以及N+1到N+4冗余强大的安全性与法规遵从性选项RBAC、访问分区、WORM数据安全性、文件系统审核使用SED进行静态数据加密操作灵活性包括NFS、SMB、HTTP、FTP和HDFS在内的多协议支持针对移动计算的Syncplicity支持对象和云计算（包括OpenStackSwift）Isilon横向扩展NAS易于管理Isilon横向扩展NAS体系结构OneFSOperatingEnvironment群集内通信层客户端/应用程序层以太网层单个FS/卷CIFSNFSFTPHTTPHDFSforHadoopRESTforObject千兆以太网万兆以太网网络协议144节点50PB存储容量Isilon横向扩展NAS体系结构OneFSOperHDFSSMB,NFS,HTTP,FTPNodereplyNodereplyNodereplyNodereplyNameNodeData

支持多个Hadoop平台namenodenamenodenamenodenamenodedatanodeNFSSMBSMBNFSMAPReduceMAPReduceMAPReduceMAPReduceMAPReduceMAPReduceMAPReduceM