




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、SureSaveSureSave DCSDCS分布式计算存储系统分布式计算存储系统 2013.022013.02 大数据时代已经来临1600 EB5年的信息量年的信息量增加增加10倍倍!161 EB用户新摩尔定理:新摩尔定理:每每18个月新增的存储量等于有史以来存储量之和个月新增的存储量等于有史以来存储量之和!传统NAS面对大数据存储的局限单系统容量性能有限设备的增加带来管理的增加设备之间相互独立,空间利用率低不能分担IO负载,无法适应高性能访问要求无法提供设备间的高可用性支持,可靠性差面对海量数据存储,高端NAS成本过高NFS、CIFS传统相互独立的NAS系统问题:问题:容量、性能、管理、可
2、靠性、成本!容量、性能、管理、可靠性、成本!SAN共享集群存储的局限性 NAS头上安装集群文件系统客户端,实现SAN存储的并发访问,通过NFS、CIFS等对应用主机提供文件共享存储局限性局限性SAN存储成本较高;部署管理继承了SAN架构的复杂性;SAN共享存储访问成为性能瓶颈数据冗余保护主要依靠盘阵自身的raid技术,且重构时间长海量数据存储访问受限 FC/IP SANSAN存储群集群NAS头NFS、CIFS、http、FTP用户应用端主机以太网络SAN FS集群NASSAN FSSAN FSSAN FS问题:问题:成本、管理、性能、可靠性、容量!成本、管理、性能、可靠性、容量!DCS分布式系
3、统架构NFS、CIFS、http、FTP用户应用端主机。元数据访问元数据访问以太网络数据读写数据读写数据读写SureSaveDCS数据节点元数据节点 每个数据节点有自己的存储空间,通过分布式系统实现对全局命名空间的访问SureSave DCS 4H特性SureSave DCS为大数据服务SureSave DCS 分布式计算存储系统SureSave DCS为大数据服务SureSave DCS 分布式计算存储系统SureSave DCS为大数据服务SureSave DCS 分布式计算存储系统SureSave DCS为大数据服务SureSave DCS 分布式计算存储系统SureSave DCS高效
4、的数据存储访问NFS、CIFS、SDCFS协议用户应用端主机。元数据访问元数据访问10Gb以太网络SureSaveDCS数据节点元数据节点源端自动分片多节点自动负载均衡10GbE高速网络通道SureSave DCS可选的数据冗余模式 冗余模式一:多副本模式冗余模式一:多副本模式 N份副本,保证N-1个节点同时故障情况下数据不丢失;节点故障时数据自动迁移到其它节点。 无需数据备份(避免了备份时间窗口问题、恢复、备份管理等问题),所有数据随时在线访问; 6份数据3份冗余校验信息保证3个硬盘同时故障时数据访问无影响。 提供大于66%的空间利用率 冗余模式二:冗余模式二:6+3高利用率模式高利用率模式
5、模式模式3份份副本冗余副本冗余6+3冗余冗余节点可靠性节点可靠性Shutdown 2 Node同时坏3块盘/Shutdown One Node容量效率容量效率1/32/31231DDD2DDD3PPP4DDD5DDD6PPP7DDD8DDDXXXSureSave DCS可选的数据冗余模式6+3模式XSureSave DCS节点失效处理模式SureSave DCS应用主机故障节点自动隔离应用主机停止往故障节点分发数据自动转到正常节点存储故障节点数据通过冗余信息自动迁移到正常节点SureSave DCS跨机柜数据保护多份副本情况下,每个副本可优先存储在不同的机柜中保证机柜断电等整体故障情况下的数据
6、可用U1,1U1,2U1,3U1,4U1,5U1,13U1,14U5,1U5,2U5,3U5,4U5,5U5,13U5,14AU1,1 U2,1 U3,1副本1 副本2 副本3BU4,1 U5,1 U1,2写数据AAA”BBB”SureSave DCS元数据的可靠性保证SureSave DCS应用主机元数据节点数据节点down主备元数据节点冗余设计(A-S)同步元数据信息故障情况下备节点自动接管元数据控制管理自动部署管理控制台SureSave DCS节点代码自动部署5分钟内完成新节点添加管理控制台统一下发升级监控管理基于web管理全中文图形化丰富的图表报告SOUL分布式存储平台内部高速网络链路
7、以太网络海量数据存储管理海量数据访问管理应用客户端大数据存储节点分布式系统内核:容量与性能按需扩展SureSave DCS分布式计算存储容量容量性能性能可靠性可靠性成本成本管理管理 easySureSave DCS1000 分布式体系结构 4H特性为大数据存储服务先进的SDCFS支持大于1亿文件的高效存储与访问节点按需增加,超过100GB/s的高速访问冗余设计、多种数据保护机制自动化部署、便捷管理 大容量归档数据节点,为归档数据提供经济的存储方式 支持计算平台整合SureSave DCS1000 SAS数据节点-面向高效IO密集访问企业级15k SAS磁盘每节点3U,提供9.6TB容量10Gb
8、E高速通道主机端2x1GbE,可扩展(1GbE、10GbE、infiniband)应用领域:科学计算、生命科学、地质勘探、云办公、舆情分析、零售、电商等 SATA数据节点-面向大量持续数据流存储访问大容量7.2k SATA磁盘每节点3U,提供32TB容量10GbE高速通道主机端2x1GbE,可扩展(1GbE、10GbE、infiniband)应用领域:流媒体、媒资管理、动画渲染、医疗影像、公共安全等SureSave DCS1000 归档数据节点-面向归档存储需求归档数据在线访问用户无感知的透明归档大容量7.2k SATA磁盘每节点标配108TB容量(4U),单节点可扩展至378TB10GbE高
9、速通道主机端2x1GbE,可扩展(1GbE、10GbE、infiniband)应用领域:医疗影像归档、档案归档、历史文档归档、娱乐影音文件归档、勘探及科研历史数据归档等SureSave DCS1000SureSave DCS1000产品形态 最小配置:2个元数据节点+3个数据节点 元数据节点每节点2U,标配32GB cache,2个10GbE接口,4.8TB元数据存储空间 数据节点每节点标配8GB cache,2个10GbE接口SAS节点与SATA节点可选,不能混合SAS节点( DSN1060 )含9.6TB容量SATA节点( DSN1200 )含32TB容量 选配数据归档节点每节点标配8GB
10、 cache,2个10GbE接口7.2k 2TB SATA磁盘每节点标配108TB容量,单节点可扩展至378TB 如需动态负载均衡,需配置对应主机数据量的分布式客户端许可SureSave DCS的技术应用海量数据高效的存储与访问16盘位SAS、SATA节点,为海量非结构化数据提供高效存储访问高效存储访问大流量访问加速:10GbE X N加速应用:医疗影像流媒体科研设计公共安全广告高清企业生产 等大数据存储需求10GbSureSave DCSSureSave DCS的技术应用海量数据高效的存储+归档访问16盘位高性能节点为海量非结构化数据提供高效存储访问高效存储访问的同时,通过单节点126盘位大
11、容量归档节点为低使用率数据提供经济的归档存经济的归档存储储更为低成本的大容量节点,为归档提供经济的转储方式归档路径对用户透明,归档数据在线访问应用:医疗影像流媒体科研设计档案管理企业生产等大数据存储及归档需求10GbSureSave DCS数据节点SureSave DCS归档节点10GbSureSave DCS的技术应用海量数据的经济存储与访问单节点126盘位大容量归档节点为海量非结构化数据提供经济的存储与访问经济的存储与访问应用:视频监控历史文档娱乐影音文件归档等海量历史数据存储需要10GbSureSave DCS传统并行运算架构运算存储传统存储架构SureSave DCS的技术应用海量数据高性能计算与存储 传统存储架构共享存储访问模式;计算与存储分离;仅适合于计算相关数据量较小的高并发、计算密集型应用 大数据情况下:存储将成为访问的性能瓶颈;海量文件的管理、访问难题;传统盘阵数据冗余保护机制不能满足高性能要求。计算存储节点=并行式运算 + 分布式存储大数据并行计算架构 分布式文件系统 计算与存储一体,
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 赣南卫生健康职业学院《商务智能》2023-2024学年第二学期期末试卷
- 辽宁财贸学院《行政案例研讨》2023-2024学年第二学期期末试卷
- 2024-2025学年山东省百校大联考高三上学期12月月考历史试卷
- 吉林工业职业技术学院《媒介文化》2023-2024学年第二学期期末试卷
- 上海科技大学《航海学》2023-2024学年第二学期期末试卷
- 钦州幼儿师范高等专科学校《酒店服务营销》2023-2024学年第二学期期末试卷
- 黄淮学院《地理学基本问题》2023-2024学年第二学期期末试卷
- 福建卫生职业技术学院《小学文学与媒体教育》2023-2024学年第二学期期末试卷
- 集宁师范学院《跨境电子商务实务》2023-2024学年第二学期期末试卷
- 浙江工业大学之江学院《管理心理学D1》2023-2024学年第二学期期末试卷
- 化工原理传质导论
- 环境与可持续发展ppt课件(完整版)
- Linux操作系统课件(完整版)
- 跨境电商亚马逊运营实务完整版ppt课件-整套课件-最全教学教程
- 中国传媒大学《当代电视播音主持教程》课件
- 浙美版小学六年级美术下册全册精品必备教学课件
- DB32∕T 4245-2022 城镇供水厂生物活性炭失效判别和更换标准
- 建设工程围挡标准化管理图集(2022年版)
- 人教版七年级上册历史课程纲要
- 湿法冶金简介
- 2022新教科版六年级科学下册全一册全部教案(共28节)
评论
0/150
提交评论