下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、精选优质文档-倾情为你奉上非结构化数据存储方案一、存储类型体系:1.1 存储类型体系结构图1.2 存储类型体系描述(1) 块存储:将存储区域划分为固定大小的小块,是传统裸存设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接,服务器直接通过SCSI/SAS或FC协议控制和访问数据。主要包括DAS和SAN两种存储方式。对比如下图:(2) 分布式文件存储:文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹,将整个分布式文件资源以统一的视图呈现给用户。它
2、对用户和应用程序屏蔽各个节点计算机底层文件系统的差异,提供用户方便的管理资源的手段和统一的访问接口。主要包括NAS和HDFS两种存储方式。a) 网络附加存储NAS结构如图:b) HDFS分布式文件系统存储结构如图:(3) 对象存储:对象存储为海量非结构化数据提供Key-Value这种通过键-值查找数据文件的存储模式,提供了基于对象的访问接口,有效地合并了NAS和SAN的存储结构优势,通过高层次的抽象具有NAS的跨平台共享数据优点,支持直接访问具有SAN的高性能和交换网络结构的可伸缩性。主要包括swift和ceph两种实现形式。a) Swift,OpenStack Object Storage(
3、Swift)是OpenStack项目的子项目之一,被称为对象存储。它构建在比较便宜的标准硬件存储基础设施之上,无需采用RAID(磁盘冗余阵列),通过在软件层面引入一致性散列技术和数据冗余性,牺牲一定程度的数据一致性来达到高可用性和可伸缩性,支持多租户模式、容器和对象读写操作,适合解决非结构化数据存储问题。b) ceph,Linux下PB级分布式文件系统,可轻松扩展PB容量,提供了对多种工作负载的高性能和高可靠性。它大致分为四部分:客户端(数据用户),元数据服务器(缓存和同步分布式元数据),一个对象存储集群(包括数据和元数据),以及最后的集群监视器(执行监视功能)。二、非结构化大数据分布式存储架
4、构非结构化PB级大数据分布式存储架构,相对于其各自存储结构及不同应用场景,结合国产化大数据平台特性,现给出两种解决方案。第一种是基于OpenStack子项目swift的分布式大数据存储方案,另一种是基于ceph的分布式大数据存储方案2.1.1基于openStack子项目swift的大数据分布式存储a) Swift集群部署架构图:b) 实现原理:用户上传文件PUT DATA和下载文件GET DATA,分别请求同一个对象。上传文件时,PUT请求通过负载均衡管理器随即挑选一台Proxy Server,将请求转发给后者,后者通过查询本地Ring文件,选择3个不同节点中的后端来存储文件,然后同时将该文件向这三个存储节点发送文件。这个过程需要满足NWR策略,然后给用户返回写成功的信息。下载文件时,GET请求也通过负载均衡管理器随机挑选一台Proxy Server,后者上的Ring文件查询到这个文件的存储节点位置并同时向后端查询,至少两个节点“表示”可以提供该文件,然后Proxy Server从中选择一个节点下载文件。c) 架构关键技术说明: Proxy Server:是提供Swift API的服务器进程,负责Swift其余组件间的相互通信。 Storage Server:提供了磁盘设备上的存储
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 人教版小学数学六年级下册课件:《圆锥的认识》教学课件
- 现代气动与液压技术 课件 5气动马达
- 九年级数学上册-解一元一次方程-去分母课件-人教新课标版2
- 第4章 第1节 免疫系统的组成和功能-2024-2025学年高二生物选择性必修1 (配人教版)配套课件
- Unit3Couldyoupleasetellmewheretherestroomsare课件英语人教版九年级全一册
- StarterUnit1HelloSectionA1a2d课件河南郑州上学期人教版七年级英语上册
- 山东省日照市2024-2025学年高三上学期开学校际联考数学试题(原卷版)
- 湖南省永州市2025届高三上学期第一次模拟考试数学试题
- 云南省昆明市(2024年-2025年小学四年级语文)人教版小升初模拟(上学期)试卷及答案
- 浙江省衢州市(2024年-2025年小学四年级语文)人教版专题练习(下学期)试卷及答案
- Starter Unit 3 Welcome 单元测试卷2024年秋人教版新教材七年级英语上册
- 宣讲《铸牢中华民族共同体意识》全文课件
- 入职申请表(完整版)
- 10000中国普通人名大全
- PCMM人力资源能力成熟度模型简介
- 关于行政审判工作的情况汇报
- 《海上日出》巴金
- 表2--10数据透视表的练习表 (2)
- 苏教版四年级上册数学《2.8被除数和除数末尾都有0的除法》课件
- 广东某铁路站前工程施工防洪度汛施工方案(附示意图)
- 热烈欢迎兄弟单位领导莅临指导工作汇报讲课课件PPT模板
评论
0/150
提交评论