(完整版)非结构化存储方案

1、非结构化数据存储方案，、存储类型体系:1.1存储类型体系结构图存储类型1.2存储类型体系描述(1) 块存储：将存储区域划分为固定大小的小块， 是传统裸存设备的存储 空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FCSAN与存储服务器连接，服务器直接通过 SCSI/SA或FC协议控制和 访问数据。主要包括DAS和 SAN两种存储方式。对比如下图：应用服务器应用服务器文件系统JBOD文件系统RAIDRAID光纤交换机直接附加存储DAS以主机为中 心，将外部的数据存储设备通过SISC/IDE/ATA等I/O总线直接 连接到服务器上，使数据存储 设备是服务器结构一部分。SAN采用块数

2、据组织，通过可 伸缩的高速专用存储网络互联 不同类型的存储设备和服务 器，提供内部任意节点间多路 可选择的数据交换。(2) 分布式文件存储：文件存储以标准文件系统接口形式向应用系统提供 海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个 计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文 件资源以统一的视图呈现给用户。它对用户和应用程序屏蔽各个节点 计算机底层文件系统的差异，提供用户方便的管理资源的手段和统一 的访问接口。主要包括NAS和HDFS两种存储方式。a) 网络附加存储NAS结构如图：b） HDFS分布式文件系统存储结构如图:（3）对象存储：对象存储为海量非结构化数

3、据提供 Key-Value这种通过键- 值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合 并了 NAS和SAN的存储结构优势，通过高层次的抽象具有NAS的跨平台共享数据优点，支持直接访问具有 SAN的高性能和交换网络结 构的可伸缩性。主要包括swift和ceph两种实现形式。a）Swift，OpenStack Object Storage（ Swift）是 OpenStack项目的子项目之一，被称为对象存储。它构建在比较便宜的标准硬件存储基础设施之上，无需采用RAID（磁盘冗余阵列），通过在软件层面引入一致 性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可 用性和可伸缩性

4、，支持多租户模式、容器和对象读写操作，适合解 决非结构化数据存储问题。b）ceph，Linux下PB级分布式文件系统，可轻松扩展 PB容量，提供了对多种工作负载的高性能和高可靠性。它大致分为四部分：客户端（数据用户），元数据服务器（缓存和同步分布式元数据），一个对 象存储集群（包括数据和元数据），以及最后的集群监视器（执行监 视功能）。1、非结构化大数据分布式存储架构非结构化PB级大数据分布式存储架构，相对于其各自存储结构及不同应用场景，结合国产化大数据平台特性，现给出两种解决方案。第一种是基于OpenStack子项目swift的分布式大数据存储方案，另一种是基于 ceph的分布式 大数据存储

5、方案2.1.1基于openStack子项目swift的大数据分布式存储a） Swift集群部署架构图：客户端用户Load Bala ncef负载均衡管理器）虚拟存储服务器Server节点4ServerObject ServerObject ServerObject ServerContainerServerContainerServerContainerServerAccountServerAccountServerAccountServerProxyServerObject ServerContainerServerAccountServer节点5Proxy ServerObjectServ

6、erContainerServerAccountServerb）实现原理：用户上传文件 PUT DATA和下载文件GET DATA分别请求同一个 对象。上传文件时，PUT请求通过负载均衡管理器随即挑选一台 Proxy Serve， 将请求转发给后者，后者通过查询本地Ring文件，选择3个不同节点中的后 端来存储文件，然后同时将该文件向这三个存储节点发送文件。这个过程需 要满足NWR策略，然后给用户返回写成功的信息。下载文件时，GET请求也通过负载均衡管理器随机挑选一台 Proxy Serve，后者上的Ring文件查询 到这个文件的存储节点位置并同时向后端查询，至少两个节点“表示”可以 提供该文件，然后Proxy Server从中选择一个节点下载文件。c) 架构关键技术说明：负责 Swift 其余组件间的包含架构图上的 Object、? Proxy Serve:是提供Swift API的服务器