《大数据存储技术与应用》 课件 项目六 解析非结构化数据存储

《大数据存储技术与应用》大数据存储技术与应用项目六解析非结构化数据存储任务一走进非结构化存储技术什么是半结构化数据？什么是Redis？什么是ElasticSearch？ElasticSearch的应用场景？回顾任务引入-GlusterFileSystemGlusterFileSystem是一款自由软件，主要由ZRESEARCH公司负责开发，十几名开发者，最近非常活跃。文档也比较齐全，不难上手。任务描述:本节任务对非结构化数据进行探讨，结合非结构化数据特性剖析非结构化数据存储特点。任务教学目标：了解非结构化存储技术的概念。掌握非结构化数据存储的特点。任务概要教学内容非结构化数据概述非结构化数据存储特点一二非结构化数据概述知识点一（一）非结构化数据概述非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。

安装依赖（53&54）1.体量大非结构化数据可以是公司内部的邮件信息、聊天记录以及搜集到的调查结果，也可以是个人网站上的评论、客户关系管理系统中的评论或者是从个人应用程序中得到的文本字段。还可以是公司外部的社会媒体、社交论坛以及来自于一些感兴趣的话题的评论。（二）非结构化数据优势

安装依赖（53&54）2.价值高非结构化数据中蕴藏着大量的价值信息，利用非结构化数据分析能够帮助企业快速地了解现状、分析趋势并且识别新出现的问题。（二）非结构化数据优势

安装依赖（53&54）3.可分析数据分析不需要一个专业性很强的数学家或数据科学团队，终端用户有能力、也有权利和动机去改善商业实践，并且视觉文本分析工具可以帮助他们快速识别最相关的问题，及时采取行动，而这都不需要依靠数据科学家。（二）非结构化数据优势非结构化数据存储特点知识点二

安装依赖（53&54）针对非结构化数据体积大、增长快、格式标准多样化的特点，非结构数据存储技术必须具备以下能力：一、能够快速地对大体积的非结构化数据进行读/写操作；二、存储容量能根据需要适应非结构化数据的快速增长，能进行动态弹性的扩容；三、能存储多种格式或标准的非结构化数据。非结构化数据存储特点任务小结本节介绍了非结构化数据的特点，非结构化数据存储技术，包括非结构化数据的采集、存储和管理，并为非结构化数据的分析、挖掘及应用提供支撑。非结构化数据有体量大、价值高、可分析等优势，非结构数据存储技术必须具备三个能力。拓展训练Gluster官方文档独立学习因为Gluster可以以不同的方式用于不同的任务，所以很难同时解释所有的事情。我们建议您首先遵循快速入门指南。通过使用大量虚拟机，您将创建一个功能测试设置来学习基本概念。这样，您就可以更好地阅读更详细的安装指南。通过官网学习：快速入门指南-如果您是Gluster新手，请从这里开始！安装指南介绍了先决条件，并提供了在各种操作系统上安装GlusterFS的分步说明。会议和峰会上与Gluster相关的演讲。1.什么是非结构化数据？2.非结构化数据存储需要具备哪三种能力？作业谢谢！THANKS!《大数据存储技术与应用》大数据存储技术与应用项目六解析非结构化数据存储任务一走进非结构化存储技术什么是半结构化数据？什么是Redis？什么是ElasticSearch？ElasticSearch的应用场景？回顾任务引入-GlusterFileSystemGlusterFileSystem是一款自由软件，主要由ZRESEARCH公司负责开发，十几名开发者，最近非常活跃。文档也比较齐全，不难上手。任务描述:本节将带领同学们一起学习GlusterFS存储技术架构和技术特性。任务教学目标：了解GlusterFS基本概念。理解GlusterFS系统架构。理解GlusterFS技术特性。任务概要教学内容Gluster概述Gluster系统架构一二二Gluster技术特性三GlusterFS概述知识点一

安装依赖（53&54）GlusterFS是一款免费的开源软件，主要应用在集群系统中，具有很好的可扩展性。GlusterFS具有良好的系统结构，易于扩展、配置方便，通过各个模块的灵活搭配来得到针对性的解决方案。GlusterFS具有强大的横向扩展能力，通过扩展能够支持数PB级别的存储容量和处理数千客户端。GlusterFS将来自多个服务器的磁盘存储资源聚合到一个全局名称空间中。GlusterFS概述GlusterFS系统架构知识点二

安装依赖（53&54）GlusterFS管理守护进程（glusterd）在每台服务器上运行，并管理一个块进程（glusterfsd），该进程反过来导出底层磁盘存储（XFS文件系统）。客户机进程装载卷并将所有块中的存储作为单个统一存储命名空间公开给访问它的应用程序。客户机和brick进程的堆栈中加载了各种转换器。来自应用程序的I/O通过这些转换器路由到不同的程序块。（一）GlusterFS系统架构

安装依赖（53&54）分布存储是Glusterfs默认使用的存储卷类型。文件会被分布得存储到逻辑卷中的各个存储块上去。以两个存储块的逻辑卷为例，文件file1可能被存放在brick1或brick2中，但不会在每个块中都存一份。分布存储不提供数据冗余保护。（二）分布存储卷

安装依赖（53&54）在镜像存储逻辑卷中，数据至少会在不同的brick上存储两份，具体采取存储几份的冗余数据则可以在创建镜像存储卷时由客户端进行设定。镜像存储可以有效的防止存储块损坏引发的数据丢失风险。（三）镜像存储卷

安装依赖（53&54）分布式复制GlusterFS逻辑卷中，文件是跨镜像存储块的集合（replicatedsetsofbricks）进行分布式存储，即文件可能被存储在某一个镜像存储块集合中，但不会同时存储到多个集合。而在一个镜像存储块的集合内，文件在每个存储块（brick）上各存一份。（四）分布式复制卷

安装依赖（53&54）在分片式存储卷中，一个文件会被切分成多份，数量等于brick的数量，每个brick中保存一份。分布式片存储方式不提供数据冗余保护。（五）分片式存储卷））

安装依赖（53&54）分布式分片存储卷由分片式存储卷的基础上扩展而来，根据设定的分片参数（一个文件分成几片）和为逻辑卷加入的bricks数量可以组成多个分片存储块集合，形成了分布式分片存储卷。每个分片存储块集合中存储的的数据不同。（六）分布式分片式存储卷GlusterFS技术特性知识点三兼容性使用通用的商用硬件，与POSIX（PortableOperatingSystemInterface，可移植操作系统接口）兼容，可以使用任何支持扩展属性的On-Disk文件系统，可以使用NFS和SMB等行业标准协议进行访问。并发可处理成千上万的客户访问。易管理性Self-HealNFS类磁盘布局，提供复制、配额、地理复制、快照和Bitrot检测，允许针对不同工作负载进行优化。容量集群可以拓展支持PB级别的存储容量。开源开放源代码。这里插入主标题GlusterFS技术特性任务小结本节系统讲解了GlusterFS存储技术、系统架构和特性GlusterFS作为一款免费的开源软件，因其良好的系统结构、易于拓展、方便配置等特性而得到广泛应用。GlusterFS可以支持多种类型的逻辑卷，以实现不同的数据保护级别和存取性能。GlusterFS存储卷进有：分布存储卷、镜像存储卷、分布式复制卷、分片式存储卷、分布式分片存储卷。每一种存储卷拥有不同的特点，需要根据不同的应用场景进行设计。拓展训练Gluster官方文档独立学习因为Gluster可以以不同的方式用于不同的任务，所以很难同时解释所有的事情。我们建议您首先遵循快速入门指南。通过使用大量虚拟机，您将创建一个功能测试设置来学习基本概念。这样，您就可以更好地阅读更详细的安装指南。通过官网学习：快速入门指南-如果您是Gluster新手，请从这里开始！安装指南介绍了先决条件，并提供了在各种操作系统上安装GlusterFS的分步说明。会议和峰会上与Gluster相关的演讲。1.什么是GlusterFS分布式文件系统？2.GlusterFS五个技术特性？作业谢谢！THANKS!《大数据存储技术与应用》大数据存储技术与应用项目六解析非结构化数据存储任务三部署GlusterFS集群什么是GlusterFS分布式文件系统？GlusterFS分布式文件系统架构？GlusterFS五个技术特性？GlusterFS的应用场景？回顾任务引入-GlusterFileSystemGlusterFileSystem是一款自由软件，主要由ZRESEARCH公司负责开发，十几名开发者，最近非常活跃。文档也比较齐全，不难上手。GlusterFS系统架构

安装依赖（53&54）

GlusterFS网络配置主机名glusterfs53glusterfs54glusterfs55IP地址345任务描述:本节可以通过使用许多虚拟机，创建一个GlusterFS集群，部署GlusterFS分布式文件系统。任务教学目标：搭建一个3节点的GlusterFS集群。任务概要教学内容安装依赖（53&54）安装userspace-rcu-master（53&54）一二二安装glusterfs（53&54）三建立集群（53）gluster性能调优四五六、部署客户端并挂载GlusterFS文件系统(55)六安装依赖（53&54）知识点一安装依赖[root@glusterfs53~]#yuminstall-yflexbisonopensslopenssl-develacllibacllibacl-develsqlite-devellibxml2-develpython-develmakecmakegccgcc-c++autoconfautomakelibtoolunzipzipLoadedplugins:fastestmirrorLoadingmirrorspeedsfromcachedhostfile*base:*extras:ap.stykers.moe*updates:ap.stykers.moeResolvingDependencies-->Runningtransactioncheck--->Packageacl.x86_640:2.2.51-12.el7willbeupdated…………xz-libs.x86_640:5.2.2-1.el7zlib.x86_640:1.2.7-18.el7Complete!在安装部署glusterfs分布式文件系统前，需要先安装相应的依赖包。安装userspace-rcu-master（53&54）知识点二安装userspace-rcu-master（53&54）[root@glusterfs53~]#wget/urcu/userspace-rcu/zip/master--2019-06-2106:32:50--/urcu/userspace-rcu/zip/masterResolving()...6Connectingto()|6|:443...connected.HTTPrequestsent,awaitingresponse...200OKLength:unspecified[application/zip]Savingto:‘master’[<=>]516,52311.2KB/sin63s2019-06-2106:33:56(7.97KB/s)-‘master’saved[516523]下载userspace-rcu-master。安装glusterfs（53&54）知识点三安装glusterfs（53&54）[root@glusterfs53~]#wget/pub/gluster/glusterfs/old-releases/3.6/3.6.9/glusterfs-3.6.9.tar.gz--2019-06-2101:30:28--/pub/gluster/glusterfs/old-releases/3.6/3.6.9/glusterfs-3.6.9.tar.gzResolving()...85Connectingto()|85|:443...connected.HTTPrequestsent,awaitingresponse...200OK下载glusterfs。建立集群知识点四建立集群（53）[root@glusterfs53~]#glusterpeerprobe4peerprobe:success.执行以下命令，将4节点加入到集群：[root@glusterfs53~]#glusterpeerstatusNumberofPeers:1Hostname:4Uuid:7783adb8-3a97-4465-b902-f8100f455698State:PeerinCluster(Connected)查看集群（53）GlusterFS性能调优知识点五gluster性能调优[root@glusterfs53~]#glustervolumequotamodelsenablevolumequota:success开启指定volume的配额。[root@glusterfs53~]#glustervolumequotamodelslimit-usage/5GBvolumequota:success限制models总目录最大使用5GB空间（5GB并非绝对，可根据实际硬盘大小配置）。部署客户端并挂载GlusterFS文件系统(55)知识点六部署客户端并挂载GlusterFS文件系统[root@glusterfs55~]#yuminstall-yglusterfsglusterfs-fuseLoadedplugins:fastestmirrorbase|3.6kB00:00:00extras