《大数据存储技术与应用》 课件 项目三-任务三 浅析云存储关键技术

《大数据存储技术与应用》大数据存储技术与应用项目三浅析云存储服务任务三浅谈云存储关键技术存储空间管理？数据存储技术？数据备份的分类？如何进行数据一致性处理？回顾任务描述:本节任务对云存储的关键技术：存储虚拟化、分布式扩展模式进行了剖析。任务教学目标：掌握云存储关键技术任务概要任务引入-云存储技术随着计算机技术、互联网技术的发展，以及近些年全球数据爆发式地增长，催生了云计算技术。而云存储就是脱胎于云计算技术的新型存储方式，由于它廉价、便捷等优势，备受青睐，在短短几年便得到了充分的发展与应用。教学内容存储虚拟化分布式扩展模式一二存储虚拟化知识点一（一）存储虚拟化将存储资源集中到一个大容量的资源池并实行单点统一管理，无需中断应用即可改变存储系统和数据迁移，提高整个系统的动态适应能力。

（一）存储虚拟化010203存储虚拟化04多租户模型虚拟化感知能力存储虚拟化实施全局访问空间（二）全局访问空间全局访问空间是指将磁盘和内存资源聚集成一个单一的虚拟存储池进行管理，计算节点可以随意地访问到云存储设备空间的任意地方，这种访问釆用同样的访问路径或者方式。（三）多租户模型多租户架构中，每个租户、子租户和用户都可以施加独立的策略，不同层级的策略略有不同，针对不同用途的租户、子租户和用户，可以分别釆用最优的策略，以提升服务质量和运营效率。（四）虚拟化感知能力单数据中心面向数据块的云存储主要服务于虚拟机的环境，运行于计算节点之上的虚拟机会根据负载、故障和节能等种种情况下在不同的物理机之间进行飘动。支持这种飘动的实现需要共享的存储来得到相应的效率。多数据中心虚拟化感知能力发生在跨数据中心或跨独立的两个或多个云存储设备之间。这种数据流动的能力是通过数据中心间的联邦（指数据中心通过自治和合作，以耦合的方式集成在一起，共同向外提供统一服务的实现）机制来实现的。（五）存储虚拟化实施（五）存储虚拟化实施主要用途：异构存储系统整合和统一数据管理。实现方式：通过在存储域网（SAN)中添加虚拟化引擎实现。优点：与主机无关，不占用主机资源。能够支持异构主机、异构存储设备。使不同存储设备的数据管理功能统一构建统一管理平台，可扩展性好。缺点：部分厂商数据管理功能弱，难以达到虚拟化统一数据管理的目的。部分厂商产品成熟度较低，仍然存在和不同存储和主机的兼容性问题。（六）基于存储设备的存储虚拟化技术主要用途：在同一存储设备内部，进行数据迁移实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备。优点：与主机无关，不占用主机资源。数据管理功能丰富。缺点：一般只能实现对本设备内磁盘的虚拟化。不同厂商间的数据管理功能不能互操作。多套存储设备需要配置多套数据管理软件，成本较高。（七）基于网络的存储虚拟化技术主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同。优点：支持异构的存储系统。不占用磁盘控制器资源。缺点：占用主机资源，降低应用性能。存在操作系统和应用的兼容性问题。主机数量越多，实施/管理成本越高。分布式扩展模式知识点二（一）Scale-Up和Scale-Out扩展（二）分布式扩展模式关键技术高速网络连接技术关键技术分布式文件系统（三）高速网络连接技术以太网（三）高速网络连接技术InfiniBand架构（三）高速网络连接技术基于RapidIO的互联架构RapidIO是由Motorola和Mercury等公司率先倡导的一种高性能、低引脚数、基于数据包交换的互连体系结构，是为满足和未来高性能嵌入式系统需求而设计的一种开放式互连技术标准。（四）RapidIO特性RapidIO①可靠性⑥支持“任意拓扑类型”⑤每个处理器都有自己的内存子系统选择的推送架构④面向大量数据传输的高性能信息传递③100ns交换机直通式延迟②微秒级以下的端到端数据包发送（五）分布式文件系统根据计算环境和所提供功能的不同，文件系统可划分为4个层次：BDAC单处理器单用户的本地文件系统多处理器多用户的本地文件系统多处理器单用户的本地文件系统多处理器多用户的分布式文件系统分布式文件系统（DistributedFileSystem，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统（五）分布式文件系统（六）存储空间管理器带内模式带外模式（七）分布式文件系统的发展NFS和AFSXFSSAN、NASSAN和NAS两种体系结构相结合1980s1990s2000s1995—2000大致分为三个阶段：（八）经典分布式文件系统介绍1.NFS允许网站中的计算机之间通过TCP/IP网络共享资源C/S结构基于RPC协议实现（八）经典分布式文件系统介绍2.AFS主要用于管理分布在网络不同节点上的文件。与普通文件系统相比，AFS的主要特点在于3个方面：分布式、跨平台、高安全性。（八）经典分布式文件系统介绍3.TigerShark/GPFS被设计用于支持大规模实时交互式多媒体应用，如交互电视（InteractiveTelevision，ITV）。GPFS通过共享磁盘结构来实现它的强大的扩展性。（八）经典分布式文件系统介绍支持长时间的文件实时访问大磁盘块写分块数据复制数据一致性数据安全性系统可扩展性3.HadoopHDFS（八）经典分布式文件系统介绍Hadoop是一个基于Java的支持数据密集型分布式应用的分布式文件系统。不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。3.Hadoop

（八）经典分布式文件系统介绍Lustre文件系统是一个高度模块化的系统，主要由3部分组成：客户端（Client）对象存储服务器（ObjectStorageTarget，OST）元数据服务器（MetaDataServer，MDS）。4.Lustre（八）经典分布式文件系统介绍是一个可扩展的分布式文件系统，用于大型的、分布式的、对海量数据进行访问的应用。运行于廉价的普通硬件上，但提供了容错复制功能，可以给大量的用户提供总体性能较高的可靠服务。5.GoogleFS（八）经典分布式文件系统介绍OpenStack是一个项目和一个开源软件。它提供了一个部署云的操作平台或工具集。宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。6.OpenStackSwift任务小结1、在云存储关键技术中，主要有两方面内容：存储虚拟化和分布式扩展方式。2、存储虚拟化中主要包括全局访问空间、多租户模型、虚拟化感知能力、存储虚拟化实施技术。拓展训练Xena独立学习OpenStack社区正式发布第24个版本Xena，OpenStack作为广泛部署的开源云基础设施软件，其新版本增加了对新型硬件功能的支持，优化了各类组件间的集成，通过减少技术债务来维护OpenStack软件的稳定可靠性。OpenStack作为全球最活跃的开源项目之一，开发者积极参与并由此构建了一个充满活力的社区，在Xena版本为期25周的开发中，来自125个组织