《大数据存储技术与应用》 课件 项目三-任务五 浅析对象存储系统

《大数据存储技术与应用》大数据存储技术与应用项目三浅析云存储服务任务五浅析对象存储系统什么是DAS？NAS存储架构？SAN存储架构？SAN存储的优势和缺点？回顾任务描述:本节任务阐述了对象存储系统，剖析了对象存储与传统存储的差异，最后介绍了软件定义存储（SDS）和典型的对象存储系统OpenStackSwift。任务教学目标：了解结构化数据与非结构化数据了解对象存储与传统存储了解为什么要用OpenStackSwift任务概要任务引入-云存储技术随着计算机技术、互联网技术的发展，以及近些年全球数据爆发式地增长，催生了云计算技术。而云存储就是脱胎于云计算技术的新型存储方式，由于它廉价、便捷等优势，备受青睐，在短短几年便得到了充分的发展与应用。教学内容结构化数据与非结构化数据对象存储系统定义对象存储与传统存储一二三四软件定义存储（SDS）五为什么是OpenStackSwift结构化数据与非结构化数据知识点一（一）结构化数据结构化数据部分1部分2……互相关联层次分明例如：数字，符号；关系型数据库（二维表）场景：财务系统、医疗数据库、教育一卡通等（一）结构化数据数据库的二维表Execl的电子成绩单二维：有行有列图书馆：图书管理软件（二）半结构化数据半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。<name>A</name><age>13</age><gender>female</gender></person><person><name>B</name><gender>male</gender></person>常见的半结构数据有XML和JSON，对于对于两个XML文件，

第一个可能有第二个可能有（三）非结构化数据相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据。场景：医疗影像系统、教育点播系统，文件服务器等

A图像B文本C视频D超媒体E非关系型数据库（三）非结构化数据非结构化数据的存储要求持续性可访问性低成本可管理型（四）结构化数据与非结构化数据完全结构的数据如：关系型数据库面向对象数据库中的数据完全无结构的数据如：声音图像文件半结构的数据如：HTML文档对象存储系统定义知识点二对象存储系统定义1.对象不是要管理块和文件，纯粹的对象存储系统管理的是对象。更精确的讲，所有现在的对象存储系统把文件作为对象来管理。2.元数据对象由元数据（可提供对象中数据的上下文关系信息）、有效负载和实际数据组成。3.固定对象纯对象存储代表一个固定内容的仓库，意味着对象可以被创建、删除和读取，但不能被修改。4.冗余性对象存储通过在多个节点上存储相同对象的多个副本实现冗余性和高可靠性。对象存储系统定义5.协议支持对象存储通常通过基于HTTP协议的RESTAPI访问。6.应用软件支持与集成访问对象存储依赖于RESTAPI，除了客户化应用程序集成，一些商业应用，特别是备份和归档应用，已经增加了对于对象存储集成的支持，主要连接到AmazonS3云存储。7.云功能通过互联网进行共享访问；多租户和不同用户数据的安全隔离；云的计量和收费的自动跟踪。8.用例对象存储在经常变化的非常大的非结构化数据存储中工作的非常好，也可作为不活跃数据的交易存储层之外的存储层，或者是归档存储。对象存储与传统存储知识点三（一）各存储系统比较

块存储文件存储对象存储传输单位块文件对象：携带自定义元数据的文件传输协议光纤，iSCSI，SATACIFS&NFS基于HTTP的REST/SOAPAPI云数据固定属性固定文件属性支持自定义云数据适用场景交易数据和高频次改变的数据文件数据简易存储及共享内容长项交易数据简单访问、易于管理可扩展性和分布式访问文件修改可在存储上即时更改文件可在存储上即时更改文件额外的对象会被创建限制难以跨数据中心扩容在十亿节点下，元数据和扩展性会成为瓶颈并不是为了高频次操作的数据设计的（二）对象存储分类具备云功能的水平扩展NAS第二代对象存储系统CAS对象存储分类020301（三）对象存储组成结构对象存储系统存放容器A=ID1容器B=ID2……对象1=ID3对象2=ID4……对象存储系统：容器（Bucket）+对象（Object）+（四）对象存储—分层结构对比扁平化的更少的元数据存储和访问（五）对象存储—特点1容量：TB-EB数量：十个-百亿对象字节：数个-万亿字节超强扩展性2动态数据保护级别-保留期限-复制分数等基于策略自动化管理3同一种架构，同一套系统不同用户，不同应用多租户4后台数据扫描完整性校验自动化对象修复完整性/安全性（六）对象存储—应用场景1存储资源池2网盘应用3集中备份4归档和分级存储软件定义存储（SDS）知识点四（一）软件定义存储（SDS）是一种数据存储方式，所有存储相关的控制工作都仅在相对于物理存储硬件的外部软件中，在一个服务器上或者作为操作系统（OS）或hypervisor的一部分。（二）SDS系统一共分为4个层次01存储路由（Storagerouting）02存储韧性（Storageresilience）03物理硬件（physicalhardware）04带外控制器（Out-of-bandcontroller）（三）软件定义存储的优点SDS系统可以高效地管理存储规模，提髙基础设施的运营效率。软硬件的解耦合允许在标准服务器硬件之上构筑一个统一的存储系统。SDS解决方案通常是开源的，这意味着更好的标准、更多的工具，以及避免锁定到单一供应商那里。为什么是OpenStackSwift知识点四为什么是OpenStackSwift是一种全新的存储系统可以安装在所谓的商品硬件之上Swift是一个对象存储系统Swift拥有广泛的用途Swift任务小结实现对象存储的多种方式：CAS、第二代对象存储系统、具备云功能的水平扩展NASSDS方案是存储非结构化数据的最佳选择：存储路由（Storagerouting）存储韧性（Storageresilience）物理硬件（physicalhardware）带外控制器（Out-of-bandcontroller）Swift是一个对象存储系统，可以安装在所谓的商品硬件（commodityhardware）之上，是一个在保障数据可用性前提下易于扩展容忍故障的分布式系统。拓展训练Xena独立学习OpenStack社区正式发布第24个版本Xena，OpenStack作为广泛部署的开源云基础设施软件，其新版本增加了对新型硬件功能的支持，优化了各类组件间的集成，通过减少技术债务来维护OpenStack软件的稳定可靠性。OpenStack作为全球最活跃的开源项目之一，开发者积极参与并由此构建了一个充满活力的社区，在Xena版本为期25周的开发中，来自125个组织/机构的680多位开发者累计提交了150