《大数据存储技术与应用》 课件 项目三-任务六 走进Swift

《大数据存储技术与应用》大数据存储技术与应用项目三浅析云存储服务任务六走进Swift什么是DAS？NAS存储架构？SAN存储架构？SAN存储的优势和缺点？回顾任务描述:本节任务对OpenStackSwift对象存储组件进行了系统的阐述，剖析了Swift的特性、典型应用场景和Swift组件的支撑技术CAP理论。任务教学目标：了解Swift特性了解Swift应用场景了解CAP理论任务概要任务引入-云存储技术随着计算机技术、互联网技术的发展，以及近些年全球数据爆发式地增长，催生了云计算技术。而云存储就是脱胎于云计算技术的新型存储方式，由于它廉价、便捷等优势，备受青睐，在短短几年便得到了充分的发展与应用。教学内容Swift简介Swift的特性Swift应用场景一二三四CAP理论简介五知识拓展：CAP理解Swift简介知识点一（一）Swift的简介（一）Swift的简介（二）Openstack官网Openstack官网：https:///queens/（三）Openstack界面（四）Swift开发历史2009年，一组在RackSpace工作的开发者和工程师针对快速增长的数据而开始Swift的研发。经过一年多努力，他们开发出了一个可以替代原有存储系统的对象存储系统。Swift的目标是创建一个类似于Amazon的S3（SimpleStorageService）的可以运行在云计算环境下的简单存储系统，能够存储PB级的数据并且高度可用。2010年7月，RackSpace将Swift的代码贡献给了OpenStack社区，至此，Swift成为了一个开源的超量存储系统。（五）Swift商业发展Swift在一些本土互联网公司有一些成功的应用，包括新浪、美团、爱奇艺、凤凰网等。国外的应用更为广泛。早在2010年，Swift就迎来了第一个Rackspace之外的商用案例——韩国电信，大家很熟悉的维基百科、ebay等也是Swift的用户。随着互联网技术的应用架构逐渐被传统行业接受，对象存储和Swift将受到越来越广泛的关注。从OpenStackKilo版本的数据来看，Swift社区呈现出多元化的特点而且正在健康的发展。（五）Swift商业发展Swift的特性知识点二（一）Swift的特性存放大量非结构化数据、支持多租户、可以高扩展的持久性对象存储系统。Swift通过RESTAPI来存放、检索和删除容器中的对象。可扩展性高并发对称系统架构数据持久性设备要求低管理友好性开发的友好性7个OpenStack官网中，列举了Swift的20多个特性（二）极高的数据持久性定义：可理解成数据的可靠性。是指数据存储到系统中后，到某一天数据丢失的可能性。例如：AmazonS3的数据持久性是11个9。即如果存储1万(4个0)个文件到S3中，1千万(7个0)年之后，可能会丢失其中1个文件。Swift：在数据复制3份的情况下，数据持久性的SLA能达到10个9。（二）极高的数据持久性Swift：独特的、分布式的架构设计。对象1对象1对象1对象1集群区域A区域B区域C写操作：至少两个副本完成，一个写操作才算完成。审计器：保证数据不会出故障。复制器：保证对象在集群中有足够副本。（三）完全对称的系统架构定义：Swift的各节点完全对称，从而极大地降低系统维护成本。（去中心化）武汉机房单点故障Swift元数据存储是完全均匀随机分布，存储多份。整个Swift集群中没有一个角色是单点的，架构设计上保证无单点业务。（四）可扩展性1数据存储容量2性能（吞吐量）由于Swift的对称设计架构，扩容只需简单地添加机器，系统自动化完成数据迁移，促使各存储节点重新达到平衡状态。（五）高并发为满足Web应用需要，只有大量存储空间是不够的，更重要是存储系统可以支持高度的并发性。Swift通过采用“无共享”的方法以及其他方法来提高处理高并发的能力。（六）硬件设备要求低集群中单个设备的可靠性不那么重要，所以可以在普通的硬件设备上。根据应用程序对错误的容忍度以及更换故障设备的能力，来选用不同质量和配置的硬件。（七）开发的友好性Swift可以通过互联网直接使用。同时为多个应用提供数据存储服务。应用开发者：专注开发应用，不用担心数据存储问题。Swift小功能概览：静态网站托管自动作废对象有时间期限的URL资源限量直接通过HTML表格上传版本控制多区域读访问控制列表（八）管理友好性低价标准设备高性能高容量高持久性架构优美代码简介多测试日志体现Swift应用场景知识点三（一）Swift应用场景1云平台虚拟机镜像存储引擎例子：openstack私有云、dropbox普通非结构化数据资料例子：大量的公司或企业（二）Swift应用场景2数据分析例子：医药-财务-大数据公司备份、归档和灾难恢复例子：所有用户

（三）Swift应用场景静态网站托管例子：网站公司、创业公司等CAP理论简介知识点四（一）背景云存储世界中的用户需求那么多有没有一种万能的存储系统可以满足所有可能？（二）用户需求（CAP）一致性（Consistency）：源数据变，副本同步更新可用性（Availability）：操作可以，立马相应分区容错性（Partition-tolerance）：网络不互通的承受能力大数据中的分布式系统：不可能同时满足这三种需求！！！（三）分布式存储—示意图武汉上海北京写？？（三）分布式存储—示意图副本B和C，一致or不一致第1种等到B、C三份数据一致后返回强一致性第2种读操作立即返回，容忍BC和A读取不一致弱一致性结论：副本越多，耗时更长，可用性（立即返回数据能力）越差！结论：可用性明显提高，副本也可以读，但一致性差！知识拓展：CAP理解知识点五C-A-P关系解释断开数据A例子：若数据A只在节点1保存。分区后，其他的不能访问。无法容忍！做法：数据A多复制副本，分区出现，会分布多个区域！容忍度提高！分区：原本不同节点互通，因为故障，不通，最后分成几个独立区域！多副本——数据可能不一致？要一致——等待全部数据更新成功——可用性问题？C-A-P总结满足：分区容忍度加副本可能：数据不一致性数据完全一致若复制时间足够不能及时响应可用性差应用—开发云存储架构根据业务，确定你要C—A—P的哪两个？？例子1：银行系统（考虑一致性C），A和P要考虑降低一个。

分布式数据系统，分区容错性P肯定需要。则放弃A，考虑CP。例子2：Web网站（考虑可用性A），C和P要考虑降低一个。

分布式数据系统，分区容错性P肯定需要。则放弃C，考虑AP。而Swift存储系统：考虑AP，放弃C。强调“最终一致性”任务小结1.Swift应用场景：引擎、普通存储、数据分析、备份和托管等。3.Swift特性主要包括数据持久性、对称架构等七个。3.CAP是设计分布式存储架构的基础经典理论。拓展训练Xena独立学习OpenStack社区正式发布第24个版本Xena，OpenStack作为广泛部署的开源云基础设施软件，其新版本增加了对新型硬件功能的支持，优化了各类组件间的集成，通过减少技术债务来维护OpenStack软件的稳定可靠性。OpenStack作为全球最活跃的开源项目之一，开发者积极参与并由此构建了一个充满活力的社区，在Xena版本为