《大数据存储技术与应用》 课件 项目三-任务七 浅析Swift工作原理

《大数据存储技术与应用》大数据存储技术与应用项目三浅析云存储服务任务七Swift工作原理Swift的特性？Swift的应用工作场景？CAP定义？CAP理论？回顾任务描述:本节任务对Swift的概念、工作原理进行了系统阐述，剖析了Swift的总体架构以及虚节点和环的工作原理。任务教学目标：了解Swift核心概念及架构理解Swift工作原理任务概要任务引入-云存储技术随着计算机技术、互联网技术的发展，以及近些年全球数据爆发式地增长，催生了云计算技术。而云存储就是脱胎于云计算技术的新型存储方式，由于它廉价、便捷等优势，备受青睐，在短短几年便得到了充分的发展与应用。教学内容核心概念总体架构Swift的工作原理一二三核心概念知识点一（一）Swift逻辑结构账号A账号B账号C容器容器容器对象对象（二）SwiftURLURL：网址形式的访问具体信息的方式。对Swift的服务请求都是通过RESTAPI用URL的访问。例子：/v1/account/container/object账号容器对象（三）账号账号：一个租户。它可以是个人、部门或公司等。

Swift通过创建账号使多个用户和应用可以同时并发地使用存储系统。账号的数据库存储下属，容器信息（名称、创建日期等）（四）容器容器：类似于文件系统中的目录。容器的数据库存储下属，对象信息（名称、创建日期等）【注意：同一账号，不同容器名称不同账号，相同容器名称】（五）对象对象：类似于文件系统中的文件。对象存储核心信息（图片、录像、日志等）文件总体架构知识点二公网私网代理节点存储节点URL请求（一）Swift部署架构（二）代理服务器Proxyserver对外的SwiftRESTAPI接口负责处理对swift的所有请求至少两台代理服务器（HTTP服务器）对内连接和通信swift集群中每个组件查询账号-容器-对象位置，并反馈对外对内（四）总体架构

例子PUT上传特点：

1、对对象名字HASH

确定存储节点

2、一个节点不可用，

智能选择合适节点GET下载特点：

1、确定数据节点

2、逐一索要PK（五）账号-容器-对象（服务器）账号存储服务器：该账号拥有的容器服务器的列表

SQlite数据库保存

多副本容器存储服务器：

该容器拥有的对象的列表

SQlite数据库保存

多副本跟踪统计（对象总数等）对象存储服务器：

为对象提供磁盘存储空间可存储、检索和删除本地设备对象123Swift的工作原理知识点三（一）Swift工作原理—核心存储空间=无数虚节点虚节点=账号/容器/对象映射关系虚节点——物理位置虚节点环（二）虚节点—定义虚节点一般被复制三份。每个副本在不同区域（磁盘、服务器、交换机或数据中心）。（三）虚节点VS仓库的订单盒管理优势：处理少量盒子，比处理分散的大量订单容易！虚节点数目不变（订单盒数目固定）！订单盒虚节点（四）环—定义访问数据的步骤：1，公网—私网。请求先到代理服务器。2，代理服务器查询环，确定下面两个的对应关系。

①账号/容器/对象②存储服务器定义：环把虚节点映射到磁盘上的物理地址。（五）环—增加存储服务器增加存储服务器=增加虚节点=整个系统虚节点重新均匀分配（六）环—增加存储服务器怎么做到通过移动少量虚节点来重新达到均衡？优秀算法（一致性哈希算法）。感兴趣的同学可以自行翻阅资料容量不同的存储服务器特别是容量小的怎么做到均衡？平均值可能大于自身容量。主要通过“权重”解决。比如10T容量设备权重定为2；5T的定为1，则10T的虚节点数是5T的2倍。（七）拓展篇：如何能够更好的保证云存储系统中数据完整性？1.一致性服务器

审计器1

复制器2

更新器3（七）拓展篇：如何能够更好的保证云存储系统中数据完整性？2.流程图（七）拓展篇：如何能够更好的保证云存储系统中数据完整性？3.第一个：审计器运行：Swift集群中每个节点的后台扫描磁盘确认是否有坏点或文件系统的损坏反复地检测存放在该服务器上的对象、容器和账号的完整性有问题，移动到隔离目录。若有问题【复制器】（七）拓展篇：如何能够更好的保证云存储系统中数据完整性？4.第二个：复制器功能：数据存储在正确地方每个数据都有足够的副本扫描每一个虚节点（为保证副本数目）将本地数据和其他区域副本对比发现不一致的地方（检查哈希值）通过rsync同步文件对等节点。【生成好的副本替代原来的副本】（七）拓展篇：如何能够更好的保证云存储系统中数据完整性？5.第三个：更新器功能：对象更新器容器的对象列表容器更新器账号的容器列表如果1，更新失败，加入到本地文件系统上的更新队列2，成功更新前，用户得不到最新数据。保证保证弱一致性高负荷下加入一对象可以访问容器中无该对象更新器起作用（七）拓展篇：如何能够更好的保证云存储系统中数据完整性？6.区域和地区地理距离不同。读请求；代理节点就近选择副本服务。写请求；本地进行，然后把副本异步传到其他地区。地区A（武汉）地区B（北京）区域1区域2区域1区域2武昌汉口任务小结1.Swift的几个核心概念：账号，容器，对象，URL3.Swift的总体架构：代理服务器，存储服务器（账号容器对象）3.Swift工作原理：虚节点、环等4.Swift的一致性服务器：审计器、复制器和更新器拓展训练Xena独立学习OpenStack社区正式发布第24个版本Xena，OpenStack作为广泛部署的开源云基础设施软件，其新版本增加了对新型硬件功能的支持，优化了各类组件间的集成，通过减少技术债务来维护OpenStack软件的稳定可靠性。OpenStack作为全球最活跃的开源项目之一，开发者积极参与并由此构建了一个充满活力的社区，在Xena版本为期25周的开发中，来自125个组织/机构的680多位开发者累计提交了15000项修改