大数据与云计算-曹莎95课件讲解

主讲人：曹莎莎大数据与云计算知识点AMAZON云计算简介3什么是弹性计算云EC24了解什么是简单存储服务S31了解什么是AWS2什么是基础存储架构DynamoAMAZON云计算简介定义AWS简单来说就是一个云计算提供商，他提供了一组覆盖全球的，囊括了数据的计算、存储、分析和部署等服务，可以帮助企业获取更多资源，有效降低成本。21发展历程特点31996年成立2006年推出第一个aws服务成为亚马逊三大核心业务之一什么是AWS全球规模化付费更节省创新和更快速的平台安全性更高定义Dynamo是Amazon系统中的底层存储架构。当互联网的数据爆发式增长，而传统的关系型数据库难以满足企业对数据库的高灵活性、高扩展性的要求时，以分布式、无中心模式的分布式数据库Dynamo应运而生。主要问题及解决方案问题采取的相关技术数据均衡分布改进的一致性哈希算法数据备份参数可调的弱quorum机制数据冲突处理向量时钟（VectorClock）成员资格及错误检测基于Gossip协议的成员资格和错误检测临时故障处理Hintedhandoff（数据回传机制）永久故障处理Merkle哈希树基础存储架构DynamoGet（）：返回对象Put（）：存储和放置对象系统接口无需服务器增量的可扩展性对称性特点基础存储架构Dynamo基础存储架构DynamoDynamo采用的是改进的一致性哈希算法。算法：数据备份：数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中保证一个副本必须写入硬盘，其他副本只要写入节点的内存即返回写成功每个虚拟节点上实际存储了分配给它以及分配它的前N-1个前驱虚拟节点的数据数据的一致性Dynamo采用的是改进的一致性哈希算法。CacheACacheCObject1Object2Object3Object4基础存储架构Dynamo数据版本控制Dynamo中将数据的增加或删除这种操作都视为一种增加操作，即每一次操作的结果都作为一份全新的数据保存，这样也就造成了一份数据会存在多个版本，分布在不同的节点上。01

为了解决该问题，Dynamo中采用了向量时钟技术（VectorClock）。02基础存储架构Dynamo故障检测和处理永久性故障处理机制在节点失效超过了设定时间后，如果没有发现节点可以重用，则Dynamo会认定该节点出现了永久性故障，临时故障处理机制Dynamo中如果某个节点由于机器假死等因素无法与其他节点通信，则会被其他节点认为失效基础存储架构DynamoDynamo需要从其他数据副本进行数据同步。Dynamo中采用了一种带有监听的数据回传机制（HintedHandoff）。EC2全名AmazonElasticComputeCloud，是一种AWS中的虚拟服务器，又称实例。弹性计算云EC2EC2的优势：更节省更安全更快捷扩展性更强EC2的基本架构：Amazon机器映象（AMI）更安全EC2的基本架构主要包括了Amazon机器映象、实例、存储模块等组成部分，并能与S3等其他Amazon云计算服务结合使用。弹性计算云EC2实例弹性块存储（EBS）EC2的关键技术：地理区域和可用区域01EC2的通信机制02弹性负载均衡03监控服务（CloudWatch）04自动缩放（AutoScaling）05服务管理控制台06弹性计算云EC2

简单存储服务S3S3的定义：AmazonS3的全称是AmazonSimpleStrongService，因为它的名称里有3个S开头的单词，因此简称为S3.它是AWS最古老的服务之一，用户可以通过它存储和管理任何数据，如图片、视频、音乐和文档。存储的双要素1

对象：是S3的基本存储单元，主要由数据和元数据组成2

桶：桶是用于存储对象的容器，其作用类似于文件夹简单存储服务S3基本操作：S3中支持对桶和对象的操作，主要包括：Get、Put、List、Delete和Head。简单存储服务S3S3的安全措施：简单存储服务S3S3向用户提供包括身份认证（Authentication）和访问控制列表[15]（ACL）的双重安全机制。身份认证：S3中使用基于HMAC-SHA1的数字签名方式来确定用户身份。访问控制列表：访问控制列表（AccessCo