《大数据与云计算》课件-6.AMAZON 云计算

大数据与云计算知识点AMAZON云计算简介3什么是弹性计算云EC24了解什么是简单存储服务S31了解什么是AWS2什么是基础存储架构DynamoAMAZON云计算简介定义AWS简单来说就是一个云计算提供商，他提供了一组覆盖全球的，囊括了数据的计算、存储、分析和部署等服务，可以帮助企业获取更多资源，有效降低成本。21发展历程特点31996年成立2006年推出第一个aws服务成为亚马逊三大核心业务之一什么是AWS全球规模化付费更节省创新和更快速的平台安全性更高定义Dynamo是Amazon系统中的底层存储架构。当互联网的数据爆发式增长，而传统的关系型数据库难以满足企业对数据库的高灵活性、高扩展性的要求时，以分布式、无中心模式的分布式数据库Dynamo应运而生。主要问题及解决方案问题采取的相关技术数据均衡分布改进的一致性哈希算法数据备份参数可调的弱quorum机制数据冲突处理向量时钟（VectorClock）成员资格及错误检测基于Gossip协议的成员资格和错误检测临时故障处理Hintedhandoff（数据回传机制）永久故障处理Merkle哈希树基础存储架构DynamoGet（）：返回对象Put（）：存储和放置对象系统接口无需服务器增量的可扩展性对称性特点基础存储架构Dynamo基础存储架构DynamoDynamo采用的是改进的一致性哈希算法。算法：数据备份：数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中保证一个副本必须写入硬盘，其他副本只要写入节点的内存即返回写成功每个虚拟节点上实际存储了分配给它以及分配它的前N-1个前驱虚拟节点的数据数据的一致性Dynamo采用的是改进的一致性哈希算法。CacheACacheCObject1Object2Object3Object4基础存储架构Dynamo数据版本控制Dynamo中将数据的增加或删除这种操作都视为一种增加操作，即每一次操作的结果都作为一份全新的数据保存，这样也就造成了一份数据会存在多个版本，分布在不同的节点上。01

为了解决该问题，Dynamo中采用了向量时钟技术（VectorClock）。02基础存储架构Dynamo故障检测和处理永久性故障处理机制在节点失效超过了设定时间后，如果没有发现节点可以重用，则Dynamo会认定该节点出现了永久性故障，临时故障处理机制Dynamo中如果某个节点由于机器假死等因素无法与其他节点通信，则会被其他节点认为失效基础存储架构DynamoDynamo需要从其他数据副本进行数据同步。Dynamo中采用了一种带有监听的数据回传机制（HintedHandoff）。EC2全名AmazonElasticComputeCloud，是一种AWS中的虚拟服务器，又称实例。弹性计算云EC2EC2的优势：更节省更安全更快捷扩展性更强EC2的基本架构：Amazon机器映象（AMI）更安全EC2的基本架构主要包括了Amazon机器映象、实例、存储模块等组成部分，并能与S3等其他Amazon云计算服务结合使用。弹性计算云EC2实例弹性块存储（EBS）EC2的关键技术：地理区域和可用区域01EC2的通信机制02弹性负载均衡03监控服务（CloudWatch）04自动缩放（AutoScaling）05服务管理控制台06弹性计算云EC2

简单存储服务S3S3的定义：AmazonS3的全称是AmazonSimpleStrongService，因为它的名称里有3个S开头的单词，因此简称为S3.它是AWS最古老的服务之一，用户可以通过它存储和管理任何数据，如图片、视频、音乐和文档。存储的双要素1

对象：是S3的基本存储单元，主要由数据和元数据组成2

桶：桶是用于存储对象的容器，其作用类似于文件夹简单存储服务S3基本操作：S3中支持对桶和对象的操作，主要包括：Get、Put、List、Delete和Head。简单存储服务S3S3的安全措施：简单存储服务S3S3向用户提供包括身份认证（Authentication）和访问控制列表[15]（ACL）的双重安全机制。身份认证：S3中使用基于HMAC-SHA1的数字签名方式来确定用户身份。访问控制列表：访问控制列表（AccessControlList，ACL）是S3提供的可供用户自行定义的访问控制策略列表。思考：什么是AWS？什么是基础存储架构Dynamo?什么是弹性计算云EC2?

了解什么是简单存储服务S3?知识点AMAZON云计算服务3了解简单队列服务SQS，内容推送服务CloudFront1了解非关系型数据库服务SimpleDB和DynamoDB2了解什么是关系数据库服务RDSAMAZON云计算服务非关系型数据库与传统关系数据库的比较数据模型01数据处理02接口层03非关系型数据库服务SimpleDB和DynamoDB域（Domain）域是用于存放具有一定关联关系的数据的容器，其中的数据以UTF-8编码的字符串形式存储每个用户账户中的域名必须是唯一的，且域名长度为3～255个字符每个域中数据的大小具有一定的限制，因此通常将不同特征的数据放入不同的域中；对于Web数据等不易划分的数据，可以利用哈希函数将其散列到不同的域中SimpleDB条目对应着一条记录，通过一系列属性来描述，即条目是属性的集合。条目（Item）属性是条目的特征，每个属性都用于对条目某方面特性进行概括性描述。属性（Attribute）值用于描述某个条目在某个属性上的具体内容。值（Value）SimpleDB简介1DynamoDB是Amazon在SimpleDB之后提供的非关系型数据库服务。2DynamoDB以表为基本单位，表中的条目同样不需要预先定义的模式，即每个条目可以具有不同的属性。3与SimpleDB不同，DynamoDB中取消了对表中数据大小的限制，这使得用户可以将表的容量设置成任意需要的大小，并由系统自动分配到多个服务器上。4DynamoDB不再固定使用最终一致性数据模型，而是允许用户选择弱一致性或者强一致性DynamoDBSimpleDB和DynamoDB都是Amazon提供的非关系型数据库服务。SimpleDB中限制了每张表的大小，更适合于小规模负载的工作；但SimpleDB会自动对所有属性进行索引，提供了更加强大的查询功能。DynamoDB支持自动将数据和负载分布到多个服务器上，并未限制存储在单个表中数据量的大小，适用于较大规模负载的工作SimpleDB和DynamoDB的比较RDS的基本原理非关系数据库在处理ACID类问题时存在一些先天性的不足，为了满足相关应用的需求，Amazon提供了相关数据库服务（RelationalDatabaseService，RDS）。AmazonRDS将MySQL数据库移植到集群中，在一定的范围内解决了关系数据库的可扩展性问题。可以通过两种工具对RDS进行操作：命令行工具和兼容的MySQL客户端程序。关系数据库服务RDS01简单队列服务（SimpleQueueService，SQS）是Amazon为了解决其云计算平台之间不同组件的通信而专门设计开发的。基本概念02SQS由三个基本部分组成：系统组件（Component）、队列（Queue）和消息（Message）。基本模型03消息的格式消息取样SQS的消息简单队列服务SQS基本概念内容推送服务CloudFrontCloudFront是基于Amazon云计算平台实现的内容分发网络（ContentDeliveryNetwork，CDN）。借助Amazon部署在世界各地的边缘节点，用户可以快速、高效地对由CloudFront提供服务