亚马逊云计算

亚马逊云计算介绍从卖图书到云计算AWS平台概览亚马逊全球物理基础设施美国东部

(N.Virginia),美国西部

(CA),美国西部

(OR),欧洲(Ireland),亚太

(Singapore/Tokyo),南非(SaoPaulo)23个边缘服务位置云计算应用计算ElasticCompute(EC2)AutoscaleVMImport网络Route53VirtualPrivateCloud(VPC)DirectConnectElasticLoadBalancer并行处理ElasticMapReduceHPCCluster电子商务$FlexiblePaymentsService€DevPay£FulfillmentWebService内容分发AmazonCloudFrontMechanicalTurk人工服务消息SimpleEmailService(SES)SimpleNotificationService(SNS)SimpleQueueService(SQS)监控CloudWatch部署和自动化CloudFormationElasticBeanstalk管理AWS管理控制台认证和授权Identity&AccessManagement(IAM)Multi-FactorAuthentication(MFA)命令行接口开发工具ToolkitforEclipseToolkitforVisualStudioAMIImport库和SDK基础设施构建模块平台构建模块跨服务特性访问服务的工具数据库SimpleDB(RDS)AmazonElastiCacheDynamoDB存储EBSS3Import/Export

GatewayCAP理论EricA.Brewer，教授，加州大学伯克利分校〔UCBerkeley〕C:

Consistency

一致性A:

Availability

可用性P:PartitionTolerance分区容错性CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。最终一致性〔EventuallyConsistency〕最终一致性模型只要最终所有的数据副本一致牺牲一致性来提高可用性读写参数W,R,NN：系统中每条记录的副本数W：每次记录成功写操作需要写入的副本数R：每次记录读请求最少需要读取的副本数强一致性：满足R+W>N弱一致性：R+W<=N亚马逊的根底存储架构：Dynamo参考论文：Dynamo:Amazon’sHighlyAvailableKey-valueStoreDynamo在Amazon效劳平台的地位面向效劳的Amazon平台架构Amazon平台的架构是完全的分布式、去中心化需求——Amazon平台中有很多效劳对存储的需求只是读取、写入，〔满足简单的键/值式存储〕Amazon怎么处理这个需求？Dynamo简单的键/值方式存储数据，不支持复杂的查询存储的是数据值的原始形式〔bit〕，不解析数据的具体内容、不识别任何数据结构，这使得它几乎可以处理所有的数据类型Amazon平台根底存储架构：DynamoElasticComputeCloud〔EC2〕虚拟的计算机“无限〞能力可以根据用户需求来配置实例数量，从而改变租用的计算能力主要特性灵活性：允许配置实例数量、地理位置低本钱：按小时计费平安性：一整套平安措施易用性：自由构建应用程序，自动负载平衡容错性：无状态和多实例配置根本架构AmazonMachineImage〔AMI〕作用相当于虚拟机模板可将用户的应用程序、配置等一起打包类型公共AMI：亚马逊提供，免费私有AMI：本人或授权用户可进入付费AMI：向开发者付费购置共享AMI：开发者之间共享实例〔Instance〕作用相当于主机，提供计算能力实例自身携带一个存储模块〔临时存放区〕Ec2关键技术作用长期保存或者存储比较重要的数据直至用户删除专为EC2设计卷〔Volume〕每个EBS最多创立20个卷每个卷可以挂载在任何一个实例上快照〔Snapshot〕捕捉当前卷的状态，然后将数据存在S3中可以作为创立一个新卷的起始点1．弹性块存储〔EBS〕EC2的关键技术

2.区域地理区域〔RegionZone〕可用区域〔AvailabilityZone〕EC2的关键技术

3．EC2的通信机制EC2效劳中，系统各模块之间及系统和外界之间的信息交互是通过IP地址进行公共IP地址〔PublicIPAddress〕私有IP地址〔PrivateIPAddress〕弹性IP地址〔ElasticIPAddress〕4．弹性负载平衡〔ElasticLoadBalancing〕允许EC2实例自动分发应用流量，从而保证工作负载不会超过现有能力，并且在一定程度上支持容错5．监控效劳〔CloudWatch〕AmazonCloudWatch是一个Web效劳，提供了AWS资源的可视化检测功能包括EC2实例状态、资源利用率、需求状况、CPU利用率、磁盘读取、写入和网络流量等指标EC2的关键技术

6．自动缩放〔AutoScaling〕自动缩放可以按照用户自定义的条件，自动调整EC2的计算能力7．效劳管理控制台〔AWSManagementConsole〕效劳管理控制台是一种基于Web的控制环境，可用于启动、管理EC2实例和提供各种管理工具和API接口关键技术配合工作图EC2平安及容错机制EC2特点之一：允许用户随时更新实例状态，用户可以随时参加或删除实例，实例状态的动态变化方便了用户，但是却给防火墙的配置带来了麻烦EC2引入了平安组〔SecurityGroup〕概念平安组其实就是一组规那么，用户利用这些规那么来决定哪些网络流量会被实例接受，其他那么全部拒绝一个用户目前最多可以创立100个平安组。当用户的实例被创立时，如果没有指定平安组，那么系统自动将该实例分配给一个默认组〔DefaultGroup〕EC2平安及容错机制用户访问EC2时需要使用SSH〔SecureShell〕密钥对〔KeyPair〕来登录效劳密钥对的名称〔KeyPairName〕和公钥〔PublicKey〕储存在EC2中用户创立新实例时，EC2会将它保存的信息复制一份放在实例的元数据〔Metadata〕中，然后用户使用自己保存的私钥〔PrivateKey〕就可以平安地登录EC2并使用相关效劳用户使用密钥对登录效劳EC2平安及容错机制弹性IP地址弹性IP地址和用户账号绑定而不是和某个特定的实例绑定，这给系统的容错带来极大的方便，每个账号默认绑定5个弹性IP地址。当系统正在使用的实例出现故障时，用户只需要将弹性IP地址通过网络地址转换技术转换为新实例所对应的私有IP地址，这样就将弹性IP地址与新的实例关联起来，访问效劳时不会感觉到任何差异SimpleStorageService(S3)作用通过提供的标准接口，将任意类型的数据存储在效劳器上目标可靠，易用，低使用本钱横向扩展架构在Dynamo上非传统关系数据库使文件操作尽量简单、高效不支持SQL的查询等功能，降低系统复杂性根本概念对象〔Object〕根本存储单元：数据+元数据对象不超过5GB，元数据不超过2KB，文件名不超过1KB键〔Key〕对象的唯一标示符桶〔Bucket〕存储对象的容器〔类似于文件夹〕每个用户不超过100个桶，桶内对象数量不受限桶的名称全局唯一，不可以嵌套根本概念元数据名称名称含义last-modified对象被最后修改的时间ETag利用MD5哈希算法得出的对象值Content-Type对象的MIME（多功能网际邮件扩充协议）类型，默认为二进制/八位组Content-Length对象数据长度，以字节为单位S3系统构架在Dynamo之上，采取的并不是传统的关系数据库存储方式，原因：使文件操作尽量简单、高效；使用关系数据库只会增加系统的复杂性1.对象数据〔任意类型〕和元数据〔描述数据的数据〕元数据是通过一对键-值〔Name-Value〕集合来定义系统默认元数据根本概念2．键对象的唯一标示符3．桶存储对象容器〔最多创立100个桶，不限桶中数量〕桶具体命名规那么建议使用规那么S3的根本结构图根本操作根本操作根据Amazon提供的技术文档，目前S3支持的主要操作包括：Get、Put、List、Delete和Head操作目标GetPutListDeleteHead桶获取桶中对象创建或更新桶列出桶中所有键删除桶无对象获取对象数据和元数据创建或更新对象无删除对象获取对象元数据数据一致性模型冗余存储每个数据产生多个副本最终一致性模型当数据被充分传播到所有节点前，返回原数据几种情形读取新写入的对象新写入对象后列出桶中所有对象更新数据后立即读取删除后尝试读取删除后列出桶中所有对象数据一致性模型

S3系统采用冗余存储优势：某些效劳器出现故障时用户仍然可以对其数据进行操作弊端：用户在操作时可能会出现如下几种情况〔1〕一个进程写入一个新的对象并立即尝试读取它，但在该改变被传送到S3的多个效劳器前，效劳器对该操作可能返回“键不存在〞〔2〕一个进程写入一个新的对象并立即尝试列出桶中已有的对象，但在该改变被传送到S3的多个效劳器前，该对象很可能不会出现在列表中〔3〕一个进程用新数据替换现有的对象并立即尝试读取它，但在该改变被传送到S3的多个效劳器前，S3可能会返回以前的数据〔4〕一个进程删除现有的对象并立即尝试读取它，但在该改变被传送到S3的多个效劳器前，S3可能会返回被删除的数据〔5〕一个进程删除现有的对象并立即尝试列出桶中的所有对象，但在该改变被传送到S3的多个效劳器前，S3可能会列出被删除的对象为什么出现这些现象？出现这些现象是因为S3为了保证用户数据的一致性而采取的一种折中手段，即在数据被充分传播到所有的存放节点之前返回给用户的仍是原数据数据一致性模型冗余存储每个数据产生多个副本最终一致性模型当数据被充分传播到所有节点前，返回原数据几种情形读取新写入的对象新写入对象后列出桶中所有对象更新数据后立即读取删除后尝试读取删除后列出桶中所有对象S3平安措施1.身份认证基于HMAC-SHA1的数字签名方式来确定用户身份S3数字签名具体实现过程S3平安措施S3数字签名具体实现过程权