分布式计算、云计算与大数据 第2版 课件 第4章 云计算原理与技术

第4章云计算原理与技术提纲云计算概述云计算关键技术Google云计算原理亚马逊云服务云计算的起源1984SUN“网络即计算机”2003Platform网格计算池2006Google云计算2006年8月Google首次提出“云计算”这个词汇云计算的目标企业F企业E企业G企业A企业B企业C互联网云平台服务商发电厂像用电、水一样来使用IT资源云计算是什么对一般用户而言：云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务，这种服务可以与软件、互联网相关的，也可以是任意其他的服务。云计算云计算是什么

对专业人员而言：是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式--即把原本存储于个人计算机、移动设备等个人设备上的大量信息集中在一起，在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系统连接在一起，以提供各种计算服务。移动电话个人计算机和笔记本计算机企业计算机和服务器PDA云计算与分布式计算分布式计算（狭义）：将待解决问题分成多个小问题，再分配给许多计算系统处理，最后将处理结果加以综合。特点：把计算任务分派给网络中的多台独立的机器优点稀有资源可以共享通过分布式计算可以在多台计算机上平衡计算负载可以把程序放在最适合运行它的计算机上流行的分布式项目SETI@Home：寻找外星文明RC-72：密码分析破解，研究和寻找最为安全的密码系统Folding@home：研究蛋白质折叠、聚合问题UnitedDevices：寻找对抗癌症的有效的药物GIMPS：寻找最大的梅森素数（解决较为复杂的数学问题）云计算包含的分布式计算特征：（1）通过资源调度和组合满足用户的资源请求（2）对外提供统一的、单一的接口分布式邮箱系统云计算与网格计算网格计算分散式资源不同机构虚拟组织科学计算为主高性能计算机紧耦合问题免费标准化科学界云计算集中式资源单一机构虚拟机数据处理为主服务器/PC松耦合问题按量计费尚无标准商业社会云计算与对等计算对等计算系统中，每个节点都拥有对等的功能与责任，既可以充当服务器向其他节点提供数据或服务，又可以作为客户机享用其他节点提供的数据或服务，节点之间的交互可以是直接对等的，任何节点可以随时自由地加入或离开系统。对等计算：有可能作为云计算的一个类型预测：将可能以“对等子云”的形式出现在云计算中。依据：云计算对超大规模、多类型资源的统一管理是困难的；对等计算具有鲁棒性、可扩展性、成本、搜索等方面的优点Google的云计算服务曾出现严重问题，Gmail、Blogger和Spreadsheet等服务均长时间当机。亚马逊S3云计算服务也曾出现问题。而P2P系统则有更强的抗毁能力。云计算与并行计算并行计算：是指同时使用多种计算资源解决计算问题的过程。通常指一个程序的多个部分同时运行于多个处理器上。特点：把计算任务分派给系统内的多个运算单元并行计算问题的特征将工作分离成离散部分，有助于同时解决随时并及时地执行多个程序指令（多条线同时运行）多计算资源下解决问题的耗时要少于单个计算资源下的耗时云计算包含的并行计算特征：（1）用户资源（单一类型和组合类型）请求的同时处理云计算分类私有云公有云混合云操作系统+应用服务引擎应用系统基础设施(IaaS)应用平台(PaaS)应用软件(SaaS)InfrastructureasaService以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络/数据库管理等资源。用于无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：AmazonWeb

Service(AWS)PlatformasaService提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎，可以构建该类应用。典型应用：GoogleAppEngine,F,MicrosoftAzure服务平台SoftwareasaService用户通过Internet(如浏览器)来使用软件。用户不必购买软件，只需按需租用软件典型应用：GoogleDoc,S,OracleCRMOnDemand,OfficeLiveWorkspace面向外部用户需求，通过开放网络提供云计算服务IDC，GoogleApp，Saleforce在线CRM按提供的服务类型按云服务的对象大型企业按照云计算的架构搭建平台，面向企业内部需求提供云计算服务企业内部数据中心等兼顾以上两种情况的云计算服务AmazonWebServer等既为企业内部又为外部用户提供云计算服务IaaS：基础设施作为服务IaaS——InfrastructureasaService创建虚拟的计算、存储中心，使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施集中起来，作为一个虚拟的资源池来对外提供服务。典型应用：弹性计算云EC2（ElasticComputeCloud）——计算简单存储服务S3（SimpleStorageService）——存储IaaS交付特点提供从计算到存储的统一资源基础架构完整的系统级接入，按需布置安全域，负载均衡按需付费，按容量控制自由的应用环境关键技术作用成熟度评价虚拟化技术解决资源灵活调度，提高资源利用率★★★★IT自动化技术自动化的操作系统安装，升级和补丁管理；自动化应用软件的安装，配置；自动化应用部署★★★★Web门户技术统一的用户门户和单点登录★★★★★工作流管理自动化服务的申请，审批流程★★★★★总体

★★★★IaaS的价值降低运营成本提高设备利用率节能减排保护现有投资，提供新商机IaaS关键技术介绍：虚拟化技术

虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，是基于开放的x86架构，将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中虚拟化的目标是实现IT资源利用效率和灵活性的最大化虚拟化技术在x86架构上比较通用，在RISC架构下比较封闭软件必须与硬件相结合每台机器上只有单一的操作系统镜像每台机器上有多个操作系统镜像软件相对于硬件独立传统计算系统计算模式虚拟化计算系统计算模式未更改过的应用未更改过的OS虚拟硬件IaaS领域代表者——Amazon

IaaS云计算平台数据中心虚拟化技术、自动化部署技术Amazon的重点是提供弹性基础设施服务，其上的应用由用户灵活选择与决定作为大型的电子商务企业，积累了大规模IT系统设计和维护的技术与经验，同时面临着业务淡季时IT设备的闲置问题，于是将设备、技术和经验作为一种打包产品为其他企业提供服务，利用闲置的IT设备来创造价值……PaaS：平台作为服务

PaaS——PlatformasaService把服务器平台或开发环境作为一种服务提供典型应用

的GoogleAppEngine800app：不再需要任何编程即可开发包括企业管理软件PaaS的交付模型计算资源平台做为一种服务提供给用户可支持用户自有的工具与开发环境部署客户通过可调用的接口拨接资源平台关键技术技术特点成熟度评价分布式存储采用冗余存储的方式来保证存储数据的可靠性，具有高吞吐率和高传输率的特点★★分布式大规模数据管理构建了弱一致性大规模数据库系统，能够高效的管理大数据集，能对海量的数据进行存储、读取以及高效分析★★★分布式编程环境保证后台复杂的并行执行和任务调度向用户和编程人员透明，适用于编写松耦合、高度并行化的程序★★总体

★★PaaS的价值对服务提供商：灵活扩展业务，响应长尾需求，灵活调配资源对开发者:加快开发速度，简化系统维护PaaS关键技术——分布式并行计算平台

平台众多性能普通的服务器并行编程模型如MapReduce超大型文件系统如HDFS海量数据库如Hbase技术架构监控与调度管理API/SDK第三方软件开发者软件使用用户业务模式软件销售新的业务模式业务能力：通过分布式并行计算算法，将众多性能普通的服务器的计算能力和存储能力充分发挥和聚合起来，能够为特定的应用提供海量数据处理能力业务形态：形成一个高效的软件应用开发和运行平台，吸引第三方软件开发者基于该平台进行软件开发和应用托管，同时聚集海量终端用户使用该平台上的各种应用目标客户群：第三方软件开发者，软件终端用户PaaS领域代表者——Google

PaaS统一平台自有应用（搜索、Gmail、GoogleDocs等）云计算开放平台（Java、Python）（AppEngine）Google构建的是新型的互联网分布式平台架构，传统的应用不能直接被移植到该架构上利用分布式存储（GFS）、分布式数据库（Bigtable）、分布式/并行计算（Mapreduce）、同步（Chubby）以及集群监控与调度技术（BORG）等实现统一高性价比的架构平台为支持搜索引擎和邮件服务等需要海量数据处理能力的应用，开发了分布式并行技术的平台，在积累了一定的技术和经验后，逐步将平台能力作为软件开发和交付的环境进行开放SaaS：软件作为服务

SaaS——SoftwareasaServiceSaaS是一种基于互联网提供软件服务的应用模式。软件租赁：用户按使用时间和使用规模付费绿色部署：用户不需安装，打开浏览器即可运行不需要额外的服务器硬件软件（应用服务）按需定制SaaS的交付模型应用程序做为一种服务来提供由提供商进行统一维护管理吸引广大的个人和中小企业用户用户不需对软硬件进行维护工作通过网络浏览器使用服务关键技术技术特点成熟度评价统一身份认证和授权解决多用户组织访问和管理的需求★★★★★服务计费能根据使用情况进行灵活的计费★★★★Web2.0基于互联网平台，通过互动，提供更好的信息展现和组织方式，创造更好用户体验★★★面向服务的架构（SOA）将应用程序的不同功能单元（称为服务）通过标准的服务间接口联系起来，使业务应用能根据业务的需要变得更加灵活，以适应不断变化的环境★★★★总体

★★★★SaaS的价值提供灵活的租赁和付费方式降低企业用户运营成本降低中小企业信息化的门槛SaaS技术分析

用户可以使用按需定制的软件服务，按照定制软件的多少和时间付费用户通过浏览器访问所需的服务，无需花费大量的精力用于IT设施的建设与维护技术模式直接部署在底层物理资源上部署在IaaS平台上部署在PaaS平台上承载平台在PaaS平台上开发并部署SaaS服务在SOA（Service-OrientedArchitecture，面向服务架构）架构下开发(soap、rest)开发技术意义1)使软件提供成为一种互联网服务；2)降低用户使用软件应用的门槛多租户技术：云计算要求硬件资源和软件资源能够更好地被共享，具有良好的伸缩性，任何一个用户都能够按照自己的需求进行客户化配置而不影响其他用户的使用。多租户技术就是云计算环境中能够满足上述需求的关键技术。*19SaaS领域的代表者——SaleForce交互数据软件运行和计算在网络侧完成终端通过web浏览器使用软件应用Internet业务模式：业务能力：用户通过互联网获得所需的软件服务，无需花费大量的精力用于IT设施的建设与维护；业务形态：软件作为一种互联网业务，用户通过互联网购买和使用其所需的软件服务，按照购买软件的类型、数量和时间进行付费目标客户群：需要移动办公的政企用户，互联网公众用户技术特点：在线应用Salesforce的几个关键能力强大的功能：第20代产品具有1000多种功能灵活的定制：业界灵活度最高的CRM解决方案，用户可深度扩展，因此能满足各种规模的企业的需求最佳的用户体验：方便易用，简洁的界面一目了然快速实施：多数公司在30天内把Salesforce成功融合于企业运转之中快速回报：通常在实施后的几个月之内，客户即可获得可观的回报高度安全：为系统和数据提供了多层保护机制应用定制化和用户体验保障是SaaS的关键提纲云计算概述云计算关键技术Google云计算原理亚马逊云服务云计算关键技术体系结构数据存储计算模型资源调度虚拟化技术云计算体系结构云计算核心服务通常可以分为3个子层：基础设施即服务层（IaaS,infrastructureasaservice）、平台即服务层（PaaS,platformasaservice）、软件即服务层（SaaS,softwareasaservice）云计算可以按需提供弹性的服务，它的架构可以大致分为三个层次：核心服务、服务管理、用户访问接口。NoSQL数据存储类别产品特性列存储HbaseCassandraHypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDBCouchDB文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。key-value存储Tokyo

Cabinet/TyrantBerkeley

DBMemcacheDBRedis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储Neo4JFlockDB图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。xml数据库Berkeley

DB

XMLBaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。MapReduce计算模型云计算的计算模型是一种可编程的并行计算框架，需要高扩展性和容错性支持。MapReduce是Google提出的并行程序编程模型，运行于GFS之上。它的设计思想在于将问题分而治之，首先将用户的原始数据源进行分块，然后分别交给不同的Map任务去处理。云计算资源调度*26资源调度是云计算核心技术之一，它为云计算平台提供资源分配、任务调度等资源管理功能。通常云计算资源调度包括两个层面：一个是物理主机到虚拟机层面的资源分配（映射）；另一个是任务到虚拟机层面的调度（映射）。

云计算虚拟化技术*27虚拟化是云计算最重要的核心技术之一，它为云计算服务提供基础架构层面的支撑。虚拟化技术包括：服务器虚拟化、存储虚拟化、网络虚拟化、桌面虚拟化、应用虚拟化等

提纲云计算概述云计算关键技术Google云计算原理亚马逊云服务Google云计算关键技术Google云计算平台的几个关键技术文件存储，GoogleFileSystem，GFS并行数据处理MapReduce结构化数据表BigTable分布式锁ChubbyGoogle云计算应用MapReduceBigTableGFSChubby*29GFS

GoogleFileSystem的系统架构一个软件架构，是一种处理海量数据的并行编程模式用于大规模数据集（通常大于1TB）的并行运算MapReduce实现了Map和Reduce两个功能Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集Reduce对结果集进行分类和归纳Map()和Reduce()两个函数可能会并行运行，即使不是在同一的系统的同一时刻MapReduce31Bigtable设计动机与目标需要存储的数据种类繁多：Google目前向公众开放的服务很多，需要处理的数据类型也非常多。包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的海量的服务请求：Google运行着目前世界上最繁忙的系统，它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的商用数据库无法满足Google的需求：一方面现有商用数据库设计着眼点在于通用性，根本无法满足Google的苛刻服务要求；另一方面对于底层系统的完全掌控会给后期的系统维护、升级带来极大的便利设计动机逻辑视图Bigtable是一个稀疏的、分布式的、多维度的、持久化存储的超级大表。每行包含一个可排序的行关键字，一个可选的时间戳以及一些可能有数据的列。BigTable会存储一系列的行记录，行记录有三个基本类型的定义：行关键字（RowKey）,时间戳（TimeStamp）,列（Column）。RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”my.look.ca“n.www”T9CNNT8CNN.COMT6“<html>..“Text/htmlT5“<html>..“t3“<html>..“物理视图34RowKeyTimeStampColumn:ContentsCn.wwwT6“<html>..”T5“<html>..”T3“<html>..”RowKeyTimeStampColumn:AnchorCn.wwwT9Anchor:CNNT5Anchor:my.look.caCNN.COMDremelDremel是Google的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel，将处理时间缩短到秒级，作为MapReduce的交互式查询能力不足的有力补充。

Dremel的数据模型是嵌套的，用列式存储，并结合Web搜索和并行DBMS的技术，建立查询树，将一个巨大的复杂的查询分割成较小较简单的查询，如图所示。提纲云计算概述云计算关键技术Google云计算原理亚马逊云服务亚马逊云平台存储架构AWS提供一系列云计算服务，无疑要建立在一个强壮的基础存储架构之上，Dynamo是Amazon提供的一款高可用的分布式Key-Value存储系统，具备去中心化，高可用性，高扩展性的特点Dynamo采用一致性哈希来完成数据分区。在一致性哈希中，哈希函数的输出范围为一个圆环，系统中每个节点映射到环中某个位置，而Key也被哈希到环中某个位置，Key从其被映射的位置开始沿顺时针方向找到第一个位置比其大的节点作为其存储节点亚马逊提供的云计算服务弹性计算云EC2简单存储服务S3简单数据库服务SimpleDB简单队列服务SQS弹性MapReduce服务内容推送服务CloudFrontAWS导入/导出关系数据库服务AmazonElasticComputeCloud（弹性计算云EC2）来自Amazon的ElasticComputeCloud（EC2，弹性计算云）提供了可定制化的云计算能力，这是专为简化开发者开发Web伸缩性计算而打造的。用户可以全面掌控自身的计算资源，同时Amazon运作是基于“即买即用”模式的。只需花费几分钟时间就可获得并启动服务器实例，所以它可以快速定制来响应计算需求的变化。价格：新AWS用户可以免费使用AmazonEC2一年时间。它还提供了按需定制实例，Linux实例每小时0.085美元起，Windows实例每小时0.12美元起。保留实例的价格为每年227.50美元起，或是每小时0.03美元起。AmazonElasticComputeCloud（弹性计算云EC2）EC2（ElasticComputeCloud）简言之，EC2就是一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。EC2的主要特征：灵活性：可自行配置运行的实例类型、数量，还可以选择实例运行的地理位置。可以根据用户的需求随时改变实例的使用数量。低成本：按小时计费安全性：SSH、可配置的防火墙机制、监控等易用性：用户可以根据亚马逊提供的模块自由构建自己的应用程序，同时EC2还会对用户的服务请求自动进行负载平衡容错性：弹性IPAmazonElasticComputeCloud（弹性计算云EC2）EC2的基本架构AmazonElasticComputeCloud（弹性计算云EC2）Amazon机器映像AMI（AmazonMachineImage）

——由一个操作系统和当虚拟机启动时你想要预先载入的任何的应用程序组成。

——AMI是用户整个云计算平台运行的基础，用户使用EC2服务的第一步就是要创建一个自己的AMI。

——公共AMI、私有AMI、付费AMI、共享AMIAmazonElasticComputeCloud（弹性计算云EC2）实例Instance：用户创建好AMI后，实际运行的系统资源SmallLargeExtraLargeHigh-CPUMediumHigh-CPUExtraLarge平台32位64位64位32位64位CPU1ECU4ECU8ECU5ECU20ECU内存1.7G7.5G15G1.7G7G存储容量160G850G1690G350G1690G实例类型名m1.smallm1.largem1.xlargec1.mediumc1.xlargeAmazonElasticComputeCloud（弹性计算云EC2）弹性块存储EBS（ElasticBlockStore）

——卷，每个EBS最多创建20个卷

——快照：可以捕捉当前卷的状态，并存储在S3ZHONG，方便恢复。AmazonSimpleStorageService（简单存储服务S3）SimpleStorageService（简单存储服务S3,）是一款在线存储服务，在云计算环境下提供了不受限制的数据存储空间。用户可通过授权访问一个简单的Web服务界面来存储和获取Web上任何地点的数据。价格：新用户可以在1年内每月免费获得5GB的S3存储；2万次Get请求；2千次Put请求；15GB的数据传入；和15GB的数据传出。此后的花费请查看S3价格单。

AmazonSimpleStorageService（简单存储服务S3）S3为任意类型的文件提供临时或永久的存储服务非传统关系数据库存储模式 ——简单、高效 ——存储、读取，非查询基本概念

——对象：S3的基本存储单元（数据、元数据），数据类型任意

——键：对象的唯一标识符 ——桶：存储对象的容器（不能嵌套、在S3中名称唯一、每个用户最多创建100个桶

AmazonSimpleStorageService（简单存储服务S3）S3的基本结构AmazonSimpleStorageService（简单存储服务S3）存储冗余：每个用户数据有多个副本，且保存在不同服务器上最终一致性：在数据被充分的传播到所有的存放节点之前返回给用户的仍是原数据简单数据库服务SimpleDBSimpleDB是一种可用性高、灵活性大的非关系型数据存储，它可以消除繁重的数据库管理员工作。Web服务方式的数据项存储和查询请求，该服务自动创建和管理多份数据以确保数据的高可用率和稳定性。价格：新用户可以每月免费获得25机时（MachineHour）和1GB存储。之后的花费其参阅官网。

简单队列服务SQSSimpleQueueService（SQS，简单队列服务）是托管队列，它增加了不同任务应用在分布式组件之间的工作流。SQS允许开发者移动数据，而不丢失信息，每个请求的组件通常都保持可用状态。价格：新用户每月可获得10万SQS排队请求。之后，用户每1万请求收取0.01美元。数据传输花费根据需求变化。

目标：解决低耦合系统间的通信问题，支持分布式计算机系统之间的工作流特点：简单、无处不在

——“在互联网的所有计算机不用安装任何软件或特殊防火墙配置就可以增加或读消息”处理端：EC2上的AMI简单队列服务SQS弹性MapReduce服务ElasticMapReduce（弹性MapReduce）允许企业和开发者或是其他人士处理大规模数据。使用运行在AmazonEC2和S3的托管Hadoop框架，用户可以即刻利用随心定制的计算力来完成