软件设计与体系结构 秦航 14

第14章云计算(jìsuàn)的体系结构

1清华大学出版社共四十页内容提要(nèirónɡtíyào)14.1 云计算的背景14.1.1 云计算的定义和技术特点 14.1.2 云计算的分类 14.1.3 云计算与网格计算 14.2 云计算服务模型 14.2.1 云设计目标 14.2.2 基础设施层IaaS 14.2.3 平台层PaaS和应用程序层SaaS 14.3 云计算主要平台 14.3.1 谷歌应用引擎（GAE） 14.3.2 亚马逊的弹性计算云 14.3.3 IBM的蓝云系统 14.3.4 微软的Azure 14.3.5 我国云计算产业的发展(fāzhǎn)

14.4 新兴云软件环境 14.5 云计算的机遇与挑战 14.6 小结 2清华大学出版社共四十页14.1 云计算(jìsuàn)的背景Gartner（高德纳）公司,全球最具权威的IT研究(yánjiū)与顾问咨询公司3清华大学出版社共四十页14.1.1 云计算的定义和技术(jìshù)特点像盲人摸象一样，大家给出各自(gèzì)对云计算的理解。4清华大学出版社共四十页数据中心的虚拟化资源(zīyuán)形成互联网云将桌面计算(jìsuàn)移到面向服务的平台上，来使用数据中心的服务器集群和大数据库。5清华大学出版社共四十页6清华大学出版社共四十页云服务(fúwù)与水、电服务(fúwù)

云服务水电服务不同点形式丰富（多样化和多粒度）统一功用个性化（价值因受众而异）通用损耗信息不会损失一次性使用用户角色双重（消费者、提供者）单一（消费者）传送双向，不受时空限制单向、受地理位置限制控制全局无规划，无统一调度全局有规划，有统一调度经济性边际成本递减边际成本递增相同点资源在网上，而不在用户端。依靠传输网络送达。按需付费，计量服务云服务与水、电等服务相比，有着更丰富、复杂的内涵。边际成本，指为增加(zēngjiā)一单位的产量随即而产生的成本增加(zēngjiā)量。7清华大学出版社共四十页14.1.1 云计算(jìsuàn)的定义和技术特点从技术背景上看，云计算是并行计算（ParallelComputing）、分布式计算（DistributedComputing）和网格计算（GridComputing）的发展，或者说，是这些计算科学概念的商业实现。云计算也是虚拟化（Virtualization）、效用计算（UtilityComputing）、将基础设施作为服务(fúwù)IaaS（InfrastructureasaService）、将平台作为服务(fúwù)PaaS（PlatformasaService）、将软件作为服务(fúwù)SaaS（SoftwareasaService）等概念混合演进并跃升的结果。8清华大学出版社共四十页云计算(jìsuàn)的特点从研究现状上看，云计算具有以下特点。超大规模。云具有相当规模，谷歌云计算已经拥有100多万台服务器，亚马逊、IBM、微软、雅虎等公司的云，均拥有几十万台服务器。云能赋予用户前所未有的计算能力。虚拟化。云计算支持用户在任意位置，使用各种终端获取服务。所请求的资源来自云，而不是固定的有形的实体。应用，在云中某处运行，但实际上，用户无需了解应用运行的具体位置，只需要一台笔记本或PDA，就可以通过网络服务，来获取各种能力超强的服务。高可靠性。云使用了数据多副本容错、计算节点同构可互换等措施，来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。通用性。云计算不针对特定的应用，在云的支撑下，可以构造(gòuzào)出千变万化的应用，同一片云，可以同时支撑不同的应用运行。高可扩展性。云的规模，可以动态伸缩，满足应用和用户规模增长的需要。按需服务。云是一个庞大的资源池，用户按需购买，像自来水、电、煤气那样计费。极其廉价。云的特殊容错措施，使得能采用极其廉价的节点来构成云；云的自动化管理，使数据中心管理成本大幅降低；云的公用性和通用性，使资源的利用率大幅提升；云设施，可以建在电力资源丰富的地区，从而大幅降低能源成本。云具有前所未有的性能价格比。9清华大学出版社共四十页现代(xiàndài)软件系统中的计算机效用愿景推动分布式系统及其应用(yìngyòng)的主要计算范式10清华大学出版社共四十页14.1.2 云计算(jìsuàn)的分类1. 根据部署模式(móshì)分类公共云私有云混合云云将用户解放了出来，使他们专注于应用程序的开发，并通过将作业外包，给云提供商创造了商业价值。11清华大学出版社共四十页公共(gōnggòng)云、私有云、混合云的功能结构云将用户解放了出来(chūlái)，使他们专注于应用程序的开发，并通过将作业外包，给云提供商创造了商业价值。12清华大学出版社共四十页2. 根据(gēnjù)服务类型分类基础架构即服务(fúwù)（InfrastructureasaService，IaaS）平台即服务（PlatformasaService，PaaS）软件即服务（SoftwareasaService，SaaS）13清华大学出版社共四十页云计算的层次(céngcì)分类这些云层逐层建立，没有(méiyǒu)云平台就没有(méiyǒu)SaaS应用。如果计算和存储的基础设施不存在，就不能构建云平台。14清华大学出版社共四十页14.1.3 云计算(jìsuàn)与网格计算(jìsuàn)网格计算云计算异构资源同构资源不同机构单一机构虚拟组织虚拟机科学计算为主数据处理为主高性能计算机服务器/PC紧耦合问题松耦合问题免费按量计费标准化尚无标准科学界商业社会从历史上看，网格计算(jìsuàn)的出现过程与云计算(jìsuàn)很相似，并且也都是有关计算(jìsuàn)和网络的概念。15清华大学出版社共四十页14.2 云计算服务(fúwù)模型14.2.1 云设计目标将计算从桌面移向数据中心：计算处理、存储、软件发布从桌面和本地服务器移向互联网数据中心。服务配置和云效益(xiàoyì)：提供商供应云服务，必须与消费者和终端用户签署服务等级协议（SLA）。服务在计算、存储、功耗方面必须有效，定价基于按需付费的策略。性能可扩展性：云平台、软件和基础设施服务，必须能够根据用户数的增长而相应扩容。数据隐私保护：能否信任数据中心处理个人数据和记录，云要成为可信服务必须妥善解决该问题。高质量的云服务：云计算的服务质量必须标准化，才能使得云可以在多个提供商之间进行互操作。新标准和接口：主要解决与数据中心、云提供商相关的数据锁定问题。16清华大学出版社共四十页14.2.2 基础设施(jīchǔshèshī)层IaaSIaaS层是云计算的基础。通过大规模数据中心，IaaS层为上层云计算服务提供海量硬件资源。同时，在虚拟化技术的支持下，IaaS层可以实现硬件资源的按需配置，并提供个性化的基础设施服务。根据上面两点，IaaS层主要研究2个问题：如何建设(jiànshè)低成本、高效能的数据中心？如何拓展虚拟化技术，实现弹性、可靠的基础设施服务？17清华大学出版社共四十页数据中心设计(shèjì)和互联网络谷歌在Dalles数据中心鸟瞰图18清华大学出版社共四十页胖树互联拓扑(tuòpū)结构该结构可以由5k2/4个k口交换机连接k3/4个计算节点。胖树互联网络，由边缘层、汇聚(huìjù)层、核心层构成。其中，边缘层和汇聚(huìjù)层，可分解为若干Pod，每一个Pod含k台交换机，分属边界层和汇聚层（每层k/2台交换机）。19清华大学出版社共四十页虚拟机的配置(pèizhì)

虚拟化开发，主要关注高可用性、备份服务、负载均衡、客户群的深入增长，并具备以下特点。资源分享。通过虚拟机封装用户各自的运行环境，来有效实现多用户分享数据中心资源。资源定制。利用虚拟化技术，用户配置私有服务器，指定所需的CPU数量、内存容量、磁盘空间，来实现资源的按需分配。细粒度资源管理。把物理服务器拆分成若干虚拟机，可以提高服务器的资源利用率，减少浪费，而且(érqiě)有助于服务器的负载均衡和节能。20清华大学出版社共四十页计算、存储和网络(wǎngluò)云中的虚拟化资源提供商亚马逊的Web服务（AWS）微软Azure谷歌应用引擎（GAE）使用服务器虚拟集群的计算云X86指令集、Xen虚拟机，资源弹性要求必须通过虚拟集群或者第三方组织提供可扩展性由声明性描述所分配的公共语言运行时虚拟机预定义的Python应用程序框架处理器，自动伸缩，与Web应用不一致的服务器故障切换虚拟存储的存储云快存储模型（EBS）和放大的键/对象存储（SimpleDB），从EBS到全自动（SimpleDB，S3）的自动伸缩SQL数据服务（SQL服务器的限制视图），Azure存储服务MegaStore/BigTable网络云服务声明性的IP拓扑，隐藏的放置细节，安全组限制通信，可用性区域隔离网络故障，应用的弹性IP用户声明性描述的自主性或者应用程序组件的角色固定拓扑引入三层Web应用结构，伸缩是自动且程序员不可见当前，虚拟机安装在云计算平台上，主要(zhǔyào)用于托管第三方程序。同时，虚拟机提供了灵活的运行时服务，用户获得解放，就不需要再担心系统环境。21清华大学出版社共四十页典型(diǎnxíng)的IaaS层平台亚马逊弹性计算云（ElasticComputingCloud，EC2），为公众提供基于Xen虚拟机的基础设施服务。EC2的虚拟机，分为标准型、高内存型、高性能型等多种类型，每一种类型的价格各不相同。Eucalyptus，是加州大学圣巴巴拉分校开发(kāifā)的开源IaaS平台。和EC2等商业IaaS平台不同，Eucalyptus的设计目标，是为了研究、发展云计算的基础平台。22清华大学出版社共四十页14.2.3 平台(píngtái)层PaaS和应用程序层SaaSPaaS层作为3层核心服务的中间层既为上层应用提供简单(jiǎndān)、可靠的分布式编程框架，又需要基于底层的资源信息调度作业、管理数据，并屏蔽底层系统的复杂性。随着数据密集型应用的普及和数据规模的日益庞大PaaS层需要具备存储、处理海量数据的能力。23清华大学出版社共四十页大数据(shùjù)的4V特性24清华大学出版社共四十页并行(bìngxíng)和分布式编程模型和工具集模型描述特征MapReduce在大数据集或Web搜索操作上用于大集群的可扩展的Web编程模型Map函数生成一个中间的键值对集合；Reduce函数用相同的键合并所有的中间值Hadoop一个用于在商业应用中海量数据集上编写和运行大型用户应用程序的软件库提供给用户商业集群的易于访问的可扩展的、经济的、有效的、可靠的工具Dryad主要用来构建支持有向无环图类型数据流的并行程序根据程序的要求进行任务调度，自动在各个节点上完成任务MapReduce、Hadoop和微软的Dryad是最近提出的三种(sānzhǒnɡ)并行和分布式编程模型25清华大学出版社共四十页PaaS的公有(gōngyǒu)云云名称语言及开发工具提供商支持的编程模型目标应用和存储选项谷歌应用引擎Python、Java和基于Eclipse的IDEMapReduce、按需Web编程Web应用和BigTable存储S的FApex、基于Eclipse的IDE和基于Web的向导工作流、Excel类的公式和按需Web编程商业应用，如CRM微软Azure.Net、微软VisualStudio的Azure工具不受限的模型企业和Web应用亚马逊的弹性MapReduce.Net、独立SDKMapReduce数据处理和电子商务这些平台(píngtái)，都用海量数据处理技术搭建，各具代表性26清华大学出版社共四十页14.3 云计算(jìsuàn)主要平台14.3.1 谷歌应用引擎（GAE）1998年，斯坦福大学的博士生LarryPage和SergreyBrin，在车库里创建了谷歌公司，其网页分级（PageRank）技术，大大增加了搜索结果的相关性。2001年，谷歌已经索引了近30亿个网页。2004年，谷歌发布Gmail，提供闻所未闻的1GB免费邮箱，大家都还以为(yǐwéi)是个愚人节玩笑。紧接着，谷歌又发布了GoogleMap、被称为“上帝之眼”的GoogleEarth，等等。目前，，已成为全世界访问量最高的站点。27清华大学出版社共四十页GFS体系结构GFS将整个系统的节点分为(fēnwéi)三类角色：Client（客户端）、Master（主服务器）和ChunkServer（数据块服务器）。28清华大学出版社共四十页MapReduce框架(kuànɡjià)

MapReduce通过“Map（映射）”、“Reduce（化简）”这两个简单的概念来构成运算基本单元，用户(yònghù)只需提供自己的Map函数和Reduce函数，就能并行处理海量数据。

29清华大学出版社共四十页分布式结构化数据表Bigtable30清华大学出版社共四十页14.3.2 亚马逊的弹性(tánxìng)计算云2002年开放了电子商务平台亚马逊的Web服务（AmazonWebService，AWS），迄今为止，包括四种主要服务：简单存储(cúnchǔ)服务（SimpleStorageService，S3）、弹性计算云（ElasticComputeCloud，EC2）、简单队列服务（SimpleQueuingService，SQS）、简单的数据库管理（SimpleDB）。31清华大学出版社共四十页14.3.3 IBM的蓝云系统(xìtǒng)“蓝云”基于(jīyú)IBMAlmaden研究中心的云基础架构，采用了Xen和PowerVM虚拟化软件、Linux操作系统映像、Hadoop软件。32清华大学出版社共四十页14.3.4 微软的Azure该平台(píngtái)支持传统的微软编程语言和开发平台如C#、.NET平台，还支持PHP、Python、Java等多种非微软编程语言和架构。33清华大学出版社共四十页14.4 新兴云软件(ruǎnjiàn)环境Eucalyptus具备以下特性：提供和亚马逊弹性计算云兼容(jiānrónɡ)的接口（包括WWW服务、查询接口两方面）。使用简单对象访问协议（SimpleObjectAccessProtocol，SOAP）和网络服务安全（WS-security）内部通信。提供用于系统管理和计费的“云管理员”基本工具。可以在一个云内，为多个集群配置私有内部网络地址。34清华大学出版社共四十页EUCALYPTUS组件(zǔjiàn)

一个由加州大学圣巴巴拉分校研发的在集群或工作站上，实现(shíxiàn)云计算的开源基础设施服务框架

35清华大学出版社共四十页Nimbus芝加哥大学研究的云基础设施(jīchǔshèshī)开源工具集。36清华大学出版社共四十页RESERVOIR无障碍资源(zīyuán)和服务虚拟化，是IBM与17个欧洲组织正合作开展的云计算项目。旨在提供运用虚拟化技术的面向服务的在线平台，其中按透明方式提供、管理资源和服务，并以按需方式实现低开销和高服务质量。37清华大学出版社共四十页14.5 云计算的机遇(jīyù)与挑战亚当·斯密