云计算与相关计算模型的关系

第十章云计算本章内容10.1云计算的概念10.2云计算的体系结构10.3云计算的发展历史和应用现状10.4云计算与相关计算模型的关系10.5云计算核心技术简介10.6云计算的安全问题10.7云计算应用实例10.8云计算的研究和发展方向为什么使用云计算？Ⅰ随着新一代计算机网络技术以及通信技术的不断进步，特别是Web2.0技术体系的发展，包括协同计算、数字媒体点播、基于3G的移动计算在内的各种应用已经把日常生活与互联网紧密相连。这些应用在带给人们便捷的同时也使得互联网数据量高速增长，不断增加的数据量与互联网数据处理能力相对不足的矛盾日益明显。为什么使用云计算？Ⅱ用户往往通过购置更多数量和更高性能的终端设备或者服务器来增加计算和存储能力，但是不断提高的技术更新速度和似乎无限扩充的外界需求让用户在购置昂贵设备的过程中倍感压力。与此同时，互联网上却存在着大量处于闲置状态的计算设备和存储资源，如果能够将这些相对闲置的资源聚合起来统一调度提供服务，使得用户能够根据需要进行租用，则可以大大提高其利用率，减少人们对自有硬件资源的依赖，让更多的人从中受益。云计算正在让期待成为现实……10.1云计算的概念什么是“云”从软件体系结构的角度看“云”云计算名称的来源云计算的概念云存储与云服务云计算的特点云计算服务的分类什么是“云”可以简单地把“云”看作是一组通过因特网公开访问的计算机和服务器，这些硬件一般在一个或多个数据中心里进行联合运营，这些机器通常能够运行各种操作系统。从软件体系结构的角度看“云”云将网络上分布的计算、存储、服务构件、网络软件等资源集中起来，以基于资源虚拟化的方式，为用户提供方便快捷的服务，这些资源就是云计算体系结构中的构件；同时云计算还可以实现计算与存储的分布式与并行处理，一系列的网络管理构件和服务管理构件就是它的连接件；而其约束应该根据欲实现的商业计算目标和安全管理形式来决定。云计算名称的来源云计算(CloudComputing)源自亚马逊公司(Amazon)的EC2(ElasticComputeCloud)产品和Google-IBM分布式计算项目，这两个项目直接使用了“CloudComputing”的概念。云计算的概念云计算至今为止也没有统一的、公认的定义，包括IBM在内的许多公司、大学、组织和专家学者从不同的角度给出了多种不同的解释。本书给出一个简单的理解:“如果把云视为一个虚拟化的存储与计算资源池，那么云计算就是该资源池基于网络平台为用户提供的数据存储和网络计算服务。”云存储与云服务云计算的一个主要用途就是存储数据。采用云存储的过程中，数据被存放到多个第三方服务器的存储介质上，而不是像传统的数据存储那样存放在企业的专用服务器上。云动态地管理可用的存储空间，实际的存储位置可能每天甚至每分钟都不尽相同。尽管位置是虚拟的，用户所看到的数据位置每天都处于相对于观察者的固定状态。云存储与云服务通过云计算提供的任何基于web的应用或服务都被称为云服务，它包括从日历和客户关系管理到文字处理和演示的任何应用。云服务具有诸多优势，如果用户的电脑崩溃，它既不会影响到宿主应用程序，也不会影响到已经打开的文件，并且个人用户可以从任何地点，在任何时间，使用任何智能终端访问他的应用程序和文件。云计算的特点(优点)规模超大，数据存储和处理能力强虚拟化技术高可靠性和数据容错安全性通用性动态可扩展性按需服务易于使用规模可变，易于定制可以改进操作系统之间的兼容性廉价，高性价比，对用户透明云计算的特点(缺点)企业级安全性问题，数据隐私保密云计算宿主离线所产生的事故迫使用户适应新的操作环境、更改使用习惯网络带宽的局限性问题云计算服务的分类将基础设施作为服务(InfrastructureasaService，IaaS)将云计算软件开发平台作为服务(PlatformasaService，PaaS)将软件作为服务(SoftwareasaService，SaaS)除此之外，基于云的数据作为服务(DataasaService，DaaS)，通信作为服务(CommunicationasaService，CaaS)等形式的更多的XaaS也在根据用户的需要不断应运而生云计算服务的分类10.2云计算的体系结构云计算直到目前也没有一个统一的体系结构给出一个综合并改进的云计算体系结构的分层：物理资源层、虚拟化资源池层、服务管理中间件层和SOA构建层10.2云计算的体系结构物理资源层包括服务器集群、存储设备、网络设备、数据库和应用软件。虚拟化资源池是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。虚拟化资源池层主要用于管理和集成实体计算资源、存储资源以及部分软件资源，例如，为服务器安排合理的搭建结构，为物理存储介质选择合适的安装空间。10.2云计算的体系结构服务管理中间件层负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务。SOA构建层将云服务封装成标准的WebServices服务，并纳入到SOA体系进行管理和使用，包括服务接口、服务注册、服务查找、服务访问和服务工作流等。服务管理中间件层和虚拟化资源层是云计算技术的核心部分。10.3云计算的发展历史和应用现状云计算的发展历史云计算的应用现状云计算的发展历史早期计算中心所采用的体系结构是客户机/服务器模式。无须经由服务器，将一台计算机连接到另一台计算机的计算模型导致了对等(P2P)计算的发展。P2P计算模型的推广导致了分布式计算的发展。在分布式计算发展过程中，为了提高团队之间的协作能力，让多个用户一起从事同一个基于Web的项目，协同计算应运而生。随着并行计算、网格计算和效用计算的不断发展以及硬件处理能力的提高，以大型计算中心为骨架的云计算时代终于到来。云计算的应用现状包括Google、亚马逊、IBM、微软和Yahoo、Salesforce、Facebook、YouTube等许多公司都提供种类繁多的云计算服务。10.4云计算与相关计算模型的关系分布式计算是指在一个松散或严格约束条件下使用一个硬件和软件系统处理任务，这个系统包含多个处理器单元或存储单元，多个并发的过程以及多个程序。云计算属于分布式计算的范畴。并行计算(ParallelComputing)就是在并行计算机上所做的计算，它与常说的高性能计算、超级计算属于同一范畴。云计算也是并行计算的一种形式。10.4云计算与相关计算模型的关系效用计算是一种基于计算资源使用量付费的商业模式，用户从计算资源供应商获取和使用计算资源并基于实际使用的资源付费，在效用计算中，计算资源被看作是一种计量服务。云计算以服务的形式提供计算、存储、应用资源的想法和效用计算类似，可以把效用计算作为云计算的服务形式之一进行看待。10.4云计算与相关计算模型的关系网格计算是在网络基础之上，基于SOA，使用互操作、按需集成等技术手段，将分散在不同地理位置的资源虚拟成为一个有机整体，实现计算、存储、数据、软件和设备等资源的共享，从而大幅提高资源的利用率，使用户获得前所未有的计算和信息能力。云计算是网格计算的一种应用于商业的简化实用版。10.5云计算核心技术简介以Google云为例简单介绍云计算的核心技术以及各自的工作原理分布式海量数据存储技术分布式海量数据编程模型分布式海量数据的锁服务分布式海量数据管理技术分布式海量数据存储技术Google云计算技术包括四个部分：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统Bigtable等。

Google文件系统(GoogleFileSystem，GFS)是一个大型的分布式文件系统，它为Google云计算提供海量存储，处于所有核心技术的最底层分布式海量数据存储技术分布式海量数据编程模型作为一种处理海量数据的并行编程规范，MapReduce由Google的设计师JefferyDean首先提出，它是一种抽象模型，将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使程序员在进行并行编程时不必关心这些问题，用于简化分布式系统编程。它也是一个软件架构，用于TB级大规模数据的并行运算。分布式海量数据编程模型MapReduce的核心思想，就是“任务的分解与结果的汇总”。Map是展开并进行映射的意思，指将一个任务分解成为多个任务；Reduce可以翻译成聚集之后化简，指将分解后得到的多任务处理的结果汇总起来，得出最后的分析结果。MapReduce通过Map和Reduce这样两个简单的概念来构成运算基本单元，Map负责将数据打散，而Reduce则负责对数据进行聚集，用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。MapReduce工作原理MapReduce执行流程图分布式海量数据的锁服务Chubby是Google设计的提供粗粒度锁服务的一个文件系统，它基于松耦合分布式系统，解决了分布的一致性问题。通过使用Chubby的锁服务，用户可以确保数据操作过程中的一致性。Chubby系统本质上就是一个分布式的、存储大量小文件的文件系统，它所有的操作都是在文件的基础上完成的。分布式海量数据管理技术由于需要存储种类繁多的数据以及服务请求数量庞大，一些Google应用程序需要处理大量的格式化以及半格式化数据，并且通常的商用数据库根本无法满足Google海量数据的存储需求，Google自行设计了Bigtable。Bigtable是Google开发的基于GFS和Chubby的分布式存储系统，Google的很多数据，包括Web索引、卫星图像数据等在内的海量结构化和半结构化数据，都存储在其中。Bigtable的存储逻辑可以表示为一个三元组的形式：(Row：string，Column：string，Time：int64)云计算核心技术的开源实现Hadoop是开源组织Apache的子项目，由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。Hadoop的MapReduce也采用Master/Slave结构，其中的Master叫做JobTracker，Slave叫做TaskTracker。Hadoop的HDFS是GoogleGFS的开源版本，一个拥有高度容错能力的分布式文件系统，它能够提供高吞量的数据访问，适合存储PB级的海量大文件。

HDFS结构图EucalyptusEucalyptus是AmazonEC2的一个开源实现，它是一款实现云计算弹性需求环境的软件，通过其在集群或者服务器组上所进行的部署，并且使用常用Linux工具和基本的基于Web的服务，与商业服务接口兼容。Eucalyptus的结构包括：InstanceManager、GroupManager和CloudManager三部分，采用层状结构。10.6云计算的安全问题云计算服务存在着七大潜在安全风险：(1)优先访问权风险(2)数据处所风险(3)隔离数据风险(4)权限管理风险(5)支持调查风险(6)长期发展风险(7)恢复数据风险云计算的安全保障方案企业必须考虑：数据保护、身份管理、安全漏洞管理、物理和个人安全、应用程序安全、事件响应和隐私措施。用户还需要服务级协议，具体规定一些详细的责任条款和承担的后果，公司必须理解法规问题的影响、服务提供商处理数据安全的方式以及公司的知识产权是否存在风险。企业用户在使用云计算服务提供商的服务之前，还应当做好相应的评估工作。云计算中数据存储和应用处理都是在企业网络之外操作。在云计算安全领域建立学术或者企业联盟以及协会，不断进行云计算安全问题的研究并制定相应的行业标准。10.7云计算应用实例云计算服务不仅被很多企业逐步采用，同时也已经广泛地应用在日常生活中。普通用户可以使用云中提供的包括在线文字处理、演示文稿、编辑共享数字照片、基于Web的数据库、日历和日程安排在内的多种协作软件。10.8云计算的研究和发展方向云计算技术上的研究主要包括两个方面：如何