IT新技术云计算

1、云计算2006年谷歌推出了 “ Google 101计划，并正式提出“云”的概念和理论. 随后亚马逊、微软、惠普、雅虎、英特尔、旧M等公司都宣布了自己的“云计划”， 云安全、云存储、内部云、外部云、公共云、私有云一堆让人眼花缭乱的概 念在不断冲击人们的神经.那么到底什么是云计算技术呢？一、云计算思想的产生传统模式下，企业建立一套IT系统不仅仅需要购买硬件等基础设施，还有 买软件的许可证，需要专门的人员维护。当企业的规模扩大时还要继续升级各种 软硬件设施以满足需要。对于企业来说，计算机等硬件和软件本身并非他们真正 需要的，它们仅仅是完成工作、提供效率的工具而已。对个人来说，我们想正常 使用电脑需

2、要安装许多软件，而许多软件是收费的，对不经常使用该软件的用户 来说购买是非常不划算的。可不可以有这样的服务，能够提供我们需要的所有软 件供我们租用？这样我们只需要在用时付少量“租金”即可租用”到这些软件服务，为我们节省许多购买软硬件的资金。我们每天都要用电，但我们不是每家自备发电机，它由电厂集中提供；我们 每天都要用自来水，但我们不是每家都有井，它由自来水厂集中提供。这种模式 极大得节约了资源，方便了我们的生活.面对计算机给我们带来的困扰，我们可不 可以像使用水和电一样使用计算机资源？这些想法最终导致了云计算的产生。云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众，使人们能够像使

3、用水、电、煤气和电话那样使用计算机资源。云计算模式即为电厂集中供电模式。 在云计算模式下，用户的计算机会变的 十分简单，或许不大的内存、不需要硬盘和各种应用软件，就可以满足我们的需 求，因为用户的计算机除了通过浏览器给“云”发送指令和接受数据外基本上什 么都不用做便可以使用云服务提供商的计算资源、存储空间和各种应用软件.这就像连接“显示器” 和“主机”的电线无限长，从而可以把显示器放在使用者 的面前，而主机放在远到甚至计算机使用者本人也不知道的地方。云计算把连接“显示器”和“主机”的电线变成了网络， 把“主机”变成云服务提供商的服务 器集群。在云计算环境下，用户的使用观念也会发生彻底的变化：

4、从“购买产品”到 “购买服务转变，因为他们直接面对的将不再是复杂的硬件和软件，而是最终的 服务。用户不需要拥有看得见、摸得着的硬件设施 ，也不需要为机房支付设备供电、空调制冷、专人维护等等费用，并且不需要等待漫长的供货周期、项目实施 等冗长的时间，只需要把钱汇给云计算服务提供商，我们将会马上得到需要的服 务。二、云计算的概念云计算是由分布式计算、并行处理、网格计算发展来的，是一种新兴的商业 计算模型。目前，对于云计算的认识在不断的发展变化， 云计算仍没有普遍一致 的定义。中国网格计算、云计算专家刘鹏给出如下定义：“云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计

5、算力、存储 空间和各种软件服务”。狭义的云计算指的是厂商通过分布式计算和虚拟化技术搭建数据中心或超 级计算机，以免费或按需租用方式向技术开发者或者企业客户提供数据存储、分析以及科学计算等服务，比如亚马逊数据仓库出租生意.广义的云计算指厂商通过建立网络服务器集群，向各种不同类型客户提供在 线软件服务、硬件租借、数据存储、计算分析等不同类型的服务.广义的云计算包括了更多的厂商和服务类型，例如国内用友、金蝶等管理软件厂商推出的在线 财务软件，谷歌发布的Google应用程序套装等.通俗的理解是，云计算的“云”就是存在于互联网上的服务器集群上的资 源，它包括硬件资源（服务器、存储器、CPU等）和软件资源

6、（如应用软件、集成开发环境等），本地计算机只需要通过互联网发送一个需求信息，远端就会有 成千上万的计算机为你提供需要的资源并将结果返回到本地计算机，这样，本地计算机几乎不需要做什么，所有的处理都在云计算提供商所提供的计算机群来完 成。三、云计算发展历史1983年，太阳电脑提出“网络是电脑”，2006年3月，亚马逊推出弹性计算 云（Elastic Compute Cloud ; EC2 服务。2006年8月9日，Google首席执行官埃里克施密特在搜索引擎大会，首次 提出“云计算”的概念。Google “云端计算”源于 Google工程师克里斯托 弗比希利亚所做的“ Google 101 ”项目

7、。2007年10月，Google与IBM开始在美国大学校园，包括卡内基美隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等，推广云计算的计划，这项计划希望能降低分布式计算技术在学术研究方面的成本，并为这些大学提供相关的软硬件设备及技术支持（包括数百台个人电脑及 BladeCenter与System x服务器，这些计算平台将提供1600个处理器，支持 包括Linux、Xen Hadoop等开放源代码平台）。而学生则可以通过网络开发 各项以大规模计算为基础的研究计划.2008年1月30日，Google宣布在台湾启动“云计算学术计划”，将与台湾 台大、交大等学校合作，将这种先进的大规

8、模、快速计算技术推广到校园.2008年2月1日，IBM宣布将在中国无锡太湖新城科教产业园为中国的软件 公司建立全球第一个云计算中心。2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡 的联合研究计划，推出云计算研究测试床，推进云计算。该计划要与合作伙 伴创建6个数据中心作为研究试验平台，每个数据中心配置1400个至4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄 大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、英特尔研究院、惠 普实验室和雅虎。2008年8月3日，美国专利商标局网站信息显示，戴尔正在申请“云计算” 商标，此举旨在加强对这一

9、未来可能重塑技术.2010年3月5日，Novell与云安全联盟（CSA共同宣布一项供应商中立计 戈名为“可信任云计算计划”。2010年7月，美国国家航空航天局和包括 Rackspace、AMD Intel、戴尔等 支持厂商共同宣布“ OpenStack”开放源代码计划，微软在 2010年10月表 示支持 OpenStack 与 Windows Server 2008 R2 的集成；而 Ubuntu 已把 OpenStack 力口至 11.04 版本中。2011年2月，思科系统正式加入 OpenStack,重点研制OpenStack的网络服 务。2011年10月20日，“盛大云”宣布旗下产品 M

10、ongoIC正式对外开放，这是 中国第一家专业的Monod云服务，也是全球第一家支持数据库恢复的 Monod 云服务。四、云计算的核心技术1、编程模型MapReducel Google开发的java、Python、C+魏程模型，它是一种简化的 分布式编程模型和高效的任务调度模型， 用于大规模数据集（大于 仃B）的并行运 算。严格的编程模型使云计算环境下的编程十分简单。 MapReduce奠式的思想是将要执行的问题分解成 Map映射）和Reduce（化简）的方式，先通过Map程序将 数据切割成不相关的区块，分配（调度）给大量计算机处理 ，达到分布式运算的 效果，再通过Reduce程序将结果汇整输

11、出。2、海量数据分布存储技术云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用 分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统 中广泛使用的数据存储系统是 Google的GF用口 Hadoop团队开发的GFS勺开源实 现 HDFSGFS即Google文件系统（Google File System）,是一个可扩展的分布式文 件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的.它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总 体性能较高的服务.

12、一个GFS#群由一个主服务器（master）和大量的块服务器（chunkserver ） 构成，并被许多客户（Client ）访问。主服务器存储文件系统所以的元数据， 包括 名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿块的垃圾收集，块服务器间的块迁移。 主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令 并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在 系统中保存3个以上备份。客户与主服务器的交换只限于对元数据的操作， 所有数据方面的通信都直接 和块服务器联系，这大大提高

13、了系统的效率，防止主服务器负载过重。3、海量数据管理技术云计算需要对分布的、海量的数据进行处理、分析 ，因此，数据管理技术必 需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT（BigTable ）数据管理技术和Hadoop团队开发的开源数据管理模块 HBaseBT是建立在 GFS Scheduler, Lock Service和 MapReduc吃上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理， 形成一个巨大的表格，用来分布存储大规模结构化数据。Google的很多项目使用BT来存储数据，包括网页查询，Google earth和Go

14、ogle金融。这些应用程序对BT的要求各不相同：数据大小(从 URLSJ网页到 卫星图象)不同，反应速度不同(从后端的大批处理到实时数据服务).对于不同的要求，BT都成功的提供了灵活高效的服务.4、虚拟化技术通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式 虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟 化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。5、云计算平台管理技术云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，如何有效的管理这些服务器，保证整个系

15、统提供不间断的服务是巨大 的挑战。云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务 部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模 系统的可靠运营.五、云计算的主要服务形式和典型应用云计算还处于萌芽阶段，有庞杂的各类厂商在开发不同的云计算服务。云计算的表现形式多种多样，简单的云计算在人们日常网络应用中随处可见，比如腾讯QQ空间提供的在线制作 Flash图片,Google的搜索服务，Google Doc, Google Apps等。目前，云计算的主要服务形式有：Sass (Software as a Service ),PaaS(Platform as

16、a Service) , IaaS (Infrastructure as a Service).1、软件即服务(Saas)Saas服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通过互联网向厂商订购应用软件服务，服务提供商根据客户所定软件的数量、时间 的长短等因素收费，并且通过浏览器向客户提供软件的模式。这种服务模式的优 势是，由服务提供商维护和管理软件、提供软件运行的硬件设施，用户只需拥有能 够接入互联网的终端，即可随时随地使用软件。这种模式下，客户不再像传统模 式那样花费大量资金在硬件、软件、维护人员，只需要支出一定的租赁服务费用， 通过互联网就可以享受到相应的硬件、软件和维护服

17、务，这是网络应用最具效益 的营运模式.对于小型企业来说，Saas是采用先进技术的最好途径。以企业管理软件来说，Saas模式的云计算ERP可以让客户根据并发用户数 量、所用功能多少、数据存储容量、使用时间长短等因素不同组合按需支付服务 费用，既不用支付软件许可费用，也不需要支付采购服务器等硬件设备费用，也不需要支付购买操作系统、数据库等平台软件费用，也不用承担软件项目定制、开发、实施费用，也不需要承担IT维护部门开支费用，实际上云计算ERPE是继承 了开源ER琬许可费用只收服务费用的最重要特征，是突出了服务的ERP产品。目前,S是提供这类服务最有名的公司，Google

18、Doc, Google Apps和Zoho Office 也属于这类服务。2、平台即服务(PaaS把开发环境作为一种服务来提供。这是一种分布式平台服务，厂商提供开发 环境、服务器平台、硬件资源等服务给客户，用户在其平台基础上定制开发自己 的应用程序并通过其服务器和互联网传递给其他客户。PaaS能够给企业或个人提供研发的中间件平台，提供应用程序开发、数据库、应用服务器、试验、托管 及应用服务。Google App Engine , Salesforce 的 平台，八百客的 800APPH PaaS的代表产品。以 Google App Engine为例，它是一个由python应用服务器 群、Big

19、Table数据库及GFS组成的平台，为开发者提供一体化主机服务器及可 自动升级的在线应用服务。用户编写应用程序并在Google的基础架构上运行就可以为互联网用户提供服务，Google提供应用运行及维护所需要的平台资源。3、基础设施服务(IaaS )IaaS即把厂商的由多台服务器组成的“云端”基础设施，作为计量服务提 供给客户。它将内存、I/O设备、存储和计算能力整合成一个虚拟的资源池为整 个业界提供所需要的存储资源和虚拟化服务器等服务。这是一种托管型硬件方 式，用户付费使用厂商的硬件设施。例如Amazon Web服务(AW$, IBM的BlueCloud等均是将基础设施作为服务出租。IaaS的

20、优点是用户只需低成本硬件，按需租用相应计算能力和存储能力， 大大降低了用户在硬件上的开销。目前，以 Google云应用最具代表性，例如 GoogleDocs、GoogleApps、 Googlesites , 云计算应用平台 GoogleApp Engine。GoogleDocs是最早推出的云计算应用，是软件即服务思想的典型应用。它是类似于微软的Office的在线办公软件。它可以处理和搜索文档、表格、幻灯 片,并可以通过网络和他人分享并设置共享权限。Google文件是基于网络的文字处理和电子表格程序，可提高协作效率，多名用户可同时在线更改文件，并可 以实时看到其他成员所作的编辑。用户只需一台接

21、入互联网的计算机和可以使用 Google文件的标准浏览器即可在线创建和管理、实时协作、权限管理、共享、 搜索能力、修订历史记录功能，以及随时随地访问的特性，大大提高了文件操作 的共享和协同能力。GoogleAPP加Google企业应用套件，使用户能够处理日渐庞大的信息量， 随时随地保持联系，并可与其他同事、客户和合作伙伴进行沟通、共享和协作。 它集成了 Cmail、GoogleTalk、Google日历、GoogleDocs、以及最新推出的云应 用GoogleSites、API扩展以及一些管理功能，包含了通信、协作与发布、管理服 务三方面的应用，并且拥有着云计算的特性，能够更好的实现随时随地协

22、同共享。 另外，它还具有低成本的优势和托管的便捷，用户无需自己维护和管理搭建的协 同共享平台。Googlesites是Google最新发布的云计算应用， 作为GoogleApps的一个组 件出现.它是一个侧重于团队协作的网站编辑工具，可利用它创建一个各种类型 的团队网站，通过Googlesites可将所有类型的文件包括文档、视频、相片、日 历及附件等与好友、团队或整个网络分享.Google AppEngine是Google在2008年4月发布的一个平台，使用户可以 在Google的基础架构上开发和部署运行自己的应用程序。目前，GoogleAppEngine支持Python语言和Java语言，每

23、个Google AppEngine应用程序可 以使用达到500MB勺持久存储空间及可支持每月500万综合浏览量的带宽和CPU. 并且，Google AppEngine应用程序易于构建和维护，并可根据用户的访问量和 数据存储需要的增长轻松扩展。同时，用户的应用可以和 Google的应用程序集 成，Google AppEngine还推出了软件开发套件（SDK）包括可以在用户本地计 算机上模拟所有Google AppEngine服务的网络服务器应用程序.六、云计算应用云应用和云服务的种类还在不断丰富，相对于PaaS和IaaS, Saas是目前用户主要使用的云计算应用。调研发现 ，未来考虑部署云计算的

24、用户中，租用邮 箱、在线杀毒、网络会议、在线 Office（协同办公）是用户考虑最多的应用，可 见用户对于云计算的期望值还不高，在Saas细分应用中工具型Saas产品在种类、 使用比例上都远高于管理型 Saas产品.在线CRMF口在线进销存管理（含ERP/SCM 是使用最多的两种管理型 Saas应用。值得注意的是，用户使用云计算产品和服 务比较单一，一般只有1到2种应用。 通过增长率、用户部署优先级、市场规模来看，企业邮箱、在线杀毒、 网络会议应是用户近期部署在线应用的重点。 统一通信、在线存储、在线CRM企业协作平台也存在较大的提升空间。 在线ERR在线财务、在线开发等其他细分市场还有待进一

25、步孕育 七、典型云计算平台介绍由于云计算技术范围很广，目前各大IT企业提供的云计算服务主要根据自 身的特点和优势实现的。下面以 Google、旧M、Amazon为例说明：1、Google的云计算 平台Google的硬件条件优势，大型的数据中心、搜索引擎的支柱应用，促进 Google云计算迅速发展.Google的云计算主要由 MapReduce Google文件系统 (GFS)、BigTable组成。它们是Google内部云计算基础平台的3个主要部分。 Google还构建其他云计算组件，包括一个领域描述语言以及分布式锁服务机制 等。Sawzall是一种建立在MapReduce8础上的领域语言，专

26、门用于大规模的信 息处理。Chubby是一个高可用、分布式数据锁服务，当有机器失效时，Chubby使用Paxos算法来保证备份。2、IBM “蓝云”计算平台“蓝云”解决方案是由 旧M云计算中心开发的企业级云计算解决方案。 该解 决方案可以对企业现有的基础架构进行整合，通过虚拟化技术和自动化技术，构建企业自己拥有的云计算中心，实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，从而帮助企业 实现云计算理念。IBM的“蓝云”计算平台是一套软、硬件平台，将 Internet上使用的技术 扩展到企业平台上，使得数据中心使用类似于互联网的计算环境.“蓝云”

27、大量使 用了旧M先进的大规模计算技术，结合了旧M自身的软、硬件系统以及服务技术， 支持开放标准与开放源代码软件.“蓝云”基于旧M Almaden研究中心的云基础架构，采用了 Xen和PowerVM 虚拟化软件，Linux操作系统映像以及 Hadoop软件(Google File System 以及 MapReduce的开源实现).IBM已经正式推出了基于 x86芯片服务器系统的“蓝 云”产品.下图为旧M “蓝云”的架构：一组理软件件及服务 XHPowerfoxW*fi妁息娱图表71旧M蓝云由图可知“蓝云”计算平台由一个数据中心、旧M Tivoli部署管理软件(Tivoli provisioni

28、ng manager) IBM Tivoli 监控软件(旧M Tivoli monitoring )、IBM WebSphere应用服务器、EM DB2数据库以及一些开源信息处 理软件和开源虚拟化软件共同组成.“蓝云”的硬件平台环境与一般的 x86服务 器集群类似，使用刀片的方式增加了计算密度.“蓝云”软件平台的特点主要体 现在虚拟机以及对于大规模数据处理软件 Apache Hadoop的使用上。“蓝云”平台的一个重要特点是虚拟化技术的使用。虚拟化的方式在“蓝云”中有两个级别，一个是在硬件级别上实现虚拟化，另一个是通过开源软件实现 虚拟化。硬件级别的虚拟化可以使用 旧M p系列的服务器，获得硬

29、件的逻辑分区 LPAR (logic partition )。逻辑分区的CPU 资源能够通过 IBM EnterpriseWorkload Manager来管理。通过这样的方式加上在实际使用过程中的资源分配 策略，能够使相应的资源合理地分配到各个逻辑分区。p系列系统的逻辑分区最小粒度是1/10颗CPU Xen则是软件级别上的虚拟化，能够在Linux基础上运行 另外一个操作系统。虚拟机是一类特殊的软件，能够完全模拟硬件的执行，运行不经修改的完整 的操作系统，保留了一整套运行环境语义。通过虚拟机的方式，在云计算平台上 获得如下一些优点：1)云计算的管理平台能够动态地将计算平台定位到所需要的物理节点

30、上 ， 而无须停止运行在虚拟机平台上的应用程序，进程迁移方法更加灵活；2)降低集群电能消耗，将多个负载不是很重的虚拟机计算节点合并到同一 个物理节点上，从而能够关闭空闲的物理节点，达到节约电能的目的；3)通过虚拟机在不同物理节点上的动态迁移，迁移了整体的虚拟运行环境，能够获得与应用无关的负载平衡性能；4)在部署上也更加灵活，即可以将虚拟机直接部署到物理计算平台上，而虚 拟机本身就包括了相应的操作系统以及相应的应用软件，直接将大量的虚拟机映 像复制到对应的物理节点即可。“蓝云”计算平台中的存储体系结构：“蓝云”计算平台中的存储体系结构 对于云计算来说也是非常重要的，无论是操作系统、服务程序还是用

31、户的应用程 序的数据都保存在存储体系中.“蓝云”存储体系结构包含类似于 Google File System的集群文件系统以及基于块设备方式的存储区域网络 SAN在设计云计算平台的存储体系结构时，可以通过组合多个磁盘获得很大的磁 盘容量。相对于磁盘的容量，在云计算平台的存储中，磁盘数据的读写速度是一 个更重要的问题，因此需要对多个磁盘进行同时读写.这种方式要求将数据分配 到多个节点的多个磁盘当中。为达到这一目的，存储技术有两个选择，一个是使 用类似于Google File System 的集群文件系统，另一个是基于块设备的存储区 域网络SAN系统。在蓝云计算平台上，SAN系统与分布式文件系统(

32、例如Google File System) 并不是相互对立的系统，SAN供的是块设备接口，需要在此基础上构建文件系 统，才能被上层应用程序所使用.而Google File System 正好是一个分布式的文 件系统，能够建立在SAN之上.两者都能提供可靠性、可扩展性，至于如何使用 还需要由建立在云计算平台上的应用程序来决定，这也体现了计算平台与上层应 用相互协作的关系。3、Amazon勺弹性计算云Amazo屈互联网上最大的在线零售商，为了应付交易高峰，不得不购买了大 量的服务器。而在大多数时间，大部分服务器闲置，造成了很大的浪费，为了合 理利用空闲服务器，Amazon立了自己的云计算平台弹性计

33、算云 EC2 (elastic compute cloud )，并且是第一家将基础设施作为服务出售的公司.Amazon将自己的弹性计算云建立在公司内部的大规模集群计算的平台上， 而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例 (instance)。用户使用实例的付费方式由用户的使用状况决定，即用户只需为 自己所使用的计算平台实例付费，运行结束后计费也随之结束.这里所说的实例即是由用户控制的完整的虚拟机运行实例。 通过这种方式，用户不必自己去建立 云计算平台，节省了设备与维护费用。弹性计算云用户使用客户端通过 SOAP over HTTPSft、议与Amazon性计算 云内

34、部的实例进行交互。这样，弹性计算云平台为用户或者开发人员提供了一个 虚拟的集群环境，在用户具有充分灵活性的同时，也减轻了云计算平台拥有者(Amazon司)的管理负担。弹性计算云中的每一个实例代表一个运行中的虚拟 机。用户对自己的虚拟机具有完整的访问权限，包括针对此虚拟机操作系统的管理员权限。虚拟机的收费也是根据虚拟机的能力进行费用计算的，实际上，用户租用的是虚拟的计算能力。总而言之，Amazon通过提供弹性计算云，满足了小规模软件开发人员对集 群系统的需求，减小了维护负担。其收费方式相对简单明了：用户使用多少资源， 只需为这一部分资源付费即可。为了弹性计算云的进一步发展，Amazon规划了如何在云计算平台基础上帮 助用户开发网络化的应用程序。除了网络零售业务以外，云计算也是Amazon司 的核心价值所在。Amazon将来会在弹性计算云的平台基础上添加更多的网络服 务组件模块，为用户构建云计算应用提供方便。云计算发展趋势特点八、未来云计算的发展趋势1、云计算定价模式简单化定价模式的简单化有助于云计算的进一步