云计算架构比较和关键技术讲解复习课程

云计算(jìsuàn)

——CloudComputing第一页，共82页。近年来，云计算已成为IT业界最热门的研究(yánjiū)方向之一。几乎所有的主流IT厂商都在谈论云计算，既包括硬件厂商（IBM、英特尔等）、软件开发商（微软等），也包括互联网服务提供商（Google、Amazon等）和电信运营商（AT&T、中国移动等）。这些企业覆盖了整个IT产业链，构建了一个完整的云计算生态系统。引言(yǐnyán)2第二页，共82页。

引言(yǐnyán)什么(shénme)是云计算?3第三页，共82页。云计算的最终目标是将计算、服务和应用作为一种公共设施提供给公众，使人们能够像使用水、电、煤气和电话那样(nàyàng)使用计算机资源。引言(yǐnyán)4第四页，共82页。云计算概述云计算体系结构云计算关键技术云计算研究(yánjiū)现状云计算机遇与挑战云计算与分布式处理目录(mùlù)5第五页，共82页。1.1云计算(jìsuàn)起源2006年3月，亚马逊推出弹性计算云服务。2006年8月9日，Google首席执行官埃里克·施密特在搜索引擎大会首次提出“云计算”的概念。2007年10月，Google与IBM开始在美国大学校园，推广云计算的计划，这项计划希望能降低分散式计算技术在学术研究方面的成本，并为这些大学提供相关(xiāngguān)的软硬件设备及技术支持。2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台，每个数据中心配置1400个至4000个处理器。2008年8月3日，戴尔正在申请“云计算”商标。戴尔在申请文件中称，云计算是“在数据中心和巨型规模的计算环境中，为他人提供计算机硬件定制制造”。6第六页，共82页。1.1云计算(jìsuàn)起源2010年3月5日，Novell与云安全(ānquán)联盟（CSA）共同宣布一项供应商中立计划，名为“可信任云计算计划”。2010年7月，美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划。微软在2010年10月表示支持OpenStack与WindowsServer2008R2的集成；而Ubuntu已把OpenStack加至11.04版本中。2011年2月，思科系统正式加入OpenStack，重点研制OpenStack的网络服务。7第七页，共82页。1.1云计算(jìsuàn)起源（续）计算资源的演进(yǎnjìn)：从集中到分步再到集中计算(jìsuàn)时代网络时代云时代8第八页，共82页。1.2云计算(jìsuàn)发展路线9第九页，共82页。1.2.1并行计算10ParallelComputing是指同时使用多种计算资源解决计算问题(wèntí)的过程，其主要目的是快速解决大型且复杂的计算问题(wèntí)特点：把计算任务分派给系统内的多个运算单元并行机的多CPU和多存储器并行计算问题(wèntí)的特征将工作分离成离散部分，有助于同时解决随时并及时地执行多个程序指令（多CPU同时运行）多计算资源下解决问题(wèntí)的耗时要少于单个计算资源下的耗时第十页，共82页。1.2.2分布式计算11DistributedComputing所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。特点：把计算任务分派(fēnpài)给网络中的多台独立的机器优点：稀有资源可以共享通过分布式计算可以在多台计算机上平衡计算负载可以把程序放在最适合运行它的计算机上第十一页，共82页。1.2.3云计算(jìsuàn)12硬件(yìnɡjiàn)为中心软件(ruǎnjiàn)为中心服务为中心PCC/S云计算数据在云端：不怕丢失，不必备份；软件在云端：不必下载自动升级；无所不在的计算：在任何时间、任何地点、任何设备登录即可进行计算服务；强大的计算：空间大，快速度。第十二页，共82页。1.2.3云计算(jìsuàn)（续）13电：从购买发电设备到购买电力(diànlì)服务信息(xìnxī)：从购买软硬件到购买信息(xìnxī)服务发电机现代发电厂计算软件存储信息服务提供商有了云计算，广大用户无需自购软、硬件，甚至无需知道是谁提供的服务，只关注自己真正需要什么样的资源或者得到什么样的服务。第十三页，共82页。1.3云计算(jìsuàn)定义维基百科：是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。Google：将所有的计算和应用放置在“云”中，设备终端不需要安装任何东西，通过互联网络来分享程序和服务。微软：认为(rènwéi)云计算的应是“云+端”的计算，将计算资源分散分布，部分资源放在云上，部分资源放在用户终端，部分资源放在合作伙伴处，最终由用户选择合理的计算资源分布。美国国家标准与技术实验室：云计算是一个提供便捷的通过互联网访问一个可定制的IT资源共享池能力的按使用量付费模式（IT资源包括网络，服务器，存储，应用，服务），这些资源能够快速部署，并只需要很少的管理工作或很少的与服务供应商的交互；到目前为止，云计算还没有一个(yīɡè)统一的定义。云计算领先者如Google、Microsoft等IT厂商，依据各自的利益和各自不同的研究视角都给出了对云计算的定义和理解。14第十四页，共82页。1.3云计算(jìsuàn)定义(续)狭义(xiáyì)云计算狭义(xiáyì)云计算是指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。广义云计算广义云计算是指服务的交付和使用模式，通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其它的服务。15第十五页，共82页。1.4云计算(jìsuàn)基本特征16第十六页，共82页。1.5云计算(jìsuàn)优势17按需服务快速服务通用性高可靠性极其廉价超大规模虚拟化高扩展性第十七页，共82页。1.6云计算(jìsuàn)模式18软件即服务（SaaS）——SoftwareasaService平台(píngtái)即服务（PaaS）——PlatformasaService基础设施既服务（IaaS）——InfrastructureasaService第十八页，共82页。1.6云计算(jìsuàn)模式(续)19服务(fúwù)多租赁化平台(píngtái)可伸缩化资源虚拟化云计算的服务体系第十九页，共82页。1.6.1软件(ruǎnjiàn)即服务（SaaS）20提供(tígōng)给客户的服务是服务商运行在云计算基础设施上的应用程序，可以在各种客户端设备上通过瘦客户端界面访问，比如浏览器。客户不需要管理或控制的底层的云计算基础设施，包括网络、服务器、操作系统、存储，甚至单个应用程序的功能.如：GoogleAPPS、SoftWare+Services；第二十页，共82页。1.6.2平台(píngtái)即服务（PaaS）21提供给客户的是将客户用供应商提供的开发语言和工具（例如Java，python,.Net）创建的应用程序部署(bùshǔ)到云计算基础设施上去。客户不需要管理或控制的底层的云基础设施，包括网络、服务器、操作系统、存储，但客户能控制部署(bùshǔ)的应用程序，也可能控制应用的托管环境配置。如：IBMITFactory、GoogleAPPEngine、F；第二十一页，共82页。SaaS&PaaS示例(shìlì)22定制(dìnɡzhì)化硬件，集装箱式数据中心云计算(jìsuàn)IT平台Google应用托管的第三方应用Google云计算IT架构搜索广告VoIP/IM地图服务照片分享邮件视频分享办公套件日历GFSBigTableMapReduce集群管理－SaaS&PaaS第二十二页，共82页。1.6.3基础设施(jīchǔshèshī)即服务（IaaS）23提供给客户的是出租处理能力、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。客户不管理或控制(kòngzhì)的底层的云计算基础设施，但能控制(kòngzhì)操作系统、储存、部署的应用，也有可能选择网络组件（例如，防火墙，负载均衡器）。如：AmazoEc2、IBMBlueCloud、SunGrid；第二十三页，共82页。实例(shílì)24战略：利用内部IT资源平台，对外提供(tígōng)IT公用服务作为云计算的推动者，Amazon历经2年多时间形成了基本成熟的云计算服务商业模式计算，存储，带宽等IT基础设施出租Web基础能力，电子商务基本能力作为服务出租按需使用，按需付费网上支付客户互联网应用开发者企业（纳斯达克，纽约时报）面向全球(quánqiú)，目前主要集中在北美和欧洲，09年已经启动中国市场拓展合作伙伴IBM、Microsoft、Oracle、Google、AppleAmazonTechnologyPlatform（计算，存储，网络）EC2S3SimpleDBSQSDevPayFPSMTAlexaSearchFWSOther…计算支付订单履行搜索人工智能AWS–AmazonWebServices存储数据库消息队列计费其他设施能力进展到08年11月为止，已经有45万开发者基于AmazonAWS开发Web应用存储对象数从07年4月份50亿增长到08年10月份的290亿，在一年半的时间里增长6倍08年云服务收入约4亿美金第二十四页，共82页。25第二十五页，共82页。1.7云计算部署(bùshǔ)模式26类型特征公共云（1）一般由大型IT服务商利用自己的云基础架构，向所有用户提供云计算服务；（2）用户可以通过互联网访问公共云中的服务，但不能长期独占；（3）云端提供的服务具有通用性；私有云（1）组织机构自己搭建云基础架构，面向组织机构内部或特定客户；（2）组织机构对自己的云计算平台具有自主权，可以根据自己的需求进行自主创新；（3）云端提供的服务具有针对性；混合云（1）组织机构同时混合使用公共云和私有云；（2）组织机构对私有云具有自主权，但对公共云没有自主权；（3）组织机构可以在公共云提供的通用服务基础上，运用自己的私有云，开发具有针对自己需求的混合云。第二十六页，共82页。部署层次(céngcì)的类型27平台即服务PlatformasaServiceHighVolumeTransactionsSoftwareasaService服务器网络存储Metering监控计费服务云开发云企业云多租赁安全中间件协作业务服务CRM/ERP/HR定制服务数据中心虚拟化，动态供应服务管理J2EEOn-ramps服务封装Ajax开发On-ramps开发工具与其他云的互操作软件即服务基础设施即服务1.7云计算部署(bùshǔ)模式（续）第二十七页，共82页。1.8云计算推动(tuīdòng)力量28虚拟化技术(jìshù)宽带的普及互联网应用增加服务器浏览器开发技术(jìshù)的进步IT基础设施利用率低下数据中心能耗问题突出IT管理与维护成本提高….第二十八页，共82页。云计算的基本原理是通过使计算分布在大量的计算服务器上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要(xūyào)的应用上，根据需求访问计算机和存储系统。2云计算(jìsuàn)体系结构29第二十九页，共82页。2.1云计算(jìsuàn)体系逻辑结构用户互动

界面系统管理资源工具服务器服务目录监控和测定30云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过Web浏览器可以注册、登录及定制服务、配置和管理用户。打开应用实例与本地操作桌面系统一样。服务目录：云用户在取得相应的权限后可以选择或定制的服务列表(lièbiǎo)，也可以对已有服务进行退订的操作，在云用户端界面生产相应的图标或列表(lièbiǎo)的形式展示相关服务。第三十页，共82页。2.1云计算体系(tǐxì)逻辑结构(续)31管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证(rènzhèng)、登录进行管理，并可以管理可用计算资源和服务，接收用户发送的请求，根据用户请求转发相应的程序，调度资源智能地部署资源和应用，动态部署、配置和回收资源。监控：监控和计量云系统资源的使用情况，以便做出迅速反应，完成借点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给合适的用户。服务器集群：虚拟的或物理的服务器，由管理系统来管理负载、高并发量的用户请求处理、大运算量计算处理、用户Web应用服务，云数据存储时采用相应数据切割算法，采用并行方式上传和下载大容量数据。用户可以通过云用户端从列表中选择所需的服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。第三十一页，共82页。2.2云计算技术系统结构32第三十二页，共82页。33云计算技术体系结构分为4层：物理资源层、资源池层、管理中间件层和SOA构建层（如上图）；物理资源层包括计算机、存储器、网络设施、数据库和软件等；资源池层是将大量相同类型的资源构成同构或接近(jiējìn)同构的资源池，如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低能耗。2.2云计算技术系统结构（续）第三十三页，共82页。34管理中间件负责(fùzé)对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务；SOA构建层将云计算能力封装成标准的WebServices服务，并纳入到SOA体系进行管理和使用，包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。2.2云计算技术系统结构（续）第三十四页，共82页。35计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视统计；任务管理负责执行用户或应用提交(tíjiāo)的任务，包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等；2.2云计算技术系统结构（续）第三十五页，共82页。36用户管理是实现云计算商业模式的一个必不可少的环节(huánjié)，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。2.2云计算技术系统结构（续）第三十六页，共82页。2.3云计算(jìsuàn)和下一代IT架构37商业流程协作消息服务/资源管理&安全集成(jíchénɡ)&开发用户界面(yònɡhùjièmiàn)&接口虚拟应用虚拟信息虚拟存储虚拟进程底层结构虚拟强化:减少费用&提高质量虚拟化:简单接入,

提高终端用户管理

&使用最大化自动化:提高速度和预言性

&减少劳动力

第三十七页，共82页。38协作消息商业(shāngyè)流程服务/资源管理&安全集成(jíchénɡ)&开发虚拟(xūnǐ)信息虚拟存储虚拟进程底层结构虚拟虚拟应用云计算应用(“Software-as-a-Service”)用户界面&接口2.3云计算和下一代IT架构(续)第三十八页，共82页。39Integration,Event

&Deployment协作(xiézuò)消息服务/资源管理&安全集成(jíchénɡ)&开发云平台(“Platform-as-a-Service”)商业(shāngyè)流程用户界面&接口虚拟应用虚拟信息底层结构虚拟虚拟存储虚拟进程2.3云计算和下一代IT架构(续)第三十九页，共82页。40协作(xiézuò)/消息商业(shāngyè)流程服务/资源管理&安全用户界面(yònɡhùjièmiàn)&接口虚拟应用虚拟信息虚拟存储虚拟进程底层结构虚拟集成&开发云协作2.3云计算和下一代IT架构(续)第四十页，共82页。41商业(shāngyè)流程协作(xiézuò)/消息服务(fúwù)/资源管理&安全集成&开发用户界面&接口虚拟应用虚拟信息虚拟存储云存储云服务器/处理虚拟进程底层结构虚拟2.3云计算和下一代IT架构(续)第四十一页，共82页。42服务(fúwù)/资源管理&安全服务/资源管理&安全协作(xiézuò)/消息商业(shāngyè)流程用户界面&接口虚拟应用VirtualizedInformation底层结构虚拟虚拟进程虚拟存储集成&开发虚拟信息基础设施(“Infrastructure-as-a-Service”)软件(“Software-as-a-Service”)2.3云计算和下一代IT架构(续)第四十二页，共82页。43云计算还应包含On-Premisesoftware(e.g.,电子设备)Service/ResourceMgmt&Security服务/资源管理&安全协作(xiézuò)/消息商业(shāngyè)流程用户界面(yònɡhùjièmiàn)&接口

虚拟应用VirtualizedInformation

底层虚拟结构虚拟进程虚拟储存集成&开发

虚拟信息Serv432.3云计算和下一代IT架构(续)第四十三页，共82页。虚拟化技术分布式技术数据中心构建(ɡòujiàn)技术云计算安全技术云计算编程模型…….3.云计算(jìsuàn)关键技术44云计算的目标是以低成本的方式提供高可靠、高可用、规模可伸缩(shēnsuō)的个性化服务。为了达到这个目标，需要数据中心管理、虚拟化、海量数据处理、资源管理与调度、QoS保证、安全与隐私保护等若干关键技术加以支持。第四十四页，共82页。云计算与相关技术(jìshù)的联系45第四十五页，共82页。46云计算(jìsuàn)体系架构第四十六页，共82页。IaaS层是云计算的基础。通过建立大规模数据中心，IaaS层为上层云计算服务提供海量硬件资源。同时，在虚拟化技术的支持下，IaaS层可以实现硬件资源的按需配置，并提供个性化的基础设施服务。主要研究问题：如何建设低成本、高效能的数据中心；如何拓展虚拟化技术，实现弹性(tánxìng)、可靠的基础设施服务。3.1IaaS层关键技术47第四十七页，共82页。数据中心相关(xiāngguān)技术48消除异构化系统之间障碍(zhàngài)快速动态部署资源和服务云计算平台对资源的独立，兼容各类应用平台计算，存储，网络资源的智能化统一管理面向业务(yèwù)的资源的定制化部署虚拟化技术与绿色科技结合，降低能耗先进、高效、智能的系统散热方案智能化的环境控制和能效管理系统虚拟化提高资源利用率，简化管理维度，节省维护成本支持异构资源兼容，实现业务的平滑升级下一代数据中心的特征基于云计算的基础架构虚拟化智能绿色低成本第四十八页，共82页。 与传统(chuántǒng)的企业数据中心不同，云计算数据中心具有以下特点 自治性。 规模经济。 规模可扩展。研究重点：①数据中心网络设计 以低成本、高带宽、高可靠的方式连接大规模计算节点；②数据中心节能技术数据中心相关(xiāngguān)技术49第四十九页，共82页。虚拟化技术(jìshù)50虚拟化（Virtualization）是将计算机物理资源如服务器、网络、内存及存储等予以抽象、转换后呈现出来，使用户可以采用比原本的组态(zǔtài)更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态(zǔtài)所限制。包括：软件虚拟化硬件辅助虚拟化操作系统级虚拟化第五十页，共82页。虚拟化技术(jìshù)51HPInternetWANLANCRMERPSCM非虚拟化环境难以(nányǐ)管理无灵活性投资回报率低众多分立的采购VHCIVPNVirtualServerVirtualStorageCRMERPSCM虚拟化环境可管理性高灵活的基础架构良好的投资回报统一的采购第五十一页，共82页。虚拟化技术(jìshù)52数据中心为云计算提供了大规模资源。为了(wèile)实现基础设施服务的按需分配，需要研究虚拟化技术。虚拟化是IaaS层的重要组成部分，也是云计算的最重要特点。虚拟化技术可以提供以下特点。资源分享资源定制细粒度资源管理为了(wèile)进一步满足云计算弹性服务和数据中心自治性的需求，需要研究虚拟机快速部署和在线迁移技术。虚拟机快速部署技术虚拟机在线迁移技术第五十二页，共82页。PaaS层作为3层核心服务的中间层，既为上层应用提供简单、可靠的分布式编程框架，又需要基于底层的资源信息调度作业、管理数据(shùjù)，屏蔽底层系统的复杂性。随着数据(shùjù)密集型应用的普及和数据(shùjù)规模的日益庞大，PaaS层需要具备存储与处理海量数据(shùjù)的能力。主要技术包括：海量数据(shùjù)存储与处理技术资源管理与调度技术3.2PaaS层关键技术53第五十三页，共82页。海量数据存储技术 云计算环境中的海量数据存储既要考虑(kǎolǜ)存储系统的I/O性能，又要保证文件系统的可靠性与可用性。如为Google设计了GFS（googlefilesystem），GFS对其应用环境做了6点假设：①系统架设在容易失效的硬件平台上；②需要存储大量GB级甚至TB级的大文件；③文件读操作以大规模的流式读和小规模的随机读构成；④文件具有一次写多次读的特点；⑤系统需要有效处理并发的追加写操作；⑥高持续I/O带宽比低传输延迟重要。海量数据存储与处理(chǔlǐ)技术54第五十四页，共82页。海量数据(shùjù)存储与处理技术55GFS执行(zhíxíng)流程第五十五页，共82页。数据处理技术与编程模型 PaaS平台不仅要实现海量数据的存储，而且要提供面向(miànxiànɡ)海量数据的分析处理功能。由于PaaS平台部署于大规模硬件资源上，所以海量数据的分析处理需要抽象处理过程，并要求其编程模型支持规模扩展，屏蔽底层细节并且简单有效。如：MapReduce是Google提出的并行程序编程模型海量数据存储(cúnchǔ)与处理技术56MapReduce的执行(zhíxíng)过程第五十六页，共82页。副本(fùběn)管理技术任务调度算法任务容错机制资源管理与调度(diàodù)技术57第五十七页，共82页。为了(wèile)使云计算核心服务高效、安全地运行，需要服务管理技术加以支持。服务管理技术包括:QoS保证机制安全与隐私保护技术资源监控技术服务计费模型….3.3服务(fúwù)管理层58第五十八页，共82页。4.云计算(jìsuàn)研究现状59IBM：蓝云计划 谷歌：GoogleAppEngine亚马逊：弹性(tánxìng)计算云ElasticComputeCloud(EC2) 微软：WindowsAzureplatform 惠普、英特尔、雅虎：OpenCirrus云计算测试平台Salesforce：软件服务提供商… 第五十九页，共82页。4.云计算(jìsuàn)研究现状60第六十页，共82页。4.云计算(jìsuàn)研究现状61Google101计划:卡耐基梅隆大学，MIT，斯坦福大学，加利福尼亚大学伯克利分校，马里兰大学和华盛顿大学。学生们学习如何调整自己的程序来适应Google计算机，并雄心勃勃地设计开发网络规模的项目这些数据可能用于开发新药品和疗法、制造新的清洁能源、甚至预测地震(dìzhèn)2007年一年就增加了4个新的数据中心，平均每个成本达6亿美元第六十一页，共82页。4.云计算研究(yánjiū)现状62Google第六十二页，共82页。4.云计算(jìsuàn)研究现状63GoogleAppEngine第六十三页，共82页。4.云计算研究(yánjiū)现状64GoogleAppEngineGoogleAppEngine提供运行和开发的基础平台，允许开发人员编写网络应用，上传至AppEngine部署运行支持Java和Python两种开发语言AppEngine应用程序易于构建(ɡòujiàn)和维护，并可根据访问量和数据存储需要，进行伸缩。将应用程序隔离在它自己的安全可靠环境中，该环境与网络服务器的硬件、操作系统和物理位置无关第六十四页，共82页。4.云计算(jìsuàn)研究现状65云计算时代的分布(fēnbù)并行编程技术分布(fēnbù)并行数据处理技术GoogleMapReduceHadoopMapReduce

分布(fēnbù)式文件系统GoogleFileSystemHadoopDistributedFileSystem分布(fēnbù)式数据库GoogleBigTableHadoopHBase云计算(jìsuàn)的分布并行编程技术第六十五页，共82页。4.云计算(jìsuàn)研究现状66分布(fēnbù)并行数据处理MapReduce用于大规模数据(shùjù)并行处理数据(shùjù)量大（超过1TB）在成百上千个CPU上并行处理用户只需实现下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist第六十六页，共82页。分布(fēnbù)并行数据处理（续）67MapReduce架构(jiàɡòu)第六十七页，共82页。4.MapReduce实现(shíxiàn)原理68第六十八页，共82页。分布式文件系统69GoogleFileSystem（GFS）需求：在廉价、相对不可靠的计算机上对巨量数据进行冗余存储。为什么不用现有的文件系统？--Google面对特殊(tèshū)的挑战文件较大，每个都在100M以上，通常为几个GB文件通常需要频繁的追加用流方式读取高吞吐量低延迟针对上述问题，GFS在文件系统性能和可伸缩性方面进行了优化设计。第六十九页，共82页。Google文件系统(GFS)70Google

48%MSN

19%Yahoo

33%客户端客户端客户端互为备份(bèifèn)管理(guǎnlǐ)节点GFS主节点(jiédiǎn)GFS主节点C0C1C2C5数据结点1C0C2C5数据结点NC1C5数据结点2…客户端客户端客户端客户端客户端客户端C1第七十页，共82页。分布式文件系统（续）71GFS的设计理念文件用块存储每个块固定为64MB通过冗余解决可靠性问题每个块同时拷贝(kǎobèi)在3个块服务器上主服务器负责协调访问和保存元数据简单化的集中管理定制化的API无数据缓存较大文件块和流式读取使得缓存效果不佳第七十一页，共82页。分布式数据库系统72GoogleBigTable为了处理Google内部大量的格式化以及半格式化数据而构建的大规模分布式数据库管理系统特点面向大规模处理、容错性强的自我(zìwǒ)管理系统，拥有TB级的内存和PB级的存储能力，每秒可以处理数百万的读写操作能够保存记录的不同时段的版本构建于GFS和MapReduce基础之上第七十二页，共82页。分布式数据库系统（续）73