google云计算培训ppt课件

1、Google云计算原理研讨院 黄兵2Reached Our Goal 认识云计算了解 了解Google 云计算实现原理难点 可独立在GAE上开发云效力运用 了解TMF？以及云未来的开展了解3初识云计算1Google云计算原理2GAE平台部署云效力3提 纲TM Forum 对云态度44We have a dream 愿景:计算机的效力才干可以作为一种商品进展流通。就像水、电、 气一样取之方便，费用低廉5云计算定义图：云计算概念模型云计算:是一种商业计算模型。它将计算义务分布在大量计算机构成的资源池上，使各种运用系统可以按需获取计算力、存储空间和信息效力。6云计算效力的部署方式IaaS根底设备云(

2、代表：亚马逊的S3)SaaS 运用云代表：salesforce的CRMPaaS 平台云代表：Google App Engine私有云(数据中心 内部网)公共云(效力提供商 互连网)混合云(公共和私有)X as a service7Amazon 云计算1GB数据存放1个月为0.15美圆每个效力器租用1小时为0.1美圆Amazon的IaaS云计算思绪弹性计算云EC2为企业提供计算效力简单存储效力S3为企业提供存储效力Amazon的IaaS运用实例亚马逊IaaS运用案例：纽约时报运用亚马逊云计算效力效果：在不到 24个小时的时间里处置了1100万篇文章费用：累计破费240美圆利用本人效力器时间：数月

3、时间费用：多得多的费用 89Google 云计算Google的云计算思绪“阅读器操作系统10隶属PaaS的Google云计算Google 云计算PaaS属于部署在云端的运用执行环境支持Python和Java两种言语经过SDK调用Google的各种效力。如Google Map、Mail等用户可快速、廉价可免费运用限定的流量和存储地部署本人开发的运用如创新的网站、游戏等在下一章将详细引见GAE详细的运用11Google 云计算SaaS隶属SaaS的Google云计算提供在线“Word、Excel、PPT提供在线MAP提供在线日历管理Google云计算平台技术架构分布式文件系统 Google Dis

4、tributed File System并行数据处置 MapReduce分布式锁 Chubby构造化数据表 BigTableGoogle如何实现云？Google云计算运用MapReduceBigTableGFSChubby12将在第二章详细引见13云计算概念入门Q&A14初识云计算1Google云计算原理2GAE平台部署云效力3提 纲TM Forum 对云态度4Google云计算原理1234Google云计算运用MapReduceBigTableGFSChubby151617Google设计GFS的动机Google需求支持海量数据存储的文件系统购置昂贵的分布式文件系统与硬件？能否可以在一堆廉价

5、且不可靠的硬件上构建可靠的分布式文件系统？GFS的设计思绪GFS设计原那么：机器失效不能视为异常景象能应付对大型/超大型文件处置支持大量用户同时访问GFS组成GFS集群:一个的Master和多个ChunkServer块效力器组成，并可以多客户端Client访问GFS设计要点每个文件拆成假设干个64M文件块Chunk组成每个Chunk都由Master根据其创建时间指定Chunk Handle(64)文件块被保管在ChunkServer本地磁盘中缺省情况下3处热备份Chunk块文件18GFS的设计思绪Client职责包含文件系统的API担任和ChunkServer和Master通讯代表运用程序进展

6、读写操作Client和Master进展元数据操作Client和ChunkServer进展文件数据操作Master职责担任管理一切文件系统的元数据元数据包括：命名空间，访问控制信息，文件到Chunk的映射信息等ChunkServer职责担任存储chunk文件块Linux文件系统1920GFS的系统架构运用程序GFS客户端GFS数据块效力器Linux文件系统GFS主效力器文件命名空间Chunk 2EEE/foo/barGFS数据块效力器Linux文件系统标注：数据信息控制信息文件名，chunk索引向数据块效力器发指令前往数据块效力器形状Chunk句柄和位置Chunk句柄，查找数据前往数据信息21Q

7、uestion文件为什么要被化分为64M？Answer：1、可以减少Client和Master的之间的交互，减少Master的负载2、客户端可以在一个Chunk中完成许多操作3、可以减少TCP三次握手时间。另外这些信息都要被Master管理的缺陷：有冗余GFS架构的特点采用中心效力器方式Master可以方便地添加Chunk ServerMaster掌握系统内一切Chunk Server的情况，方便进展负载平衡不存在元数据的一致性问题不缓存数据必要性：Client流式读取，非反复读写可行性：Master本身管理多个Server，很复杂22GFS容错机制Chunk Server容错每个Chunk有

8、多个存储副本默许是3个，分别存储于不通的效力器上每个Chunk又划分为假设干Block64KB，每个Block对应一个32bit的校验码，保证数据正确假设某个Block错误，那么转移至其他Chunk副本Master容错三类元数据：命名空间目录构造、Chunk与文件名的映射以及Chunk副本的位置信息前两类经过日志提供容错，Chunk副本信息存储于其它Chunk Server。这样Master出现缺点时可恢复2324GFS实验效果图ChunkServer 1ChunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1路由器 2Ma

9、sterGoogle云计算原理1234Google云计算运用MapReduceBigTableGFSChubby25并行计算根底摩尔定律正在走向终结单芯片包容晶体管的添加，对制造工艺提出要求CPU制造18nm技术，电子走漏问题CPU主频已达3GHz时代，难以继续提高散热问题发热太大，且难以驱散功耗太高26未来的开展：多核27什么样的问题适宜并行计算？斐波那契序列(Fibonacci) X计算URL访问频率 YMap函数处置日志中web页面恳求的记录，然后输出(URL,1)。Reduce函数把一样URL的value值都累加起来，产生(URL,记录总数)结果。Google为什么需求MapReduc

10、e？Google拥有海量数据，并且需求快速处置什么是MapReduce？28Google MapReduce架构设计师Jeffrey DeanJeffery Dean设计一个新的笼统模型， 使我们只需执行的简单计算，而将并行化、容错、数据分布、负载平衡的等杂乱细节放在一个库里，使并行编程时不用关怀它们这就是MapReduce29Google 并行运算编程模型MapMapMap 原始数据 1原始数据 2原始数据 MReduceReduce结果 1结果R1、在编程的时候，开发者需求编写两个函数：Map:(in_key, in_value)Reduce:(key,value 1,value 2)2、

11、Map操作产生结果是对3、在Map，Reduce之间系统把同一Key归类到Reduce3、Reduce操作对一样的Key进展归类处置30MapReduce实现机制用户程序(1)分割(1)分割(1)分割Master任务机M任务机M任务机M任务机R任务机R(2)指派Map(2)指派Reduce片段1片段4片段3片段2输入文件(3)Read(4)本地存储输出文件0输出文件1Map形状本地存储Reduce形状输出文件(5)远程读取(6)写入文件31单词计数 表达M/R算法Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tec

12、h 输入数据：MapReduceHello ：3Bye ：3China ：2World ：2Si-tech：2Map(Key,Value) for( each world world in value)collect(world,1);Reduce(Key,Value ) int count = 0; for(each w in value)count +; collect(Key,count);1)32Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech 2)分割分割分割Hello World Bye Worl

13、dHello China Bye ChinaHello Si-tech Bye Si-tech 3)Hello World Bye WorldHello China Bye ChinaHello Si-tech Bye Si-tech MAPMAPMAP334)Map输出FoldFold输出34Fold输出5)Reduce输出ReduceMapReduce容错机制背景MapReduce设计初衷：由普通PC组成的集群来处置超大规模的数据，所以有效的错误保证机制是必不可少Worker容错Master周期性的ping每个workerMaster容错Master周期性的将Master的数据构造的写入磁

14、盘，即检查点checkpointMaster数据构造包括: Map和Reduce义务的形状空闲、任务中或完成)，以及Worker机器(非空闲义务的机器)的标识。35Google云计算原理1234Google云计算运用MapReduceBigTableGFSChubby3637初识云计算1Google云计算原理2GAE平台部署云效力3提 纲TM Forum 对云态度438GAE部署云运用Q&A课堂演示部署过程39初识云计算1Google云计算原理2GAE平台部署云效力3提 纲TM Forum 对云态度4TMF See Sunny Future In Tele Management World American40TMF简介1、电信管实际坛 ,非盈利联盟组织2、会员遍及全球195个国家，700+会员公司3、我们公司也是会员，享用会员权益4、业界广泛运用的eTOM,SID,TAM,NGOSSTMF最新框架技术终了语云计算的出现并快速开展，一方面是虚