云计算和大数据基础知识教学教材

*1:100.云计算〔一〕大数据(BigData)定义： 海量数据或巨量数据其规模巨大到无法用当前主流的计算机系统在合理时间内猎取、存储、治理、处理并提取以帮助使用者决策。特点： 1〕数据量大〔Volume〕 PB级以上长快源及格式多样

快速 〔Velocity〕 -----数据增多样 〔Variety〕 -----数据来价值密度低 〔Value 〕 从大量、多样数据中提取价值的体系构造简单度 〔Complexity〕 -----对数据处理和分析的难度大大数据与云计算的关系：无法用单台的计算机进展处理，必需承受分布式计算架构。它的特色在于对海量数据的挖掘，但它必需依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。〔二〕云计算(CloudComputing)定义： 1〕云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够依据需要猎取计算力、存储空间和信息效劳。//分布式计算2〕云计算是通过网络按需供给可动态伸缩的廉价计算效劳。特点： 1〕超大规模2〕虚拟化3〕高牢靠性4〕通用性5〕高可伸缩性6〕按需效劳7〕极其廉价效劳类型分类：SaaS〔软件即效劳:：SoftwareasaService)//针对性更强，它将某些特定应用软件功能封装成效劳 如：SalesforceonlineCRMPaaS〔平台即效劳：PlatformasaService〕 //对资源的抽象层次更进一步供给用户应用程序运行环境如epe WindowsAzureIaaS 〔根底设施作为效劳：InfrastructureasaService〕//将硬件设备等根底资源封装成效劳供用户使用，如：AmazonEC2/S3云计算的实现机制〔体系构造〕〕A〔面对效劳的体系构造：元〔称为效劳〕通过这些效劳之间定义良好的接口和契约联系起来。使得其效劳能以一种统一的、通用的方式进展交互。SOA 可以看作是B/S 模型、XML/WebService技术之后的自然延长。2〕治理中间件：〔关键局部〕的资源池。

3〕资源池层： 将大量一样类型的资源构成同构或接近同构4〕物理资源层： 计算机、存储器、网络设施、数据库和软件等云计算与网格计算网格是基于SOA、使用互操作、按需集成等技术，将分散在不同地理位置的资源虚拟化为一个整体。关系类似于TCP/IP协议之于OSI模型云计算与物联网物联网有全面感知，牢靠传递、智能处理三个特征。云计算供给对智能处理所需要的海量信息的分析和处理支持。云计算架构与互联网之上，而物联网依靠于互联网来供给有效延长。因而，云计算模式是物理网的后端支撑关键。1.1:1.Google云计算原理〔一〕文件系统GFS1〕系统架构实现机制:①节点分类： Client----> Master >ChunkServer②Master负责治理。Client与Master之间只有掌握流，而没有数据流【数据流与掌握流分别】③Client可以同时访问多个ChunkServer。【高度的I/O并行】特点①承受中心效劳器 【Master把握ChunkServer状况，便利实现负载均衡】②不缓存数据③在用户态下实现容错机制①Master容错： a.对应ChunkServer留有备份②ChunkServer容错： a.多个副本备〔3个〕 b.GFS每个文件被分为多个Chunk〔64MB〕 c.Chunk分为Block〔64kb〕,每个Block对应一个32bit校验和〔二〕分布式计算编程模型MapReduce1〕编程模型①划分为M个Map，每一个Map针对不同的原始数据，相互独立、并行操作。②Reduce操作则是对每个MapReduce所处理的最终结果互不穿插，通过简洁相连即可形成完整的结果集。PS: Map:(inkey,invalue) --->N个MapReduce:(key(value1,value2,...)) --->对一样的Key对应的value进展并行处理 //统计单词消灭次数，每个Map统计一局部文本，Reduce进展合并。实现机制容错机制①Master失效：周期性地设置检查点，一旦任务失效，则从最近一个检查点重执行②Worker失效：Master周期性地pingWorker,Worker不答复即失效，任务调Worker〔三〕分布式锁效劳Chubby作用：Chubby是Google设计的供给粗粒度锁效劳的一个文件系统，它基于松耦合分布式系统，解决了分布的全都性问题Paxos算法①proposers(提议) ---> ②acceptors(接收并做出选择) ---->③leaner(决策)//条件？实现〔四〕分布式构造化数据表BigTable1〕作用GFSChubby的分布式存储系统。//Google海量数据，用户通过Key查询数据模型行、列、时间戳：〔row:string,column:string,time:int64〕→string//依次对应于三级索引系统架构Chubby保证同一时间内只有一个主效劳器〔MasterServer〕4〕主效劳器①子表安排 ②子表效劳器状态监测 ③子效劳器之间的负载均衡5〕子表效劳器①BigTable中的实际数据以子表的形式保存在子表效劳器上。子表效劳器数据存储格式：SSTable。 〔SSTable文件存储于GFS中〕②较的数据存储于内存〔写操作〕 && 较早的数据存储在SSTable中〔读操作。〔五〕分布式存储系统Megastore一种介于传统的关系型数据库和NoSQL之间的存储技术，尽可能到达高可用性和高可扩展性的统一底层数据存储于BigTable //应用于Google旧时的系统，目前技术为 Spanner〔六〕分布式监控系统Dapper1〕Google基于故障驱动而设计的分布式系统的监控根底架构。*RPC、线程和掌握流函数库的实现②主要功能是实现区间创立、抽样和在本地磁盘上记录日志。③将简单的功能实现限制在一个轻量级的核心功能库中保证了Dapper的监控过程根本对应用层透亮。*二次抽样技术1.2:2.Amazon云计算*1.3:100.桌面云〔一〕云计算〔CloudComputing〕1〕进展按需即取的计算,云计算的资源是动态易扩展而且虚拟化的，通过互联网供给。〔二〕云桌面根本定义： 云桌面是云计算时代的典型应用：基于分布式云计算存储技术，集成互联网精华应用，依托高度加密算法，为接入用户供给效劳。价值表达： ①信息安全〔数据存储在云平台〕②维护、部署便利〔云治理软件〕③节能、节约〔只需供给终端〕建设方案： ①在企业内部集中部署效劳器磁阵建设好云平台的IT环境，安装相关的云桌面软件，和企业需要的办公软件。②在员工办公桌上，部署云终端+显示器+键盘+鼠标，插上网线连上云桌面即可实现正常的办公。Citrix： ①简介：Citrix即美国思杰公司，是一家致力于云计算虚拟化、虚拟桌面和远程接入技术领域的高科技企业〔三〕桌面云1〕桌面云： 可以通过瘦客户端或者其他任何与网络相连的设备来访问跨平台的应用程序，以及整个客户桌面。 //桌面云与云桌面，是同一对象的不同侧重点的阐述。2〕业务价值：①集中化----节约维护、治理本钱②安全性高----数据存储于效劳器端，客户端存储影像③节能减耗④本钱削减----软硬件本钱削减、维护本钱削减3〕桌面云架构：①瘦终端： 瘦终端是我们使用桌面云的设备一般是一个内嵌了独立的嵌入式操作系统②网络接入： 桌面云供给了各种接入方式供用户连接〔包括一般连接和安全连接方式〕③掌握台： 掌握台可以对运行着虚拟桌面的效劳器进展配置例如配置网络连接，配置存储设备等等。还可以监控运行效劳器的CPU、内容状况等指标。④身份认证： 在桌面云中一般是通过ActiveDirectory或者LDAP这些产品来进展用户的认证和授权的。设置和修改密码，设定不同的角色和权限。⑤应用程序： 云桌面架构供给了共享效劳的方式来供给桌面和应用这样可以在特定的效劳器上供给更多的效劳。⑥效劳器： 桌面云解决方案中更多的应用方式是把各种应用分发到虚拟桌面，这样客户只需要连到一个桌面就可以使用全部的应用，〔四〕云终端根本定义： 云终端是一台不需要CPU，硬盘和CD-ROM的多用户网络终端设备。>通过虚拟化解决方案，将一台计算机的全部软硬件资源，供给应多个用户〔无限制〕〔变/转〕成多个云终端。设备特征： ①设计轻松②低功耗③节约硬件本钱〔不需要客户端主机〕④节约软件本钱〔仅需一个效劳器软件本钱〕⑤节约维护、治理本钱〔云中心统一治理〕运算模型：

①终端机是一种没有硬盘驱动器的计算设备PC的数据和应用程序。②基于效劳器的计算模型解决方案： TCSC-PCSTATIONServer-basedComputing〔五〕瘦客户机根本定义： 瘦客户机〔thinclient〕是使用专业嵌入式处理器、小型本地DOM电子盘、精简版操作系统的基于PC工业标准设计的小型行业专用商用PC。//CPU、显卡等，相比于一般PC更加牢靠，更低功耗和更高安全性。区分于云终端：ARM架构设计[RISC精简指令集CPU内存条的一个网络终端。障率极低。

;USB掌握开