云计算和大数据技术-概念应用与实战PPT第一章

1、1 云计算基础云计算TO大数据技术：概念应用与实战 21世纪高等院校云计算和大数据人才培养规划教材人民邮电出版社内谷导角几CONTENTSD云计算基础1.2 :集群系统概述3.分布式系统中计算和鬱据的协作机制4.云计算与物联网 为了全球关注度最高的IT词汇随着信息技术水平的不断发展云计算将会成为弓颇未来整个信息系统建设的主导者。 云计算自具从有2一00体6年化谷的歌信公息司平C台E和O运埃营里平克台施，密这特种提全出新云交计付算模概式念会后对，I T云界计产算 已经成 生重大的影响。1.1.1云计算简介第1章云计算基础4云计算技术是硬件技术和网络技术发展到一定阶段而出现的一 种新的技术模 型，

2、 通常技术人员在绘制系统结构图时用一朵云的符号来表示网络， 云计算这个 奇怪的名字就是因此而得名的。云计算并不是对某一项独立技术的称呼， 而是对 实现云计算模式所需要的所有技术的总称。分布式计算技术 数据中心技术虚拟化技术 云计算平台技术网络技术 服务器技术 分布式存储技术Hadoop、 HPCC、 Storm、Spark等1.1.1云计算简介第1章云计算基础5维基百科中对云计算的定义云计算是一种基于互联网的计算方式， 通过这种方式， 共享的软硬件资源和 信息可以按需求提供给计算机和其他设备， 它就像我们曰常生活中用水和用电一 样,按需付费,而无需关心水S电是从何而来的一种资源管理模式。云计算

3、简介第1章云计算基础62012年的国务院政府工作报告将云计算作为国家战略性新兴产业给出了定义云计算是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网 来提供动态、易扩展且经常是虚拟化的资源。云计算是传统计算机和网络技术发 展融合的产物，它意昧着计算能力也可作为一种商品通过互联网进行流通。云计算简介在云计算时代基本的3种角色资源的 整合运 营者负责资源的 整合输出资源的使用者第1章云计算基础7负 责 将 资 源 转 变 为 满 足 客 户 需 求 的 各种应用资源的最终 消费者1.1.2云计算的特点第1章云计算基础8资源池弹性可扩张按需提供资源服务 网络化的资源接入 鋤化 提高可靠性和

4、安全性1-1-3云计算技术分类第1章云计算基础91.按技术路i紛类资源整合型云计算这种类型的云计算系统在技术实现方面大多体现 为集群架构， 通HW大量节点的计算资源和存储 资源整合后输出。这类系统通常能实现跨节点弓单 性化的资源池构建，核心技术为分布式计算? 口存 储技术。MPk Hadoop. HPCC、Storm等都可 以被分类为资源整合型云计算系统。1-1-3云计算技术分类第1章云计算基础10资源切分型云计算这种类型最为典型的就是虚拟化系统， 这类云计算系统通过系 统虚拟化实现对单个服务器资源的弹性化切分， 从而有效地 用服务器资源，其核心技术为虚拟化技术。优点： 用户的系统可以不做任

5、何改瓣入采用虚拟化技术的 云系统, 是目前应用较为广泛 的技术， 特别是在桌面云计算 技术上应用得较为成功。缺点: 跨节点的资源整合代 价较大。KVM、VMware都 是这类技术的代表。1.1.3云计算技术分类2、按服务对象分类公 有 云 : 指 服 务 对 象 是 面 向 公 众 的云计算服务， 公有云对云计算 系统的稳定性、安全性和并发服 务能力有更高的要求。第1章云计算基础 私有云： 指主要服务于某一组织 内部的云计算服务， 其服务并不 向公众开放， 如企业、政府内部 的云服务。1.1.3云计算技术分类2、按服务对象分类 混 合 云 ： 公 有 云 和 私 有 云 结 合 在一起的方式。

6、在这个模式中， 用 户通常将非企业关键信息外包， 并 在公有云上处理， 而掌握企业关键 服务及数据的内容则放在私有云上 处理。第1章云计算基础12社区云： 是公有云范畴内的一个组 成部分。它由众多利益相仿的组织 掌控及使用， 其目的是实现云计算 的一些优势,例如特定安全要求、共同宗旨等。社区成员共同使用云 数据及应用酿。1.1.3云计算技术分类3、按资源封装的层次分类(1 )翻设施即服务:把单 纯的计算TO存储资源不经封装地菌妾通lAfJ过网络以服务的形式 提供的用户使用。第1章云计算基础13(2)平台即服务：计算存储资 源经封装后，以辦接口和协议的形式提供给用户调用， 资源的使用 者不再_妾

7、面对底层资源。1-1-3云计算技术分类第1章云计算基础143、按资源封装的层次分类r( 3)软件即服务:将计算和存储资源封装为用户可以妾使用的应用并通 过网络提供给用户,SaaS面向的服务对象为最终用户，用户只是对软件功 能进行使用，无需了解任何云计算系统的内部结构，也不需要用户具有专 业的技术开发能力。1.1云计算基础内谷导角几CONTENTS.2 集群系统概述1 . 3 分布式系统中计算和数据的协作机制 1 4云计算与物联网1.2集群系统概述第1章云计算基础16当前云计算技术领域存在两个主要技术路线，1是基于集群技术的云计算资源整合技术， 另一个是基于虚拟机技术的云计算资源切分技术。基于集

8、群 技术的云计算资源整合技术路线分散的计m存储资源整合输出，主要依托的技术为分布式计算技术。Google、Hadoop. Storm、HPCC等系统都采用了 集群技术，其资源整合是跨物理节点的。学习集群技术的基本知识对理解云计I算与大数据技术有很好的作用，只有这样在学习时才能知其所以然。蚜毖漤划MS璃Uf也玆阜首且#襲_士皆 輩赳纷耍畜鸪 漤趄爾。宙虱每B 貧共y # 掛， 鄱孩貧共W 中爾、印一亩4 坐華社， 去江回 W l a J 奶 宙 逊d 宙 甚 互 荃 掛 鄱 孩 貧 共 印 一 亩 4 丄 荆 竽i t 曷 g 捜 揭 幽 互阴額勒簞R回竽驻1缈导蓽印() 1A寬共印芬用？一軎鸪

9、S趄蓽ZL肫茸賃44竺裏T罢答攤$葺阴鸪窆趄蓽kk 1.2.1集群系统的基本概念集群系顚有以下重翻正: 集群系统的各节点都是一完整的 系统， 节点可以是工作站， 也可以是 PC或SMP器； 互联网络通常使用商品化网络，如 以太网、FDDL光纤通道和ATM开关 等，音P分商用集群系统也采用专用网 络互联；第1章云计算基础18网络接口与节点的I/O总线松耦合 相连；各节点有一1本地磁盘;各节点有自己的完整的操作系统。1.2.2集群系统系统的分类1 ）高可用性集群系统。2 ）负载均衡集群系统。3）局性能集群系统。4 ）虚拟化集群系统，第1章云计算基础19内谷导角几CONTENTS1-1云计算基础1.

10、2 集群系统概述3.分布式系统中计算?口翻居的协作机制4.云计算与物联网1.3分布式系统中计m数据的协作机制第1章云计算基础21计算?存储也是云计算系统研究的核心问题，分布式系统中计算?数据的协 作关系非常重要， 在分布式系统中实施计算都存在计算如何获得数据的问题， 在 面向计算时代这一问题并不突出， 在面向数据时代计算W数据的协作机制问题就 成为了必须考虑的问题通常这种机制的实现与系统的架构有紧密的关系， 系统 的基础架构决定了系统计算和醐的基本协作模式。1.3.1基于计算切分的分布式计算iIM P將大量的节点通过消息传递机 制连接起来，从而使节点的计算能力聚 集成为强大的高性能计算，主要面

11、向计 算密集的任务。 MPI撤共API接口，通过MPI_Send() 和MPI_Recv()崇肖息通信函数实现计算 过禾呈中数据的交换。第1章云计算基础22高性能计算是一种较为典型的面 向计算的系统， 通常处理的是计算密 集型任务，因此在基于MPI的分布式 系统中并没有与之匹配的文件系统支 持，计算在发起前通过NFS等网络文 件系统从集中的存储系统中读出数据 并用于计算。1.3.1基于计算切分的分布式计算第1章云计算基础23MPI的典型系统架构通常将M PI这样以切分计算实现分布式计算的系_为基于计算切分的分布 式计算系统。这种系统计算?存储的协作是通过存储向计算的迁移来实现的，也 就是说系统

12、先定位计算节点翔居从集中存储设备通过网络读入计算程）字所在 的节点，在数据量不大时这种方法是可行的，但对于海_居1 卖取这种方式会很 低效。1 .3.1基于计算切分的分布式计算 第1章云计算基础 24MPI的典型系统架构读取数据IIi1NFS1.3.2基于计算数据切分的混合型分布式计算技术一网格计算25硬件和网络发展到一定阶段后，硬件价格的便宜使大多数人都有了自己的 个人电脑，但却出现了一方面一些需要大量计算的任务资源不够，另一方面 大量个人电脑闲置的问题。得益于网络的发展网格技术正好是在这个时期解 决这一矛盾的巧妙方法。人们对网格技术的普遍理解是:将分布在世界各地 的大量异构计算设备的资源整

13、合起来，构建一具有强大计算能力的超级计 算系统。1.3.2基于计算数据切分的混合型分布式计算技术一网格计算26典型网格系统的基本架构1.3.3基于数据切分的分布式计算技术第1章云计算基础27通过数据切分实现计算的分布化是面向数据技术的一个重要特征，2003年Google逐步公开了它的系统结构，Google的文件系统GFS实现了在文件系统上 就对数据进行了切分，这一点对利用MapReduce实现对数据的自动分布式计算非 常重要,文件系统自身就对文件施行了自动的切分完全改变了分布式计算的性质,MPI、网格计算都没有相匹配的文件系统支持，从本质上看Sd居都是集中存储的,网格计算虽然有数据切分的功能，

14、但只是在集中存储前提下的切分。具有Sd居切 分功能的文件系统是面向数据的分布式系统的基本要求。1.3.3基于数据切分的分布式计算技术第1章云计算基础282004年Jeffrey Dean 和Sanjay Ghemawat发表文章描述了Google系统的 MapReduce框架。与MPI不同，这种框架通常不是拆分计算来实现分布式处理, 而是通过拆分数据来实现对大数据的分布式处理，MapReduce框架中分布式文 件系统是整个框架的基础，这一框架下的文件系统一般将数据分为128MB的块 进行分布式存放，需要对麵腑处理时将计算在各个块所在的节点難发起, 避免了从网络上读取数据臟费的大量时间，实现计算

15、主动寻找数据的功 能，大大简化了分布式处理程序设计的难度。1.3.3基于数据切分的分布式计算技术 第1章云计算基础 29基于数据切分的分布式系统结构1.3.3基于数据切分的分布式计算技术第1章云计算基础30MapReduce框架使计算在集群节点中能准确找到所处理的数据所在节点位 置的飾是是所处理的数据具有相同的数据类型和处理模式，从而可以通过数据的 拆分实现计算向数据的迁移，事实上这类面向数据系统的负载均衡在其对数据进 行分块时就完成了，系统各节点的处理压力与该节点上的数据块的具体倩况相对 应，因此MapReduce框架下某一节点处理能力低下可能会造成系统的整体等待形 成麵处理的脇。2005年

16、Apache基金会以Google的系统为模板启动了 Hadoop项目Hado叩完 整地实现了上面描述的面向数据切分的分布式计算系统，对应的文件系统为 HDFS , Hadoop成为了面向数据系统的1被广恕妾纳的标准系统。1.3.3基于数据切分的分布式计算技术第1章云计算基础313种分布式系统的对比面向计算的 分布式系统混合型分布式系统面向数据的分布式系统分布式计算的方法计算拆分麵拆分麵拆分典型的储存方式集中存储集中存储分布式存储计算与麵的位置 -致性关系麵向计算 迀移麵向计算迁移计算向謝艇移并栩錦开发难度难N/A易1.3.3基于数据切分的分布式计算技术第1章云计算基础32面向计算的分布式系统混

17、合型分布式系统面向数据的分布式系统应用场景计算密集计算密集数据密集数据块均衡普通领域Hadoops Dyname、 Cassandra、Google负载均衡方式CPU鐵均衡CPU鐵均衡，数 据块均衡主要应用领域专业领域专业领域典型系统MPI ,高性能计算网格计算，高性能 计算1.1云计算基础内谷导角几CONTENTS1.2集群系统概述3.分布式系统中计算和鬱据的协作机制4.云计算与物联网1.4云计算与物联网第1章云计算基础34云计mn物联网在出现的时间上非常接近，以至于有一段时间云计算?n物联 网两个名词总是同时出现在各类媒体上。物联网的出现部分得益于网络的发展,大量传感据的收集需要良好的网络

18、环境，特别是部分图像数据的传输更是对 网络的性能有较高的要求。在物联网技术中传感器的大量使用使数据的生产实现 自动化，数据生产的自动化也是推动当前大数据技术发展的动力之_。1.4云计算与物联网第1章云计算基础35云物联网的英文名称为The Internet of Things,简称:IOT。由该名称可见，物联网就是物物相连的互联网。这有两层 意思:第一,物联网的核心和翻仍然是互 联网，是在互联网基础之上的延伸和 II扩展的一种网络；I 第二，其用户端延伸和扩展到了任何物 |品与物品之间，进行信息交换?通信。因此， 物联网的定义是通过射频 识别(RFID)装置、红外感应器、 全球定位系统、激光扫描器等信 息传感设备， 按约定的协议， 把 任何物品与互联网相连接， 进行 信息交换?口通信，以实现智能化 识别、定位、跟踪、盤空和管理 的一种网络。銀驻s m f烟枞溢蠢震麗烟:、3KO 囲佘枨照炽城+_尔珀6匝一co囤_MK W11触越 拜 MIW寸_1.4云计算与物联网第1章云计算基础37物联网的产业链物联网的产业链可以细分为标识、感知、处理和信息传送4个环节，每个环节的 关键技术分别为RFID、传