云计算导论PPT完整

云计算导论目录第1章云计算概论第2章云计算基础第3章云计算机制第4章虚拟化第5章分布式文件系统第6章分布式存储系统第7章数据处理与并行编程第8章云安全第9章云计算的应用第10章综合实践：Docker与云计算第1章云计算概论第1节

什么是云计算？

云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

美国国家标准与技术研究院（NIST）的定义：

云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。第2节

云计算的产生背景

云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。云计算是分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）、热备份冗余（HighAvailable）等传统计算机和网络技术发展融合的产物。第3节

云计算的发展历史

年份云计算的发展1983网络是电脑2006Amazon：弹性计算云服务（EC2）

Google：云计算的概念2007Google与IBM：高校推广，提供技术支持2008IBM：第一个云计算中心

戴尔：申请云计算商标2010Novell与CSA：可信任云计算计划2013中国IaaS：市场规模约为10.5亿元

中国PaaS：市场规模增长近20%

全球SaaS：云计算领域最为成熟的细分市场2015云计算方面的相关政策不断更新……第4节

如何学好云计算

云计算是一种基于互联网的计算方式，要实现云计算则需要一整套的技术架构去实施，包括网络、服务器、存储、虚拟化等。操作系统，懂得Windows操作系统的安装和基本操作、懂得AD域角色的安装和管理、懂得组策略的配置和管理；数据库的安装和使用（如SQLServer）；存储的基础知识（如磁盘性能、RAID等）、光纤交换机的使用等；网络的基础知识（如IP地址规划、VLAN等）。第2章云计算基础第1节分布式计算

分布式计算将应用分解成许多更小的部分，分配到多台计算机进行处理，这样可以节省整体计算时间，大大提高计算效率。

云计算是分布式计算技术的一种，也是分布式计算这种科学概念的商业实现。分布式计算的优点就是发挥“集体的力量”。

分布式计算的一种应用是

WebService：第2节

云计算的基本概念

云计算的组成可以分为六个部分，它们由下至上分别是：

基础设施（Infrastructure）

存储（Storage）

平台（Platform）

应用（Application）

服务（Services）

客户端（Clients）第3节

云计算的关键技术

1、分布式海量数据存储

以移动通信运营商为例，随着移动业务和用户规模的不断扩大，每天都产生海量的业务、计费以及网管数据，然而庞大的数据量使得传统的数据库存储已经无法满足存储和分析需求。

数据库容量有限

并行取数困难JDBC访问效率太低

数据库并发访问数太多

理想的解决方案是把大数据存储到分布式文件系统中。

云计算系统中广泛使用的数据存储系统是GFS和HDFS。2、虚拟化技术

虚拟化技术是云计算系统的核心组成部分之一，是将各种计算及存储资源充分整合和高效利用的关键技术。

资源分享资源定制细粒度资源管理

基于以上特点，虚拟化技术成为实现云计算资源池化和按需服务的基础。3、云平台技术

云平台技术能够使大量的服务器协同工作，方便地进行业务部署，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。

云计算平台的主要特点是用户不必关心云平台底层的实现。4、并行编程技术

数据并行

消息传递5、数据管理技术

如何高效地管理大数据集？

如何在规模巨大的数据中找到特定的数据？Google的BigTable数据管理技术第4节

云交付模型

软件即服务（SaaS）

平台即服务（PaaS）

基础设施即服务（IaaS）

容器即服务（CaaS）1、软件即服务（SaaS）SaaS是SoftwareasaService（软件即服务）的简称，它是一种通过Internet提供软件的模式，用户无需购买软件，而是向提供商租用基于Web的软件。

随时随地访问

支持公开协议

安全保障

多用户机制

SaaS应用包括Citrix公司的GoToMeeting、Cisco公司的WebEx等等。2、平台即服务（PaaS）PaaS（PlatformasaService）：是将服务器平台或者开发环境作为服务进行提供。开发简单、部署简单、维护简单。

有好的开发环境

丰富的服务

自动的资源调度

精细的管理和监控

PaaS应用包括GoogleAppEngine、MicrosoftAzure、F、Heroku、EngineYard等等。3、基础设施即服务（IaaS）IaaS(InfrastructureasaService)：服务提供商将多台服务器组成的“云端”服务（包括内存、I/O设备、存储和计算能力等等）作为计量服务提供给用户。

资源抽象

负载管理

数据管理

资源管理安全管理计费管理4、基本云交付模型的比较云交付模型服务对象使用方式关键技术用户的控制等级系统实例IaaS需要硬件资源的用户使用者上传数据、程序代码、环境配置虚拟化技术、分布式海量数据存储等使用和配置AmazonEC2、Eucalyptus等PaaS程序开发者使用者上传数据、程序代码云平台技术、数据管理技术等有限的管理GoogleAppEngine、MicrosoftAzure、Hadoop等SaaS企业和需要软件应用的用户使用者上传数据Web服务技术、互联网应用开发技术等完全的管理GoogleApps、SalesforceCRM等5、容器即服务（CaaS）CaaS（ContainerasaService）也称为容器云，是以容器为资源分割和调度的基本单位，封装整个软件运行时环境，为开发者和系统管理员提供用于构建、发布和运行分布式应用的平台。

CaaS与基本交付模型IaaS和PaaS的关系第5节

云部署模式

公有云

私有云

混合云

1、公有云公有云，是指为外部客户提供服务的云，它所有的服务是供别人使用，而不是自己用。

在此种模式下，应用程序、资源、存储和其他服务，都由云服务供应商来提供给用户，这些服务多半都是免费的，也有部分按需按使用量来付费，这种模式只能使用互联网来访问和使用。问题：安全性可用性2、私有云

私有云，是指企业自己使用的云，它所有的服务不是供别人使用，而是供自己内部人员或分支机构使用。优点是安全性、可用性相比公有云好一些；缺点是成本较大。3、混合云混合云，是指供自己和客户共同使用的云，它所提供的服务既可以供别人使用，也可以供自己使用。

混合云是两种或两种以上的云计算模式的混合体，如公有云和私有云混合。

相比较而言，混合云的部署方式对提供者的要求较高。第6节

云计算的优势与挑战

1、云计算的优势

超大规模

虚拟化

高可靠性

通用性

高扩展性

按需服务

极其廉价

2、

云计算所面临的挑战

服务的持续可用性

服务的安全性

服务的迁移

服务的性能第7节

典型云应用

云应用是直接面对客户解决实际问题的产品，遍及各个方面。1、云存储云存储是是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。百度网盘

2、云服务云服务主要以邮箱为账号，实现用户登陆账号后，内容在线同步的作用。

典型的云服务包括了微软“Hotmail”、谷歌“gmail”、苹果“iCloud”等。3、云物联

物联网就是物物相连的互联网，物联网有两种业务模式：（1）MAI(M2MApplicationIntegration)和内部MaaS;（2）MaaS(M2MasaService)、MMO和Multi-Tenants(多租户模型)。

随着物联网业务量的增加，对数据存储和计算量的需求将带来对“云计算”能力的要求。第8节

云计算与大数据

“云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。”

云计算与大数据的关系？

云计算能为大数据带来了哪些变化？第3章云计算机制第1节

云基础设施机制

云基础设施机制是云环境的基础构建块，它是形成云技术架构基础的主要构件。

虚拟网络边界虚拟服务器

云存储设备

云使用监控

资源备份

就绪环境1、虚拟网络边界

虚拟网络边界（virtualnetworkperimeter）通常是由提供和控制数据中心连接的网络设备建立，一般是作为虚拟化环境部署的。例如虚拟防火墙、虚拟网络（VLAN、VPN）。

该机制被定义为将一个网络环境与通信网络的其它部分隔开，形成一个虚拟网络边界，包含并隔离了一组相关的基于云的IT资源，这些资源在物理上可能是分布式的。虚拟防火墙

每个虚拟防火墙能够实现防火墙的大部分特性，并且虚拟防火墙之间相互独立，一般情况下不允许相互通信。虚拟专用网络（VPN）

虚拟专用网络(VPN)是一种通过公用网络（如Internet）连接专用网络（如办公室网络）的方法。2、虚拟服务器

虚拟服务器（virtualserver）是一种模拟物理服务器的虚拟化软件。

通过向云用户提供独立的虚拟服务实例，云提供者使多个云用户共享同一个物理服务器。优点：实时迁移快速部署高兼容性提高资源利用率动态调度资源3、云存储设备

云存储设备（cloudstoragedevice）机制是指专门为基于云配置所设计的的存储设备。这些设备的实例可以被虚拟化。其单位如下：

文件（file）

块（block）

数据集（dataset）

对象（object）4、资源备份

传统架构视角

云计算架构视角资源备份（resourcebackup）可对同一个IT资源创建多个实例。5、就绪环境

就绪环境机制是PaaS云交付模型的定义组件，基于云平台，已有一组安装好的IT资源，可以被云用户使用和定制。

第2节

云管理机制

传统管理云管理管理对象网络、存储、服务器、OS、数据库、中间件、应用IaaS、PaaS、SaaS等各种云服务管理目标实现IT系统的正常运作实现云服务的端对端交付管理特色需要专业的管理技能手动管理竖井式管理通过封装屏蔽底层细节自服务多租户，共享管理平台管理平台易用性安装配置复杂自配置、自修复、自优化管理规模100节点10000节点+用户管理员分层管理，多租户整合基于事件、数据库、私有接口的整合面向服务的整合管理手段离散的工具充分自动化云管理机制

基于云的IT资源需要被建立、配置、维护和监控。远程管理系统是必不可少的，它们促进了形成云平台与解决方案的IT资源的控制和演化，从而形成了云技术架构的关键部分，与管理相关的机制如下。远程管理系统资源管理系统SLA管理系统计费管理系统1、远程管理机制

远程管理系统（remoteadministrationsystem）机制向外部的云资源管理者提供工具和用户界面来配置并管理基于云的IT资源。主要创建两种类型的入口：使用与管理入口自助服务入口云用户远程管理系统资源管理系统SLA管理系统计费管理系统2、资源管理系统

资源管理系统（resourcemanagementsystem）机制可帮助协调IT资源，以便响应云用户和云提供者执行的管理操作。

资源管理系统包含一个VIM平台和一个虚拟机映像库，通常通过资源管理系统自动化并实现的任务包括如下：

管理虚拟IT资源模板；

在可用的物理基础设施中分配和释放虚拟IT资源模板；

在有其他机制参与的条件下，协调IT资源；

在云服务实例的生命周期中，强制执行使用策略与安全规格；

监控IT资源的操作条件。3、SLA管理系统

SLA管理系统（ServiceLevelAgreementManagement，服务等级协议）机制代表的是一系列商品化的可用云管理产品。

这些产品提供的功能包括：SLA数据的管理、收集、存储、报告以及运行时通知，对相关数据的管理、收集、存储、报告以及运行时通知，通常会有一个服务资料测量库。4、计费管理系统

计费管理系统（billingmanagementsystem）机制专门用于收集和处理使用数据，它涉及云提供者的结算和云用户的计费。

第3节

云监控机制

云监控机制是一种轻量级的自治软件程序，用于收集和处理IT资源的使用数据。1、资源监控

资源监控是为了保证应用和服务的性能，开发者必须依据应用程序、服务的设计和实现机制估算工作负载，确定所需资源和容量的数量，避免资源供应不足或供应过量。2、

能量监控

云计算是一种按使用量付费的模式，使用付费监控器（pay-per-usemonitor）机制按照预先定义好的定价参数测量基于云的IT资源使用，使用期间生成的使用日志可以用于计算费用，日志主要包括：

请求/响应消息数量

传送的数据量

带宽消耗量3、

SLA监控

SLA监控器（SLAmonitor）机制被用来专门观察云服务运行时性能，确保它们履行了SLA公布的约定QoS需求。例如轮询检测是否在线，检测QoS是否达到SLA的要求。使用SLA监控器机制需要注意这些问题：第三方监控、告警装置、转换SLA以及有效的后备设施。第4节

特殊云机制

典型的云技术架构包括大量灵活的部分，这些部分应对IT资源和解决方案有不同的使用要求，1、自动伸缩监听器

自动伸缩监听器（AutomatedScalingListener）机制是一个服务代理，它监听和追踪用户和云服务之间的通信或IT资源的使用情况。2、

负载均衡器

负载均衡器（loadbalancer）机制是一个运行时代理，该机制可以通过交换机，专门的硬件/软件设备，以及服务代理来实现。非对称分配（asymmetricdistribution）：较大的工作负载被送到具有较强处理能的IT资源；负载优先级（workloadprioritization）：负载根据其优先级别进行调度、排队、丢弃和分配；上下文感知的分配（content-awaredistribution）：根据请求内容分配到不同的IT资源；负载均衡器

负载均衡实现方式有以下几类：软件负载均衡技术硬件负载均衡技术本地负载均衡技术全局负载均衡技术（也称为广域网负载均衡）链路集合负载均衡技术3、故障转移系统

故障转移系统（failoversystem）通过集群技术提供冗余实现IT资源的可靠性和可用性。

一台服务器接管发生故障的服务器的过程通常称为“故障转移”。如果一台服务器变为不可用，则另一台服务器自动接管发生故障的服务器并继续处理任务。

集群中的每台服务器在集群中至少有一台其它服务器确定为其备用服务器。故障转移系统有两种基本配置：主动-主动主动-被动故障转移工作原理

4、虚拟机监控器

虚拟机监控器（Hypervisor）机制是虚拟化基础设施的最基础部分，Hypervisor是一种运行在物理服务器和操作系统之间的中间软件层，可允许多个操作系统和应用共享一套基础物理硬件。Hypervisor是所有虚拟化技术的核心。非中断地支持多工作负载迁移的能力是Hypervisor的基本功能。常见的Hypervisor分两类：裸金属型和宿主型。5、资源集群

资源集群（resourcecluster）将多个IT资源实例合并成组，使之能像一个IT资源那样进行操作。服务器集群数据库集群大数据集集群HA集群是资源集群的一种，Heartbeat就是Linux-HA项目中的一个组件，其中包括节点、资源、时间和动作四个相关术语。Heartbeat集群6、多设备代理

多设备代理（multi-devicebroker）机制用来帮助运行时的数据转换，使得云服务被更广泛的用户程序和设备所用。

多设备代理通常是作为网关存在的，或者包含有网关的组件，例如：XML网关、云存储网关以及移动设备网关。多设备代理机制可以创建的转换逻辑层次包括：传输协议消息协议存储设备协议数据模型/数据模式7、状态管理数据库

状态管理数据库（statemanagementdatabase）是一种存储设备，用来暂时地存储软件的状态数据，可以使软件程序和周边的基础设施都具有更大的可扩展性。第4章虚拟化第1节

虚拟化简介

1、什么是虚拟化

虚拟化是指计算机元件在虚拟的基础上而不是在真实的、独立的物理硬件基础上运行。

虚拟化架构就是在一个物理硬件机器上同时运行多个不同应用的独立的虚拟系统。

研发与测试

服务器合并

高级虚拟主机2、虚拟化的发展历史

虚拟化技术的萌芽

虚拟化技术的雏形

虚拟化标准的提出虚拟化的进一步发展3、虚拟化带来的好处

与传统IT资源分配的应用方式相比，使用虚拟化的优势有以下几个方面：提高资源利用率降低成本，节能减排统一管理提高安全性第2节虚拟化的分类

实际上，我们通常所说的虚拟化技术是指服务器虚拟化技术。而除此之外，还有网络虚拟化、存储虚拟化以及应用虚拟化等。1、服务器虚拟化

服务器虚拟化通过区分资源的优先次序，并随时随地地将服务器资源分配给最需要它们的工作负载来简化管理和提高效率，从而减少为单个工作负载峰值而储备的资源。通过服务器虚拟化技术，用户可以动态地启用虚拟服务器（虚拟机）。x86服务器的虚拟化技术

完全虚拟化准虚拟化操作系统层虚拟化2、网络虚拟化

网络虚拟化将不同网络的硬件和软件资源结合成一个虚拟的整体，通常包括虚拟局域网和虚拟专用网。3、存储虚拟化

存储虚拟化就是把各种不同的存储设备有机的结合起来进行使用，从而得到一个容量很大的“存储池”，可以给各种服务器进行灵活的使用，并且数据可以在各存储设备间灵活转移。存储虚拟化的基本概念是将实际的物理存储实体与存储的逻辑表示分离开来，应用服务器只与分配给它们的逻辑卷（或称虚卷）打交道，而不用关心其数据是在哪个物理存储实体上。

存储虚拟化技术主要分为硬件和软件两种方式来实现。4、应用虚拟化

应用虚拟化通常包括两层含义，一是应用软件的虚拟化，二是桌面的虚拟化。

应用软件虚拟化，就是将应用软件从操作系统中分离出来，通过压缩后的可执行文件夹来运行，而不必需要任何设备驱动程序或者与用户的文件系统相连；

桌面虚拟化技术是把应用程序的人机交互逻辑（应用程序界面、键盘及鼠标的操作、音频输入输出、读卡器、打印输出等）与计算逻辑隔离开来，客户端无需安装软件，通过网络连接到应用服务器上，计算逻辑从本地迁移到后台的服务器完成，实现应用的快速交付和统一管理。5、技术比较

第3节系统虚拟化

系统虚拟化的核心思想是使用虚拟化软件在一台物理机上，虚拟出一台或多台虚拟机。步骤如下。利用虚拟化评估工具进行容量规划，实现同平台应用的资源整合；在服务器虚拟化的基础上，虚拟化I/O和存储；实现虚拟资源池的统一管理；从虚拟化迈向云计算，通过云计算实现跨系统的资源动态调整。第4节虚拟化与云计算云计算是业务模式，是产业形态，它不是一种具体的技术。比如IaaS，PaaS和SaaS都是云计算的表现形式。而虚拟化技术是一种具体的技术，虚拟化和分布式系统都是用来实现云计算的关键技术之一。虚拟化

通过虚拟化技术，可以屏蔽不同硬件平台的差异性，屏蔽不同硬件的差异所带来的软件兼容问题；通过虚拟化技术，可以将硬件的资源通过虚拟化软件重新整合后分配给软件使用。虚拟化技术实现了硬件无差别的封装，这种方式很适合于部署在云计算的大规模应用中。第5节开源技术

1、Xen2、KVM

KVM使用Linux自身的调度器进行管理，所以相对于Xen，其核心源码很少，KVM的虚拟化需要硬件支持。它是基于硬件的完全虚拟化，目前已成为主流的VMM之一。3、OpenVZ

OpenVZ是基于Linux内核和作业系统的操作系统级虚拟化技术。OpenVZ允许物理服务器运行多个操作系统，被称为虚拟专用服务器（VPS，VirtualPrivateServer）或虚拟环境（VE,VirtualEnvironment）。第6节虚拟化未来发展趋势

云计算时代是开放、共赢的时代，作为云计算基础架构的虚拟化技术，将会不断地有新的技术变革，逐步地增强开放性、安全性、兼容性以及用户体验。

连接协议标准化

平台开放化

公有云私有化

虚拟化客户端硬件化第5章分布式文件系统第1节

概述

1、本地文件系统文件系统是操作系统用来组织磁盘文件的方法和数据结构。

传统的文件系统指各种UNIX平台的文件系统，包括UFS等，它们管理本地的磁盘存储资源，提供文件到存储位置的映射，并抽象出一套文件访问接口供用户使用。通常包含的四类信息如下。

超级块Inode

文件内容

目录内容2、分布式文件系统

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统发展历程

分布式文件系统的发展主要经历如下四个阶段：1980~1990年，早期的分布式文件系统一般以提供标准接口的远程文件访问为目的，更多地关注访问的性能和数据的可靠性；1990～1995年，面对广域网和大容量存储需求，出现了xFS、TigerShark并行文件系统及Frangipani等分布式文件系统；1995～2000年，网络技术的发展和普及极大地推动了网络存储技术的发展，基于光纤通道的SAN（存储区域网络）、NAS（网络附属存储）得到了广泛应用；2000年以后，随着SAN和NAS两种体系结构逐渐成熟，研究人员开始考虑如何将这两种体系结构结合起来，以充分利用两者的优势。分布式文件系统实现方法

实现分布式文件系统一般有两种方法：共享文件系统（sharedfilesystemapproach）和共享磁盘（shareddiskapproach）。

共享文件系统是实现分布式文件系统单一映象功能的传统方法，它把文件系统的功能分布到客户主机和服务器上来完成这一任务。

在共享磁盘模型中，系统中没有文件服务器，而代之以共享磁盘。共享磁盘往往是一种专用的高端存储设备，如IBMSSA磁盘。

常见的分布式文件系统有：GFS、HDFS、Hadoop、Lustre、Ceph、GridFS等等，当前比较流行的包括GFS、HDFS。本章重点介绍这两种分布式文件系统。第2节

基本架构1、服务器介绍

分布式文件系统的典型架构，其中重要的服务器包括：主控服务器（Master/Namenode）、数据服务器（ChunkServer/Datanode）和客户服务器。主控服务器存储目录结构的主控服务器，在GFS中称为master，在HDFS中称为namenode。

主控服务器在整个集群中，同时提供服务的只存在一个，这种设计策略，避免了多台服务器间即时同步数据的代价；而同时，它也使得主控服务器很可能成为整个架构的瓶颈所在。主要功能如下：命名空间的维护数据服务器管理服务调度主备容灾数据服务器

每一个文件的具体数据，被切分成若干个数据块，冗余地存放在数据服务器。

数据服务器的主要工作模式就是定期向主控服务器汇报其状况，然后等待并处理命令，更快更安全的存放好数据。主要功能如下：数据本地存储状态维护副本管理客户端客户端是以一个类库（包）的模式存在，为用户提供文件读写、目录操作等APIs。当用户需要使用分布式文件系统进行文件读写的时候，可以配置客户端的相关包。客户端主要的两个功能如下：接口缓存（考虑维护缓存）2、数据分布在一个文件系统中，最重要的数据就是整个文件系统的目录结构和具体每个文件上的数据。

具体的文件数据被切分成数据块，存放在数据服务器上。每一个文件数据块，在数据服务器上都表示为一对文件（这是普通的Linux文件），一个是数据文件，另一个是附加信息的元文件，简称为数据块文件。

数据块文件存放在数据目录下，它有一个名为current的根目录，Block类用于表示数据块，而FSDataset类是数据服务器管理文件块的数据结构。3、服务期间协议

在Hadoop的实现中，部署了一套RPC（RemoteProcedureCallProtocol，远程过程调用协议）机制，用来实现各服务间的通信协议。第3节

GFS

GFS（GoogleFileSystem）是由Google开发并设计的一个面向大规模数据处理的分布式文件系统。集成了持续的监控、错误侦测、灾难冗余以及自动恢复的机制；一个文件块的大小是64M；绝大部分的大数据都是采用在文件尾部追加数据的方式。1