云计算与并行计算复习

1、云计算与分布式系统期末复习1. 云计算的概念，来源以与与并行计算的关系 云计算的概念从 集群、网格和效用计算 发展而来。 云是虚拟计算机资源池。 云可以处理各种不同的负载， 包括 批处 理式后端作业 和交互式用户界面应用 。云通过迅速提供虚拟机或 物理机允许负载被快速配置和划分。云支持 冗余,自恢复 ，高可 扩展编程模型，以允许负载从许多不可避免的硬件 / 软件错误中 恢复。最终， 云计算系统可以通过 实时监视资源 来确保分配在需 要时平衡。来源：数据爆炸促发了云计算的思想。 集群和网格计算并行使用大量计算机可以解决任何规模的问题。 效用计算 和（ a ）将计算资源 作为服务进行按需付费。云计

2、 算利用动态资源 为终端用户传递大量服务。云计算是一种 高吞吐量计算范式 ，它通过大的 数据中心 或 服 务器群 提供服务。云计算模型使得用户可以随时随地通过他们的 互连设备访问共享资源。 云计算避免了大量的数据移动，可以带来更好的网络带宽利用 率。而且，机器虚拟化进一步提高了资源利用率，增加了应用程 序灵活性降 低了使用虚拟化数据中心资源的总体成本。 云计算使用虚拟化平台， 通过按需动态配置硬件、 软件和数据集， 将弹性资源放在一起， 主要思想 是使用 数据中心中的服务器集群 和大规模数据库 ，将桌面计算移向基于服务的平台， 利用其对提 供商和用户的低成本和简单性。云应用的所有计算任务被分配

3、到 数据中心的服务器 上。这些服务 器主要是虚拟集群的虚拟机，由数据中心资源产生出来。云平台是通过虚拟化分布的系统。公有云和私有云都是在 互联网 上开发的。 公有云构建在互联网之上，任何已付费的用户都可以访问。 公有云属于 服务提供商 ，用户通过订阅即可访问。私有云构建在 局域网内部 ，属于一个独立的组织。由客户管 理，而且其可访问范围限制在所属客户与其合作者之中。 混合云由公有云和私有云共同构成 公有云促进了标准化， 节约了资金投入， 为应用程序提供了很好 的灵活性；私有云尝试进行定制化，可以提供更高的有效性、弹 性、安全性和隐私性；混合云则处于两者中间，在资源共享方面 进行了折中。云的核心

4、是 服务器集群（或虚拟机集群） 。集群节点用作计算 节点，少量的控制节点用于管理和监视云活动。 用户作业的调度 需要为用户创建的虚拟集群分配任务。数据中心和超级计算机在网络需求方面也不相同。超级计算 机使用客户设计的高带宽网络 ，如胖树或 3D 环形网络； 数据中 心网络主要是 基于的商业网络 云平台设计目标 : 可扩展性 、虚拟化 、有效性 和可靠性2. 云平台提供的服务类型6 层的云服务，范围从硬件、网络和配置到基础设施、平台和软 件应用上三层（基础设施即服务） （平台即服务） （软件即服务） 硬件即服务（） 网络即服务（ ） 位置即服务（配置即服务） （）。数据中心的虚拟化资源形成互联网

5、云， 向付费用户提供硬件， 软 件，存储，网络和服务以运行他们的应用。云计算提供了一个虚拟化的按需动态供应硬件， 软件和数据集的 弹性资源平台 .基础设施即服务 （）:这个模型将用户需要的基础设施 （即服务 器，存储，网络和数据中心构造 ）组合在一起。用户可以在使用 客户机操作系统的多个虚拟机上配置和运行指定的应用。 平台即服务 （）:这个模型使用户能够在一个虚拟的平台上配置 用户制定的应用。包括中间件，数据库，开发工具和一些运行时 支持 （如 2.0 和）。3. 软件即服务 （）:这是指面向数千付费云用户的初始浏览器的 应用软件。模型应用于业务流程，工业应用，客户关系管理，企 业资源计划，人

6、力资源和合作应用。3.的核心技术（包括默认文件？大小）谷歌的云计算应用程序 的构成要素包括 存储大量数据的 、为应用 程序开发者提供的 编程框架 、用于分布式应用程序锁服务的和为 访问结构化或半结构化数据的 存储服务。（：对一组数据元素进行某种重复式的处理 : 对中间结果进行某 种进一步的结果整理） （把 与 分开了）（设计思想 ）上升到架构 : 统一架构，为程序员 隐藏系统层细节。是一个基于分布式集群的大型分布式文件系统 , 为计算框 架提供底层数据存储和数据可靠性支撑。上保存了文件系统的 三种元数据 : 命名空间 , 即整个分布式文件系统的目录结构。 与文件名的映射表 3副本的位置信息，

7、每个 默认有 3 个副本。中 每个数据块划分缺省为 64 。每个数据块会分别在 3 个不同的 地方复制副本； 每一个数据块， 仅当 3 个副本都成功时， 才认为 数据保存成功。每个数据块再划分为 64 的子块，每个子块有一 个 32 位的校验和。：是一个文件系统， 难以提供对结构化数据的存储和访问管理。 为此在之上又设计了一个结构化数据存储和访问管理系统,为应用程序提供比单纯文件系统更方便，更高层的数据操作能力。 对存储在表中的数据不做任何解释， 一律视为字符串， 具体数据 结构的实现由用户自行定义。查询模型 （64）-> 结果数据字符串。支持查询，插入和删除操作。4. 怎样分析与计算系

8、统的可用性可用性表示系统对用户可用的时间百分比， 即系统正常运行的时 间百分比。可用性分析：（ ）是所有集群，网络， P2P 网络和云计算系统所期望的。如果 系统有一个长的平均故障时间 （ ）和短的修复时间 （ ）,那么这 个系统就是高度可用的。系统可用性形式化定义如下 :系统可用性 （） 大多数集群通过转移故障节点来达到高可用性的 目的）。5. 虚拟化的基本概念，硬件虚拟化的基本类型，虚拟化软件， 目前市场上开源的版本所支持的指令集虚拟化： 虚拟化是一种计算机体系结构技术，其中，多个虚拟机共享同 一台物理硬件机器。 虚拟化的思想是分离软硬件以产生更好的系 统性能。虚拟化技术通过在同一个硬件主

9、机上多路复用虚拟机的方式来 共享昂贵的硬件资源硬件虚拟化 :硬件虚拟化分为 :全虚拟化和基于主机的虚拟化。全虚拟化 不需要修改主机操作系统。 它依赖于二进制翻译来陷入 和虚拟化一些敏感， 不可虚拟化的指令执行。 客户操作系统和他 们的应用由非临界和临界指令构成。在基于主机的系统虚拟化中， 主机操作系统和客户操作系统同时存在，虚拟化软件层处于两者之间。 主机操作系统仍旧负责管理 硬件。客户操作系统安装并运行在虚拟化层之上。特定的应用可运行在虚拟机中。半虚拟化：半虚拟化需要修改客户操作系统。半虚拟化虚拟机在用户程序中提供了特殊的，要求真正修改操作系统。完全虚拟化：的完全虚拟化与半虚拟化的区别是，

10、完全虚拟化需要支持硬件虚 拟化，而半虚拟化不需要支持硬件虚拟化。也就是，支持了硬件虚拟化，配置完成后就是完全虚拟化，不支 持就是半虚拟化。三种实现技术：1、模拟软件 通过模拟器模拟所有的指令，不 通知虚拟化出来的操作系统 它的运行环境。2、虚拟化一部分特权指令或者使用二进制日志转换技术。3、让支持硬件虚拟化。被虚拟化出来的操作系统上执行的指令，会运行在被虚拟化出来的硬件上，就是完全虚拟化。，内存和设备的虚拟化（虚拟机监视器）,它负责管理计算机系统的硬件资源。每次应用程序访问硬件时，都会捕获该访问请求、内存和设备的虚拟化为支持虚拟化，处理器利用硬件辅助虚拟化， 引入一种特殊的运行模式和指令，使得

11、 和客户操作系统可运行在不同模式中，客 户操作系统与其应用程序的所有敏感指令会陷入到中。虚拟化的硬件支持现代操作系统和处理器允许多个进程同时运行。如果处理器中没有保护机制，那么不同进程的所有指令都可以直接访问硬件，很容易导致系统崩溃。因此，所有处理器都至少需要两种模式（用 户模式和管理模式）来确保对临界区硬件的受控访问。运行在管 理模式的指令称为特权指令，其他指令为非特权指令。虚拟化虚拟机的非特权指令直接在物理主机中运行关键指令可以分为三类：特权指令、控制敏感指令 和行为敏感指 令。特权指令需要在特权模式中执行，当在特权模式之外执行特 权指令时会发生陷入。 控制敏感指令 尝试改变使用资源的配置

12、。 行为敏感指令 根据资源的配置情况会有不同的行为， 包括在虚拟 内存中进行的负载和存储操作。运行在管理模式时，支持在用户模式运行虚拟机的特权指令和非 特权指令，则该体系结构是可虚拟化的。 的所有控制敏感指令和 行为敏感指令都是特权指令的体系结构是天然可虚拟化的。 内存虚拟化客户操作系统和分别维护从虚拟内存到物理内存的映射和从物 理内存到机器内存的映射，共两级映射。客户操作系统仍旧负责 从虚拟地址到虚拟机的物理内存地址的映射，负责将客户物理内 存映射到实际的机器内存上 虚拟化虚拟化包括 管理虚拟设备 和共享的物理硬件 之间请求的路由选 择。实现虚拟化有三种方式 :全设备模拟 : 一个设备的所有

13、功能或总线结构（如设备枚举、 识别、中断和）都可以在软件中复制。半虚拟化 : 是所采用的方法，是广为熟知的分离式驱动模型， 由前端驱动和后端驱动两部分构成。 前端驱动运行在 U 中，而 后端驱动运行在 0 中，它们通过一块共享内存交互。直接虚拟化 : 让虚拟机直接访问设备硬件。它能获得近乎本地 的性能，并且开销不高。6. 实现原理（怎样实现硬件虚拟化的监控） ，内存虚拟化的基本 机制，虚拟化实现方式的实现原理 :是一个基于的半虚拟化系统，是 内核的一部分。内存管 理和调度由存在的内核执行， 则负责其余部分， 这使得比其他需 要控制整个机器的简单许多。 是一个基于硬件辅助的半虚拟化工 具，对性能

14、进行了改进，且支持未修改的客户操作系统，如和其 他变种。，内存和设备的虚拟化（虚拟机监视器 ）,它负责管理计算机系统的硬件资源。 每次应用程序访问硬件时，都会捕获该访问请求、内存和设备的虚拟化为支持虚拟化，处理器利用硬件辅助虚拟化， 引入一种特殊的运 行模式和指令，使得 和客户操作系统可运行在不同模式中， 客 户操作系统与其应用程序的所有敏感指令会陷入到中。虚拟化的硬件支持现代操作系统和处理器允许多个进程同时运行。如果处理器中没有保护机制，那么不同进程的所有指令都可以直接访问硬件，很容易导致系统崩溃。因此，所有处理器都至少需要两种模式（用 户模式和管理模式）来确保对临界区硬件的受控访问。运行在

15、管 理模式的指令称为特权指令，其他指令为非特权指令。虚拟化虚拟机的非特权指令直接在物理主机中运行关键指令可以分为三类：特权指令、控制敏感指令 和行为敏感指 令。特权指令需要在特权模式中执行，当在特权模式之外执行特 权指令时会发生陷入。 控制敏感指令 尝试改变使用资源的配置。 行为敏感指令 根据资源的配置情况会有不同的行为，包括在虚拟内存中进行的负载和存储操作。运行在管理模式时，支持在用户模式运行虚拟机的特权指令和非 特权指令，则该体系结构是可虚拟化的。 的所有控制敏感指令和 行为敏感指令都是特权指令的体系结构是天然可虚拟化的。虚拟化虚拟化包括 管理虚拟设备 和共享的物理硬件 之间请求的路由选

16、择。内存虚拟化 客户操作系统和分别维护从虚拟内存到物理内存的映射和从物 理内存到机器内存的映射， 共两级映射。 客户操作系统仍旧负责 从虚拟地址到虚拟机的物理内存地址的映射， 负责将客户物理内 存映射到实际的机器内存上内存虚拟化机制 客户操作系统和分别维护从虚拟内存到物理内存的映射和从物 理内存到机器内存的映射，共两级映射。进一步，也应该支持虚 拟化，并且对客户操作系统透明， 客户操作系统仍旧负责从虚拟 地址到虚拟机的物理内存地址的映射， 但是客户操作系统并不能 直接访问实际硬件内存， 负责将客户物理内存映射到实际的机器 内存上。8、虚拟化实现方式虚拟化包括管理虚拟设备和共享的物理硬件之间请求

17、的路由 选择。实现虚拟化有三种方式：全设备模拟 : 一个设备的所有功能或总线结构（如设备枚 举、识别、中断和）都可以在软件中复制。半虚拟化 : 是所采用的方法，是广为熟知的分离式驱动模 型，由前端驱动和后端驱动两部分构成。 前端驱动运行在 U 中， 而后端驱动运行在 0 中，它们通过一块共享内存交互。直接虚拟化 : 让虚拟机直接访问设备硬件。它能获得近乎本 地的性能，并且开销不高。内存虚拟化的页表机制由于客户操作系统的每个页表在中都有一个独立页表与之对 应，中的页表称为影子页表。 嵌套的页表在虚拟内存系统中额外 增加了一层映射。 负责由操作系统定义的虚拟地址到物理地址的 转换。然后，使用定义的

18、其他页表将物理内存地址转换为机器地 址。使用影子页表进行虚拟内存到机器内存的地址转换。 当客户 操作系统修改了虚拟内存到物理内存的映射时， 会与时更新影子 页表。4. 内存迁移的实现功能内存的迁移实现的功能内存迁移在虚拟机迁移时很重要，因此内存迁移一个重要的 功能是实现虚拟机的迁移， 可以将虚拟机的内存实例从一个物理 节点迁移至另一个物理节点5. 云平台处理的应用类型6. 互联网配置云系统的方式（私有云，） 公有云、私有云、混合云7. 单一系统镜像包括哪些内容（1）单系统镜像特征 :单一系统 、单一控制、对称性、位置透 明性（2）单系统镜像（）包括单一入口、单文件层次、单一空间、 单一网络机制

19、、单一控制点、单一作业管理系统、单一内存空间 和单一进程空间。（3）额外特征：单一作业管理系统 所有集群作业能够由任意节点提交到单 一作业管理系统。单一用户接口 用户通过单一图形界面使用集群。单一进程空间 各节点的所有用户进程形成单一进程空间， 并 且共享统一进程认证机制。集群化的中间件 在集群应用的三个层次上， 中间件支持各种 特征。管理级 该级处理用户应用程序，并且提供 作业管理系统。编程级 该级提供单一文件层次（、 、 、）和分布式共享内存实现级 该级支持单一进程空间、检查点机 制、进程迁移和单一空间。8. 虚拟化软件层的基本功能 虚拟化实现的层次 引入虚拟化后， 不同用户应用程序由自身

20、的操作系统 （即客户操 作系统） 管理，并且那些客户操作系统可以独立于主机操作系统 同时运行在同一个硬件上， 这通常是通过新添加一个称为虚拟化层的软件来完成，该 虚拟化层 称为或虚拟机监视器（ ，） 指令集体系结构级 ：代码解释和动态二进制翻译 硬件抽象级 ：虚拟化一个计算机硬件资源操作系统级 ：在单一物理服务器上创建隔离的容器和操作系统实 例库支持级 ：库接口的虚拟化应用程序级 ：进程级虚拟化、高级语言（ ，）虚拟机虚拟化软件层的主要功能是将一个主机的物理硬件虚拟化为 可被各虚拟机互斥使用的虚拟资源。 （这可以在不同的操作层实 现） 虚拟化软件通过在计算机系统的不同层插入虚拟化层来创建虚 拟机抽象。通常的虚拟化层包括指令集体系结构（ ）级、硬件 抽象级、操作系统级、库支持级和应用程序级编程题传统串行处理方式没有读取文件/* , |*/*/( ) ;();( 0<