云计算及大数据技术课后习题

云计算及大数据技术课后习题云计算及大数据技术课后习题云计算及大数据技术课后习题第一章云计算与大数据基础

在信息产业的发展历程中。硬件驱动力，网络驱动力，作为两个重要的内在动力在不一样样的时期起重视要的作用

2~5

西摩克雷超级计算机之父

约翰麦克锡云计算之父

蒂姆伯纳斯李万维网发明人第一个网页开发者

吉姆格雷大数据之父

6．MapReduce思想本源LISP语言

7.依照资源封装层次，云计算分为Iaaspaassaas三种

教材P2教材P8教材P10第二章云计算与大数据相关技术

一致性hash算法原理：

哈希算法是一种从稀有值到亲密值范围的照射方法，在积蓄和计算定位时可以被看做是

一种路由算法。经过这类路与哦算法文件块能被唯一的定位到一个节点的地址。传统的hash

算法容错性和扩展性都不好，无法有效的适应面向数据系统节点的动向变化。意思就是当集

群需要增加节点，传统的hash算法不简单检测到新增加的节点，此为扩展性不好，而一致

hash算法增加一个节点只会影响增加的这个节点到前一个节点之间的数据。容错性就是

若是不幸一个机器C宕机了,那么机器B和C之间的数据都会被D执行，那么受影响的数据可是机器B和C之间的数据。自然，容错性和扩展性对于节点数很多的集群是比较有意义的，

对于节点较少的集群忧如这两个特点并没有什么诱惑力。

一致性hash的实质目的就是解决节点频频变化时的任务分配问题，一致性hash将整个

hash值空间组织成一个虚假圆环，我们这里假设某hash函数H值空间为0~(2^32-1),即32

位无符号整形。下面简述一下一致性hash的原理：

这是一致性hash的整个值空间0~(2^32-1)

下一步将各个服务器使用Hash进行一个哈希，详尽可以选择服务器的ip或主机名作为

要点字进行哈希，这样每台机器就能确定其在哈希环上的地址，假设使用四台机器进行hash：

将数据key使用相同的函数Hash计算出哈希值，并确定此数据在环上的地址，今后地址沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器。

比方我们有ObjectA、ObjectB、ObjectC、ObjectD四个数据对象，经过哈希计算后，在环空间上的地址以下：

依照一致性哈希算法，数据A会被定为到NodeA上，B被定为到NodeB上，C被定为

NodeC上，D被定为到NodeD上

下面我们看看当集群机器比较少的情况

比方系统中只有两台服务器，其环分布以下，

此时必然造成大量数据集中到NodeA上，而只有很少量会定位到NodeB上。为认识决这

种数据倾斜问题，一致性哈希算法引入了虚假节点系统，即对每一个服务节点计算多个哈希，

每个计算结果地址都放置一个此服务节点，称为虚假节点。详尽做法可以在服务器ip或主

机名的后边增加编号来实现。比方上面的情况，可以为每台服务器计算三个虚假节点，于是

可以分别计算“NodeA#1”、“NodeA#2”、“NodeA#3”、“NodeB#1”、“NodeB#2”、“NodeB#3”的哈希值，于是形成六个虚假节点：

同时数据定位算法不变，可是多了一步虚假节点到实质节点的照射，比方定位到“Node

A#1”、“NodeA#2”、“NodeA#3”三个虚假节点的数据均定位到NodeA上。这样就解决

了服务节点少时数据倾斜的问题。在实质应用中，平时将虚假节点数设置为32甚至更大，

因此即使很少的服务节点也能做到相对均匀的数据分布。

2.科学研究的四个范式：察看实验、理论、计算仿真、数据

3.物联网产业链分为：表记，感知，办理，信息传达

4.非关系型数据库分为：

(1)Column-Oriented

面向检索的列式积蓄，其积蓄构造为列式构造如：Google的bigtable，apache

的hbase

Key-Value

面向高性能的并发读/写的缓积蓄藏，构造近似于Hash表(hash算法真的要好好学，

用的地方太多了，性能的确也是最高的)，每个key分别对应一个value，这类数

据库适合用来作为缓存系统使用，比方：MemcacheDB，BerkeleyDB，redis，flare

Document-Oriented

面向海量数据接见的文档积蓄，这类积蓄近似key-value形式，可是value主要以

JSON也许XML等格式进行积蓄，比方:mongoDB,CouchDB

第三章虚假化技术和Goldberg指出：虚假机拥有同一性，高效性，可控性

2.虚假化技术从计算机系统构造层次上可分为以下5类：指令集架构级虚假化，硬件抽象

层虚假化，操作系统层虚假化，编程语言上的虚假化，库函数虚假化

3.常用的虚假化软件系统有VirtualBox，VMwareWorkstation，KVM

系统虚假化拥有硬件没关性，间隔性，多实例，，特权功能等优点。

系统虚假化可分为服务器虚假化桌面虚假化网络虚假化

6.服务器虚假化依照虚假化的部分可分为CPU虚假化，内存虚假化，I/O虚假化

什么是广义虚假化技术：

答：虚假化技术是一种逻辑简化技术，实现物理层向逻辑层的变化，对物理层运动复杂性的障蔽，是系统对外运动表现出简单的逻辑运行状态

虚假化技术有哪些优势劣势

优势：1.虚假化技术可提升资源利用率

供应相互间隔，高效的应用执行环境

虚假化可以简化资源和资源管理

虚假化实现软件和硬件的分别

劣势1.可能会使物理计算机负载过重2.升级和保护引起的安全问题3.物理计算机的影响第四章集群系统基础

1.云计算领域存在两个主要技术路线，一个是基于集群技术的云计算资源整合技术，一个是基于虚假机的云计算资源切分技术2.集群的设计要考虑5个要点的问题是可用性单一系统映像作业管理并行文件系统高效通信3.传统的集群系统可以分为高可用性系统负载均衡高性能虚假化4类。4简述Beowulf系统的主要特点答：1Beowulf系统平时由一个管理节点和多个计算节点组成2Beowulf系统平时用最常有的硬件设备组成3Beowulf系统同城采用哪些廉价且广为流传的软件5Lustre积蓄系统的组成有MDS，MDT，OSS，OST，Client

简述面向计算分布式系统，混杂分布式系统，面向数据的分布式系统的实现系统，剖析三种系统的差异.

面向计算分布式系统：P59混杂型分布式系统：

别：P64表3中分布式系统的比较

P60

面向数据的分布式系统：

P61

剖析区

第五章MPI-面向计算的高性能集群技术

1，什么是MPI

MPI（MessagePassingInterface）信息传达接口。它自己不是一个详尽的实现，而可是一

种标准描述。2，MPI支持

FORTRAN77、C

、Fortran90

、

C++

等语言的调用，能满足大多数科学计算的应用需要。

3，简述MPICH并行环境建立的主要步骤。

(1).配置好NFS服务，实现所有节点对主节点指定文件夹的共享，该文件夹为MPICH的安装

地址，数据和程序的积蓄地址，这样就可以防备在每个节点安装MPICH，启动计算时也可以

防备每次向各个节点发散程序。

(2).配置好各个节点间的互信，这一步就是实现集群内部个节点间无密码接见，因为MPICH

在计算时需要在各节点进行数据交换，集群内的节点应用相互相信的节点。

(3).编译安装置置MPICH。

4.着手配置MPI节点间的ssh无密码接见。

(1)生成私钥id_dsa和公钥

(2)将该密钥用作认证，进行接见授权。

(3)将~/.ssh目录下的文件复制到所有节点。

(4)检查可否可以直接（不需要密码）登录其他节点。

5，简述基于蒙特卡罗思想求π值的编程方法，并编写用MPI程序。

蒙特卡罗方法，又称为随机抽样或统计试验方法。

代码在84

第六章Hadoop-分布式大数据系统

1.谷歌三宝：mapreduce，bigtable，gfs

的工作过程:p93

分块策略:p95

第七章HPCC-面向数据的高性能计算集群系统

1，简述HPCC的主要特点。

1）兴隆灵便的ECL语言，显着提升了程序员编程的效率。

2）HPCC系统供应的Roxie集群供应了高效的在线盘问和剖析服务。

3）ECL程序第一编译为优化的C++，高速性能获取保证。

4）高效的错误恢复和冗余备份系统。

5）牢固和可靠的系统。

6）有对于其他平台，在较低的系统耗资上实现了更高的性能。

2，高性能计算目前可以分为两类:一类是面向计算的高性能计算，另一类是面向数据的高性能计算。3，数据密集型集群计算系统主要有HadoopHPCCStormApacheDrillRapidMinerPentaho4,HPCC系统从整体物理上可以看作在同一个集群上部署了Thor(数据加工办理平台)、Roxie(数据盘问、剖析和数据库房)两套集群计算系统。5，HPCC的系统服务器包括ECL服务器、Dali服务器、Sasha服务器、DFU服务器、ESP服务器6，简述HPCC平台数据检索任务的执行过程。(1)加载原始数据(2)切分、发散待办理的数据(3)发散后原始数据的ETL办理(4)向Roxie集群宣布118

7，熟悉HPC