版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、第一章云计算与大数据基础1.在信息产业的发展历程中。硬件驱动力,网络驱动力,作为两个重要的内在动力在不同的时期起着重要的作用25西摩克雷超级计算机之父约翰麦克锡云计算之父蒂姆伯纳斯李万维网发明人 A个网页开发者吉姆格雷大数据之父6. MapReduce思想来源LISP语言7.按照资源封装层次,云计算分为Iaas paas saas 三种8.教材 P2 1.1.210 .教材 P8 1.2.211 .教材 P10 1.2.3第二章云计算与大数据相关技术1.一致性hash算法原理:哈希算法是一种从稀疏值到紧密值范围的映射方法,在存储和计算定位时可以被看做 是一种路由算法。通过这种路与哦算法文件块能
2、被唯一的定位到一个节点的位置。传统的 hash算法容错性和扩展性都不好,无法有效的适应面向数据系统节点的动态变化。意思就 是当集群需要增加节点,传统的hash算法不容易检测到新增加的节点,此为扩展性不好,而一致性hash算法增加一个节点只会影响增加的这个节点到前一个节点之间的数据。容错 性就是如果不幸一个机器C宕机了,那么机器B和C之间的数据都会被 D执行,那么受影响的数据只是机器 B和C之间的数据。当然,容错性和扩展性对于节点数较多的集群是比较 有意义的,对于节点较少的集群似乎这两个特性并没有什么诱惑力。一致性hash的实际目的就是解决节点频繁变化时的任务分配问题,一致性 hash将整 个h
3、ash值空间组织成一个虚拟圆环,我们这里假设某hash函数H值空间为0(2人32-1),即32位无符号整形。下面简述一下一致性hash的原理:这是一致性hash的整个值空间0(2A32-1)下一步将各个服务器使用 Hash进行一个哈希,具体可以选择服务器的ip或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置,假设使用四台机器进行hash :Nudta AHash()Nodb D忖口曲RHash() Ha&IX )Hash()Mu 但 C |将数据key使用相同的函数 Hash计算出哈希值,并确定此数据在环上的位置,从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应
4、该定位到的服务器。例如我们有 Object A、Object B、Object C、Object D 四个数据对象,经过哈希计算后,在环空间上的位置如下:Node AHash()Hash( ) |It VHaBftQHash) IHash()NorlF C根据一致性哈希算法,数据A会被定为到 Node A上,B被定为到 Node B上,C被定为至ij Node C上,D被定为至ij Node D上卜面我们看看当集群机器比较少的情况例如系统中只有两台服务器,其环分布如下,Node AHash()Tjode b此时必然造成大量数据集中到Node A上,而只有极少量会定位到Node B上。为了解决这
5、种数据倾斜问题,一致性哈希算法引入了虚拟节点机制,即对每一个服务节点计算多个哈希,每个计算结果位置都放置一个此服务节点,称为虚拟节点。具体做法可以在服务器ip或主机名的后面增加编号来实现。例如上面的情况,可以为每台服务器计算三个虚拟节点,于是可以分别计算“Node A#1"、“Node A#2'、"Node A#3、"Node B#1"、"Node B#2'、"Node B#3'的哈希值,于是形成六个虚拟节点:Node AftlHash( )1Hash()Hash。Hash()Node B#2Node A订2H
6、ash(J|Node 23同时数据定位算法不变,只是多了一步虚拟节点到实际节点的映射,例如定位到“NodeA#1"、“Node A#2'、"Node A#3'三个虚拟节点的数据均定位到Node A上。这样就解决了服务节点少时数据倾斜的问题。在实际应用中,通常将虚拟节点数设置为 大,因此即使很少的服务节点也能做到相对均匀的数据分布。32甚至更2 .科学研究的四个范式:观测实验、理论、计算仿真、数据3 .物联网产业链分为:标识,感知,处理,信息传送4 .非关系型数据库分为: Column-Oriented面向检索的列式存储,其存储结构为列式结构如:Google
7、的 big tableapache 的 hbase(2) Key-Value面向高性能的并发读/写的缓存存储,结构类似于 Hash表(hash算法真的要好好学,用的地方太多了,性能的确也是最高的),每个key分别对应一个value ,这种数据库适合用来作为缓存系统使用,比如:MemcacheDB Berkeley DB ,redisflare(3) Document-Oriented面向海量数据访问的文档存储,这类存储类似key-value形式,只是value主要以JSON或者XML等格式进行存储,比如 :mongoDB,CouchDB第三章虚拟化技术1 .Popek和Goldberg指出:虚
8、拟机具有同一性,高效性,可控性2 .虚拟化技术从计算机体系结构层次上可分为以下5类:指令集架构级虚拟化,硬件抽象层虚拟化,操作系统层虚拟化,编程语言上的虚拟化,库函数虚拟化3 .常用的虚拟化软件系统有VirtualBox , VMware Workstation , KVM4 .系统虚拟化具有 硬件无关性,隔离性,多实例,特权功能等优点。5 .系统虚拟化可分为服务器虚拟化桌面虚拟化网络虚拟化6 .服务器虚拟化按照虚拟化的部分可分为CPU虚拟化,内存虚拟化,I/O虚拟化7 .什么是广义虚拟化技术:答:虚拟化技术是一种逻辑简化技术,实现物理层向逻辑层的变化,对物理层运动复杂性的屏蔽,是系统对外运动
9、呈现出简单的逻辑运行状态8虚拟化技术有哪些优势劣势?优势:1.虚拟化技术可提高资源利用率8 .提供相互隔离,高效的应用执行环境9 .虚拟化可以简化资源和资源管理10 虚拟化实现软件和硬件的分离劣势1.可能会使物理计算机负载过重11 升级和维护引起的安全问题12 物理计算机的影响第四章集群系统基础1 .云计算领域存在两个主要技术路线,一个是基于集群技术的云计算资源整合技术,一个是基于虚拟机的云计算资源切分技术2 .集群的设计要考虑 5个关键的问题是可用性单一系统映像作业管理并行文件系统高 效通信3 .传统的集群系统可以分为高可用性系统负载均衡高性能虚拟化4类。4简述Beowulf系统的主要特点答
10、:1 Beowulf系统通常由一个管理节点和多个计算节点构成2 Beowulf系统通常用最常见的硬件设备组成3 Beowulf系统同城采用哪些廉价且广为传播的软件5 Lustre 存储系统的组成有 MDS, MDT, OSS, OST, Client6 .简述面向计算分布式系统,混合分布式系统,面向数据的分布式系统的实现机制, 分析三 种系统的区别.面向计算分布式系统:P59 4.6.1混合型分布式系统:P60 4.6.2面向数据的分布式系统:P61 4.6.3分析区别:P64表4.2 3中分布式系统的对比第五章MPI-面向计算的高性能集群技术1,什么是MPIMPI( Message Pass
11、ing Interface )消息传递接口。它本身不是一个具体的实现,而只是一 种标准描述。2, MPI支持FORTRAN77、C、Fortran90 、C+等语言的调用,能满足大多数科学计算的应用需要。3,简述MPICH行环境建立的主要步骤。(1) .配置好NFS服务,实现所有节点对主节点指定文件夹的共享,该文件夹为MPICH的安装位置,数据和程序的存储位置,这样就可以避免在每个节点安装MPICH启动计算时也可以避免每次向各个节点分发程序。(2) .配置好各个节点间的互信,这一步就是实现集群内部个节点间无密码访问,因为MPICH在计算时需要在各节点进行数据交换,集群内的节点应用相互信任的节点
12、。(3) .编译安装配置 MPICH(4) 手配置 MPI节点间的ssh无密码访问。(1)生成私钥id_dsa和公钥id_dsa.pub(2)将该密钥用作认证,进行访问授权。(3)将-/.ssh目录下的文件复制到所有节点。(4)检查是否可以直接(不需要密码)登录其他节点。5,简述基于蒙特卡罗思想求兀值的编程方法,并编写用MPI程序。蒙特卡罗方法,又称为随机抽样或统计试验方法。代码在 Page 83 -84第六章Hadoop-分布式大数据系统1 .谷歌三宝: mapreduce, bigtable , gfs2 .gfs的工作过程:p933 .HDFS分块策略:p95第七章HPCC-面向数据的高
13、性能计算集群系统1,简述HPCC勺主要特点。(1) 强大灵活的ECL语言,显著提升了程序员编程的效率。(2) HPCC(统提供的Roxie集群提供了高效的在线查询和分析服务。(3) ECL程序首先编译为优化的C+,高速性能得到保证。(4) 高效的错误恢复和冗余备份机制。(5) 稳定和可靠的系统。(6) 相对于其他平台,在较低的系统消耗上实现了更高的性能。2,高性能计算目前可以分为两类:一类是面向 计算的高性能计算,另一类是面向数见的高性能计算。3,数据密集型集群计算系统主要有Hadoop HPCC Storm Apache Drill Rapid Miner Pentaho4,HPCC系统从总体物理上可以看作在同一个集群上部署了Thor(数据加工处理平台)、Roxie(数据查询、分析和数据仓库)两套集群计算系统。5, HPCC勺系统服务器包含 ECL服务器、Dali服务器、Sasha服务器、DFU服务器ESP服务器6,简述HPCCF台数据检索任务的执行过程。(1)加载原始数据(2)切分、分发待处理的数据(3)分发后原始数据的 ETL处理(4)向Roxie集群发布Page 117-1187,熟悉HPCC
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 药店员工合同模板
- 美业产品合同模板
- 样才算正规购房合同模板
- 防水高压注浆合同模板
- 屏幕采购合同模板
- 标准水果运输合同模板
- 虚假抵押车合同模板
- 装修软包合同模板
- 大厦房子出租合同模板
- 办公场地租房合同模板
- 应急分队人员招聘方案范文
- 林木良种基地建设项目建议书
- 【分层教学】三年级下册英语教案-UNIT FIVE CHILDREN'S DAY lesson 16 北京版
- 责任保险行业研究报告
- DL-T5704-2014火力发电厂热力设备及管道保温防腐施工质量验收规程
- (高清版)JGT 225-2020 预应力混凝土用金属波纹管
- 医用离心机校准规范
- 化学实验室安全考试试题-及答案
- 初中地理实验设计方案
- (正式版)JBT 5300-2024 工业用阀门材料 选用指南
- Unit3Whatwouldyoulike?Alearnandtalk说课(课件)人教PEP版英语五年级上册
评论
0/150
提交评论