云计算与大数据技术智慧树知到期末考试答案章节答案2024年北京联合大学

云计算与大数据技术智慧树知到期末考试答案+章节答案2024年北京联合大学以下说法正确的是（）。

答案:HDFS是一易于扩展的分布式文件系统###HDFS运行在大量普通廉价机器上，提供容错机制###HDFS源自于Google的GFS论文###HDFS为大量用户提供性能不错的文件存取服务下列关于YARN框架描述正确的有（）。

答案:ApplicationMaster负责与RM调度器协商以获取资源。###ResourceManager负责整个集群的资源管理和分配。###NodeManager是每个节点上的资源和任务管理器。###NodeManager定时向ResourceManager汇报本节点资源的使用情况和Container的运行状态。云计算通过网络，借助（）等先进的商业模式把强大的计算能力分布到终端用户手中。

答案:PaaS###IaaS###SaaS###MSP基于SDN的网络架构可以更容易地实现网络虚拟化理由是（）

答案:高利用率###快速故障修复###平滑升级###弹性计算###SDN提供网络拓扑统一视图以下属于Microsoft公司的云计算组件是（）。

答案:通信协议RemoteFX和RDP8版###云计算管理平台SystemCenter2016###虚拟化平台Hyper-VContainer###虚拟化平台WindowsServerContainer以下属于IaaS管理工具的有（）。

答案:CloudPlatform###CloudStack###OpenStack###HelionEucalyptusHbase数据模型中物理视图描述正确的是（）。

答案:Region是HBase中分布式存储和负载均衡的最小单元。###Region按大小分割的，当增大到一个阀值的时候，region就会等分为两个新的region。###Table中的所有行都按照rowkey的字典序排列。###Table在行的方向上分割为多个Region。下列关于Spark计算框架描述正确的有（）。

答案:可用于构建大型的、低延迟的数据分析应用程序。###由加州大学伯克利分校AMP实验室(Algorithms,Machines,andPeopleLab)开发。###类似HadoopMapReduce的通用并行框架，是基于内存计算的大数据并行计算框架。下列关于SparkStreaming描述正确的有（）。

答案:可以实现高吞吐量的，具备容错机制的实时流数据处理。###是构建在SparkRDD之上的一款流处理工具。###是Spark核心（SparkCore）API的一个扩展。字节跳动对YARN的定制主要实现（）。

答案:物理资源分配率提升和使用率提升。###稳定性提升。###异地多活，全球统一的YARNUI界面。###多种负载场景优化。以下属于大数据框架技术底层资源管理的是（）。

答案:YARN###MesosNFV依赖SDN（软件定义网络）原理，把网络操作分成（）

答案:管理和编排（MANO）平面###用户平面###控制平面根据虚拟机监控器在虚拟化平台中的位置分为3种模型（）。

答案:混合模型###裸机虚拟化模型###宿主机虚拟化模型Hadoop2.x和Hadoop3.x区别包括（）。

答案:HDFS支持纠删码###支持多余2个以上的NameNodes###Java运行环境升级为1.8###YARN时间线服务下列不属于Strom特性的是（）。

答案:是一个通用资源管理系统和调度平台。下列不属于YARN的组件是（）。

答案:ClusterManager下列属于Spark核心（SparkCore）的基础核心功能（）。

答案:提供内存计算、任务调度、部署模式、故障恢复、存储管理等。下列描述中错误的是（）。

答案:仓库级计算机（WSC)是指大型机。根据OverLay的载体不同VXLAN的OverLay分为3种，下列分类不正确的是（）。

答案:虚实OverLay关于硬件辅助虚拟化技术叙述错误的是（）。

答案:使用Hypervisor分享存储底层的硬件智慧城市的构建，不包含（）。

答案:联网监控。StandbyNameNode在架构中是NameNode的热备，当ActiveNameNode出现故障时，快速切换为新的ActiveNameNode。（）

答案:对2007年Hadoop诞生，Hadoop是一个大数据计算框架，提供海量数据存储（HDFS）、查询（HBase）和计算（MapReduce）能力。（）

答案:对Flume是一流数据采集框架，适合采集互联网用户行为数据。Kafka日志采集框架，主要在日志系统采集各类数据。（）

答案:错2017年12月Hadoop3.0版本加入了通用YARN资源管理器，MapReduce和HDFS有效解耦。（）

答案:错虚拟机要运行在虚拟机软件（虚拟机监控器）里，而虚拟机软件运行在物理机上。（）

答案:对sqoop2架构中，引入了sqoopServer，便于集中化的管理接口访问、Connector和元数据。（）

答案:对2007年1月，Sun公司发布了开源虚拟化软件VirtualBox。同年Xen被Citrix（思杰）收购。（）

答案:对云计算是从网格计算演化而来的，能够随需应变的提供资源。（）

答案:对消息处理者Bolt既可以处理Tuple，也可以将处理后Tuple作为新的Streams发送给其他Bolt。（）

答案:对Spark支持的集群部署方式：standalone、SparkonMesos、SparkonYARN、Spark和Hadoop一起部署。（）

答案:对大数据的定义是（）。

答案:任何超过了一台计算机处理能力的数据量###指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合下列描述中正确的有（）。

答案:最大规模的集群称为仓库级计算机（WSC），它们的设计方式使数万个服务器像一个服务器一样运行。###集群中每个节点都运行自己的操作系统，节点之间使用网络协议进行通信。###集群是指一组桌面计算机或服务器通过局域网连接在一起，运转方式类似于一个更大型的计算机。HDFS可靠性策略包括（）。

答案:Datanode定期向Namenode发heartbeat。###元数据信息fsimage和fsedits，推送给NameNode###文件完整性，CRC32校验和副本取代损坏文件。###文件多份存储，主备NameNode实时切换下列关于Mesos资源管理器描述正确的有（）。

答案:Mesos是一个开源的资源管理系统，可以对集群中的资源做弹性管理。###Mesos是Apache下的开源分布式资源管理框架，被称为是分布式系统的内核。。###Mesos最初是由加州大学伯克利分校的AMPLab开发的。大数据采集过程中或完成后数据的预处理包括（）。

答案:对错误数据进行预处理。###对重复的数据进行预处理。###对数据的不一致性进行预处理。###对残缺数据进行预处理。下列关于HDFS架构中Client功能描述正确的有（）。

答案:与DataNode交互，读取或者写入数据。###完成文件切分，管理HDFS###与NameNode交互，获取文件位置信息。Hbase基本架构中RegionServer容错实现是（）。

答案:失效RegionServer上“预写”日志由主服务器进行分割并派送给新的RegionServer。###RegionServer定时向Zookeeper汇报心跳。###如果一段时间内未出现心跳，Master将该RegionServer上的Region重新分配到其他RegionServer上。HDFS的优点包括（）。

答案:适合大数据处理，流式文件访问###高容错性，适合批处理###构建在廉价机器上下列关于Flume数据采集框架描述正确的有（）。

答案:Flume是一个海量日志采集、聚合和传输的系统。###Flume支持在日志系统中定制各类数据发送方，用于收集数据。###Flume提供对数据进行简单处理，并写到各种数据接受方的能力。下列属于在Spark核心框架的基础上提供的计算框架（）。

答案:SparkStreaming。###SparkSQL。###Spark(machinelearning)。###GraphX(graph)。下列关于Mesos与Yarn区别描述正确是（）。

答案:Mesos中的MesosMaster实现对整个集群资源管理和调度。###YARN中的ResourceManager实现对整个集群资源管理和调度。###Mesos中的MesosSlave和FrameworkExecutor对应YARN中的NodeManager主要实现单个节点的资源管理、任务启动。###Mesos实现语言是C++，YARN实现语言是Java。对于云计算消费者，云计算的优势有（）。

答案:提高了用户体验###提高了数据的安全性###大型昂贵软件平民化数据处理大致分为两类（）。

答案:OLAP(On-LineAnalyticalProcessing:联机分析处理)###OLTP(On-LineTransactionProcessing:联机事务处理)Spark的RDD的基本特性有（）。

答案:并行操作。###分区。###不可变。基于Hadoop架构设计一数据库产品Hbase原因有（）。

答案:HDFS面向批量访问模式，不是随机访问模式。###传统的通用关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题。###Hadoop无法满足大规模数据实时处理应用的需求。###传统关系数据库在数据结构变化时一般需要停机维护，空列浪费存储空间。Overlay主要技术标准有（）。

答案:VXLAN###NVGRE###STT下列属于SparkSQL特点的是（）。

答案:实现SQL查询与Spark程序无缝混合。###通过JDBC或ODBC连接数据库。###可以相同方式连接到任何数据源。###在现有仓库上运行HiveQL实现与Hive集成：。Storm的主要组件包括（）。

答案:Bolts。###StreamGroupings。###Spouts和Streams。###Topology。云交付的组成部分中，通信协议有（）。

答案:ICA/HDX(RedHat)###RDP（微软）###PCoIP（VMware）大数据系统框架主要解决两个问题（）。

答案:大数据计算###大数据存储下列关于MessageQueue功能描述正确的是（）。

答案:削峰填谷。###程序间解耦。在当今云计算、大数据盛行的时代，对数据库产品提出以下要求（）。

答案:低延迟的读写速度。###大规模集群的管理。###庞大运营成本的考量。###支撑海量的数据和流量。云计算的服务模式不包括（）。

答案:系统即服务在大数据时代，下列说法正确的是。（）

答案:数据是最核心的部分下列不属于ActiveNamenode节点功能的是（）。

答案:执行数据块读/写A公司通过（）计算云，可以让用户通过WebService方式租用计算机来运行自己的计算机应用程序。

答案:EC2下列关于MapReduce计算框架描述不正确是（）。

答案:MapReduce是Mesos的原生批处理计算框架。下列属于Hadoop2.0和Hadoop3.0区别的是（）。

答案:Hadoop3.0支持多于2个以上的NameNode大数据不是要教机器像人一样思考。相反，它是（）。

答案:把数学算法运用到海量的数据上来预测事情发生的可能性HDFS架构中存储实际数据块的节点是（）。

答案:Datanode速率最大的协议是（）协议。

答案:iSCSI协议下列关于MessageQueue定义正确的是（）。

答案:是一种消息队列服务中间件，提供一套完整的信息生产、传递、消费的软件系统。Mesos组件中NodeManager用来实现对整个集群的资源管理和调度。（）

答案:错半虚拟化技术是指虚拟机模拟了完整的底层硬件，包括处理器、物理内存、时钟、外设等。（）

答案:错ApacheFlink是一种可以处理批处理任务的流处理框架。用于对无界和有界数据流进行有状态计算。（）

答案:对Overlay（叠加网络、覆盖网络）是通过在现有网络上叠加一个虚拟的逻辑网络，让原有网络尽量不做改造，通过定义的逻辑网络来实现业务逻辑，解决原有数据中心的网络问题。（）

答案:对IaaS云计算解决方案中，交付部分主要解决如何让远端的用户使用虚拟机的问题。（）

答案:对VMM或Hypervisor称为虚拟机监控器，负责为虚拟机统一分配CPU、内存和外设，调度虚拟资源。（）

答案:对发布-订阅模式是将消息持久化到一个队列中，有一个或多个消费者消费队列中的数据，但是一条消息只能被消费一次。（）

答案:错大数据系统硬件架构底层的资源包括存储资源、计算资源，通过网络资源实现连接。（）

答案:对加州大学伯克利分校给云计算的定义是指数据中心中的硬件和系统软件。（）

答案:对NoSQL数据库是一种基于内存的数据库，并且提供一定的持久化功能。（）

答案:对一般的企业大数据实践应用，通用架构的底层都会是数据源和数据采集转换装载层。（）

答案:对传统数据密集型行业积极探索和布局大数据应用表现在（）。

答案:实现科学决策与运营。###打通多源跨域数据。###提高分析挖掘能力。###投资入股涉及消费各种互联网企业。大数据预测能够分析和挖掘出人们不知道或没有注意到的模式，确定判断事件必然会发生。（）

答案:错借助于图形化的手段，可以清晰、快捷有效的传达与沟通信息。（）

答案:对数据可视化工具分为（）。

答案:专业图表类。###零编程类。###开发工具类。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。（）

答案:对数据可视化常用方式包括（）。

答案:地域空间可视化。###面积&尺寸可视化。###概念可视化。###颜色、图形可视化。市场上有许多专业的可视化工具，包括零编程拖拽类、专业图表类、软件开发工具类等。（）

答案:对下列关于数据仓库工具Hive架构描述正确的是（）。

答案:Driver组件主要完成HQL查询语句的词法分析、语法分析、编译、优化以及查询计划的生成。###Hive将元数据存储在关系型数据库中，有三种模式可连接到数据库。###Hive用户接口主要有三个：CLI，JDBC/ODBC和WebUI，最常用的是CLI。###Hive的数据存储在HDFS中，大部分的HQL查询请求、Hive内部自动转换为MapReduce任务执行。Hive的本质是将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据。（）

答案:对下列关于数据仓库工具Hive描述正确的是（）。

答案:Hive是一个构建在Hadoop上的数据仓库框架。###Hive的本质是将SQL语句转换为MapReduce任务运行。###Hive可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。Hive的存储结构包括数据库、表、视图、分区和表数据等。（）

答案:对Hive内部表（table）删除后，HDFS上的文件没有删除,只是把文件删除，删除元数据，不删除数据。（）

答案:错在当今云计算、大数据盛行的时代，关系型数据库性能遇到瓶颈，瓶颈的源头一般是在磁盘的I/O上。（）

答案:对下列哪些数据库产品是NoSQL数据库（）。

答案:Cassandra。###MongoDB。###Redis。若要在HBase上使用SQL，则需要联合使用ApachePhonenix，或者联合使用Hive和HBase。（）

答案:对NoSQL数据库同时具备了高性能、可扩展性强、高可用等优点。（）

答案:对HBase存储模式是基于列存储的，每个columnfamily存储在HDFS上的一个单独文件中。（）

答案:对下列关于Hbase描述正确的是（）。

答案:运行于HDFS文件系统之上。###是Google的BigTable的开源实现。###HBase是一个开源的非关系型分布式数据库。###主要用来存储非结构化和半结构化的松散数据。Storm将Spouts和Bolts组成的网络抽象成topology（类似Job），它可以被提交到Storm集群执行。（）

答案:对Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。（）

答案:对Storm使用ZooKeeper来协调集群内的各种配置使得Storm的集群可以很容易的扩展。（）

答案:对下列Storm工作流程描述正确的是（）。

答案:Nimbus节点将提交的Topology进行分片，分成一个个Task，分配给相应的Supervisor。###Supervisor去Zookeeper集群上认领自己的Task，通知自己的Worker进程进行Task的处理。###Nimbus节点将Task和Supervisor相关的信息提交到Zookeeper集群上。###Client节点提交Topology任务。下列对Storm集群结构描述正确的是（）。

答案:Nimbus负责在集群范围内分发代码、为Worker分配任务和监测故障。###Zookeeper负责Nimbus和多个Supervisor之间的所有协调工作。###Supervisor负责接受Nimbus分配的任务，管理属于自己的Worker进程。###Worker节点运行名为“Supervisor”的后台程序负责监听分配给它所在机器的工作。在RDD的计算过程中，不需立刻去存储计算出的数据本身，只要记录每个RDD是经过哪些转化操作得来的。（）

答案:对Spark运行架构包括（）。

答案:集群资源管理器（ClusterManager）。###运行作业任务的工作节点（WorkerNode）。###每个应用的任务控制节点（Driver）。###每个工作节点上负责具体任务的执行进程（Executor）。Spark运行在YARN上要比运行在Mesos上更加灵活和自然，Spark官方推荐采用这种模式。（）

答案:错Spark可运行于独立的集群模式中，或者运行于Hadoop中，也可运行于AmazonEC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源。（）

答案:对下列关于Spark使用场景描述正确的有（）。

答案:复杂的海量数据批量处理，时间在数十分钟到数小时之间。###基于历史数据的交互式查询，时间在数十秒到数十分钟之间。###基于实时数据流的数据处理，时间在数百毫秒到数秒之间。下列关于SparkGraphX图计算描述正确的有（）。

答案:图上的计算任务分成图并行计算和数据并行计算两种。###数据并行计算任务是指图上代数运算，如构建一个图、合并两个图、跨越多个图等。###图并行计算任务是指那些迭代计算任务，如PageRank。Spark支持使用Scala、Java、Python和R语言进行编程。（）

答案:对MapReduce计算框架具有数据本地性特性，本地性可避免跨节点或机架数据传输，提高运行效率。（）

答案:对下列关于MapReduce2.0架构描述正确的有（）。

答案:MapReduce2.0架构包括ResourceManager、NodeManager、ApplicationMaster、Container组件。###MapReduce2.0架构中的NodeManager是执行应用程序的容器，监控应用程序的资源使用情况并且向调度器汇报。###MapReduce2.0将JobTracker两个主要的功能资源管理和任务调度/监控分离成单独的组件。###MapReduce2.0架构中的ResourceManager是基于应用程序对资源的需求进行调度的资源调度器。MapReduce2.0将JobTracker两个主要的功能资源管理和任务调度/监控分离成单独的组件。（）

答案:对如果任务运行在它将处理的数据所在的节点，则称该任务具有“数据本地性”。（）

答案:对下列适合MapReduce应用场景的是（）。

答案:离线批处理。下列关于Kafka描述正确的有（）。

答案:Kafka可以用于web/nginx日志、访问日志采集，也可用于消息服务等等。###Kafka是一基于zookeeper协调的分布式日志系统。###Kafka是一个分布式、分区的、多副本的、多订阅者日志系统。下列关于Flume架构描述正确的有（）。

答案:Sink负责持久化日志或者把事件推向另一个Source。###Source是数据的收集端，负责将数据捕获后进行特殊的格式化。###Channel是连接Source和Sink的组件，它将保存事件直到Sink处理完该事件。###Source将数据封装到事件（event）里，然后将事件推入Channel中。下列关于数据迁移工具Sqoop描述正确的有（）。

答案:Sqoop工作机制是将导入或导出命令翻译成MapReduce程序来实现。###Sqoop是一款用于在Hadoop和关系数据库服务器之间传输数据的工具。###Sqoop工具本质就是迁移数据。大数据的处理流程的第一步就是大数据的采集与预处理。（）

答案:对各行业海量的数据中，大约20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。（）

答案:对常用大数据采集途径有（）。

答案:数据服务机构。###APP移动端数据采集。###智能感知设备。###互联网数据采集。发布-订阅消息传递模式是将消息持久化到一个topic中。消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费。（）

答案:对Spark是一种包含流处理能力的下一代批处理框架。主要应用在广告、报表、推荐系统等业务上。（）

答案:对下列关于YARN描述正确的有（）。

答案:YARN为上层应用提供统一的资源管理和调度。###YARN与运行的用户程序完全解耦。###YARN是一个通用资源管理系统和调度平台。###YARN只提供运算资源的调度。MapReduce、Storm、Spark、Tez等计算框架都可以整合在YARN上运行，只要他们各自的框架中有符合YARN规范的资源请求机制即可。（）

答案:对下列基于Yarn的计算框架描述正确是（）。

答案:MapReduce是一种离线数据计算框架。###Spark是基于内存计算的大数据并行计算框架。###Storm是Twitter开源的分布式实时大数据处理框架。Mesos是一个开源的资源管理系统，可以对集群中的资源做弹性管理，目前twitter,apple等公司在大量使用Mesos管理集群资源。（）

答案:对YARN基于ZooKeeper实现HA，主提供服务，备同步主的信息。主挂掉，备立即做切换接替主进行服务。（）

答案:对Mesos组件中FrameworkScheduler组件是实现单个应用程序的管理和资源二次调度。（）

答案:对字节跳动公司产品对YARN的定制应用描述正确是（）。

答案:公司的抖音、今日头条等产品重度依赖推荐，团队对调度器进行了深度定制。###YARN主要承载着字节跳动公司内的离线作、流式作业、模型训练三大场景。YARN采用双层调度框架，ResourceManager将资源分配给AppMaster，AppMaster将资源进一步分配给各个Task。（）

答案:对YARN天生是为批处理而设计的，很多地方与流式或模型训练场景并不匹配，为了给批处理、流式、模型训练三大场景更好的体验，字节跳动对YARN做一些定制工作。（）

答案:对HDFS文件被切分成固定大小的数据块，为实现高吞吐率，默认数据块大小为128MB。（）

答案:对HDFS不支持多用户写入，也无法进行文件随机修改。仅支持以append的方式，即通过追加的方式添加到文件结尾处。（）

答案:对传统的NFS不是一种典型的分布式系统，虽然它的文件的确放在远端（单一）的服务器上面。（）

答案:对HDFS文件不仅支持追加，还支持文件任意offset的修改。（）

答案:错HDFS不适合的场景（）。

答案:存储小文件。###支持多用户写入。###对延迟要求较高的场景。###进行文件随机修改。Hadoop2.0和Hadoop3.0区别包括（）。

答案:Hadoop3.0的Java运行环境升级为1.8###Hadoop3.0的HDFS支持纠删码###Hadoop3.0支持多于2个以上的NameNodesHadoop2.0版本加入了通用YARN资源管理器，用以协调各个组件对系统资源的利用，合理分配集群CPU、内存资源。（）

答案:对Hadoop3.0版本中HDFS支持纠删码，纠删码相比于副本机制节省了一半以上的存储空间，普通副本机制需要3倍存储空间而这种机制只需1.4倍即可。（）

答案:对Hadoop1.0和Hadoop2.0区别包括（）。

答案:Hadoop2.0新增了HDFSfederation###Hadoop2.0新增了HDFSHA机制###Hadoop2.0新增了YARN框架Hadoop2.0版本中，MapReduce2.0只是一个计算框架，具体资源调度全部交给Yarn框架。（）

答案:对通用的大数据分析系统的核心设计理念包括并行化、规模经济、虚拟化。（）

答案:对大数据的科学价值和社会价值正是体现在（）。

答案:大数据已经撼动了世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域###对大数据的掌握程度可以转化为经济价值来源大数据的处理流程涉及（）。

答案:数据挖掘与预测###统计/分析###数据导入/预处理###数据采集大数据4V特点是（）。

答案:Variety（数据类型多）###Velocity（处理速度快）###Volume（体量大）###Value（价值密度低）在大数据时代，我们需要设立一个不一样的隐私保护模式，这个模式应该着重于（）为其行为承担责任。

答案:数据使用者HadoopMapReduce、Spark属于离线计算框架技术。（）

答案:对大数据框架技术中消息系统技术有：Kafka、StormMQ、ZeroMQ、RabbitMQ。（）

答案:对一般地，SaaS云管理软件包含两大部分：一是SaaS业务门户，二是SaaS管理门户。（）

答案:对虚拟化平台软件有哪些（）。

答案:xenServer###KVM###Esxi###Hyper-V以下属于PaaS管理工具的有（）。

答案:CloudFoundry社区的CloudFoundry###红帽公司的OpenShiftIaaS云计算解决方案中，虚拟化平台（硬件资源、虚拟软件）主要解决如何运行虚拟机的问题。（）

答案:对SaaS云管理工具与业务关联性大，目前没有统一的标准版产品。（）

答案:对软件定义网络（SDN）特点（）。

答案:控制转发分离###控制器软件可编程##