Spark大数据技术与应用知到章节答案智慧树2023年山西职业技术学院

Spark大数据技术与应用知到章节测试答案智慧树2023年最新山西职业技术学院第一章测试

与MapReduce相比，Spark更适合处理以下哪种类型的任务（）

参考答案:

较多迭代次数的短任务

Standalone模式下配置Spark集群时，master节点的工作端口号需要在conf文件夹下的哪个文件指明（）

参考答案:

spark-env.sh

以下关于SPARK中的sparkcontext，描述错误的是：（）

参考答案:

控制整个application的生命周期

以下对Spark中Work的主要工作描述错误的是（）

参考答案:

会运行业务逻辑代码

配置Standalone模式下的Spark集群，Worker节点需要在conf文件夹下的哪个文件中指明（）

参考答案:

slaves

Spark支持的分布式部署方式中哪个是错误的（）

参考答案:

Sparkonlocal

Spark单机伪分布式模式，它的特点是在一台节点上既有Master服务，又有Worker服务（）

参考答案:

对

在部署Spark独立模式时，配置spark内部通信的端口为（）

参考答案:

7077

在部署Spark独立模式时，配置spark的web端口为（）

参考答案:

7077

Spark的bin目录是spark运行脚本目录，该目录中包含了加载spark的配置信息，提交作业等执行命令的脚本（）

参考答案:

对

第二章测试

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代码的执行结果为（）

参考答案:

Array(2,4,6,8,10)

下面哪个操作是窄依赖（）

参考答案:

filter

下面哪个操作肯定是宽依赖（）

参考答案:

reduceByKey

以下操作中，哪个不是SparkRDD编程中的操作。（）

参考答案:

getLastOne()

valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述语句的执行结果wordCountsWithReduce中包含的元素是（）。

参考答案:

(“one”,1)，(“two”,2)，(“three”,3)

有一个键值对RDD，名称为pairRDD，包含4个元素，分别是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，则pairRDD.keys操作得到的RDD中所包含的元素是（)。

参考答案:

(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)

有一个RDD，名称为pairRDD，包含4个元素，分别是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，则pairRDD.values操作得到的RDD中所包含的元素是（）。

参考答案:

1，1，1，l

有一个键值对RDD，名称为pairRDD，包含4个元素，分别是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，则pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

参考答案:

("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)

RDD操作包括哪两种类型。（）

参考答案:

行动(Action);转换(Transformation）

以下操作中，哪些是行动（(Action）操作。（）

参考答案:

collect();reduce()

第三章测试

SparkSession内部封装了SparkContext，所以底层计算还是由SparkContext完成的。（）

参考答案:

对

DataFrame的sort方法可以按照多个字段对数据进行排序。（）

参考答案:

对

SparkSQL支持从哪些格式的外部结构化数据文件中读取数据创建DataFrame。（）

参考答案:

csv;txt;parquet;json

DataFrame的show（）方法默认展示多少条数据（）

参考答案:

20

DataFrame的first()方法返回的数据类型是（）

参考答案:

Row

对于stuDF数据下列哪些方法不能对按age进行降序排列（）

参考答案:

stuDF.orderBy(“age”，desc)

DataFrame数据输出中mode方法的参数不正确的是（）

参考答案:

warn

DataFrame数据输出保存文件类型错误的是（）

参考答案:

pandas

DataSet支持从哪些类型进行创建错误的是（）

参考答案:

从已经存在的文件创建

Spark中DataFrame和RDD最大的区别是？（）

参考答案:

多了schema

第四章测试

通过调用（）中定义的各种操作算子来定义我们需要的各种实时计算逻辑。

参考答案:

DStream

DStream底层是基于（）实现

参考答案:

RDD

通过HDFS文件系统创建（），所以先要在HDFS上新建存放数据文件的目录。

参考答案:

DStream

DStream中提供了很多转换操作函数，通过（）函数会生成一个新的DStream。

参考答案:

转换操作

window窗口操作函数是基于源DStream产生的窗口化的批数据，计算后会得到一个新的DStream。（）

参考答案:

对

下列是常用的输出操作方法有（）

参考答案:

saveAsTextFiles方法;print()方法;saveAsObjectFiles方法;saveAsHadoopFiles方法;foreachRDD()方法

（）窗口操作函数是利用func对滑动窗口的元素进行聚合操作，得到一个新的DStream。

参考答案:

reduceByWindow

使用transform操作后，除了可以使用DStream提供的一些转换方法之外，还能够通过transform中的（）参数直接调用任意RDD上的操作函数。