Spark大数据技术与应用知到智慧树章节测试课后答案2024年秋山西职业技术学院

Spark大数据技术与应用知到智慧树章节测试课后答案2024年秋山西职业技术学院绪论单元测试

大数据的起源是以下哪个领域（）

A:电信B:互联网C:公共管理D:金融

答案:互联网

模块一单元测试

与MapReduce相比，Spark更适合处理以下哪种类型的任务（）

A:较多迭代次数的短任务B:较多迭代次数的长任务C:较少迭代次数的短任务D:较少迭代次数的长任务

答案:较多迭代次数的短任务Standalone模式下配置Spark集群时，master节点的工作端口号需要在conf文件夹下的哪个文件指明（）

A:regionserverB:spark-defaults.confC:spark-env.shD:slaves

答案:spark-env.sh以下关于SPARK中的sparkcontext，描述错误的是：（）

A:控制整个application的生命周期B:SparkContext为Spark的主要入口点C:可以控制dagsheduler组件D:可以控制taskscheduler组件

答案:控制整个application的生命周期以下对Spark中Work的主要工作描述错误的是（）

A:会运行业务逻辑代码B:接收master分配过来的资源指令C:管理当前节点内存D:不会运行业务逻辑代码

答案:会运行业务逻辑代码配置Standalone模式下的Spark集群，Worker节点需要在conf文件夹下的哪个文件中指明（）

A:spark-defaults.confB:slavesC:regionserverD:spark-env.sh

答案:slavesSpark支持的分布式部署方式中哪个是错误的（）

A:sparkonYARNB:SparkonlocalC:standaloneD:sparkonmesos

答案:SparkonlocalSpark单机伪分布式模式，它的特点是在一台节点上既有Master服务，又有Worker服务（）

A:对B:错

答案:对在部署Spark独立模式时，配置spark内部通信的端口为（）

A:9870B:7070C:16010D:7077

答案:7077在部署Spark独立模式时，配置spark的web端口为（）

A:8080B:7077C:9870D:4040

答案:7077Spark的bin目录是spark运行脚本目录，该目录中包含了加载spark的配置信息，提交作业等执行命令的脚本（）

A:错B:对

答案:对

模块二单元测试

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代码的执行结果为（）

A:Array(2,4,6,8,10)B:Array(1,3,5,7,9)C:Array(1,2,3,4,5,6,7,8,9,10)D:Array(1,10)

答案:Array(2,4,6,8,10)下面哪个操作是窄依赖（）

A:sortB:joinC:filterD:group

答案:filter下面哪个操作肯定是宽依赖（）

A:sampleB:flatMapC:mapD:reduceByKey

答案:reduceByKey以下操作中，哪个不是SparkRDD编程中的操作。（）

A:reduce()B:reduceByKey(func)C:getLastOne()D:filter()

答案:getLastOne()valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述语句的执行结果wordCountsWithReduce中包含的元素是（）。

A:(“one”,1)，(“two”,2),(“three”,2)B:(“one”,3)，(“two”,2),(“three”,1)C:(“one”,1)，(“two”,2)，(“three”,3)D:(“one”,1)，(“two”,2),(“three”,1)

答案:(“one”,1)，(“two”,2)，(“three”,3)有一个键值对RDD，名称为pairRDD，包含4个元素，分别是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，则pairRDD.keys操作得到的RDD中所包含的元素是（)。

A:”Hadoop”,”Spark”,”Hive"B:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:”Hadoop”,”Spark”,”Hive”,”Spark”

答案:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)有一个RDD，名称为pairRDD，包含4个元素，分别是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，则pairRDD.values操作得到的RDD中所包含的元素是（）。

A:1，1，1，lB:4C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:”Hadoop”,1，”Spark”,1

答案:1，1，1，l有一个键值对RDD，名称为pairRDD，包含4个元素，分别是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，则pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

A:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)B:2,2,2,2C:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)D:1,1,1，1

答案:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)RDD操作包括哪两种类型。（）

A:行动(Action)B:分组（GroupBy)C:连接(Join)D:转换(Transformation）

答案:行动(Action)；转换(Transformation）以下操作中，哪些是行动（(Action）操作。（）

A:map()B:collect()C:groupByKey()D:reduce()

答案:collect()；reduce()

模块三单元测试

SparkSession内部封装了SparkContext，所以底层计算还是由SparkContext完成的。（）

A:对B:错

答案:对DataFrame的sort方法可以按照多个字段对数据进行排序。（）

A:错B:对

答案:对SparkSQL支持从哪些格式的外部结构化数据文件中读取数据创建DataFrame。（）

A:parquetB:csvC:jsonD:txt

答案:parquet；csv；json；txtDataFrame的show（）方法默认展示多少条数据（）

A:40B:30C:10D:20

答案:20DataFrame的first()方法返回的数据类型是（）

A:SeqB:RowC:ArrayD:List

答案:Row对于stuDF数据下列哪些方法不能对按age进行降序排列（）

A:stuDF.orderBy(“age”，desc)B:stuDF.sort(desc(“age”))C:stuDF.orderBy(desc(“age”))D:stuDF.sort($”age”.desc)

答案:stuDF.orderBy(“age”，desc)DataFrame数据输出中mode方法的参数不正确的是（）

A:errorB:warnC:appendD:overwrite

答案:warnDataFrame数据输出保存文件类型错误的是（）

A:csvB:jsonC:pandasD:parquet

答案:pandasDataSet支持从哪些类型进行创建错误的是（）

A:从已经存在的文件创建B:从已存在的RDD创建C:从已存在的DataFrame创建D:从已有的Scala集合创建

答案:从已经存在的文件创建Spark中DataFrame和RDD最大的区别是？（）

A:科学统计支持B:外部数据源支持C:多了schemaD:存储方式不一样

答案:多了schema

模块四单元测试

通过调用（）中定义的各种操作算子来定义我们需要的各种实时计算逻辑。

A:StreamingContextB:DStreamC:awaitTerminationD:String

答案:DStreamDStream底层是基于（）实现

A:RDDB:PddC:ADDD:DDR

答案:RDD通过HDFS文件系统创建（），所以先要在HDFS上新建存放数据文件的目录。

A:SparkConfB:StreamC:SparkstreamingD:DStream

答案:DStreamDStream中提供了很多转换操作函数，通过（）函数会生成一个新的DStream。

A:窗口操作B:全屏操作C:转换操作D:输出操作

答案:转换操作window窗口操作函数是基于源DStream产生的窗口化的批数据，计算后会得到一个新的DStream。（）

A:错B:对

答案:对下列是常用的输出操作方法有（）

A:saveAsObjectFiles方法B:print()方法C:saveAsHadoopFiles方法D:foreachRDD()方法E:saveAsTextFiles方法

答案:saveAsObjectFiles方法；print()方法；saveAsHadoopFiles方法；foreachRDD()方法；saveAsTextFiles方法（）窗口操作函数是利用func对滑动窗口的元素进行聚合操作，得到一个新的DStream。

A:contByWindowB:reduceByKeyAndWindowC:WindowD:reduceByWindow

答案:reduceByWindow使用transform操作后，除了可以使用DStream提供的一些转换方法之外，还能够通过transform中的（）参数直接调用任意RDD上的操作函数。

A:func函数B:cogroup函数C:flatMap函数