Spark基础知识单选题100道及答案VIP

Spark基础知识单选题100道及答案1.Spark中负责管理集群资源的组件是（）A.DriverB.ExecutorC.ResourceManagerD.Master答案：D2.以下哪种数据结构在Spark中用于分布式弹性数据集（）A.ArrayB.ListC.RDDD.Map答案：C3.Spark应用程序的入口点是（）A.main函数B.start函数C.run函数D.execute函数答案：A4.在Spark中，对RDD进行转换操作后返回的是（）A.原RDDB.新的RDDC.一个空RDDD.一个错误提示答案：B5.以下哪个不是Spark支持的数据源（）A.HDFSB.MySQLC.ExcelD.Cassandra答案：C6.Spark中用于对RDD进行分组的操作是（）A.mapB.filterC.groupByKeyD.reduce答案：C7.当在Spark中对RDD进行持久化时，默认的存储级别是（）A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.OFF_HEAP答案：A8.以下关于SparkRDD的分区描述正确的是（）A.分区数固定不可变B.分区越多性能一定越好C.分区是为了并行处理数据D.分区之间不能进行数据交换答案：C9.SparkStreaming中处理实时数据的基本抽象是（）A.DStreamB.RDDC.DataFrameD.Dataset答案：A10.在SparkSQL中，用于创建DataFrame的方法是（）A.createDataFrameB.newDataFrameC.buildDataFrameD.generateDataFrame答案：A11.Spark中用于对RDD进行排序的操作是（）A.sortByB.orderByC.arrangeD.rank答案：A12.以下哪种模式不是SparkSQL支持的数据源读取模式（）A.AppendB.OverwriteC.ErrorIfExistsD.Update答案：D13.当在Spark中使用广播变量时，其作用是（）A.提高数据传输速度B.减少数据传输量C.增加数据安全性D.优化计算逻辑答案：B14.Spark中用于将多个RDD合并成一个RDD的操作是（）A.unionB.joinC.intersectD.subtract答案：A15.在SparkStreaming中，批处理时间间隔指的是（）A.数据采集的时间间隔B.数据处理的时间间隔C.数据存储的时间间隔D.数据传输的时间间隔答案：B16.SparkSQL中用于过滤DataFrame数据的方法是（）A.whereB.filterC.selectD.groupBy答案：B17.以下关于Spark的分布式缓存描述错误的是（）A.可以缓存RDDB.缓存数据在所有节点上都有副本C.缓存数据会一直存在D.能提高数据访问速度答案：C18.Spark中对RDD进行聚合操作时，常用的函数是（）A.sumB.countC.reduceByKeyD.average答案：C19.在Spark中，使用累加器的目的是（）A.进行分布式计算B.对分布式数据进行累加C.优化计算性能D.存储中间结果答案：B20.SparkStreaming支持的数据源不包括（）A.KafkaB.FlumeC.RabbitMQD.Redis答案：D21.SparkSQL中用于选择DataFrame列的方法是（）A.selectB.chooseC.pickD.extract答案：A22.以下哪种操作不属于SparkRDD的转换操作（）A.flatMapB.collectC.mapValuesD.distinct答案：B23.Spark中用于对RDD进行连接操作的是（）A.joinB.connectC.linkD.merge答案：A24.在SparkStreaming中，窗口操作可以（）A.对一段时间内的数据进行处理B.对特定窗口大小的数据进行过滤C.对数据进行窗口化显示D.对数据进行窗口化存储答案：A25.SparkSQL中创建临时视图的方法是（）A.createTempViewB.makeTempViewC.buildTempViewD.generateTempView答案：A26.以下关于Spark的部署模式，错误的是（）A.StandaloneB.YARNC.MesosD.HBase答案：D27.Spark中用于对RDD进行抽样的操作是（）A.sampleB.takeSampleC.randomSampleD.selectSample答案：A28.在Spark中，广播变量和累加器都需要（）A.在Driver端定义B.在Executor端定义C.在所有节点上定义D.在Master节点上定义答案：A29.SparkStreaming中数据处理的基本流程是（）A.采集-处理-存储B.采集-存储-处理C.处理-采集-存储D.存储-采集-处理答案：A30.SparkSQL中用于对DataFrame进行分组聚合的方法是（）A.groupBy.aggB.group.aggregateC.byGroup.aggD.aggByGroup答案：A31.以下关于SparkRDD的惰性求值，说法正确的是（）A.所有操作立即执行B.转换操作立即执行，行动操作延迟执行C.行动操作立即执行，转换操作延迟执行D.所有操作都延迟执行答案：D32.Spark中用于控制RDD分区数的方法是（）A.repartitionB.rebalanceC.resizeD.restructure答案：A33.在SparkStreaming中，检查点机制的作用是（）A.提高数据处理速度B.确保数据处理的容错性C.优化数据存储D.减少数据传输量答案：B34.SparkSQL中用于对DataFrame进行排序的方法是（）A.orderByB.sortC.rankByD.arrangeBy答案：A35.以下哪种数据类型不能直接作为SparkRDD的元素类型（）A.IntB.StringC.MapD.CustomObject（自定义对象，未实现序列化）答案：D36.Spark中用于对RDD进行过滤操作的函数是（）A.filterB.rejectC.removeD.exclude答案：A37.在Spark中，使用广播变量时，需要调用（）方法来广播数据。A.broadcastB.spreadC.distributeD.scatter答案：A38.SparkStreaming中窗口操作的滑动间隔（）窗口大小。A.必须小于B.可以小于、等于或大于C.必须等于D.必须大于答案：B39.SparkSQL中用于连接两个DataFrame的方法是（）A.joinB.unionC.intersectD.subtract答案：A40.以下关于Spark的配置参数，说法错误的是（）A.可以通过代码设置B.可以通过配置文件设置C.配置参数一旦设置不能修改D.不同的部署模式可能有不同的配置参数答案：C41.Spark中对RDD进行map操作时，返回的RDD元素个数（）原RDD元素个数。A.大于B.小于C.等于D.不确定答案：C42.在SparkStreaming中，数据采集阶段可以从（）获取数据。A.仅文件系统B.多种数据源C.仅网络端口D.仅数据库答案：B43.SparkSQL中用于对DataFrame进行去重的方法是（）A.distinctB.uniqueC.removeDuplicatesD.dropDuplicates答案：A44.以下关于SparkRDD的依赖关系，描述正确的是（）A.窄依赖和宽依赖没有区别B.窄依赖不会产生shuffleC.宽依赖不会产生shuffleD.所有依赖都会产生shuffle答案：B45.Spark中用于对RDD进行扁平化操作的是（）A.flatMapB.mapFlatC.unrollMapD.expandMap答案：A46.在Spark中，累加器的值可以在（）获取。A.任何地方B.仅Driver端C.仅Executor端D.Master节点答案：B47.SparkStreaming中数据处理的并行度取决于（）A.批处理时间间隔B.窗口大小C.RDD的分区数D.数据源的数量答案：C48.SparkSQL中用于对DataFrame进行聚合计算的函数是（）A.sumB.countC.avgD.以上都是答案：D49.以下关于Spark的运行架构，说法错误的是（）A.包含Driver和ExecutorB.Driver负责调度和管理C.Executor负责执行计算任务D.Master和Worker是完全独立的组件，没有联系答案：D50.Spark中用于对RDD进行键值对操作时，提取键的函数是（）A.keysB.getKeysC.extractKeysD.selectKeys答案：A51.在SparkStreaming中，对DStream进行窗口操作时，窗口大小和滑动间隔（）是固定的。A.一定B.不一定C.必须D.绝对不答案：B52.SparkSQL中用于从DataFrame中删除列的方法是（）A.dropB.removeC.deleteD.erase答案：A53.以下关于SparkRDD的缓存，说法正确的是（）A.缓存数据不会占用内存B.缓存数据后不能再进行其他操作C.合理使用缓存可以提高性能D.缓存数据会自动清除答案：C54.Spark中用于对RDD进行聚合操作并返回结果的函数是（）A.reduceB.foldC.aggregateD.以上都可以答案：D55.在Spark中，使用累加器时需要注意（）A.不同Executor之间不能共享累加器B.累加器只能用于数值类型C.累加器的初始值必须为0D.累加器的更新操作必须是原子性的答案：D56.SparkStreaming中对DStream进行转换操作后返回的是（）A.原DStreamB.新的DStreamC.一个空DStreamD.一个错误提示答案：B57.SparkSQL中用于将DataFrame写入文件的方法是（）A.writeB.saveC.exportD.output答案：A58.以下关于Spark的任务调度，说法错误的是（）A.有DAG调度器和Task调度器B.DAG调度器负责将作业分解为阶段C.Task调度器负责将任务分配给ExecutorD.调度过程中不会考虑资源情况答案：D59.Spark中用于对RDD进行随机打乱操作的是（）A.shuffleB.randomizeC.scrambleD.mix答案：A60.在SparkStreaming中，数据处理的延迟主要受（）影响。A.数据源的类型B.批处理时间间隔C.窗口大小D.网络带宽答案：B61.SparkSQL中用于对DataFrame进行条件查询的方法是（）A.whereB.filterC.selectWhereD.queryWhere答案：A62.以下关于SparkRDD的分区策略，说法正确的是（）A.只有一种分区策略B.分区策略不会影响性能C.可以根据数据特点选择合适的分区策略D.分区策略由系统自动决定，用户不能干预答案：C63.Spark中用于对RDD进行键值对分组操作的函数是（）A.groupByKeyB.groupKeysC.byGroupKeyD.keyGroup答案：A64.在Spark中，广播变量在Executor端（）修改。A.可以随意B.不能C.经过授权可以D.部分可以答案：B65.SparkStreaming中数据处理的吞吐量指的是（）A.单位时间内处理的数据量B.数据处理的总时长C.数据传输的速度D.数据存储的容量答案：A66.SparkSQL中用于对DataFrame进行连接操作时指定连接条件的方法是（）A.onB.whereC.joinOnD.connectOn答案：A67.以下关于Spark的资源管理，说法错误的是（）A.可以通过配置参数调整资源分配B.资源管理只涉及内存分配C.不同的部署模式资源管理方式不同D.合理的资源管理可以提高应用性能答案：B68.Spark中用于对RDD进行元素个数统计的函数是（）A.countB.sizeC.lengthD.number答案：A69.在SparkStreaming中，对DStream进行输出操作时，数据（）会被保存。A.一定B.不一定C.必须D.绝对不答案：B70.SparkSQL中用于对DataFrame进行排序并指定排序方式（升序或降序）的方法是（）A.orderBy.asc/descB.sortBy.asc/descC.rankBy.asc/descD.arrangeBy.asc/desc答案：A71.以下关于SparkRDD的转换操作特点，说法错误的是（）A.转换操作是懒执行的B.转换操作返回新的RDDC.转换操作不会改变原RDD的数据D.转换操作一定会增加RDD的分区数答案：D72.Spark中用于对RDD进行键值对映射操作的函数是（）A.mapValuesB.mapKeysC.mapPairsD.mapKeyValue答案：A73.在Spark中，累加器可以用于（）A.仅统计数值B.统计数值和其他类型的数据（实现了相应操作）C.仅统计字符串D.仅统计布尔值答案：B74.SparkStreaming中窗口操作的窗口大小（）是固定的。A.一定B.不一定C.必须D.绝对不答案：B75.SparkSQL中用于对DataFrame进行聚合操作并指定别名的方法是（）A.agg(columnNameasaliasName)B.aggregate(columnNameasaliasName)C.groupBy.agg(columnNameasaliasName)D.byGroup.agg(columnNameasaliasName)答案：C76.以下关于Spark的部署，说法正确的是（）A.Standalone模式适合大规模生产环境B.YARN模式需要依赖Hadoop的YARN资源管理器C.Mesos模式只能用于Spark应用D.部署模式选择不影响应用性能答案：B77.Spark中用于对RDD进行过滤操作并返回满足条件的第一个元素的函数是（）A.findB.firstC.takeD.head答案：A78.在Spark中，若要对RDD的每个分区执行一个函数，该函数可以返回多个结果，应使用以下哪个函数？（）A.mapPartitionsB.foreachPartitionC.flatMapPartitionsD.transformPartitions答案：C79.SparkStreaming中，当使用Kafka作为数据源时，以下哪个配置参数用于指定Kafka的bootstrap.servers？（）A.spark.streaming.kafka.bootstrap.serversB.spark.kafka.bootstrap.serversC.kafka.bootstrap.serversD.streaming.kafka.bootstrap.servers答案：A80.在SparkSQL中，若要将DataFrame注册为Hive表，以下哪个方法是正确的？（）A.registerAsTableB.createOrReplaceTempViewC.saveAsTableD.registerAsHiveTable答案：C81.关于SparkRDD的checkpoint，以下说法错误的是（）A.checkpoint会将RDD持久化到可靠存储B.执行checkpoint后，RDD的lineage会被截断C.checkpoint只能在Driver端调用D.对一个RDD可以多次执行checkpoint且每次都会覆盖之前的结果答案：D82.在Spark中，对RDD进行coalesce操作时，以下哪种说法是正确的？（）A.coalesce操作只能减少分区数B.coalesce操作只能增加分区数C.coalesce操作一定不会产生shuffleD.coalesce操作可以同时增加和减少分区数答案：A83.SparkStreaming中，对于窗口操作，窗口的起始时间是由（）决定的。A.第一个数据到达的时间B.批处理时间间隔C.窗口大小和滑动间隔共同决定D.系统随机生成答案：C84.在SparkSQL中，使用以下哪种函数可以对DataFrame的列进行字符串拼接操作？（）A.concatB.joinStringsC.stringConcatD.mergeStrings答案：A85.关于Spark的Executor内存管理，以下说法正确的是（）A.Executor的内存全部用于存储RDD数据B.Executor的内存分为堆内内存和堆外内存，且两者不能同时使用C.可以通过配置参数调整Executor堆内和堆外内存的比例D.Executor的内存使用情况不会影响Spark作业的性能答案：C86.在Spark中，对RDD进行lookup操作时，该操作适用于（）类型的RDD。A.普通RDDB.键值对RDDC.包含复杂对象的RDDD.任何类型的RDD答案：B87.SparkStreaming中，为了确保数据的一致性和容错性，在使用有状态的操作时，需要开启（）。A.检查点机制B.广播变量C.累加器D.数据压缩答案：A88.在SparkSQL中，若要对DataFrame进行行列同时筛选，以下哪种操作是正确的？（）A.select().where()B.filter().pick()C.choose().filter()D.extract().where()答案：A89.关于Spark的Shuffle机制，以下说法错误的是（）A.Shuffle过程中会进行数据的重新分区和排序B.Shuffle是导致Spark作业性能下降的主要原因之一C.可以通过调整Shuffle的并行度来优化性能D.Shuffle在窄依赖的RDD操作中也会频繁发生答案：D90.在Spark中，对RDD进行fold操作时，初始值的类型必须与（）的类型一致。A.RDD元素B.RDD分区C.累加器D.广播变量答案：A91.SparkStreaming中，当数据源的数据量非常大时，为了提高数据处理效率，可以（）。A.增加批处理时间间隔B.减少RDD的分区数C.增加RDD的分区数D.减少窗口大小答案：C92.在SparkSQL中，若要对DataFrame进行数据透视操作（pivot），以下哪个函数是正确的？（）A.pivotB.unpivotC.transposeD.rotate答案：A93.关于Spark在YARN集群模式下的运行，以下说法错误的是（）A.Driver程序可以在YARN集群的任意节点上运行B.Exec