《大数据内存框架》期末考试复习题库（含答案）

PAGEPAGE1《大数据内存框架》期末考试复习题库（含答案）一、单选题1.RDD在Spark中代表什么？A、弹性分布式数据集B、随机数据生成器C、数据缓存机制D、数据序列化工具答案：A2.在Spark中，使用哪个API可以实现数据的广播以优化性能？（）A、broadcastB、distributeC、scatterD、Replicate答案：A3.SparkSQL中，用于创建临时视图的命令是：（）A、CREATETABLEB、CREATEDATABASEC、REATEVIEWD、CREATETEMPVIEW答案：D4.下面哪个算子可以将rdd中的每个元素乘以2？A、rdd.reduce((x,y)=>x+y)B、rdd.flatMap(x=>Array(x*2))C、rdd.map(_*2)D、rdd.filter(_%2==0)答案：C5.Spark中哪个函数用于对RDD的元素进行去重操作？A、distinctB、removeDuplicatesC、uniqueD、ropDuplicates答案：A6.以下哪项不属于DStream的输出操作？（）A、print()B、foreachRDD()C、transform(func）D、saveAsTestFiles(prefix,[suffix])答案：C7.Spark中哪个函数用于对RDD的元素进行排序操作？A、sortB、sortByC、sortByKeyD、Order答案：B8.Spark与MapReduce相比，在处理速度上更快的主要原因是：A、Spark使用内存计算B、Spark支持更多类型的操作C、Spark有更先进的DAG调度器D、所有上述选项都是正确的答案：D9.在SparkSQL中，用于注册临时视图的函数是？A、createOrReplaceTempViewB、registerTempTableC、reateViewD、CreateGlobalTempView答案：A10.下列哪个选项不是Spark支持的部署模式？（）A、StandaloneB、YARNC、MesosD、Kubernetes答案：D11.在Spark中，如何将一个RDD转换为DataFrame？A、使用toDF()方法B、使用map()方法C、使用flatMap()方法D、使用reduce()方法答案：A12.Spark中，DataFrame的列数据类型是（）。A、必须相同B、可以不同C、只能是数值型D、只能是字符串型答案：B13.在GraphX中，如何计算源顶点ID大于目标顶点ID的边的数量？（）A、valcount=graph.edges.filter(e=>e.srcId>e.dstId).count()B、valcount=graph.edges.filter{caseEdge(src,dst,prop)=>src>dst}.count()C、valcount=graph.triplets.filter{caseTriplet(src,dst,attr)=>src>dst}.count()D、valcount=graph.vertices.filter{case(id,(name,age))=>id>age}.count()答案：A14.在Spark中，以下哪个操作用于筛选出满足条件的元素并生成一个新的RDD？（）A、map()B、filter()C、reduceByKey()D、collect()答案：B15.在Kafka中，每条消息必须指定它的什么？（）A、SizeB、TypeC、TopicD、Partition答案：C16.如果新接收的数据事件时间小于水印，这些数据会如何处理？（）A、立即计算B、存储在内存中C、被忽略且不会维护其状态D、标记为错误数据答案：C17.Spark的执行模型是基于什么结构的？A、树形结构B、环形结构C、有向无环图（DAGD、线性结构答案：C18.Spark支持以下哪些编程语言？A、仅JavaB、仅PythonC、Java,Python、R和ScalaD、仅C++答案：C19.对于Spark的集群模式，以下哪个不是常见的部署模式？（）A、Local模式B、Standalone模式C、Docker模式D、YARN模式答案：C20.Spark3.x中，以下关于Spark应用程序的执行流程，正确的顺序是（）。A、构建SparkContext、创建RDD、执行操作、获取结果B、创建RDD、构建SparkContext、执行操作、获取结果C、构建SparkContext、执行操作、创建RDD、获取结果D、创建RDD、执行操作、构建SparkContext、获取结果答案：A21.SparkSQL中，DataFrame和Dataset的主要区别是什么？A、DataFrame是分布式的，Dataset不是B、DataFrame不是分布式的，Dataset是C、DataFrame没有类型安全，Dataset有D、ataset没有类型安全，DataFrame有答案：C22.Spark的结构化流处理默认的微批处理间隔是（）。A、100毫秒B、500毫秒C、1秒D、5秒答案：B23.StructuredStreaming中的水印（watermark）是如何计算的？A、基于批次间隔时间B、基于最大事件时间减去容忍的延迟时间C、基于数据到达时间D、基于数据处理时间答案：B24.在Spark中，使用哪个函数可以实现类似于SQL中的GROUPBY操作？（）A、ggregateB、reduceC、groupByD、istinct答案：C25.Spark中哪个函数用于对RDD的元素进行连接操作？A、joinB、unionC、intersectD、Subtract答案：A26.以下哪个操作用于将两个RDD根据键进行连接？（）A、rdd1.join(rdd2)B、rdd1.union(rdd2)C、ersection(rdd2)D、rdd1.cartesian(rdd2)答案：A27.在Scala中，以下哪个关键字用于定义一个值不可变的变量？A、varB、valC、letD、Const答案：B28.在Scala中，以下哪个类型是AnyVal的子类型?（）A、StringB、IntC、ListD、Map答案：B29.Spark中哪个函数用于将多个元素合并成一个元素？A、reduceB、aggregateC、ombineD、Fold答案：A30.Spark是基于什么进行计算的大数据并行计算框架？A、磁盘B、网络C、内存D、外存答案：C31.下列哪个操作可以用来找出图中年龄是25的所有顶点数据？A、graph.vertices.filter{case(id,(name,age))=>age==25}B、graph.edges.filter{caseEdge(src,dst,prop)=>prop=="年龄:25"}C、graph.triplets.filter{caseTriplet(src,dst,attr)=>attr=="年龄:25"}D、graph.vertices.map{case(id,(name,age))=>if(age==25)idelsenull}答案：A32.对于DStream的窗口操作，窗口长度和滑动间隔需要满足什么条件？（）A、窗口长度等于批次间隔B、滑动间隔小于批次间隔C、窗口长度是批次间隔的整数倍D、滑动间隔是批次间隔的任意倍数答案：C33.Spark的哪个组件主要用于处理实时数据流？A、SparkSQLB、SparkStreamingC、MLlibD、GraphX答案：B34.Spark的核心模块是哪一个？A、SparkSQLB、SparkCoreC、MLlibD、GraphX答案：B35.在写入数据的同时，可以使用mode()方法指定如何处理已经存在的数据，该方法的参数是一个枚举类SaveMode，其取值中表示如果数据已经存在，则会抛出异常的值是下列哪项？A、SaveMode.AppendB、SaveMode.OverwriteC、SaveMode.ErrorIfExistsD、SaveMode.Ignore答案：C36.在Spark中，RDD的英文全称是什么？A、ResilientDistributedDatabaseB、ReliableDistributedDatasetC、ResilientDistributedDatasetD、ReliableDistributedDatastore答案：C37.Spark支持哪种类型的数据源？A、HDFSB、CassandraC、BothAandBD、Noneoftheabove答案：C38.对于DStream的窗口操作，窗口长度和滑动间隔需要满足什么条件？A、窗口长度等于批次间隔B、滑动间隔小于批次间隔C、窗口长度是批次间隔的整数倍D、滑动间隔是批次间隔的任意倍数答案：C39.在Scala中，Nothing类型可以用来表示什么?（）A、一个空集合B、一个不包含任何信息的值的类型，类似于Java中的voidC、一个包含所有可能值的类型D、一个表示没有返回值的方法的结果类型答案：B40.在Spark中，哪个组件负责在集群中的工作节点上执行任务？A、DriverB、ExecutorC、SparkSessionD、SparkContext答案：B41.在StructuredStreaming中，完全模式（CompleteMode）会如何处理结果表？A、只更新新行B、更新整个结果表C、删除旧行D、不做任何处理答案：B42.在Spark中，以下哪个操作是行动操作（Action）？A、mapB、filterC、reduceByKeyD、Collect答案：D43.在Spark中，一个DataFrame所代表的是一个元素类型为Row的Dataset，即DataFrame只是Dataset[Row]的一个类型别名。以下说法正确的是？（）A、DataFrame和Dataset是同一个概念B、DataFrame是Dataset的一种特殊形式C、DataFrame和Dataset没有任何关系D、ataFrame是Dataset的子类答案：B44.在Spark中，哪个组件负责任务的调度和资源的分配？（）A、DriverB、WorkerC、ExecutorD、ClusterManager答案：A45.SparkStreaming计算过程的特点是什么？A、实时计算B、离线计算C、分批次处理D、单次处理答案：C46.以下哪种操作属于窗口操作？（）A、count()B、reduceByWindow()C、union()D、filter()答案：B47.DataFrame是SparkSQL提供的一个编程抽象，与RDD不同的是，DataFrame的数据被组织到有名字的列中，就像关系型数据库中的表一样。以下哪项不是DataFrame的特点？A、数据被组织到有名字的列中B、没有Schema信息C、底层使用的是SparkRDDD、可以转换为Dataset答案：B48.在Spark中，哪个函数可以用于将RDD中的元素转换为键值对？A、mapToPairB、keyByC、pairD、Map答案：D49.SparkSQL中，用于执行SQL查询的接口是：A、SQLContextB、SparkSessionC、DataFrameReaderD、ataFrameWriter答案：B50.Spark中RDD的全称是什么？A、ResilientDistributedDatasetB、RapidDataDevelopmentC、ResourceDescriptionFrameworkD、Real-timeDataDelivery答案：A51.以下哪个操作用于将RDD中的所有元素收集到一个数组中？A、collect()B、take(Int)C、toArray()D、array()答案：A52.以下关于DStream的说法不正确的是？A、DStream表示一个连续不断的数据流。B、它可以从Kafka,Flume和Kinesis等数据源的输入数据流创建。C、一个DStream由一个RDD组成。D、可以通过对其他DStream应用高级函数进行转换创建。答案：C53.Spark中，用于将RDD转换为DataFrame的函数是（）。A、toDF()B、fromRDD()C、rddToDF()D、convertRDD()答案：A54.在Spark中，哪个方法用于将一个集合转化为RDD？A、parallelize()B、map()C、textFile()D、allOf()答案：A55.以下关于SparkSQL的描述，错误的是？A、SparkSQL允许将SQL语句无缝地嵌入到Spark程序中B、SparkSQL支持多种数据源，包括Hive,Avro、Parquet等C、SparkSQL不支持UDF（用户自定义函数）D、SparkSQL可以在现有的数据仓库上运行SQL或HiveQL查询答案：C56.Kafka集群中的服务器节点被称为什么？A、ServerB、NodeC、BrokerD、Cluster答案：C57.Spark中哪个组件提供了机器学习算法库？A、SparkCoreB、SparkSQLC、MLlibD、GraphX答案：C58.在Spark中，以下哪个操作可以对RDD进行过滤？（）A、map()B、filter()C、reduce()D、groupBy()答案：B59.在Spark中，textFile()方法用于什么？（）A、创建一个新的RDDB、读取文件系统中的数据并创建一个RDDC、写入数据到文件系统D、删除文件系统中的数据答案：B60.SparkStreaming是扩展自哪个SparkAPI？A、SparkSQLB、SparkCoreC、SparkMLlibD、SparkGraphX答案：B61.SparkSQL中，用于对DataFrame进行分组并计算聚合值的函数是：（）A、groupByB、aggregateC、reduceByKeyD、CombineByKey答案：A62.假设我们想要将rdd中的所有元素进行累加，下面哪个算子可以实现这一需求？A、rdd.map(_2)B、rdd.reduce((x,y)=>x+y)C、rdd.flatMap(x=>Array(x2))D、rdd.filter(_%2==0).reduce(_+_)答案：B63.在Scala中，Null类型可以赋值给以下哪种类型的变量?A、nyVal类型的变量B、AnyRef类型的变量C、Any类型的变量D、Int类型的变量答案：B64.在SparkOnYARN模式中，负责资源管理和调度的是：（）A、SparkDriverB、YARNResourceManagerC、SparkApplicationMasterD、NodeManager答案：B65.Spark中的宽依赖（WideDependency）通常发生在哪种情况下？A、Shuffle操作B、广播变量C、缓存操作D、聚合操作答案：A66.在Spark中，哪个工具用于结构化数据处理？（）A、SparkStreamingB、SparkSQLC、MLlibD、GraphX答案：B67.在Spark中，RDD的计算是（）。A、立即执行B、延迟执行C、手动触发执行D、按时间间隔执行答案：B68.SparkStreaming中，用于处理实时数据流的主要抽象是：A、DStreamB、DataFrameC、RDDD、ataset答案：A69.在SparkSQL中加载和写入Parquet文件时，除了可以使用load()方法和save()方法外，还可以直接使用SparkSQL内置的什么方法？（）A、option()B、create()C、mode()D、parquet()答案：D70.在SparkDataFrameAPI中，用于过滤数据的函数是：（）A、selectB、filterC、showD、Count答案：B判断题1.在GraphX中，mapTriplets函数可以在修改边属性的同时，获取与该边相邻的两个顶点属性。A、正确B、错误答案：A2.在Spark中，RDD的宽依赖是指父RDD的一个分区被子RDD的多个分区所用。A、正确B、错误答案：A3.Spark的窄依赖需要进行数据的shuffle操作。A、正确B、错误答案：B4.在SparkStructuredStreaming中，可以将实时数据流视为一张不断追加的表进行处理。A、正确B、错误答案：A5.在GraphX中，使用mapEdges函数可以对原图的顶点进行修改。A、正确B、错误答案：B6.应用于DStream上的任何操作实际上都是对底层RDD的操作。A、正确B、错误答案：A7.DataFrame比RDD更高效是因为它使用了更多的内存空间。A、正确B、错误答案：B8.在Kafka中，生产者默认会把消息均匀的分布到特定主题的所有分区上。A、正确B、错误答案：A9.在转化算子中，collect()算子指的是将数据集中的元素序列化成对象，存储到文件中。A、正确B、错误答案：B10.Spark的foreach操作可以用于更新外部数据库。A、正确B、错误答案：B11.在GraphX中，mapEdges函数用于修改图中的所有边属性，生成一个新的图，但图形结构会受影响。A、正确B、错误答案：B12.Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式。A、正确B、错误答案：A13.在SparkSQL中，可以将RDD直接转换为DataFrame，无需添加任何数据描述信息。A、正确B、错误答案：B14.在Kafka集群中，为了提高数据的可靠性，同一个分区可以复制多个副本分配到不同的Broker。A、正确B、错误答案：A15.在SparkStreaming中，DStream实际上是一个RDD序列。A、正确B、错误答案：A16.sortByKey()算子将(key,value)形式的RDD按照key进行排序，默认降序。A、正确B、错误答案：B17.在转化算子中，foreach(func)算子指的是向Driver以数组形式返回数据集的所有元素。A、正确B、错误答案：B18.在Scala中，定义变量时可以不指定数据类型，系统会根据初始化值推断变量的类型。A、正确B、错误答案：A19.在Kafka中，消费者可以订阅一个或多个主题，并按照消息生成的顺序读取它们。A、正确B、错误答案：A20.在SparkStreaming的窗口操作中，滑动时间间隔指的是窗口覆盖的流数据的时间长度。必须是批处理时间间隔的倍数。A、正确B、错误答案：B21.在StructuredStreaming中，水印允许引擎自动跟踪数据中的当前事件时间，但不会清理旧状态。A、正确B、错误答案：B解析：尝试清理旧状态p28722.RDD被创建后是允许修改。A、正确B、错误答案：B23.Spark的GraphX模块只能处理无向图。A、正确B、错误答案：B24.在GraphX中，使用mapVertices函数可以对原图的顶点进行修改。A、正确B、错误答案：A25.在Spark中，可以使用SparkSession读取HDFS中的文件并加载为DataFrame。A、正确B、错误答案：A26.SparkStructureStreamin支持事件时间（eventtim处理和水印（watermarkin机制。A、正确B、错误答案：A27.DataFrame是SparkSQL提供的一个编程抽象，与RDD类似，也是一个分布式的数据集合。A、正确B、错误答案：A28.SparkStreaming的数据可以从KafkFlumKinesis或TCPSocket等多种来源获取。A、正确B、错误答案：A29.在Spark中，DataFrame的性能优于RDD。A、正确B、错误答案：A30.SparkStreaming是Spark用来处理实时数据流的组件。A、正确B、错误答案：A31.在Spark中，本地模式通过多线程模拟分布式计算，通常用于对应用程序的复杂测试。A、正确B、错误答案：A32.Spark的RDD是不可变的。A、正确B、错误答案：A33.在Spark中，所有的累加器都是线程安全的。A、正确B、错误答案：A34.Scala中一个最简单的类定义是使用关键字class。A、正确B、错误答案：A35.在本地运行SparkStreaming应用程序时，可以使用“local”或“local[1]”作为主URL。A、正确B、错误答案：A36.SparkOnYARN模式与Standalone模式一样，也分为client和cluster两种提交方式。A、正确B、错误答案：A37.SparkStreaming可以处理实时数据流。A、正确B、错误答案：A38.在SparkSQL中，使用option()方法可以手动指定数据源。A、正确B、错误答案：B解析：format方法手动指定数据源，option方法向指定数据源传递所需参数p16939.Spark的sortByKey()方法可以对RDD进行全局排序。A、正确B、错误答案：B40.Spark中的DatasetAPI提供了类型安全的RDD操作。A、正确B、错误答案：A41.SparkSQL没有提供访问各种数据源的通用方法。A、正确B、错误答案：B42.在Scala中，类和它的伴生对象必须定义在同一个文件中，但两者不可以互相访问其私有成员。A、正确B、错误答案：B43.在Spark中，可以使用reduceByKey来减少shuffle操作产生的数据量。A、正确B、错误答案：A44.Spark的宽依赖不需要进行数据的shuffle操作。A、正确B、错误答案：B45.在Spark中，对RDD的每一次行动操作（action）都会触发实际计算。A、正确B、错误答案：A46.SparkStandalone模式为经典的Master/Slave架构，资源调度是Spark自己实现的。A、正确B、错误答案：A47.在SparkStreaming的窗口操作中，窗口长度指的是前一个窗口滑动到后一个窗口所经过的时间长度。A、正确B、错误答案：B48.一个RDD只能由一个分区。A、正确B、错误答案：B49.SparkStreaming接收实时输入的数据流，并将数据流以时间片（秒级）为单位拆分成批次，然后将每个批次交给Spark引擎进行处理，最终生成以批次组成的结果数据流。A、正确B、错误答案：A50.Kafka每个分区的副本都被分为两种类型：领导者副本和跟随者副本。其中，领导者副本可以有多个。A、正确B、错误答案：B51.在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。A、正确B、错误答案：A52.在SparkSQL中，默认情况下，load()方法和save()方法只支持Parquet格式的文件。A、正确B、错误答案：A53.DataFrame在RDD的基础上添加了数据描述信息（Schema，即元信息）。A、正确B、错误答案：A54.Spark可以在没有Hadoop的情况下运行。A、正确B、错误答案：A55.Spark的GraphX库提供了图计算功能。A、正确B、错误答案：A填空题1.SparkSQL底层使用的是Spark_____。答案：Core2.调用Dataset的toDF()方法，将存有元数据的Dataset转为______。答案：DataFrame3.Spark3的集群部署模式有本地模式、_____模式、YARN模式和Mesos模式。答案：SparkStandalone解析：p374.Spark的配置文件通常位于_____目录下.答案：conf解析：p455.______是GraphX特有的数据结构，包含源顶点I源顶点属性、目标顶点I目标顶点属性、边属性。答案：三元体解析：P2986.SparkSQL的DataFrameAPI提供了类似SQL的表达能力，但性能更高，因为它基于______的执行引擎。答案：分布式7.Spark有多种运行模式，可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为_____模式；答案：SparkOnYARN8.Spark的配置文件通常位于______目录下。答案：conf解析：P459.Spark的容错机制基于______。答案：RDD弹性分布式数据集10.在Spark3.x中，SparkSQL可以通过______来定义临时表答案：CREATETEMPORARYTABLE11.SparkSQL是一个用于处理______的Spark组件。答案：结构化数据12.宽依赖是指，父RDD的一个分区被子RDD的_____个分区所用。答案：多13.在SparkSQL中，DataFrame在RDD的基