南开《大数据开发技术（二）》20春期末考核答案

1、大数据开发技术（二）20春期末考核-00001试卷总分:100 得分:70一、单选题 (共 15 道试题,共 30 分)1.GraphX中（）方法可以查询顶点信息A.numVerticesB.numEdgesC.verticesD.edges答案:C2.MLlib 中可以调用mllib.tree.DecisionTree 类中的静态方法（）训练回归树A.trainClassifierB.trainRegressorC.LogisticRegressionModelD.LabeledPoint答案:B3.以下哪个函数可以对RDD进行去重（）A.sortByB.filterC.distinctD.

2、intersection答案:C4.图是一种数据元素间为（）关系的数据结构A.多对多B.一对一C.一对多D.多对一答案:A5.GraphX中（）方法可以查询度数A.degreesB.degreeC.verticesD.edges答案:A6.Scala中（）方法返回一个列表，包含除了第一个元素之外的其他元素A.headB.initC.tailD.last答案:C7.GraphX中graph.triplets可以得到（）A.顶点视图B.边视图C.顶点与边的三元组整体视图D.有向图答案:C8.spark-submit配置项中（）表示启动的executor数量A.-num-executors NUMB

3、.-executor-memory MEMC.-total-executor-cores NUMD.-executor-coures NUM答案:A9.（）是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上A.SparkRB.BlinkDBC.GraphXD.Mllib答案:A10.Spark GraphX中类Graph的collectNeighborIds(edgeDirection: EdgeDirection)方法可以（）A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中答

4、案:B11.Mllib中线性会馆算法中的参数reParam表示（）A.要运行的迭代次数B.梯度下降的步长C.是否给数据加干扰特征或者偏差特征D.Lasso 和ridge 的正规化参数答案:D12.Scala列表方法中通过给定的方法将所有元素重新计算的方法是（）A.filterB.foreachC.mapD.mkString答案:C13.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是（）A.filterB.flattenC.groubyD.flatmap答案:B14.GraphX中（）方法可以释放顶点缓存A.cacheB.presistC.unpersistVertices

5、D.edges.unpersist答案:C15.Spark GraphX中类Graph的aggregateMessages方法可以（）A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中答案:C二、多选题 (共 10 道试题,共 20 分)16.MLBase包括（）A.MllibB.MLIC.SparkRD.GraphX答案:AB17.Spark创建DataFrame对象方式有（）A.结构化数据文件B.外部数据库C.RDDD.Hive中的表答案:ABCD18.TF-IDF中IDF指的是（）A.词频B.词在文档中出现的次数C.逆文

6、档概率D.词在文档集中出现的概率E.词在文档集中出现的概率答案:CD19.Spark中DataFrame的（）方法是查询指定字段的数据信息A.selectB.selectExprC.colD.apply答案:ABCD20.以下算法中属于监督学习算法的是（）A.KNN算法B.逻辑回归C.随机森林D.Kmeans答案:ABC21.以下哪个方法可以从集合中创建RDD（）A.parallelizeB.makeRDDC.textFileD.loadFile答案:AB22.Scala函数支持（）A.递归函数B.高阶函数C.柯里化D.匿名函数答案:ABCD23.GraphX中Edge边对象存有（）字段A.s

7、rcIdB.dstIdC.attrD.val答案:ABC24.Spark中的RDD的说法正确的是（）A.弹性分布式数据集B.是Spark中最基本的数据抽象C.代表一个可变的集合D.代表的集合里面的元素可并行计算答案:ABD25.Spark支持使用（）语言编写应用A.ScalaB.PythonC.JavaD.R答案:ABCD三、判断题 (共 10 道试题,共 20 分)26.Scala中高阶函数可以使用函数作为参数，也可以使用函数作为输出结果。答案:正确27.RDD的sortBy函数包含参数numPartitions，该参数决定排序后的RDD的分区个数，默认排序后的分区个数和排序之前的个数相等，

8、即为this.partitions.size。答案:正确28.RDD的filter过滤会将返回值为true的过滤掉答案:错误29.RDD的subtract用于用于将前一个RDD 中在后一个RDD 出现的元素删除答案:正确30.图（Graph）是一种复杂的非线性结构答案:正确31.Spark中DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发Action 操作才会进行计算并返回查询结果。答案:正确32.RDD的map操作不会改变RDD的分区数目答案:正确33.Scala 集合分为可变的和不可变的集合答案:正确34.Spark RDD 是惰性求值的， 如果需要对一个R

9、DD 多次使用，那么调用行动操作时每次都需要重复计算RDD 以及它的依赖。答案:正确35.Scala 列表与数组非常相似，列表的所有元素可具有不同的类型。答案:错误四、主观填空题 (共 5 道试题,共 10 分)36.Scala函数组合器可以把一个二维的列表展开成一个一维的列表的方法是#答案:flatten37.Mllib中线性会馆算法中的参数reParam默认值是#答案:138.假设集合A 有5 个元素，集合B 有10 个元素，使用RDDcartesian函数会返回#个元素的组合答案:5039.Scala中定义函数的关键字是#答案:def40.Spark SQL 可以通过#方法将HDFS 上

10、的格式化文件转换为DataFrame答案:load五、问答题 (共 1 道试题,共 10 分)41.请阐述Spark对数据进行持久化的特点答案:（1） RDD 的存储级别应该根据需要以及环境具体情况设定，在RDD 参与第一次计算后，RDD 就会根据设置的存储级别保存RDD 计算后的值在内存中或磁盘上。（2） 只有未曾设置存储级别的RDD 才能设置存储级别，设置了存储级别的RDD 不能修改其存储级别。（3） 针对仅存储数据在内存中的存储策略，如果内存不足的话， Spark 会使用LRU 缓存策略清除最老的分区，为新的RDD 提供空间，所以缓存在内存中的RDD分区是会被清除的，而不能长久保存，而缓存在磁盘上的数据则不用担心。六、名词解释 (共 2