南开21春学期《大数据开发技术（二）》在线作业答案

1、21春学期（1709、1803、1809、1903、1909、2003、2009、2103）大数据开发技术（二）在线作业试卷总分:100 得分:100一、单选题 (共 25 道试题,共 50 分)1.Spark Streming中（）函数可以合并两个DStream，生成一个包含两个DStream中所有元素的新DStream对象A.mapB.flatMapC.filterD.union答案:D2.请问RDD的（）操作用于将相同键的数据聚合A.joinB.zipC.combineByKeyD.collect答案:C3.Dstream窗口操作中（）方法基于滑动窗口对源DStream中的元素进行聚合操

2、作，得到一个新的DstreamA.windowB.countByWindowC.reduceByWindowD.reduceByKeyAndWindow答案:C4.Scala函数组合器可以接收一个可以处理嵌套列表的函数，然后把返回结果连接起来的方法是（）A.mapB.foreachC.flattenD.flatmap答案:D5.GraphX中（）方法可以查询边信息A.numVerticesB.numEdgesC.verticesD.edges答案:D6.Spark Streming中（）函数可以对源DStream中的每一个元素应用func方法进行计算，如果func函数返回结果为true，则保留

3、该元素，否则丢弃该元素，返回一个新的DstreamA.mapB.flatMapC.filterD.union答案:C7.GraphX中（）方法可以查询顶点个数A.numVerticesB.numEdgesC.verticesD.edges答案:A8.PairRDD可以通过（）获得仅包含键的RDDA.keyB.keysC.valueD.values答案:B9.Spark GraphX中类Graph的mask方法可以（）A.反转图中所有边的方向B.按照设定条件取出子图C.取两个图的公共顶点和边作为新图，并保持前一个图顶点与边的属性D.合并边相同的属性答案:C10.var a=10; for(a&l

4、t;-1 until 20) println(a); 共循环了（）次A.10B.11C.20D.19答案:D11.Scala中合并两个数组的方法是（）A.lineB.addC.appendD.concat答案:D12.Mllib中线性会馆算法中的参数intercept表示（）A.要运行的迭代次数B.梯度下降的步长C.是否给数据加干扰特征或者偏差特征D.Lasso 和ridge 的正规化参数答案:C13.以下哪个函数可以对RDD进行去重（）A.sortByB.filterC.distinctD.intersection答案:C14.GraphX中（）方法可以查询度数A.degreesB.degr

5、eeC.verticesD.edges答案:A15.GraphX中（）是存放着Edg对象的RDDA.RDDEdgeB.EdgeRDDC.RDD(VertexId,VD)D.VertexRDD答案:A16.Scala函数组合器可以过滤移除使得传入的函数的返回值为false的元素的方法是（）A.filterB.flattenC.groubyD.flatmap答案:A17.var a=10; do a+=1; while(a<20) 共循环了（）次A.9B.10C.11D.12答案:B18.Spark GraphX中类Graph的joinVertices方法可以（）A.收集邻居顶点的顶点Id和

6、顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中答案:D19.Dstream输出操作中（）方法在Driver中打印出DStream中数据的前12个元素。A.printB.saveAsTextFilesC.saveAsObjectFilesD.saveAsHadoopFiles答案:C20.Scala函数组合器可以通过一个函数重新计算列表中所有元素，并且返回一个相同数目元素的新列表的方法是（）A.mapB.foreachC.flattenD.flatmap答案:A21.spark-submit配置项中（）表示启动的executor数量A.-num-exe

7、cutors NUMB.-executor-memory MEMC.-total-executor-cores NUMD.-executor-coures NUM答案:A22.Spark中运行交互式SQL查询的大规模并行查询引擎是（）A.Spark CoreB.Spark SQLC.BlinkDBD.Mllib答案:C23.以下哪个函数可以求两个RDD的笛卡尔积（）A.unionB.substractC.intersectionD.cartesian答案:D24.Scala源代码被编译成（）字节码，所以它可以运行于JVM之上A.SparkB.ScalaC.JavaD.JDK答案:C25.Spa

8、rk GraphX中类Graph的aggregateMessages方法可以（）A.收集邻居顶点的顶点Id和顶点属性B.收集邻居顶点的顶点IdC.向指定顶点发送信息并聚合信息D.将顶点信息更新到图中答案:C二、多选题 (共 10 道试题,共 20 分)26.以下哪个方法可以创建RDD（）A.parallelizeB.makeRDDC.textFileD.loadFile答案:ABC27.Spark DataFrame中（）方法可以返回一个Array对象A.collectB.takeC.takeAsListD.collectAsList答案:AB28.PairRDD中（）函数可以进行分组A.ma

9、pValuesB.groupByC.groupByKeyD.reduceByKey答案:BC29.MLBase包括（）A.MllibB.MLIC.SparkRD.GraphX答案:AB30.决策树是（）的常用算法A.分类B.聚类C.降维D.回归答案:AD31.Spark的RDD持久化操作有()方式A.cacheB.presistC.storageD.long答案:AB32.Scala中可以用（）方法来连接两个或多个列表A.:B.#:C.List.:()D.List.concat()答案:BCD33.Spark是一个（）计算框架A.快速B.分布式C.可扩展D.容错答案:ABCD34.Spark可

10、以从（）分布式文件系统中读取数据A.HDFSB.HbaseC.HiveD.Tachyon答案:ABCD35.Spark中DataFrame的（）方法是查询指定字段的数据信息A.selectB.selectExprC.colD.apply答案:ABCD三、判断题 (共 15 道试题,共 30 分)36.Scala函数组合器中flatmap结合了map和flatten的功能，接收一个可以处理嵌套列表的函数，然后把返回结果连接起来答案:正确37.DataFrame是一个分布式的Row对象的数据集合答案:正确38.Scala列表中last返回一个列表，包含除了第一个元素之外的其他元素答案:错误39.S

11、park Streaming中时间片也可称为批处理时间间隔(batch interval)，时间片是人为地对数据进行定量的标准，作为拆分数据的依据，一个时间片的数据对应一个RDD 实例。答案:正确40.PairRDD中mapValues是针对键值对（Key，Value）类型的数据中的key和Value进行Map操作答案:错误41.RDD的subtract用于用于将前一个RDD 中在后一个RDD 出现的元素删除答案:正确42.RDD中join操作最后只返回两个RDD 都存在的键的连接结果。答案:正确43.RDD的filter函数返回一个存储符合过滤条件的所有元素的新RDD答案:正确44.Scala中数组的第一个元素索引为1答案:错误45.RDD的行动操作是用于触发转换操作的操作，这个时候才会真正开始进行计算。答案:正确46.Spark中DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发Action