Spark编程基础期末试卷1

试卷部分：4/4______________________学年第____学期______________________课程期末考试试卷（A）共页（闭卷考试）适用学生：_________________________________学院___________专业____级____班姓名___________学号___________题目一二三四总分得分一．单选题：本大题共15小题，每小题2分，共30分。1.下列哪个不是大数据的特征？（）A.VolumeB.VarietyC.VelocityD.Variance2.下列List的定义中不正确的是（）。A.valnumber:List[Int]=1::2::3::NilB.valname:List[String]="Tom"::("Jack"::("Lucy"::Nil))C.vallist:String=List(“a”,“b”,“c”)D.valnumber:List[Int]=List(1,2,3,4,5)3.在图的创建过程中，哪个不是图的创建方法（）。A.applyB.fromEdgesC.fromVertexsD.fromEdgeTuples4.下列函数的定义中不正确的是（）。A.defadd(x:Int,y:Int):Int={x+y}B.defminus(x:Int,y:Int)=>{returnx–y}C.defaddFun(x:Int)(y:Int)=x*yD.valadd=(a:Double,b:Double)=>a+b5.Spark堆内内存中表示执行内存，主要用于存放计算过程中的临时数据，如执行Shuffle时占用的内存是（）。A.StorageMemoryB.ExecutionMemoryC.UserMemoryD.ReservedMemory6.下列不是Spark的部署模式的是（）。A.单机式B.单机伪分布式C.列分布式D.完全分布式7.下列哪个不可以作为SparkStreaming的输入数据流？（）A.KafkaB.TwitterC.TCP套接字D.Openstack8.下列不是划窗操作重要参数是（）。A.批处理间隔B.窗口间隔C.滑动间隔D.输入流间隔9.下面的Scala语句能正确执行的是（）。A.vala=2;a=3B.vara=2;a=3C.vara=2;a=“3”D.vala=2;a=“3”10.下面哪个端口不是spark自带服务的端口。（）A.8080B.4040C.8090D.1808011.关于广播变量，下面哪个是错误的。（）A任何函数调用B是只读的C存储在各个节点D存储在磁盘或HDFS12.Master的ElectedLeader事件后做了哪些操作。（）A.通知driverB.通知workerC.注册applicationD.直接ALIVE13.下面哪个不是图内部存在的操作（）。A.图结构转换操作B.图关联操作C.图近邻聚合操作D.图划分操作14.下面哪个不是MLlib的特征选择方法（）。A.VectoerSlicerB.KafSelectorC.RformulaD.ChiSqSelector15.按照任务划分，下列不是机器学习模型的是（）。A.回归模型B.分类模型C.结构化学习模型D.结构化统计模型二．填空题：本大题8小题，共10空，每空2分，共20分。1.Spark的基本计算单元是____________________________。2.Scala运行在________________之上，源代码通过scalac编译器编译成Java字节码，Scala兼容现有的Java程序。3.如果想把一列特征进行数值化，使得相应的特征索引化要使用________________方法。4.默认的存储级别是________________。5.在Spark运行架构中，以下________________组件负责任务控制。6.Task是运行在________________中Executor上的工作单元。7.Scala使用两个关键字来声明变量：________________和________________。8.Dstream的转换操作中，将RDD进行聚合的操作是________________。三．简答题：本大题有5小题，每小题6分，共30分。1.driver的功能是什么？2.spark工作机制？3.RDD机制？4.Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？四．程序题：共20分。使用Spark编程对文件E:\\hello.txt中的单词进行统计，完成程序中的代码。importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectSparkWordCountWithScala{defmain(args:Array[String]):Unit={valconf=newSparkConf() //设置运行模式为local1._____________________________//设置任务名conf.setAppName("WordCount")//创建SparkCore的程序入口valsc=newSparkContext(conf)//读取文件生成RDDvalfile:RDD[String]=sc.textFile("E:\\hello.txt")//把每一行数据按照“,”分割2._________________________________________//让每一个单词都出现一次3._________________________________________//单词计数4._________________