Spark大数据分析与实战（第二版）考试样题 Spark大数据技术B卷

Spark大数据技术试卷B第第页一、选择题（5小题，共15分），本题得分【】1、关于一、选择题（5小题，共15分），本题得分【】1、关于Scala下列说法错误的是（）A函数式编程语言B面向对象程序设计语言C运行在JVM上D一种低级语言2.以下哪个方法可以正确的计算数组a的长度（）A.count（）B.take(1)C.tail()D.length()3.关于RDD，不正确的是（）A可以分区B可修改C惰性计算D可持久化4下面关于List的定义不正确的是（）Avallist=List(0.1,0.2,0.3)Bvallist=List(“hello”,“new”)Cvallist:String=List(“a”,“b”)Dvallist=List[](1,2,3)郑述招密封线班内序号考生姓名学号班级试室号注意：密封线内不要答题密封线外不要写姓名、学号、班级、违者试卷作零分处理出卷教师：***************************学院2023－2024学年第1学期期末Spark大数据技术试卷B卷(考试班级：22级大数据开发班)（时间：120分钟｜满分：100分）题号一二三四总成绩评卷人得分5以下关于Scala变量的定义不正确的是（）A、valwords:String=”hello”Bvalmum=12C、varnum:String=NoneDvalapple:Double=2二、SparkRDD编程（共30分），本题得分【】一个整数列3、10、5、6、8、2、6、5（1）生成一个RDD（命名为rdd1）（2）该rdd1元素乘以2，得到新的RDD（命名为rdd2）（3）新rdd2去重，得到新的RDD（命名为rdd3）（4）rdd2中大于10的元素，并逐项打印输出，输出格式为：Elementisbiggerthan10。（Element表示元素的值，如20、12、16等）（5）求rdd2所有元素的和（6）找出rdd2中，最大的3个元素三、SparkSQL编程(共35分)，本题得分【】1.在SparkShell中完成下列操作：（1）由student.json文件生成DataFrame对象（2）找出信息学院所有女生的信息（输出其姓名、年龄）（3）分别统计男女生的平均年龄（4）各学院，年龄最大、最小的同学（5）各男女生手机号码段的个数（手机号码段为手机号的前3位）2.给出2个csv文件，图书馆读者reader.csv（包含读者编号、姓名、性别等信息）和逾期罚款fine.csv（包含读者编号、罚款年份、罚款金额等信息），在SparkShell中完成下列操作。（1）找出2018年度有罚款的读者编号(不重复)（2）求出累计罚款金额最多的前3名读者编号（3）统计出男女生罚款金额最多的读者，并输出其信息（读者编号、姓名、性别、年份、总罚款金额）3.使用SparkSQL相关技术，对result_math、result_bigdata两门课程成绩进行分析：（1）找出大数据成绩前5名的学生学号找出数学成绩、大数据成绩均为前5名学生学号四、流数据处理，本题得分【】某计算中心机房有数量众多的计算设备，为了解这些设备的状态，管理人员需及时掌控设备的温度；假设利用Netcat通过9988端口数据，数据样式为“设备ID,当前温度”；利用StructuredStreaming或Spa