大数据etl考试题库及答案

一、单项选择题(每题2分)

1、下列不属于Hadoop平台核心模块的是：

B.HDFSC.YARND.M叩Reduce

2、下列不属于Hive组件的是:

A.用户接口B.MapReduceC.执行引擎D•元数据存储

3、下列哪种不属于Hive提供的复杂数据类型：

A.ArrayB.MapC.VarcharD.Struct

4、下列不属?Hive主要数据模型的是：

A.外部表B.触发器C.分区D.桶

5、下列不属于Hive所支持的数据导入方式的是：

A.从本地文件系统导入数据到Hive相应表中。

B.从HDFS导入数据到Hive相应表中。

C.从其他表中查询数据并导入Hive相应表中。

D.使用insert插入语句向Ilive相应表中插入数据。

6、关于分区表的下列说法，错误的是：

A.表的分区是一种根据“分区列”的值对表进行粗略划分的机制。

B.对表进行分区可用减少每一次扫描的总逑据量，对表进行合理的管理以及提高查询效率。

C.指定分区信息时所使用的列，必须是表中已经存在的列

D.创建表的时候使用Partitionedoy(分区列1数据类型，分区列2数据类型…)指定分区信

息。

7、关于动态分区和静态分区的描述，正确的是：

A.对于静态分区，导入数据必须明确指定分区的详细信息。比如：

partition(academy=,computer',class='034')。

B.对于动态分区，导入数据时不需要明确指明分区详细信息，系统根据查询语句执行结果

的最后一个或几个字段的值自动判断数据该导入哪个分区之中。

C.确定一个分区的分区列只能有一个，旦分区列必须是表结构中已有的列。

D.在insertoverwritetablestudentpartition(academy,class)selectid,name)academy2,class2

fromstudent_tmp;导入数据的语句中，根据查询语句的academy2,class2列的值自动决定数

据导入的分区。

8、Hive中的谓词like用于匹配特定的子串，能从Books表中查询书名包含，包含“程”或

“库”的图书的信息。

A.select*fromBookswhereBnsmelike'断程库］附

B.select*fromBookswhereBnamelike'驰程％库％'

C.select*fromBookswhereBnamelike［程—库％'

D.select*fromBookswhereBnamelike程库好

■下列能够从students(有些班级中有同名的同学)表中统计出每个班人数的SQL语句是:

A.selectclass,count(*)as'人数'fromstudents

B.selectclass,count(*)as'人数'fromstudentsgroupbyclassorderbycount(*)DESC

C.selectname,class,count(*)as'人数'fromstudentsgroupbyclassorderbycount(*)

DESC

D.selectclass,count(distinctname)as'人数'fromstudentsgroupbyclassorderby

count(distinctname)DESC

10、关于连接查询的描述错误的是：

A.当所需要查询的信息分散于多个表时，为了查询到所希望的信息，就需要采用连接查询

将多个表的信息连接起来。

B.Hive中支持的连接类型有内连接、左外连接、右外连接、全外连接以及笛卡尔积。

C.连接查询时用于指定连接条件的字段，必须同时出现在左边和右表中，而且其字段名和

字段的数据类型都必须一模一样。

D.选择左表和右表中满足联结条件的行以及左、右表中不满足联结条件的行。对于没有匹

配的记录，则会以null作为其值。

11、下列不属于Hive支持的用户自定义函数UDF的是：

A.UDF(User-Defined-Function):一进一出

B.UDAF(User-DefinedAggregationFunction):聚集函数，多进一出，类似于:count/max/min

C.UDTF(User-DefinedTable-GeneratingFunctions):表生成函数，一进多出

D.UDVF(llser-DefinedViewFunction)

12、关于Hive的元数据库，错误的是：

A.为了使Hive能正常与Myscl数据库系统通信，需要配置hive-site.xml配置文件的

javax.jdo.option.ConnectionURL配置项指明Mysql数据库的相关信息。

B.Hive的默认元数据库为Derby,使用Derby作为元数据库无法并发访问且性能较低，常

常使用关系型数据库Mysql作为Hive的元数据库。

C.为了使Mysql作为Hive的元数据库，除了配置Hive-site.xml中与Mysql相关配置项外，

还需要在Hive中安装用于连接Mysql数据库的驱动程序。

D.Hive的元数据库用来存储表、视图等对象的描述信息，包括表、列及其类型、表数据映

射关系等.此外，表中的直卖数据也存储在元数据库中。

13、关于MapReduce编程的说法中，错误的是：

A.MapReduce是Hadoop大数据平台的海量数据离线式并行处理框架。

B.对于WordCount官方示例MapReduce程序而言，Map阶段的输入键值对(keyin,value

in)分别表示每行数据的内容字符串和每个单词出现的频率。

C.编写M叩Reduce程序时，用户的关注点在于M叩阶段和Reduce阶段。

D.MapReduce程序处理的各阶段的输入输出都是键值对。

14、整MapReduce程序进行数据的清洗主要是实现下列哪一个方法：

A.实现自定义Mapper类的map方法。

B.实现自定义Reducer类的reduce方法。

C.实现main方法。

D.实现分组、排序等内部过程的相应方法。

15、关于数据清洗的MapReduce程序，Map阶段的继承类M叩per的4个泛型参数的说法

错误的是：

A.Mapper类的第一、第二个参数表示map处理的输入键值对。

B.Mapper类的四个泛型参数的数据类型必须同官方示例代码WordCount保持一致，不能

修改。

C.Mappe「类的第三、第四个参数表示m冲处理结果的输出键值对。

D.每个参数的数据类型根据实际情况灵活选用Hadoop支持的数据类型。

16、在本地电脑上使用Idea开发用于网站日志数据清洗的MapReduce程序，调试成功后

程序打包为LogClean的jar包。现需要在远程真实的集群环境中执行jar包，所使用的语

句是：

A.hadoopjarLogCleanjar包的主类名

B.hadoopjarLogCleanjar包的主类名输入数据所在HDFS目录处理结果所在

HDFS目录

C.hdfsjarLogCleanjar包的主类名输入数据所在本地文件系统目录处理结果所

在本地文件系统目录

D.hdfsjarLogClean输入数据所在HDFS目录处理结果所在HDFS目录

17、关于官方实例WordCount.jar包在Hadoop集群中执行的说法错误的是：

A.再次执行WordCountjar包之前,需要鸵删吵上次执行结果的存放目录。

B.执行WordCount.jar包之前，必须首先创建存放执行结果的目录。

C.执行WordCount.jar包之前，不能创建存放执行结果的目录，系统会自动创建。

D.关于输出目录的处理，更好的做法是在MapReduce程序代码中实现输出目录自动检

测、自动删除的相关功能。

18、假设有一个名为Students的表，该表根据sid字段分成8桶，贝IJ关于下歹UHQL语句

select*fromStudentstablesample(bucket2outof4onsid);

的说法正确的是：

A.语句总共抽取了2个桶中的数据，这2个桶分别是：第2号桶和第6号桶。

B.语句总共抽取了2个桶中的数据，其桶的编号分别是：2、3

C.语句总共抽取了4个桶中的数据，其桶的编号分别是：1、2、3、4

D.抽样子句tablesample(bucket2outof4onsid)，中的2表示抽取的桶的数量，4

表示开始抽取的桶的编号。

19、下面语句的作用是：

[root@mastercode]#hive-f/code/create_Student_table.sql

并执行名为“createStudenttable.sql”文件中的HQL语句。执行完毕

B.执行名为“create_Student_table.sql”文件中的HQL语句。执行完毕后，处于Hive命

令行交互模式，等待执行下一个命令。

C.创建名为create_Student_table.sql"的文件。

D.打开名为create_Student_table.sql”的文件。

20、下列关于是Hive所支持的创建表方法，不正确的是：

A.直接建表法(Createtabletable.name)。

B.查询建表法(Createtableasselect)°

C.导入建表法(CreatetableLoad).

D.Like建表法(Createtablelike)。

二、多项选择题(每题2分)

|、关于Hive的描述中，正确的是：

A.Hive是基于Hadoop的一个数据仓库工具。

B能够将结构化的数据文件映射为一张数据库表。

C.提供了一系列的工具用来进行数据的提取、转换、加载(ETL)。

提供了类SQL的语句用于数据的分析，降低了数据分析的难度。

2、Hive和关系型数据的主要区别有：

A.Hive使用的是Hadoop的HDFS,而关系数据库使用服务器本地文件系统，

BHive使用的计算模型是MapReduce,而关系数据库使用的是厂商自己设计的计算模型

C.Hive是为海量数据做数据挖掘而设计，而关系数据库为实时业务处理而设计。

D.Hive相比于关系数据库而言更具可扩展，周。

3、下列Hive相关语句及其描述手确空是：

A.Hive-f<filename>〃执行文件中的SQL语句

B.Hive-e<SQL语句>〃执行命令行中的SQL语句

C.Hive-S-e<SQL语句>〃静音模式执行命令行中的SQL语句(不会在终端上输出

MapReduce进度等日志信息)

D.Hive-S-e<SQL语句>>result.csv〃将语句执行的结果导入到文件

4、Hive支持的表数据文件格式包括：

A.TextFile格式B.SequenceFile格式|C.RCFile格司D[RC格伊

I、关于动态分区的使用过程中，正确的是：

A.使用动态分区需要设置hive.exec.dynamic.partition参数值为true。

B.如果需要设置所有分区列为动态分区列时，需要设置

hive.exec.dynamic.partition.mode=nonstricto

C.分区在使用过程中，分区列好像表结构中已有的列一样，可以作为查询的条件使用。

D.使用分区的时候，形如pdililiuiQcddeiiycldss-'034，）将主分区列设置为动态分区列，

而副分区列设置为静态分区列是不被允许的。

6、关于桶的叙述中，正确的是：

A.桶通过对指定列的数据进行哈希计算，通过哈希值将一个列下的数据切分为一个桶。

B.在Hive中，每一个桶对应于相应目录下的一个文

C需要设置hive.enforce.bucketing属性为true,以便Hive能够识别桶，创建表时使用

clusteredby（分桶列）into桶的数量buckets指定桶相关信息

D.桶相比于分区而言，其中的数据可能存在较大的倾斜（有些桶数据量很大，而有些桶数

据很小），而分区不存在这个问题。

7、关于Hive中视图的说法正确期是:

A.视图是基于基本表或其他视图的一张虚表。

B.Hive中只存储关于视图的定义，而视图的数据是在使用时执行查询语句得出。

C.视图除了能查询数据，还能通过视图load/insert/update/delete数据。

D.Hive中的视图与关系型数据库中的视图功能、优缺点相当。

8、数据的导出是Hive中的一个常规操作，下列导出数据的操作，正确的是：

A.拷贝相应数据文件到目录。比如：hdfsdfs-cpsource_pathtarget_path0

B.导出到一个目录，例如：Insertoverwrite[local]directoryytrnp/employee'

Selectname,salary,addressfromemployeewherestate='US'

C.导出到另外一个表。例如:insertintotablestudents2select*fromstudents;

D.导出到文件。例如:hive-e"select*fromstudents">>>'/data/students.txt"

9、关于聚合函数的描述正确的是：

A.聚合函数可以对多行进行一些计算，然后得到一个结果得。

B.Count（*）计算结果的总行数，包括含有null值的行。

C.Sum（col）计算col列值的和。

D.Avg（distmctcol）计算排重后值的平均

10、下列关于Select语句的描述口正确的是：

A.select子句是SQL的投影算子，用于指定查询表的那些列，后面可以跟列列表、表达式、

集合函数等。

B.from子句用于指定查询的数据来源于哪个表，后面可以跟表、视图、子查询等。

C.where子句用于指定对表中数据进行筛选的条件，后面跟条件表达式（谓词表达式）。

D.groupby子句用于对查询结果进行分组，一般情况下配合聚合函数一起使用，对每一组

数据进行聚合处理。

11、关于连接查询的优化，正确的是：

A.连接操作时，左表中的每一行都需要与右表中的每一行进行比较，判断是否满足连接条

件，因此没有什么好的优化策略。

B.保证表的大小从左到右依次增加

C.先进行筛选操作，再进行连接

D.先将两个表做笛卡尔积，然后通过wheie子句筛选需要的数据行。

12、HQL中的排序子句相比于关系型数据库的排序语句稍有啊下列说法正确的是:

A.HQL排序语句有Orderby和Sortby两种，两个子句的效果一样，可以相互替换。

B.Oderby是全局排序子句，所有数据通过一个reduce处理，数据全局有序，其缺点是

性能较低。

C.Sortby是局部排序子句，数据由多个reduce处理，Sortby保证数据在每个reduce之

内有序，不保证数据在reduce之间有序。

D两种排序语句在只有一个reducer处理结果数据的时候，效果一样。如果设置多个reducer

处理结果数据，则排序的结果不一样。

13、关于下列HQL语句的理解，正确的是：

hive(library)>setmapreduce.job.reduces=10;

hive(library)>selects.ymd,s.symbol,s.price_close

>fromstockss

>distributebys.symbol

>sortbys.ymdASC,s.symbolDESC

>limit150

>；____________________________________________________________________________

A.setmapreduce.job.reduces=10;用于设置查询语句所对应的mapreducejob在reduce阶

段使用10个reducer来处理数据。

B.sortbys.ymdASC,s.symbolDESC用于指定排序的字段、方式以及数据排序的范围。

C.distributebys.symbol用于指定s.symbol哈希值相同的数据放入一个reducer中进行处

理。

D.上面的HQL语句中的distributeby和sortby可以使用clusterby替换。

14、编写HQL查询语句的时候，常常需要进行数据的比较、运算等操作，当参与比较或运

算的两个数的数据类型不一致时，需要使用相应的数学函数、字段串处理函数等进行处理.

此外，Hive提供了一种通用的类型转换函数CAST,下列关于CAST说法正确的是：

A.cast是Hive提供的一种显式地进行数据类型转换的函数。当Hive自动进行的隐式数据

类型转换不能满足需求时，可以使用cast进行类型转换。

B.Cast函数的语法：cast(valueastype),value表示需要转换的数据，type表示转换后的数

C.Hive提供的隐式数据类型转换能转换一切数据的类型为正确类型，用户几乎不需要考虑

类型转换的问题。

D.cast属于万能转换函数，能将数据转换成我们希望的任何类型。

15、Hive中的抽样查询，指的是从大量的数据集中根据指定的方式抽取具有代表意义的子

集,Hive提供了以下哪几种抽样的方式:

A.桶抽样,从指定的桶中抽取数据。

B.随机抽样，从随机函数指定的桶中抽取数据.

C.数据块抽样，根据行数、数据量、百分比等方式抽取大数据集中的部分数据。

D.表抽样，使用where子句选择满足条件的行。

16、下列属于WordCountMapReduce程序逻辑处理阶段的是：

A.散据切片上

B.Map阶段进行单词切分，对每个出现的单词以＜单词，作为输出键值对。

C,进行内部的分组、排序等操作。

D.Reduce阶段进行规约操作，统计每个单词出现的次数。然后以(单词，次数〉作为输出

键值对输出到指定的目

17、常用的日志数据清洗任务主要包括：

A.转换数据的编码。

B.去除不符合要求的数据行。

C.添加列数据、去除不需要的列数据。

D.多列合并成一列或一列分裂成多列。

E.修改列数据为希望的形式。

18、sogou用户访问日志分析的关键指标可以包括：

A.用户总数、活跃用户数

B.活跃用户的占比。

C.热门话题(检索次数排前的关键字)

D.热门话题与用户的关系

E.检索结果URL点击分别情况。

19、下列与大数据ETL课程相关的linux命令正确的是：

A.启动Hadoop所有模块的命令：start-all.sh

B.解压JDK.tar.gz格式的安装包:tar-zxvf./jdk-8u202-linux-x64.tar.gz

C.安装Mysqlrpm格式的包1Pm-ivhmysql-community-server-57.21-l.el7.x86.64.rpm

D.查看分布式文件系统的根目录：Is/

20、数据仓库之父比尔•恩门(BillInmon)在1991年出版的TuildingtheData

Warehouse15(《建立数据仓库》)一书中所提出并被广泛接受的关于数据仓库的定义

是:数据仓库(DataWarehouse)是一个：

A.面向主题的(SubjectOriented)

B.集成的(Integrated)

C.相对稳定的(Non-Volatile)

D.反映历史变化(TimeVariant)的数据集合，用于支持管理决策(DecisionMaking

Support)o

三、HQL应用题(每题10分)

1、创建一个包含sidmame,class,specility(学院)四个字段既分区又分桶的表students。分区字

段自定义，分桶字段为sid,每个分区分4个桶.

答案：

HQL语句：

Createtablestudent(

Sidint,

Namestring,

Classstring,

Specilitystring)

Partitionedby(name)

Clusteredby(sid)sortedby(name)into4bucket

Rowformatdelimitedfieldsterminatedby;

2、从employees表中查询name和salary列的数据，并根据salary的值进行等级划分。

Salary<50000.0等级为‘low'；50000.0<=salary<70000.0等级为‘middle'；

7000.0<=salary<100000.0等级为‘high',100000.0<=salary等级为'veryhigh'。HQL

最终执行的结果如下图所示：

namesalarybracket-

JohnDoe100000.0veryhigh

MarySmith80000.0high

ToddJones70000.0high

BillKing60000.0middle

BossMan200000.0veryhigh

FredFinance150000.0veryhigh

答案：

HQL语句：

Selectname,salary

Case

Whensalary<5000the'low'

Whensalary>=5000andsalary<=7000then'middle'

Whensalary>=7000andsalary<=10000then'high'

Else'veryhigh,

ndAsbracket

romemployess;

3、employees表结构及部分数据如下图所示:

nonesalarysubordinatesdeductionsaddress

JohnOoe1009G6.G("MarySmith",'ToddJones"]{'FederalTaxes":0.2,"StateTaxes":9.G5

/Insurance*:0.1}{'jtrMf:'lMichiganAvt.','city":"Chicago","stat#':'IL".'zip":66600)

HarySnith89060.9("BillKing"]{"FederalTaxes':0.2,"StateTaxes":nuU,'.65":nuU,"Insurance":

nuU/.l":null)("street':'ieeOntarioSt.M,"city":-Chicago-,-state":"If,"zip-:66601)

ToddJones7000G.0[]{"FederalTaxes":0.15,"StateTexes":0.03,'Insurance":0.1}{'stree

t":"2OOChicagoAve."."city-:"OakPark","state-:"IL','zip":66709)

BiUKing60000.9(]{•FederalTaxes":0.15,'StateTexes":9.03,■Insurenct-iO.l){'stree

t":a396ObscureDr.",'city':'Obscuria","state":"IL",'zip':6G10G)

BossHan20000G.0['JohnDot"."FredFinanct']{"FtdtralTexts-:0.3,'StateTaxes':0.07

,"Insurance":0.05}fstreef:-!PretentiousDrive.","city":"Chicago",'state':'IL"."zip":6G5O0}

FredFinance150000.G["StacyAccountant']('FederalTaxes":0.3,'StateToxes":0.07,"Insure

nce":0.G5){"street":"2PretentiousDrive."."city':"Chicago","state":"IL',"zip":6050G)

StacyAccountant60090.0[]{'FederalTaxes":G.15,"StateTaxes":0.03,"Insurance":0.1)(

根据要求完成下列HQL语句。

(1)、统计出employees表中的员工数以及员工的平均薪水、最大薪水、总的薪水。

HQL语句：

Select

round(avg(salary))as平均薪水,

max(salary)as'最高薪水、,

sum(salary)as'总的薪水'

fromemployees;

(2)、通过行转列函数将employees表中subordinates(下属)字段的数据由行转列显示。

转化后的结果如图所示：

转换前：

namesubordinates

JohnDoe["MarySmith","ToddJones"]

MarySmith["BillKing"]

ToddJones[]

BillKing[]

BossMan["JohnDoe","FredFinance"]

FredFinance["StacyFAccountant"]

StacyAccountant[]

Timetaken:0.643seconds,Fetched:7row(s)

转换后:

MarySmith

FoddJones

BillKing

JohnDoe

FredFinance

StacyAccountant

HQL语句：

Selectname,subordinatesfromemploees;

Selectexplode()assubfromemployees;

(4)、下面是一段用于数据清洗的MapReduce程序,请在相应位置标出程序代码的中文含义。

publicclassSogouLogFilter

(

publicstaticclassSogouLogFi1terMapperextends

Mapper<LongWritab1c,Text,Text,NullWritablc>

(

publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throws

lOException,InterruptedException{

Stringline=newString(value.getBytes0,0,value.getLengthO,"GBK");

上述标红代码中文含义:

转换每行数据的编码从GBK到UTF8编码

String[]words=line,split(*\\s+*);

上述标红代码中文含义：

按照空白符切分行数据，切分成一个个的字符串，放入String类型的数组words中。

if(words,length!=6){

return;

)

Stringaccesstime=words[0].replaceAll(*[[\\s-：punct:]]*»;

上述标红代码中文含义：

去除时间字符串中的横杠、空格、冒号等特殊符号。

words[0]="2020051O^+accesstims;

Stringnewline=String.joinC,*,words);

上述标红代码中文含义：

将数组words中的字符串元素重新组装成新的字符串，保存在string变量newline中。

context,write(newText(newline),NullWritable.get());

}

)

四、综合应用题（每题20分）

1、Hive中sogou表的结构如下，图中从左至右各字段分别表示用户检索信息的year（年）、

month（月）、day（日）、userid（用户id）,keyword（检索关键字）、Rank（点击的网址在结果

集的排名）、Clickid（点击顺序号）、URL（详细内容的网址）。

206668630OeG3959536232fi68O18的，。引21

渊Ma懈0扭4449腑用79n1IAM.pcict.co^Artlcb.ShM.Mp?ArtKbKM2n503

6300603374449090620679(TAMIit2M.pucb.cWArtld■.加w,螂谓rUclMM221503

2Wee630MGM川弼强嫌79U3ko.lS380.n«t/A«wjMw.MpUd>3d8的

㈱6tt63eW0337444999M20679124ko.16388..«sp^id>38803

eeS3懈0沏444妫K席?9|「仙同126ko.U38d.Mt/MwisviM.asph>308的

ee的ett的94449㈱1期也(mm14SMMJ]Rdbbs.coa/bbs/YiMhrMd.php?tldil3SS3tpi9HU的

M的懈0如63帆加泓1段电火V、置11AM.nty.mt/yq/2J24J376.htil的

㈱ee03娥3M励的128训网电火快川3d3Mv.yixia.Nt/tiiV47i.htal03

椒oe03懒如物的口幽314MMmysM.coi^ii^/qy-rsb/wdix.hta03

03幽如6如的127s现伸㈣火的渊92MM.iiS/priflt^9i.asp^oardl(MUd«93203

2■et的娥J制2〃加为外1蚓S1MM.Olito.co^bbs/Mw/topic12M4.hta03

根据上面的结构完成以下的HQL语句。

（1）、统计搜索过于“手机”相关话题的用户，以及用户搜索的次数。HQL执行的部分结果

如下所示。（只显示前toplO的行）

useridnumber_of_searches

26439282971695504-69

2677948020796599466

463826373279404759

480339791296243658

655515034610326957

493134945075533355

443784930172805154

221361668551410153

0327287485791525350

545298256312095849

HQL语句：

selectuserid,count(*)asnumber_of_searches

fromsogou

wherekeywordlike"%手机财

groupbyuserid

orderbynumber_of_searchesDESClimit10;

（2）、统计检索信息最活跃的3个用户，并找出其关注的话题。HQL执行部分结果如下所

6383499980796535［深圳思创科技发展有国公司】

6383499980790535【深圳市科网联计算机技术有限公司】

6383499980790535【深圳市移联通信技术有限责任公8n

6383499980790535［深圳市移送通信技术有限费任公司】

6383499980790535【深圳市移联通侑技术有限责任公司】

6383499980790535【深圳市移农通恺技术有限责任公司］

638349998G790535［深圳市华伯通讯设备有限公司］

6383499980790535【深圳市天侑达科技有限公司】

6383499980790535【科通软件技术《深圳）有限公司］

6383499980790535【科通软件技术《深圳）有限公司）

6383499980790535