大数据etl考试题库及答案

一、单项选择题（每题2分）

不属于Hadoop平台核心模块的是：

B.HDFSC.YARND.MapReduce

2、下列不属于Hive组件的是：

A.用户接口B.MapReduce|c执行引擎D.元数据存储

3、下列哪种不属于Hive提供的复杂数据类型:

A.ArrayB.MapC.VarcharD.Struct

4、下列不属于Hive主要数据模型的是：

A.外部表B.触发器C.分区D桶

5、下列不属于Hive所支持的数据导入方式的是：

A.从本地文件系统导入数据到Hive相应表中。

B.从HDFS导入数据到Hive相应表中。

C.从电fe表中查询数据并导入Hive相应表中。

D.使用insert插入语句向Hive相应表中插入数据。

6、关于分区表的下列说法，错误的是：

A.表的分区是一种根据“分区列”的值对表进行粗略划分的机制。

B.对表进行分区可用减少每一次扫描巧总数据量,对表进行合理的管理以及提高查询效率。

C.指定分区信息时所使用的列，必须是表中已经存在的列。

D.创逼表的时候使用Partitionedby（分区列1薮据类型，分区列2数据类型…）指定分区信

息。

7、关于动态分区和静态分区的描述，正确的是:

A.对于静态分区，导人数据必须明确指定分区的详细信息。比如：

partition（academy='computer',class='034'

B.对于动态分区，导入数据时不需要明确指明分区详细信息，系统根据查询语句执行结果

的最后一个或几个字段的值自动判断数据该导入哪个分区之中。

C.确定一个分区的分区列只能有一个，且分区列必须是表结构中已有的列。

D.在insertoverwritetablestudentpartition（academy,class）selectid,name,academy?,class2

fromstudent_tmp;导入数据的语句中，根据查询语句的academy2,class2列的值自动决定数

据导入的分区。

8、Hive中的谓词like用于匹配特定的子串，能从Books表中查询书名包含，包含“程”或

“库”的图书的信息。

A.select*fromBookswhereBnamelike列程库

B.select*fromBookswhereBnamelike'%程%库％'

C.select*fromBookswhereBnamelike'一程_库附

D.select*fromBookswhereBnamelike'%程库附

■下列能够从students（有些班级中有同名的同学）表中统计出每个班人数的SQL语句是：

A.selectclass,count（*）as'人数'fromstudents

B.selectclass,count(*)as'人数'fromstudentsgroupbyclassorderbycount(*)DESC

C.selectname,class,count(*)as'人数'fromstudentsgroupbyclassorderbycount(*)

DESC

D.selectclass,count(distinctname)as'人数'fromstudentsgroupbyclassorderby

count(distinctname)DESC

10、关于连接查询的描述错误的是：

A.当所需要查询的信息分散于多个表时，为了查询到所希望的信息，就需要采用连接查询

将多个表的信息连接起来。

B.Hive中支持的连接类型有内连接、左外连接、右外连接、全外连接以及笛卡尔积。

C.连接查询时用于指定连接条件的字段，必须同时出现在左边和右表中，而且其字段名和

字段的数据类型都必须一模一样。

D.选择左表和右表中满足联结条件的行以及左、右表中不满足联结条件的行。对于没有匹

配的记录，则会以null作为其值。

11、下列不属于Hive支持的用户自定义函数UDF的是：

A.UDF(User-Defined-Function):一进一出

B.UDAF(User-DefinedAggregationFunction)聚集函数，多进一出，类似于：count/max/min

C.UDTF(User-DefinedTable-GeneratingFunctions):表生成函数，一进多出

D.UDVF(User-DefinedViewFunction)

12、关于Hive的元数据库，错误的是：

A.为了使Hive能正常与Mysql数据库系统通信，需要配置hive-site.xml配置文件的

javax.jdo.option.ConnectionURL配置项指明Mysql数据库的相关信息。

B.Hive的默认元数据库为Derby,使用Derby作为元数据库无法并发访问且性能较低，常

常使用关系型数据库Mysql作为Hive的元数据库。

C.为了使Mysql作为Hive的元数据库，除了配置Hive-site.xml中与Mysql相关配置项外，

还需要在Hive中安装用于连接Mysql数据库的驱动程序。

D.Hive的元数据库用来存储表、视图等对象的描述信息，包括表、列及其类型、表数据映

射关系等。此外，表中的真实数据也存储在元数据库中。

13、关于M叩Reduce编程的说法中，错误的是：

A.MapRedu艺是Hadoop大数据平台的海量数据离线式并行处理框架。_________________

B.对于WordCount官方示例MapReduce程序而言，Map阶段的输入键值对(keyin,value

in)分别表示每行数据的内容字符串和每个单词出现的频率。

C.编写MapReduce程序时，用户的关注点在于Map阶段和Reduce阶段。

D.MapReduce程序处理的各阶段的输入输出都是键值对。

14、编写MapRed'e程序进行数据的清洗主要是实现下列哪一个方法:

A.实现自定义Mapper类的map方法。

B.实现自定义Reducer类的reduce方法。

C.实现main方法。

D.实现分组、排序等内部过程的相应方法。

15、关于数据清洗的MapReduce程序，Map阶段的继承类hopper的4个泛型参数的说法

错误的是：

A.Mapper类的第一、第二个参数表示map处理的输入键值对。

B.Mapper类的四个泛型参数的数据类型必须同官方示例代码WordCount保持一致，不能

C.Mapper类的第三、第四个参数表示map处理结果的输出键值对。

D.每个参数的数据类型根据实际情况灵活选用Hadoop支持的数据类型。

16、在本地电脑上使用Idea开发用于网站日志数据清洗的M叩Reduce程序，调试成功后

程序打包为LogClean的jar包。现需要在远程真实的集群环境中执行jar包，所使用的语

句是：

A.hadoopjarLogCleanjar包的主类名

BhadoopjarLogCleanjar包的主类名输入数据所在HDFS目录处理结果所在

HDFS目录

C.hdfsjarLogCleanjar包的主类名输入数据所在本地文件系统目录处理结果所

在本地文件系统目录

D.hdfsjarLogClean输入数据所在HDFS目录处理结果所在HDFS目录

17、关于官方实例WordCount.jar包在Hadoop集群中执行的说法错误的是：

A.再次执行WordCount.jar包之%需要巨型里z次执号果的存放目录。

B.执行WordCountjar包之前，必须首先创建存放执行结果的目录。

C.执行WordCount.jar包之前，不能创建存放执行结果的目录，系统会自动创建。

D.关于输出目录的处理，更好的做法是在MapReduce程序代码中实现输出目录自动检

测、自动删除的相关功能。

18、假设有一个名为Students的表，该表根据sid字段分成8桶，则关于下列HQL语句

select*fromStudentstablesample(bucket2outof4onsid);

的说法正确的是：

A.语句总共抽取了2个桶中的数据，这2个桶分别是：第2号桶和第6号桶。

B.语句总共抽取了2个桶中的数据，其桶的编号分别是：2、3

C.语句总共抽取了4个桶中的数据，其桶的编号分别是：1、2、3、4

D.抽样子句tablesample(bucket2outof4onsid)，中的2表示抽取的桶的数量，4

表示开始抽取的桶的编号。

19、下面语句的作用是：

[root@mastercode]#hive-f/code/create_Student_teble.sql

A.进入Hive,并执行名为“create_Student_table.sq[”文件中的HQL语句。执行完毕后

退出Hiv『

B.执行名为“create_Student_table.sq「文件中的HQL语句。执行完毕后，处于Hive命

令行交互模式，等待执行下一个命令。

C.创建名为create_Student_table.sql”的文件。

D.打开名为create_Student_table.sql”的文件。

20、下列关于是Hive所支持的创建表方法，不正确的是：

A.直接建表法(Createtabletable_name)。

B.查询建表法(Createtableasselect)。

C.导入建表法(CreatetableLoad)|

D.Like建表法(Createtablelike)o

二、多项选择题(每题2分)

■'关于Hive的描述中，正确的是：

A.Hive是基于Hadoop的一个数据仓库工具。

B.能够将结构化的数据文件映射为一张数据库表。

C.提供了一系列的工具用来进行数据的提取、转换、加载(ETL)。

提供了类SQL的语句用于数据的分析，降低了数据分析的难度。

2、Hive和关系型数据的主要区别有：

A.Hive使用的是Hadoop的HDFS,而关系数据库使用服务器本地文件系统

B.Hive使用的计算模型是MapReduce,而关系数据库使用的是厂商自己设计的计算模型

C.Hive是为海量数据做数据挖掘而设计，而关系数据库为实时业务处理而设计。

D.Hive相比于关系数据库而言更具可扩展隹。

3、下列Hive相关语句及其描述正确的是：

A.Hive-f<filename>〃执行文件中的SQL语句

B.Hive-e<SQL语句>〃执行命令行中的SQL语句

C.Hive-S-e<SQL语句>〃静音模式执行命令行中的SQL语句(不会在终端上输出

MapReduce进度等日志信息)

D.Hive-S-e<SQL语句>>result.csv〃将语句执行的结果导入到文件

4、Hive支号的表数据文”格式包括：

A.TextFile格式B,SequenceFile格式C.RCFile格式D.ORC格式

|、关于动态分区的便用过程中;正确的是：

A,使用动态分区需要设置hive.exec.dynamic.partition参数值为true：

B.如果需要设置所有分区列为动态分区列时，需要设置

hive.exec.dynamic.partition.mode=nonstricto

C.分区在使用过程中，分区列好像表结构中已有的列一样，可以作为查询的条件使用。

D.使用分区的时候，形如partition(academy,class='034')将主分区列设置为动态分区列，

而副分区列设置为静态分区列是不被允许的。

6、关于桶的叙述中，正确的是：

A.桶通过对指定列的数据进行哈希计算，通过哈希值将一个列下的数据切分为一个桶。

B.在Hive中，每一个桶对应于相应目录下的一个文件。

C.需要设置hive.enforce.bucketing属性为true,以便Hive能够识别桶，创建表时使用

clusteredby(分桶列)into桶的数量buckets指定桶相关信息。

D.桶相比于分区而言，'其中的数据可能存在较大的彳顷斜(有些桶数据量很大，而有些桶数

据很小)，而分区不存在这个问题。

7、关于Hive中视图的说法正确的是:

A.视图是基于基本表或其他视图的一张虚表。

B.Hive中只存储关于视图的定义，而视图的数据是在使用时执行查询语句得出。

C.视图除了能查询数据，还能通过视图load/insert/update/delete数据。

D.Hive中的视图与关系型数据库中的视图功能、优缺点相当。

8、数据的导出是Hive中的一个常规操作，下列导出数据的操作，正确的是：

拷贝相应数据文件到目录。比如：

A.hdfsdfs-cpsource_pathtarget_patho

B.导出到一个目录，例如:Insertoverwrite[local]directory7tmp/employee'

Selectname.salary.addressfromemployeewherestate='US'

C.导出到另外一个表。例如：insertintotablestudents2select*fromstudents;

D.导出到文件。例如：hive-euselect*fromstudents">>n/data/students.txtM

9、关于聚合函数的描述正确的是：

A.聚合函数可以对多行进行一些计算，然后得到一个结果值。

B.Count(*)计算结果的总行数，包括含有null值的行。

C.Sum(col)计算col列值的和。

D.Avg(distinctcol)计算排重后值的平均镰

10、下列关于Select语句的描述中正确的是：

A.select子句是SQL的投影算子，用于指定查询表的那些列，后面可以跟列列表、表达式、

集合函数等。

B.from子句用于指定查询的数据来源于哪个表，后面可以跟表、视图、子查询等。

C.where子句用于指定对表中数据进行筛选的条件，后面跟条件表达式(谓词表达式)。

D.groupby子句用于对查询结果进行分组，一般情况下配合聚合函数一起使用，对每一组

数据进行聚合处理。

11、关于连接查询的优化，正确的是：

A.连接操作时，左表中的每一行都需要与右表中的每一行进行比较，判断是否满足连接条

件，因此没有什么好的优化策略。

B.保证表的大小从左到右依次增加

C.先进行筛选操作，再进行连接

D,先将两个表做笛卡尔积，然后通过where子句筛选需要的数据行。

12、HRL中的排序子句相生于关系型数据库的排序语句稍有区别，下列说法正确的是:

A.HQL排序语句有Orderby和Sortby两种，两个子句的效果一样，可以相互替换。

B.Orderby是全局排序子句，所有数据通过一个reduce处理，数据全局有序，其缺点是

性能较低。

C.Sortby是局部排序子句，数据由多个reduce处理，Sortby保证数据在每个reduce之

内有序，不保证数据在reduce之间有序。

D两种排序语句在只有一个reducer处理结果数据的时候，效果一样。如果设置多个reducer

处理结果数据，则排序的结果不一样。

13、关于下列HQL语句的理解，正确的是：

hive(library)>setmapreduce.job.reduces=10;

hive(library)>selects.ymd,s.symbol,s.price_close

>fromstockss

>distributebys.symbol

>sortbys.ymdASC,s.symbolDESC

>limit150

>；

D.上面的HQL语句中的distributeby和sortby可以使用clusterby替换。

14、编写HQL查询语句的时候，常常需要进行数据的比较、运算等操作，当参与比较或运

算的两个数的数据类型不一致时，需要使用相应的数学函数、字段串处理函数等进行处理。

此外，Hive提供了一种通用的类型转换函数CAST,下列关于CAST说法正确的是：

A.cast是Hive提供的一种显式地进行数据类型转换的函数。当Hive自动进行的隐式数据

类型转换不能满足需求时，可以使用cast进行类型转换。

B.Cast函数的语法：cast(valueastype),value表示需要转换的数据，type表示转换后的数

C.Hive提供的隐式数据类型转换能转换一切数据的类型为正确类型，用户几乎不需要考虑

类型转换的问题。

D.cast属于万能转换函数，能将数据转换成我们希望的任何类型。

15、Hive中的抽样查询，指的是从大量的数据集中根据指定的方式抽取具有代表意义的子

集。Hive提供了以下哪几种抽接的方式:

A.桶抽样，从指定的桶中抽取数据。

B.随机抽样，从随机函数指定的桶中抽取数据。

c.数据块抽样，根据行数、数据量、百分比等方式抽取大数据集中的部分数据。

D.表抽样，使用where子句选择满足条件的行。

16、下列属于WordCountMapReduce程序逻辑处理阶段的是：

A.数据切片。

B.M叩阶段进行单词切分，对每个出现的单词以＜单词，1＞作为输出键值对。

C.进行内部的分组、排序等操作。

D.Reduce阶段进行规约操作，统计每个单词出现的次数。然后以＜单词，次数〉作为输出

键值对输出到指定的目泰

17、受用由目■数据清洗任务主要包括:

A.转换数据的编码。

B.去除不符合要求的数据行。

C.添加列数据、去除不需要的列数据。

D.多列合并成一列或一列分裂成多列。

E.修改列数据为希望的形式。

18、sogou用户访问日志分析的关键指标可以包括：

A.用户总数、活跃用户数

B.活跃用户的占比。

C.热门话题(检索次数排前的关键字)

D.热门话题与用户的关系

E.检索结果URL点击分别情况。

19、下列与逑据ETL,过目望linux命令正确的是:

A.启动Hadoop所有模块的命令：start-all.sh

B.解压JDK.tar.gz格式的安装包：tar-zxvf./jdk-8u202-linux-x64.tar.gz

C.安装Mysqlrpm格式的包：rpm-ivhmysqNcommunity-server-5.7.21-l.el7.x86._64.rpm

丁金看分布式文件系统的根目录：Is/

20、数据仓库之父比尔・恩门(BillInmon)在1991年出版的"BuildingtheData

Warehouse"(《建立数据仓库》)一书中所提出并被广泛接受的关于数据仓库的定义

是:数据仓库(DataWarehouse)是一^

A.面向主题的(SubjectOriented)

B.集成的(Integrated)

C.相对稳定的(Non-Volatile)

D.反映历史变化(TimeVariant)的数据集合，用于支持管理决策(DecisionMaking

Support)o

三、HQL应用题(每题10分)

1、创建一个包含sid,name,class,specify(学院)四个字段既分区又分桶的表students。分区字

段自定义，分桶字段为sid,每个分区分4个桶。

口来.

HQL语句：

Createtablestudent(

Sidint,

Namestring,

Classstring,

Specilitystring)

Partitionedby(name)

Clusteredby(sid)sortedby(name)into4bucket

Rowformatdelimitedfieldsterminatedby;

2、从employees表中查询name和salary列的数据，并根据salary的值进行等级划分。

Salary<50000.0等级为‘low'；50000,0<=salary<70000.0等级为‘middle'；

7000.0<=salary<100000.0等级为‘high1,100000.0<=salary等级为'veryhigh,。HQL

最终执行的结果如下图所示：

namesalarybracket1

JohnDoe100000.0veryhigh

MarySmith80000.0high

ToddJones70000.0high

BillKing60000.0middle

BossMan200000.0veryhigh

FredFinance150000.0veryhigh

答案：

HQL语句：

Selectname,salary

Case

Whensalary<5000the'low'

Whensalary>=5000andsalary<=7000then'middle'

Whensalary>=7000andsalary<=10000then'high'

Else'veryhigh,

EndAsbracket

Fromemployess;

3、employees表结构及部分数据如下图所示:

nawsalarysubordinatesdeductionsAddress

JohnDoe196090.9("KarySmith**."ToddJones-]{"FederalTaxes":G.2,*StateTaxes":9.G5

,"Insurance":0.1}("strttt":"1MichiganAvt.'/city":"Chicago*/state*:"IL*,"zipM:60600)

MarySmith80000.0「BillKing"]{"FederalTaxes':机2,"StateTaxes-:null,".05**:null,"Insurance":

HM14

nuli,*.r：null}{street":*106OntarioSt.("city":,"state:*IL\*zip':60661)

ToddJones7000G,0[]「FederalTaxes**:©,15,"StateTaxes":0.03,"Insurance":0.1}{Free

t"：・2O0ChicagoAve//city':w0akPark",Mstate*:-IL',"zip":6670G)

BiUKing60000.0[]{"FederfilTaxes":0.15,"StateTfixe5M:G.G3/Insurance":0.1}fstree

t":*3eeObscureDr,"."city":-0bscunaM/state*':-IL\"zip':6O1O0)

BossMan200000.0["JohnDoe".MFrtdFinancL]{"FtdtrolTaxes":G,3/StateTaxes0.07

,•Insurance":0.05}("street":"1PretentiousDrive.","city*:"Chicago*,"state":"IL*."zipM:60509)

FredFinance156000.8["StecyAccountant"]{"FederalTaxes":0.3,'StateTaxes*:0.07,"Insure

ne":机05}{"street":"2PretentiousDrive."/city*:"ChicAgoN/state-:"IL","zip":60500)

StacyAccountant60G00.G[]("FederalTaxes':G.15,"StateTaxes*:0.03,"Insurance*:0.1)(

根据要求完成下列HQL语句。

(1)、统计出employees表中的员工数以及员工的平均薪水、最大薪水、总的薪水。

HQL语句：

Select

round(avg(salary))as'平均薪水1

max(salary)as'最高薪水

sum(salary)as'总的薪水'

fromemployees;

(2)、通过行转列函数将employees表中subordinates(下属)字段的数据由行转列显示。

转化后的结果如图所示：

转换前：

namesubordinates

JohnDoe["MarySmith","ToddJones"]

MarySmith["BillKing"]

ToddJones[]

BillKing[]

BossMan["JohnDoe","FredFinance"]

FredFinance["Stacy'Accountant"]

Stacy，Accountant[]

Timetaken:0.643seconds,Fetched:7row(s)

转换后:

MarySmith

FoddJones

BillKing

JohnDoe

FredFinance

StacvAccountant

HQL语句：

Selectname,subordinatesfromemploees;

Selectexplode()assubfromemployees;

(4)、下面是一段用于数据清洗的MapReduce程序,请在相应位置标出程序代码的中文含义。

publicclassSogouLogFilter

|

publicstaticclassSogouLogFilterMapperextends

Mapper<LongWritable,Text,Text,NullWritable>

(

publicvoidmap(LongWritab1ekey,Textvalue,Contextcontext)throws

lOException,InterruptedException{

Stringline=newString(value.getBytes(),0,value.getLength(),"GBK");

上述标红代码中文含义：

转换每行数据的编码从GBK到UTF8编码

String[]words=line.split(*\\s+*);

上述标红代码中文含义：

按照空白符切分行数据，切分成一个个的字符串，放入String类型的数组words中。

if(words,length!=6){

return;

)

Stringaccesstime=words[0].replaceAllC[[\\s-：punct:]]*,**);

上述标红代码中文含义：

去除时间字符串中的横杠、空格、冒号等特殊符号。

words[0]="20200510"+accesstime;

Stringnewline=String.join(*,”,words);

上述标红代码中文含义:

将数组words中的字符串元素重新组装成新的字符串，保存在string变量newline中。

context,write(newText(newline),NullWritable.get());

)

)

四、综合应用题（每题20分）

l.Hive中sogou表的结构如下，图中从左至右各字段分别表示用户检索信息的year（年）、

month（月）、day（日）、userid（用户id）,keyword（检索关键字）、Rank（点击的网址在结果

集的排名）、Clickid（点击顺序号）、URL（详细内容的网址）。

的瞬3的9536232懒18睁刎算射21blo9.cftiaortphofii.coi/ifldix.htal03

潞ee9366603374449090620679U1MM.pcicb.co«/Aftuli.Show.asp?ArtKU!00221S63

200608ea幽却4449090(㈱79「巾艮胤U2MM.pcub.co^ArtKle^ShOta.itp?Artul«W«221$03

2895886300003374449^20679ITftRWIU3ko.16380.mt/nwsjlw.tsp?id>10803

的

2帆8800983374449090620679(TRAKIU4ko.16380.ntt/n«MwvlM.岬?此期B3

2睢se0300903374449099620679126ko.16386.mt/nwswviw，岬?他期的

㈱668的娥沏444睇€㈱79imm14SM.fjadbbLCM/而/城沏甲■以03

20G6GSG3enmuMmunjM偿眦火加网11川Ji3y,Mt/yq/2.624.9»6.ht,l的

03蝌如6如的悔帆火WWI）30303

2联88的蝌咐6到的1那溺腐像电火稣awj314.«asySM.co^aupvg/qy>rsb/index.hta的

涉eee03懈战16如的上觑火。怖前92MMiiS/printpa^.»sp?8Mrd!IMk(M3203

2蜥88的帆6港协27姚如如I蝌。期S1»M.01di.co^bbi/nw/topxc4M64.hta03

根据上面的结构完成以下的HQL语句。

（1）、统计搜索过于“手机”相关话题的用户，以及用户搜索的次数。HQL执行的部分结果

如下所示。（只显示前toplO的行）

useridnumber_of_searches

26439282971695504-69

2677948020796599466

463826373279404759

480339791296243658

655515034610326957

493134945075533355

443784930172805154

221361668551410153

0327287485791525350

545298256312095849

HQL语句：

selectuserid,count(*)asnumber_of_searches

fromsogou

wherekeywordlike"的手机％"

groupbyuserid

orderbynumber_of_searchesDESClimit10;

（2）、统计检索信息最活跃的3个用户，并找出其关注的话题。HQL执行部分结果如下所

/JiQ

6383499980796535［深圳思创科技发展有眼公司］

6383499980790535【深圳市科网联计算机技术有限公司］

6383499980790535［深圳中移联通侑技术有限责任公司］

6383499980796535［深圳市移联通信技术有限责任公司］

6383499980790535【深圳市移联通信技术有限费任公司】

6383499980790535【深圳市移联通怙技术有限资任公司］

6383499980790535［深圳市隼伯通讯设备有限公司】

6383499980790535【深圳市天侑达科技有限公司】

6383499980796535［科通软件技术《深圳）有限公司】

6383499980790535【科通软件