数据工程师培训题库(一)

1、星环信息科技（上海）有限公司6、下列计算框架A . MapReduceTD懒据平智训证工程师试题B . MATLAB姓名:分数:【说 C . sparka）有观鼠30题，每题2分，总计60分 b）主观题4题，每题10分，总计40分7）、湃女单0卜卷和托管表描述正确的是（）A处表甲数叫g储在本g 托管用的数据存储在hdfs上【不智、项硒w泗会减好共Incepto）上的元数据不会删除数据文件，删除外表两者都 公确ijHFS服务中，为了保证 Name Node高可用性的角色不包括（）&姗界ode会删除Inceptor上的元数据不会删除数据文件，删除托管表两者都会被肺屋阿皿1 NodeC、.

2、ZKFC管表或外表，incepotr上的元数据和数据文件都会被删除D . Zookeeper8、以下对分桶表的描述正确的是（）2、NAm卵*"螂岳怖SEE幽1碗柳吴的是（A；嘛怖觑H洲简启动时对数据有效性进行检查&楠麻照|沙块进行必要的复制或删除R事幡树鼾安全模式D.允许用户对文件系统进行读写操作9、以下关于inceptor excutor资源配置的说法正确的有（）3、侬怛c赠得DF辨幄* 3atio殳党战於小为128M此时我们上传一份64M 的数做文Ehu密州襁样的是HDFS呢就咨 东使用的应辑core数量C、 . 64xcutor内核数和内存配置比例一般为1 core:2

3、G memoryD、 . 1 Excutor分布可以指定每个节点运行的excutor数量或executor在集群上运行的总会支8他不能指定运行的节点D . 192M 10、假设使用场景中有如下查询语句SELEC国eY/W花OUW欧AV蜘醐是（）FROM Empwei源WHERE Depfrtmtn1度IT'管理groUp BYSOe撷口的数据块ORdEr BY娥 Region;通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化，以下建5i孤丽 %务中，包含以下哪种角色（）A. . ResRuAeMTABLE EmployeeB . NodeManager

4、RTiEs（C . AppacheionMAMrD . ConWrtment,''='Sex, Region'B. CREATE TABLE Employee TBLPROPERTIES ( 'cache' = 'RAM', ''='Sex, Region' ''='Department' )C. CREATE TABLE Employee TBLPROPERTIES ( 'cache' = "Department", '&

5、#39;='Department', ''='Sex, Region' )D. CREATE TABLE Employee TBLPROPERTIES ( 'cache' = 'RAM', ''='Department', '='Sex' )11、关于Hyperbase全局索引的描述，哪些是正确的()A.核心是倒排表B.全局索引概念是对应Rowkey这个"一级"索引C.全局索引使用平衡二叉树D.全局索引使用B+树检索数据12、以下为Hype

6、rbase分布式存储的最小单元的是（）A、Region serverB、RegionC、StoreFileD、Store13、以下有关Hyperbase说法正确的是（）A、数据类型丰富，支持 String、Int、Char等类型B、Key/value 系统，key 由 Row,Column Family,Column Qualifier 组成C、Hyperbase表中rowkey有序，按字典序降序排列D、以上说法都不正确14、以下关于StreamSQL的概念描述正确的是（）A. Stream是数据流B. Streamjob是对一个或多个stream进行计算并将结果写进一个流的任务C. Appl

7、ication 是一个或多个 streamjob 的集合D.以上说法都不正确星环信息科技（上海）有限公司星环信息科技（上海）有限公司15、某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream ,以下实现正确的是()A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_stream STREAM w1 AS (length '1' minute slide '24' hour);B. CREATE STREAM traffic_streamA

8、S SELECT * FROM original_streamSTREAMWINDOW w1 AS (length '1' minute slide '24' hour);C. CREATE STREAM traffic_streamAS SELECT * FROM original_streamSTREAMWINDOW w1 AS (length '24' hour slide '1' minute);D. CREAT6TREAMraffic_streamASSELECT* FROM)riginal_streamAS (leng

9、th'24' second slide '1' minute);16、以下不是 Zookeeper的功能是()A,配置管理B.集群管理C.分布式锁D.存储大量数据17、以下服务需要与 zookeeper进行通信的是()A. HMasterB. Active NameNodeC. InceptorSQLD. Active ResourceManager18、下列是关于flume和sqoop对比的描述，不正确的是（）A . flume 主要用来采集日志而 sqoop主要用来做数据迁移B . flume主要采集流式数据而sqoop主要用来迁移规范化数据C . flum

10、e 和sqoop都是分布式处理任务D . flume 主要用于采集多数据源小数据而sqoop用来迁移单数据源数据19、有关使用sqoop抽取数据的原理的描述不正确的是（）A . sqoop 在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B . sqoop抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好C . sqoop 任务的切分是根据 split字段的（最大值-最小值）/map数D . sqoop 抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、sqoop抽取数据时需要做一些数据转换的工作，下面说法不正确的是（）A . -

11、fields-terminated- by ' 01 ' 用来设置在 hdfs生成的文件的分割符B . -hive-drop-import-delims用来设置在hdfs生成的文件的存储形式为列存储C . -null-string 'N'用来把所有的 String 类型的空值 转换成hive 的NULL值D . -null-non-string 'N'用来把非 String 类型的空值 转换成hive 的NULL21、下列有关 A .flume B . flume C . flume D . flumeflume的描述不正确的是（是Apache的

12、一个子项目主要是一个日志采集，传输系统和sqoop功能相似，因此可以相互替代可以同时采集集群内部和集群外部的日志数据22、下列sink中哪些是flume不支持的sink ()A . HDFS sinkB . kafka sinkC . memory sinkD . file roll sink23、以下对ElasticSearch描述不正确的是（）E. ElasticSearch是分布式全文搜索引擎F. ElasticSearch集群中分 master 和 data节点G. ElasticSearch数据存储在 HDFS±H. ElasticSearch数据可以按Shard分布在不同

13、的节点上24、下列不属于kafka应用场景的是（）A .常规的消息收集B .网站活动性跟踪C .日志收集D .关系型数据库和大数据平台之间的数据迁移25、TDH提供哪几种认证模式（）A.所有服务使用简单认证模式一一所有服务都无需认证即可互相访问B.所有服务都启用 Kerberos认证，用户要提供 Kerberos principal 和密码（或者 keytab ）来访问各个服务C.所有服务都启用 Kerberos同时Inceptor 启用LDAPU证D.所有服务都启用LDAPU证26、以下对各组件的运维页面描述不正确的是（）A.通过Name Node的50070页面对HDFS进行监控B.通过R

14、esource Manager的8180对YARN±运行的任务进行监控C.通过HMaster的60010对HBase进行监控D.通过Hue Server的8888页面登入 Hue27、Inceptor server服务无法启动时，该如何查看日志是（）A.查看TDH manager所在节点/var/log/inceptorsql*/目录下的日志B. 查看 Inceptor server所在节点 /var/log/inceptorsql*/目录下的日志C.查看Resource Manager所在节点/var/log/Yarn*/ 目录下的日志D.查看任意节点/var/log/incept

15、orsql*/ 目录下的日志星环信息科技（上海）有限公司星环信息科技（上海）有限公司28、以下对Hadoop组件的应用场景描述正确的是（）A. Hive主要用于构建大数据数仓，主要做批处理、统计分析型业务B. Hbase主要用于检索查询的OLTP业务C.曰asticSearch主要用于全文检索的关键字查询业务D. Spark Streaming 主要用于实时数据的业务场景29、以下不属于管理角色的是（）A . Name NodeB . HMasterC . Resource ManagerD . Node Manager30、下面哪些工作不属于集群预安装工作（）A .为集群中每个节点的安装操作系统B .选一个节点作为管理节点，修改其/etc/hosts 文件C .安装Transwarp Manager管理界面D .配置集群安全模式【客观简答题（每题 10分，共40分）】1、集群有8个节点，每个节点有8块硬盘（