数据工程师培训题库一

1、星环信息科技（上海）有限公司6、下列计算框架TC属hA . MapReduceB . MATLAB数据平台认证工程师试题姓名：分数：【说明】SPARKa）客观题z3题，每题2分，总计60分b）主观题4题，每题10分，总计40分7）、以满分关于外表和托管表描述正确的是（）【不A、外表的数据存储在本地，托管表的数据存储在 hdfs上nce分Or】上的元数据不会删除数据文件，删除外表两者都 Name Node高可用性的角色不包括（）In ceptor上的元数据不会删除数据文件，删除托管表两者都in cepotr上的元数据和数据文件都会被删除&删除外表只会删除会被删 除Journal NodeCC.删

2、除托管表或外表,D . Zookeeper&以下对分桶表的描述正确的是（）2、NA、m分桶表通过改变数据的存储分模式对在安询起到一定的优说法错吴的是（A、分桶键不能是的是在系统启动时对数据有效性进行检查C、分桶数策应为对数据块进行必要的复制或删除C事物表必须制定分桶达到桶字时段可以自动退新出安全模式D. 允许用户对文件系统进行读写操作9、以下关于inceptor excutor资源配置的说法正确的有（）3、在集群中配置资源配的副本数为和3,殳置数据块大小为128M此时我们上传一份64M 的数据文如该数据文数配置的是每个空间大o为 所使用的逻辑core数量C、.64Mutor内核数和内存配置比例

3、一般为 1 core:2G memoryD.1Excutor分布可以指定每个节点运行的 excutor数量或executor在集群上运行的总数量,但是不能指定运行的节点D . 192M 10、假设使用场景中有如下查询语句SelE列榷eYARg角色在集群中的作用描述正确的是（）from Em集群 ee源 管理wheRe d集群任m务调度与管理GROCP B存 储的数据块ORDDR B以Se都正确ion;通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化，以下建 表正确Y是1服务中，不包含以下哪种角色（）A. . RCREAfMTABLE EmployeeB . n

4、tBCPROBErties（C . Ap愆MAMrD . Co n?Wartme nt,=Sex, Regio n）B. CREATE TABLE EmployeeTBLPROPERTIES ( cache = RAM, =Sex, Regio n =Departme nt)C. CREATE TABLE EmployeeTBLPROPERTIES ( cache = Departme nt, ” =Departme nt, =Sex, Regio n)D. CREATE TABLE EmployeeTBLPROPERTIES ( cache = RAM, =Departme nt, =Sex

5、)11、关于Hyperbase全局索引的描述，哪些是正确的（）A. 核心是倒排表B. 全局索引概念是对应Rowkey这个一级”索引C. 全局索引使用平衡二叉树D. 全局索引使用B+树检索数据12、以下为Hyperbase分布式存储的最小单元的是（）A、Region serverB、RegionC、StoreFileD、Store13、 以下有关Hyperbase说法正确的是（）A、 数据类型丰富，支持String、Int、Char等类型B、Key/value 系统，key 由 Row,Column Family,Column Qualifier 组成C、Hyperbase表中rowkey有序，

6、按字典序降序排列D、以上说法都不正确14、以下关于StreamSQL的概念描述正确的是（）A.Stream是数据流B.Streamjob是对一个或多个stream进行计算并将结果与进一个流的任务C.Application是一个或多个streamjob 的集合D.以上说法都不正确星环信息科技（上海）有限公司星环信息科技（上海）有限公司15、 某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是()A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM origi nal_st

7、ream STREAM w1 AS (len gth 1 minute slide 24 hour);B. CREATE STREAM traffic_streamAS SELECT * FROM original_streamSTREAMWINDOW w1 AS (length 1 minute slide 24 hour);C. CREATE STREAM traffic_streamAS SELECT * FROM original_streamSTREAMWINDOW w1 AS (len gth 24 hour slide 1 min ute);D. CREATE$TREAMraff

8、ic_streamASSELECT* FROM)riginal_streamAS (length24 seco nd slide 1 minu te);16、 以下不是 Zookeeper的功能是()A. 配置管理B. 集群管理C. 分布式锁D. 存储大量数据17、 以下服务需要与 zookeeper进行通信的是()A. HMasterB. Active NameNodeC. In ceptorSQLD. Active ResourceMa nager18、下列是关于flume和sqoop对比的描述，不正确的是（）A . flume主要用来采集日志而 sqoop主要用来做数据迁移B . flu

9、me主要采集流式数据而 sqoop主要用来迁移规范化数据C . flume和sqoop都是分布式处理任务D . flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据19、有关使用sqoop抽取数据的原理的描述不正确的是（）A . sqoop 在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B . sqoop 抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好C . sqoop 任务的切分是根据 split字段的（最大值-最小值）/map数D . sqoop 抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、sqoo

10、p抽取数据时需要做一些数据转换的工作，下面说法不正确的是（）A . -fields-terminated-by 01 用来设置在 hdfs生成的文件的分割符B . -hive-drop-import-delims用来设置在hdfs生成的文件的存储形式为列存储C . -null-string N用来把所有的String类型的空值 转换成hive 的NULL值D . -null-non-string N用来把非 String 类型的空值 转换成hive 的NULL星环信息科技（上海）有限公司21、下列有关flume的描述不正确的是（）A . flume 是Apache的一个子项目B . flume

11、主要是一个日志采集，传输系统C . flume 和sqoop功能相似，因此可以相互替代D . flume 可以同时采集集群内部和集群外部的日志数据22、中哪些是flume不支持的sink （下列sinkA . HDFS si nkB . kafka sinkC . memory sinkD.file roll si nk23、以下对ElasticSearch描述不正确的是（)A.ElasticSearch是分布式全文搜索引擎B.ElasticSearch集群中分 master和data节点C.ElasticSearch数据存储在HDFSD.ElasticSearch数据可以按 Shard分布在

12、不同的节点上24、下列不属于kafka应用场景的是（）A .常规的消息收集网站活动性跟踪日志收集关系型数据库和大数据平台之间的数据迁移25、TDH提供哪几种认证模式（）A. 所有服务使用简单认证模式一一所有服务都无需认证即可互相访问B. 所有服务都启用 Kerberos认证，用户要提供 Kerberos principal 和密码（或者 keytab ）来访问各个服务C. 所有服务都启用 Kerberos同时Inceptor 启用LDAP认证D. 所有服务都启用LDAP认证26、以下对各组件的运维页面描述不正确的是（）A. 通过Name Node的50070页面对HDFS进行监控B. 通过Re

13、source Manager的8180对YARN上运行的任务进行监控C. 通过HMaster的60010对HBase进行监控D. 通过Hue Server的8888页面登入 Hue27、 Inceptor server服务无法启动时，该如何查看日志是（）A. 查看TDH manager所在节点/var/log/inceptorsql*/ 目录下的日志B. 查看 Inceptor server所在节点 /var/log/inceptorsql*/目录下的日志C. 查看Resource Manager所在节点/var/log/Yarn*/ 目录下的日志D. 查看任意节点/var/log/incep

14、torsql*/目录下的日志星环信息科技（上海）有限公司28、以下对Hadoop组件的应用场景描述正确的是（）A. Hive主要用于构建大数据数仓，主要做批处理、统计分析型业务B. Hbase主要用于检索查询的 OLTP业务C. ElasticSearch 主要用于全文检索的关键字查询业务D. Spark Streami ng 主要用于实时数据的业务场景29、以下不属于管理角色的是（）A . Name NodeB . HMasterC . Resource Man agerD . Node Man ager30、下面哪些工作不属于集群预安装工作（）A .为集群中每个节点的安装操作系统B .选一个节点作为管理节点，修改其 /etc/hosts 文件C .安装Transwarp Manager管理界面D .配置集群安全模式【客观简答题（每题 10分，共40分）】1、集群有8个节点，每个节点有8块硬盘（默认3副本）。如果某个节点有3块