Hadoop期中考试测试

1、Hadoop期中测试1 .单项选择题每个1.5分,共20分（1） Mapreduce擅长哪个领域的计算 A .A.离线批处理B. DAG计算C.流式计算D.实时计算2关于MapReduce原理,下面说法错误的选项是 D .A.分为Map和Reduce两个阶段B. Map阶段由一系列 Map任务组成C. Reduce阶段由一系列 Reduce任务组成D. Map阶段与Reduce阶段没有任何依赖关系3 HDFS默认副本数是 C .A. 1B. 2C. 3D. 44不属于HDFS架构组成局部是 D .A. NameNodeB. Secondary NameNodeC. DataNodeD. Tas

2、kTracker Hadoop MapReduce 1.0 的组件 5关于Block和Split两个概念,下面说法错误的选项是 C .A. Block是HDFS中最小的数据存储单位B. Split是MapReduce中最小的计算单元C. Block是Split是一一对应关系默认是对应的D. Block和Split之间对应关系是任意的,可由用户限制6以下不属于Hadoop内核的组成局部的是 C .A. HDFSB. MapReduceC. HBaseD. YARN7不属于 HBase中的术语的是 D .A. ColumnB. Column FamilyC. Row KeyD. Meta8下面关于

3、Hive,说法错误的选项是 A .A. Hive支持所有标准 SQL语法B. Hive底层采用的计算引擎是 MapReduce 目前支持Spark、Tez等C. Hive提供的HQL语法,与传统 SQL很类似D. Hive Server可采用MySQL存储元数据信息9通常而言,一个标准的生产环境考虑本钱、效益等中,Zookeeper实例个数不可能是B .A. 3B. 4C. 5D. 7（10） Flume的主要作用是 C .A.数据处理和分析B.数据存储C.数据收集D.网络爬虫（11） HBase支持多语言比方C+、Python等访问,为实现该功能,它采用的开源软件是 C .A. protob

4、ufB.自定义网络协议C. thriftD. avro12关于HDFS和HBase,说法错误的选项是 D .A. HDFS不能随机读写,HBase可以B. HDFS适合存储大文件,HBase可以存储小文件C. HBase底层采用了 HDFSD. HDFS和HBase无直接关系（13） YARN和 MapReduce 的关系是 A .A. MapReduce是一个计算框架,可运行在YARN之上B. YARN是一个计算框架,可运行在MapReduce之上C. MapReduce和YARN无直接关系D.以上答复均不正确 1 14关于MapReduce中的数据本地性,下面方法正确的选项是 AB .A.

5、 Map Task和Reduce Task都会考虑数据本地性B.只有Map Task会考虑数据本地性Reduce阶段是从 Map阶段拉取Shuffle数据的C.只有Reduce Task会考虑数据本地性D. Map Task和Reduce Task都不考虑数据本地性15与Hive相比,Presto主要优势是 C .A.利用MapReduce进行分布式计算,更加高效B.完全分布式计算,可以充分利用集群资源C. MPP架构,全内存计算D.有很强的容错性16下面哪种存储格式是 Hive中常用的列式存储格式 D .A. Text FileB. Sequence FileC. ParquetD. ORC

6、 17下面哪个信息不会存储在HBase的一个cell EC .A. row keyB. column family 名称C.表名D.列名E.版本号F. cell 值数据存储冗余,非常消耗空间18默认情况下,一个MapReduce作业处理白数据 HDFS±的一个目录的map task个数是由 决定的.A.目录中文件个数B.目录对应的 block数目C.默认个数是1D.用户自己指定HDFS, Block 默认大小为 128MB.一个Block文件只能来自于一个文件.查看一个文件有多少个Block 的命令：hdfs fsck /input files -blocks -locations（

7、19） Hive 和 Presto 支持标准 SQL吗？ BD A.都支持B.都不支持C. Hive支持,Presto不支持D. Hive不支持,Presto支持20既然有了 Hive,还需要用 MapReduce编写程序处理数据吗？ B A.不需要B.需要2 .多项选择题每个4分,共20分（1） 关于HDFS说法正确的选项是 ABC A.不存在NameNode单点故障问题B. 一个集群可存在多个NameNode对外提供效劳C. HDFS HA和Federation是它的两大特色D.不能存储小文件（2） 关于Kafka,说法正确的选项是 BCD A.是一个分布式key/value存储系统8.

8、由 producer> broker 和 consumer 等角色构成C.通过zookeeper进行效劳协调D.消息可以存成多个副本以到达容错的目标（3） 关于 MapReduce,说法正确的选项是 ACD A. MapReduce具有容错性,一台节点挂掉不会导致整个应用程序运行失败B.所有 MapReduce 程序公用一个 ApplicationMasterC. MapReduce程序可以运行在 YARN之上也可以运行在本地D. MapReduce是Hive默认的计算引擎（4） 用户可使用哪几种语言开发MapReduce应用程序ABCD A. C+B. JavaC. PHPD. Go（

9、5） 下面哪几个属于 YARN自带的资源调度器 BCD A. Deadline SchedulerB. FIFO 先进先出C. Capacity Scheduler 容错调度系统D. Fair Scheduler 公平调度系统3 .简做题每个5分,共10分（1） 描述MapReduce作业从提交到 YARN上,到运行结束的整个过程,请用步骤 1,步骤2, 描述.答：步骤1,客户端提交请求到Yarn的ResourceManager步骤2, RM确定一个 AppMaster步骤 3, AppMaster 向 RM 申请 NodeManager步骤4, AppMaster将Task发送给 NodeM

10、anager仅限执行步骤5, AppMaster负责收集 NodeManager的运行结果步骤6, AppMaster将结果返回给客户端（2） 试描述如何对 Hadoop Streaming程序进行调试？并举出一个例子.答：？单机运行,本地测试：1.txt： cat,管道输入Mapper, sort（3） 试写出以下操作的 shell命令：1在HDFS上创立目录/home/test答：hdfs dfs -mkdir /homehdfs dfs -mkdir /home/test或hdfs dfs -mkdir -p /home/test2将正在运行的ID为的应用程序杀死答：3查看HDFS上文件

11、/home/test/1.txt 的大小答：hdfs dfs -ls /home/test/1.txt4在Hive中创立一个parquet表,采用gzip压缩格式,t表名为 test,包含两列：int类型 名为id的列和string类型名为namename的歹U.如何在Prest.中创立这个表,有何不同？答：create table if not exists testid int, namename string gzipstored as parquet;4.编程题40分1有一批文件,格式如下：每行有4歹U,每一列均是一个整数,列之间采用“.作为分隔符,将数据根据第二列和第三列分组, 每组

12、中第四列所有数之和.注：如果第二列相同,那么根据第三列分组,比方上述结果为：12.1314.2511.41结果中,key为"第二列和第三列值,value 是对应的第四列累加和,key和value 之间使用t分割. 要求：使用任意语言实现以上功能,写出 Mapper和Reducer ,并给出相应的作业提交命令或脚本.答：(根据WordCount实例进行改造)Mapper:String values = value.toString().split(".");Text outputKey = new Text(values1+ ' .' +values2 );IntWritable outputValue = new IntWritable(Integer.parsetInt(values3);Context.write(outputKey, outputValue);Reducer:无需调整(2)编写M