《大数据平台搭建与配置管理》期中试题试卷及答案

大数据平台搭建与配置管理第11页共11页《大数据平台搭建与配置管理》期中试题期中试题（闭卷A）题号一二三四五六七八九十成绩满分30202030100得分【本套试卷共有4大题，计66小题】一、选择题（20题，每题1.5分，共30分）1、Client端上传文件的时候下列正确的是（）。A.数据经过NameNode传给DataNodeB.Client只上传数据到一台DataNodeC.Client端将文件切分为Block，依次上传D.NameNode负责Block复制工作2、HDFS的NameNode负责管理文件系统的命名空间，将所有的文件和文件夹的元数据保存在一个文件系统树中，这些信息也会在硬盘上保存成一下文件（）。A.日志B.命名空间镜像C.两者都是D.以上都不是3、MapReduce框架提供了一种序列化键/值对的方法，支持这种序列化的类能够在Map和Reduce过程中充当键或值，以下说法错误的是？（）A.实现Writable接口的类是值B.实现WritableComparable接口的类可以是值或键C.Hadoop的基本类型Text并不实现WritableComparable接口D.键和值的数据类型可以超出Hadoop自身支持的基本类型4、对MapReduce的体系结构，以下说法不正确的是（）A.分布式编程架构B.以数据为中心，更看重吞吐率C.分而治之的思想D.将一个任务合并成多个子任务5、在创建Linux分区时，一定要创建（）两个分区。A.FAT/NTFSB.FAT/SWAPC.NTFS/SWAPD.SWAP/根分区6、下面哪个命令是用来定义shell的全局变量（）。A.exportfsB.aliasC.exportsD.export7、ZooKeeper可以实现（）。A.高吞吐量和低延迟数量B.高吞吐量和高延迟数量C.低吞吐量和低延迟数量D.低吞吐量和高延迟数量8、分布式应用正在运行的一组系统称为（）。A.集群B.分布式系统C.单元D.组9、查询速度的提升是以额外的（）为代价的。A.创建索引B.创建索引和存储索引C.删除索引D.存储索引10、Hive的元数据不能够存储在哪些位置？（）A.mysqlB.derbyC.oracleD.文本文件11、HBase依赖（）提供消息通信机制。A.ZookeeperB.ChubbyC.RPCD.Socket12、LSM含义是？（）A.日志结构合并树B.二叉树C.平衡二叉树D.长平衡二叉树13、HFile数据格式中的Data字段用于（）。A.存储实际的KeyValue数据B.存储数据的起点C.指定字段的长度D.存储数据块的起点14、下列不属于StreamGrouping方式的是（）。A.ShuffleGroupingB.AllGroupingC.FieldsGroupingD.newGrouping15、Storm会在集群内分配对应并行度个数的（）来同时执行这一组件。A.哈希值B.ThriftC.task线程D.Worker进程16、Storm可以用来实时处理新数据和（）。A.删除数据库B.更新数据库C.删除节点D.更新表17、MapReduce编程模型，键值对<key,value>的key必须实现哪个接口？（）。A.WritableComparableB.ComparableC.WritableD.LongWritable18、HBase数据库的BlockCache缓存的数据块中，哪一项不一定能提高效率（）。A.–ROOT-表B..META.表C.HFileindexD.普通的数据块19、HBase的Region组成中，必须要有以下哪一项（ ）。A.StoreFileB.MemStoreC.MetaStoreD.HFile20、设计分布式数据仓库hive的数据表时，为取样更高效，一般可以对表中的连续字段进行什么操作（）。A.分桶B.分区C.索引D.分表二、填空题（20题，每题1分，共10分）21、Spouts会从外部读取流数据并持续发出。22、当Spout或者Bolt发送元组时，它会把元组发送到每个订阅了该的Bolt上进行处理。23、Storm采用了来作为分布式协调组件。24、HBase分布式模式最好需要个节点。25、LSM结构的数据首先存储在。26、HBase中Hmaster负责监控的生命周期。27、Hive远程服务通过方式访问Hive。28、Hive不支持的更新。29、Hive非常适合于对那些只在文本末尾添加数据的大型数据集进行。30、分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、、命名服务、分布式协调/通知、、、分布式锁和分布式队列等功能。31、注册成临时节点后，再服务端出问题时，节点会自动的从zookeeper上。32、ZooKeeper提供了一项基本服务是。33、计算过程高度抽象到两个函数和。34、每一个小数据都可以完全地进行处理。35、大规模数据集的处理包括两个核心环节。36、ResourceManager默认的WebUI访问端口号为：。37、Hadoop集群搭建中常用的4个配置文件为：、hdfs-site.xml、mapred-site.xml、。38、HA产生的背景是。39、网络管理两个重要任务分别是：和。40、命令是删除文件命令。三、判断题，正确填“T”，错误填“F”（20题，每题1分，共20分）41、Hadoop支持数据的随机读写（）。42、NameNode负责管理元数据信息metadata，client端每次读写请求，它都会从磁盘中读取或会写入metadata信息并反馈给client端（）。43、MapReduce的inputsplit一定是一个block（）。44、链式MapReduce计算中，对任意一个MapReduce作业，Map和Reduce阶段可以有无限个Mapper，但Reducer只能有一个（）。45、HBase对于空（NULL）的列，不需要占用存储空间。（）。46、MapReduce适于PB级别以上的海量数据在线处理（）。47、MapReduce计算过程中，相同的key默认会被发送到同一个reducetask处理（）。48、HBase可以有列，可以没有列族（columnfamily）（）。49、/tmp目录主要用于存储程序运行时生成的临时文件（）。50、Linux系统以文本文件的形式保存大备份系统日志，如lastlog（）。51、Hadoop是Java开发的，所以MapReduce只支持Java语言编写（）。52、NameNode负责管理metadata，client端每次读写请求，它都会从磁盘中读取或者会写入metadata信息并反馈给client端（）。53、MapReduce程序可以直接读取HBase内存储的数据内容。（）54、所有消息交换都是通过MapReduce框架自身去实现的。（）55、更新ZooKeeper操作是非阻塞式的。（）56、在分布式锁服务中，就是通过对集群进行Master选举，来解决分布式系统中的单点故障。（）57、分区的主要好处是加快查询速度。（）58、Hive创建内部表时，会将数据移动到数据仓库指向的路径。（）。59、MapReduce程序可以直接读取HBase内存储的数据内容。（）60、使用Shell命令insert对HBase中的一张表进行数据添加操作。（）四、简答题（6题，每题5分，共30分）61、简述HBase的主要技术特点。答：62、HBase有哪些类型的访问接口？答：63、是否所有的MapReduce程序都需要经过Map和Reduce这两个过程？如果不是，请举例说明。答：64、请描述HDFSHA架构组成组建及其具体功能。答：65、hadoop节点动态上线下线怎么操作?答：66、HAnamenode是如何工作的？答：《大数据平台搭建与配置管理》期中标答期中标答A（闭卷）题号一二三四五六七八九十成绩满分30202030100得分一、选择题（20题，每题1.5分，共30分）1-5：CCCDD 6-10：DAABD11-15：AAADC16-20：BADBA二、填空题（20题，每题1分，共20分）21、Tuple 22、Stream23、Zookeeper24、325、内存中26、RegionServer27、JDBC28、级别29、批处理30、负载均衡集群管理Master选举31、删除32、分布式锁33、MapReduce34、并行35、分布式存储和分布式计算36、808837、core-site.xmlyarn-site.xml38、为了解决单NN那可能会出现宕机导致集群不可用或数据丢失的问题39、监控控制40、rm三、判断题（20题，每题1分，共20分）41-45：FFFTT46-50：FFFTF51-55：FFTTT56-60：TTTTF四、简答题（6题，每题5分，共60分）61、答：（1）列式存储（2）表数据是稀疏的多维映射表（3）读写的严格一致性（4）提供很高的数据读写速度（5）良好的线性可扩展性（6）提供海量数据（7）数据会自动分片（8）对于数据故障，hbase是有自动的失效检测和恢复能力。（9）提供了方便的与HDFS和MAPREDUCE集成的能力62、答：HBase提供了NativeJavaAPI,HBaseShell，ThriftGateway,RESTGateWay,Pig,Hive等访问接口。63、答：不是。略64、答：在一个典型的HA集群中，一般设置两个名称节点，其中一个名称节点处于“活跃”状态，另一个处于“待命”状态。处于活跃状态的名称节点负责对外处理所有客户端的请求，而处于待命状态的名称节点则作为备用节点，保存了足够多的系统元数据，当名称节点提供了“热备份”，一旦活跃名称节点出现故障，就可以立即切换到待命名称节点，不会影响到系统的正常对外服务。65、答：1）节点上线操作：当要新上线数据节点的时候，需要把数据节点的名字追加在dfs.hosts文件中（1）关闭新增节点的防火墙（2）在NameNode节点的hosts文件中加入新增数据节点的hostname（3）在每个新增数据节点的hosts文件中加入NameNode的hostname（4）在NameNode节点上增加新增节点的SSH免密码登录的操作（5）在NameNode节点上的dfs.hosts中追加上新增节点的hostname,（6）在其他节点上执行刷新操作：hdfsdfsadmin-refreshNodes（7）在NameNode节点上，更改slaves文件，将要上线的数据节点hostname追加到slaves文件中（8）启动DataNode节点（9）查看NameNode的监控页面看是否有新增加的节点2）节点下线操作：（1）修改/conf/hdfs-site.xml文件（2）确定需要下线的机器，dfs.osts.exclude文件中配置好需要下架的机器，这个是阻止下架的机器去连接NameNode。（3）配置完成之后进行配置的刷新操作./bin/hadoopdfsadmin-refreshNodes,这个操作的作用是在后台进行block块的移动。（4）当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集群上连接的节点，正在执行Decommission，会显示：DecommissionStatus:Decommissioninprogress执行完毕后，会显示：DecommissionStatus:Decommissioned（5）机器下线完毕，将他们从excludes文件中移除。66、答：ZKFailoverController主要职责1）健康监测：周期性的向它监控的NN发送健康探测命令，从而来确定某个NameNode是否处于健康状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于一个不健康的状态。2）会话管理：如果NN是健康的，zkfc就会在zookeeper中保持一个打开的会话，如果Name