hadoop面试题

1、Hadoop 就业面试宝典1.0 简要描述如何安装配置apache 的一个开源hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。答： 1 使用 root 账户登录2修改IP3 修改 host 主机名4 配置 SSH 免密码登录5 关闭防火墙6 安装 JDK7 解压 hadoop 安装包8 配置 hadoop 的核心文件hadoop-env.sh，core-site.xml , mapred-site.xml， hdfs-site.xml9 配置 hadoop 环境变量10 格式化 hadoop namenode-format11 启动节点 start-all.sh2.0 请；列出正

2、常的 hadoop 集群中 hadoop 都分别需要启动 哪些进程，他们的作用分别都是什么，请尽量列的详细一些。答： namenode：管理集群，存储数据的原信息，并管理记录Secondname:可以做冷备，对一定范围内数据做快照性备份。datanode中的文件信息。Datanode:存储数据Jobtracker :管理任务，并将任务分配给tasktracker 。Tasktracker: 执行 JobTracker 分配的任务。3.0 请写出以下的shell 命令（ 1）杀死一个 job（ 2）删除 hdfs 上的 /tmp/aaa 目录（ 3） 加入一个新的存储节点和删除一个节点需要执行的

3、命令答：（1） hadoop job list得到 job 的 id，然后执行 hadoop job杀死一个指定jobId 的 job 工作了。-killjobId就可以（ 2）hadoop fs -rmr /tmp/aaa(3) 增加一个新的节点在新的几点上执行Hadoop daemon.sh start datanodeHadooopdaemon.shstarttasktracker然后在主节点中执行hadoopdfsadmin-refreshnodes删除一个节点的时候，只需要在主节点执行hadoop mradmin-refreshnodes4.0请列出你所知道的 hadoop 调度器，

4、并简要说明其工作方法答： Fifo schedular : 默认，先进先出的原则Capacity schedular :计算能力调度器，选择占用最小、优先级高的先执行，依此类推。Fair schedular: 公平调度，所有的job 具有相同的资源。5.0请列出你在工作中使用过的开发答： java， hivemapreduce 的语言6.0当前日志采样格式为a , b , c , db , b , f , ea , a , c , f请你用最熟悉的语言编写mapreduce，计算第四列每个元素出现的个数Staticfinal String答：public class WordCount1 pu

5、blic static final String INPUT_PATH = "hdfs:/hadoop0:9000/in"public static final String OUT_PATH = "hdfs:/hadoop0:9000/out"public static void main(String args) throws Exception Configuration conf = new Configuration();FileSystem fileSystem = FileSystem.get(conf);if(fileSystem.exi

6、sts(new Path(OUT_PA TH)fileSystem.delete(new Path(OUT_PA TH),true);/1.0 读取文件，解析成key,value 对FileInputFormat.setInputPaths(job,new Path(INPUT_PA TH);/2.0 写上自己的逻辑，对输入的可以，value进行处理，转换成新的key,value 对进行输出job.setMapperClass(MyMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(Long

7、Writable.class);/3.0 对输出后的数据进行分区/4.0 对分区后的数据进行排序，分组，相同key 的 value 放到一个集合中/5.0 对分组后的数据进行规约/6.0 对通过网络将map 输出的数据拷贝到reduce 节点/7.0 写上自己的reduce 函数逻辑，对map 输出的数据进行处理job.setReducerClass(MyReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class); FileOutputFormat.setOutputP

8、ath(job, new Path(OUT_PA TH); job.waitForCompletion(true);static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> OverrideString split = v1.toString().split("t");for(String words :split)context.write(split3, 1);static class MyReducer extends Reducer<Text, Long

9、Writable, Text, LongWritable>Long count = 0L;for(LongWritable time : v2)count += time.get();context.write(v2, new LongWritable(count);7.0你认为用 java ， streaming ， pipe 方式开发 map/reduce ， 各有哪些优点就用过 java 和 hiveQL 。Java 写 mapreduce 可以实现复杂的逻辑，如果需求简单，则显得繁琐。HiveQL 基本都是针对 hive 中的表数据进行编写，但对复杂的逻辑很难进行实现。写起来简单

10、。8.0hive 有哪些方式保存元数据，各有哪些优点三种：内存数据库derby，挺小，不常用。本地mysql 。常用远程端mysql 。不常用上网上找了下专业名称：single user mode.multi user mode.remote user mode9.0 请简述 hadoop 怎样实现二级排序第一种方法是， Reducer 将给定 key 的所有值都缓存起来，然后对它们再做一个Reducer内排序。 但是，由于 Reducer 需要保存给定key 的所有值， 可能会导致出现内存耗尽的错误。第二种方法是，将值的一部分或整个值加入原始key，生成一个合成key。这两种方法各有优势，第

11、一种方法可能会更快一些(但有内存耗尽的危险) ，第二种方法则是将排序的任务交给 MapReduce 框架，更符合 Hadoop/Reduce 的设计思想。这篇文章里选择的是第二种。我们将编写一个 Partitioner ，确保拥有相同 key( 原始 key ，不包括添加的部分 )的所有数据被发往同一个 Reducer，还将编写一个 Comparator ，以便数据到达 Reducer 后即按原始 key 分组。10.简述 hadoop 实现 jion 的几种方法利用 dataJoin 来实现 mapreduce 的 jion 问题。11.0 请用 java 实现非递归二分查询1. publi

12、c class BinarySearchClass2. 3.4. public static int binary_search(int array, int value)5. 6.intbeginIndex= 0;/低位下标7.intendIndex= array.length - 1;/高位下标8.intmidIndex= -1;9.while (beginIndex<= endIndex) 10.midIndex= beginIndex + (endIndex - beginIndex) / 2;/防止溢出11.if (value= arraymidIndex) 12.return

13、 midIndex;13. else if (value< arraymidIndex) 14.endIndex = midIndex- 1;15. else 16.beginIndex=midIndex+ 1;17. 18. 19. return -1;20. /找到了，返回找到的数值的下标，没找到，返回 -121. 22.23.24./start提示：自动阅卷起始唯一标识，请勿删除或增加。25. public static void main(String args)26. 27.28.intmyArray =new int 1, 2, 3, 5, 6, 7, 8, 9 ;29.Sy

14、stem.out.println("查找数字 8 的下标： ");30.31. 32. /end /提示：自动阅卷结束唯一标识，请勿删除或增加。33. 12.0 请简述mapreduce 中的combine和partion的作用答： combiner 是发生在map 的最后一个阶段，其原理也是一个小型的reducer，主要作用是减少输出到reduce 的个数，减少reducer 的输入，提高reducer 的执行效率。Partion 的主要作用就是指定输出到13.0 hive 内部表和外部表的区别reduce 的个数的。Hive 创建内部表时，会将数据移动到数据仓库指向的路

15、径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据， 不删除数据。 这样外部表相对来说更加安全些， 数据组织也更加灵活，方便共享源数据。14. Hbase 的 rowKey 怎么创建比较好？列簇怎么创建比较好？答： rowKey 最好要创建有规则的 rowKey ，即最好是有序的。 HBase 中一张表最好只创建一到两个列族比较好，因为 HBase 不能很好的处理多个列族。15. 用 mapreduce 怎么处理数据倾斜问题在 mapreduce聚合 key 中所有 values 的时候，如果一个key 对应

16、了很多values ，就会产生数据倾斜的问题。数据倾斜主要就是某个key 下面对应的value 太多，导致某个reduce节点执行的数据过多，然后产生某个或者某几个reduce 节点的执行效率过低，导致整个集群中的任务执行效率较慢，可以使用partion 对数据过多的节点进行再划分，划分成多个小的数据块，输入到reduce 进行处理。16. hadoop 框架怎么来优化答： hadoop 优化的范围太宽泛了，可以从某个方面具体来谈一谈，比如说和列族的创建的来进行数据存储的优化，可以从网络的拷贝对数据的优化，HBase 的 rowKey可以从 mapreduce对数据的处理来谈优化，可以从参数方

17、面来说优化等。17. hbase 内部机制是什么答：内部机制更多的是借助 nosql 数据的关系模型，是建立的性能、列存储、可伸缩、实时读写的数据库系统。hdfs 之上，提供高可靠性、高18. 我们在开发分布式计算job的时候，是否可以去掉reduce 阶段答：可以，例如我们的集群就是为了存储文件而设计的，不涉及到数据的计算，就可以将mapReduce 都省掉。19 hdfs 的数据压缩算法答：可以使用sequenceFile 和 mapFile 来对小文件进行压缩，压缩成大文件，然后存储，减轻 namenode 的内存压力。20. mapreduce 的调度模式答：公平调度模式和容量调度模式

18、21. hive 底层与数据库交互原理答： hive 有一套自己的sql 解析引擎，称为metastore，存储在可以将 sql 语句转化为mapreducejob 任务执行。mysql或者derby数据库中，22. hbase 过滤器实现原则答：过滤器必须实现 HBase Jar 包中的 Filter 接口，或者继承扩展一个实现了该接口的抽象类23. reduce 之后数据的输出量有多大24. 现场出问题测试 mapreduce 掌握情况和 hive 的 ql 语言掌握情况25.datanode 在什么情况下不会备份数据答：在配置文件中设置文件副本数为1bine 出现在哪个过程答： map

19、阶段的最后一个过程。27. hdfs 的体系结构答： HDFS 采用了主从（Master/Slave）结构模型，一个HDFS 集群是由一个NameNode若干个 DataNode 组成的。其中NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode 管理存储的数据和28. flush 的过程答： flush 是在内存的基础上进行的，首先写入文件的时候，会先将文件写到内存中，当内存写满的时候，就会清空缓存中的文件，然后一次性的将文件全部都写到硬盘中去保存。29. 什么是队列答：队列就是一个先进先出的过程。30. List 与 set 的区别答： L

20、ist 和 Set 都是接口。他们各自有自己的实现类，有无顺序的实现类，也有有顺序的实现类。最大的不同就是List 是可以重复的。而Set 是不能重复的。List 适合经常追加数据，插入，删除数据。但随即取数效率比较低。Set 适合经常地随即储存，插入，删除。但是在遍历时效率比较低。31.数据的三范式答：第一范式（）无重复的列第二范式（ 2NF ）属性完全依赖于主键消除部分子函数依赖第三范式（ 3NF ）属性不依赖于其它非主属性消除传递依赖32.三个 datanode 中当有一个datanode 出现错误时会怎样？答：当有一个datanode 出现错误的时候，namenode 会将那个data

21、node 上的数据拷贝到其他的节点去进行存储。33.sqoop 在导入数据到mysql 中，如何不重复导入数据，如果存在数据问题，sqoop 如何处理？答：34.描述一下hadoop 中，有哪些地方使用到了缓存机制，作用分别是什么？答：缓存机制就是DistributedCash ，就是在 job 任务执行前，将需要的文件拷贝到上进行缓存，提高mapreduce 的执行效率。Task 机器35.MapReduce 优化经验答： (1.)设置合理的map 和 reduce 的个数。(2.)避免出现数据倾斜(bine 函数(4.对数据进行压缩，避免大量的小文件36.请列举出曾经修改过的/etc/下面

22、的文件，并说明修改要解决什么问题？答： /etc/profile这个文件，主要是用来配置环境变量。让hadoop 命令可以在任意目录下面执行。37.请描述一下开发过程中如何对上面的程序进行性能分析，对性能分析进行优化的过程。38. 现有1 亿个整数均匀分布，如果要得到前1K 个最大的数，求最优的算法。我先说下我的想法:分块，比如分1W块，每块1W 个，然后分别找出每块最大值，从这最大的1W 个值中找最大1K 个，那么其他的9K个最大值所在的块即可扔掉，从剩下的最大的1K 个值所在的块中找前1K个即可。那么原问题的规模就缩小到了1/10。问题：（ 1）这种分块方法的最优时间复杂度。（ 2）如何分

23、块达到最优。比如也可分10W 块，每块 1000 个数。则问题规模可降到原来1/100。但事实上复杂度并没降低。39.mapreduce 的大致流程答：主要分为八个步骤1.0读取文件，解析成 key,value 对2.0自定义 map 函数3.0对 map 输出的数据进行分区4.0对分区后的数据进行排序分组5.0对分组后的数据进行规约6.0通过网络拷贝，将 map 输出的数据拷贝到reduce 节点7.0自定义 reduce 函数，对 map 输入的 key,value 对进一步的处理8.0对处理后的数据进行输出40. combiner 和 partion 的作用答： combiner 主要是

24、用来减少输入到reduce 阶段的数据Partion 作用主要是对map 处理的数据进行分区，可以解决数据倾斜的问题。41.用mapreduce 实现sql语selectcount (x)fromagroupby b;42.用 mapreduce 如何实现两张表连接，有哪些方法。43.知道mapreduce大致流程，map,shuffle, reduce44.搭建 hadoop 集群， master 和 slaves 都运行哪些服务答： master 主要是运行我们的主节点，slaves 主要是运行我们的从节点。45. hadoop 参数调优46. pig,latin,hive 语法有什么不同

25、答：47.描述 Hbase， ZooKeeper 搭建过程48.hadoop 运行原理答： hadoop 的主要核心是由两部分组成， HDFS 和 mapreduce，首先 HDFS 的原理就是分布式的文件存储系统，将一个大的文件，分割成多个小的文件，进行存储在多台服务器上。Mapreduce 的原理就是使用JobTracker展开， reduce 是汇总处理后的结果。和TaskTracker 来进行作业的执行。Map就是将任务49.mapreduce 的原理答：mapreduce 的原理就是将一个MapReduce 框架由一个单独的master JobTracker 和每个集群节点一个sla

26、ve TaskTracker 共同组成。 master 负责调度构成一个作业的所有任务，这些的slave 上， master 监控它们的执行，重新执行已经失败的任务。而slave 仅负责执行由maste指派的任务。50.HDFS 存储机制答： HDFS 主要是一个分布式的文件存储系统，由namenode 来接收用户的操作请求，然后根据文件大小，以及定义的block 块的大小，将大的文件切分成多个block 块来进行保存51.举一个例子说明mapreduce 是怎么运行的。52.如何确认hadoop 集群的健康状况答：使用 JPS 命令来查看各个节点运行的进程是否正常。53.mapreduce

27、作业，不让reduce 输出，用什么代替reduce 的功能。54.hive 如何调优答： hive 最终都会转化为 mapreduce 的 job 来运行，要想hive 调优，实际上就是 mapreduce调优，可以有下面几个方面的调优。解决收据倾斜问题，减少job 数量，设置合理的 map和 reduce 个数，对小文件进行合并，优化时把我整体，单个task 最优不如整体最优。按照一定规则分区。55.hive 如何控制权限56.56.HBase 写数据的原理是什么？答：57.hive 能像关系型数据库那样建多个库吗？答：当然能了。58.HBase 宕机如何处理答：宕机分为HMaster 宕

28、机和 HRegisoner 宕机，如果是HRegisoner 宕机， HMaster 会将其所管理的region 重新分布到其他活动的RegionServer 上，由于数据和日志都持久在HDFS中，该操作不会导致数据丢失。所以数据的一致性和安全性是有保障的。如果是HMaster宕机， HMaster 没有单点问题，HBase 中可以启动多个HMaster ，通过Zookeeper 的 Master Election个 HMaster 在对外提供服务。机制保证总有一个Master 运行。即ZooKeeper会保证总会有一59.假设公司要建一个数据中心，你会如何处理？60. 单项选择题1. 下面哪

29、个程序负责HDFS 数据存储。 答案 Ca)NameNodeb)Jobtrackerc)Datanode d)secondaryNameNodee)tasktracker2. HDfS 中的 block 默认保存几份？ 答案 Aa)3份b)2份 c)1份 d)不确定3. 下列哪个程序通常与 NameNode 在一个节点启动？ 答案 C a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker4. Hadoop作者答案 Da)Martin Fowler b)Kent Beck c)Doug cutting5. HDFS默认Block Si

30、ze答案Ba)32MBb)64MB c)128MB6.下列哪项通常是集群的最主要瓶颈答案D编者QQ ：104019525319a)CPUb)网络c)磁盘d)内存7. 关于 SecondaryNameNode 哪项是正确的？ 答案 Ca)它是NameNode的热备b) 它对内存没有要求c)它的目的是帮助NameNoded)SecondaryNameNode应与合并编辑日志，减少NameNodeNameNode部署到一个节点启动时间多选题：8. 下列哪项可以作为集群的管理工具答案ABCDa)Puppet b)Pdsh c)Cloudera Managerd)Zookeeper9. 配置机架感知的下

31、面哪项正确答案 ABCa)如果一个机架出问题，不会影响数据读写b)写入数据的时候会写到不同机架的DataNode中c)MapReduce会根据机架获取离自己比较近的网络数据10. Client端上传文件的时候下列哪项正确答案 ABCa)数据经过 NameNode传递给DataNodeb)Client端将文件切分为Block ，依次上传c)Client只上传数据到一台DataNode，然后由NameNode 负责 Block复制工作11. 下列哪个是Hadoop运行的模式答案 ABCa)单机版b)伪分布式c)分布式12. Cloudera 提供哪几种安装 CDH 的方法 答案 ABCD a)Cl

32、oudera manager b)Tar ball c)Yum d)Rpm判断题：13. Ganglia 不仅可以进行监控，也可以进行告警。 （ ）14.Block Size 是不可以修改的。 （）15.Nagios 不可以监控 Hadoop集群，因为它不提供Hadoop 支持。（）16. 如果 NameNode 意外终止， SecondaryNameNode 会接替它使集群继续工作。 （ ）17. Cloudera CDH是需要付费使用的。 （）18. Hadoop是Java开发的，所以MapReduce只支持Java语言编写。（）19. Hadoop 支持数据的随机读写。 （ ）20. N

33、ameNode 负责管理 metadata， client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。（ ）21. NameNode本地磁盘保存了Block的位置信息。 （）22. DataNode 通过长连接与NameNode 保持通信。（ ）23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。（ ）24. Slave 节点要存储数据，所以它的磁盘越大越好。（ ）25. hadoop dfsadmin report命令用于检测HDFS损坏块。（）26. Hadoop默认调度器策略为FIFO （）27.集群内每个节点都应该

34、配RAID ，这样避免单磁盘损坏，影响整个节点运行。（）28. 因为 HDFS 有多个副本，所以NameNode 是不存在单点问题的。 （ ）29. 每个 map 槽就是一个线程。 （ ）30. Mapreduce的input split就是一个block 。（）31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。（ ）编者 QQ ：10401952532132. Hadoop环境变量中的HADOOP_HEAPSIZE用于设置所有Hadoop守护线程的内存。它默认是200 GB。（）33. DataNode 首次加入 cluster 的时候

35、，如果log 中报告不兼容文件版本，那需要NameNode执行“ Hadoop namenode -format ”操作格式化磁盘。 （）全部都是错误滴61. 、 datanode 首次加入cluster 的时候，如果log 报告不兼容文件版本，那需要namenode执行格式化操作，这样处理的原因是？答：62. 谈谈数据倾斜，如何发生的，并给出优化方案答：数据倾斜主要是因为在集群中，某个 map 任务的 key 对应的 value 的值远远多于其他节点的 key 所应对的值， 导致某个节点的mapreduce 执行效率会比较慢，那么解决数据倾斜的最根本原因就是避免某个节点上执行任务的数据量过大

36、，我们可以使用map 阶段的 partion对过大的数据块进行分区，将一个大的数据块分成多个小的文件，然后来执行mapreduce，这样就可以解决mapreduce 的数据倾斜的问题了。63. 谈谈hadoop1和hadoop2的区别答：首先hadoop1 的主要结构是由HDFS和 mapreduce 组成的， HDFS主要是用来存储数据，mapreduce 主要是用来计算的， 那么 HDFS 的数据是由namenode 来存储元数据信息， datanode来存储数据的。 Jobtracker 接收用户的操作请求之后去分配资源执行 task 任务。在 hadoop2 中，首先避免了 namen

37、ode 单点故障的问题， 使用两个 namenode 来组成 namenode feduration 的机构，两个 namenode 使用相同的命名空间，一个是 standby 状态，一个是 active 状态。用户访问的时候，访问 standby 状态，并且，使用 journalnode 来存储数据的原信息，一个namenode 负责读取 journalnode 中的数据，一个 namenode 负责写入 journalnode 中的数据，这个平台组成了 hadoop 的 HA 就是 high availableAbility 高可靠。然后在 hadoop2 中没有了jobtracker 的

38、概念了，统一的使用yarn 平台来管理和调度资源，yarn 平台是由 resourceManager和 NodeManager 来 共 同 组 成的 ， ResourceManager 来 接 收用 户 的 操 作 请求 之 后 ， 去NodeManager 上面启动一个主线程负责资源分配的工作，然后分配好了资源之后告知ResourceManager，然后 ResourceManager 去对应的机器上面执行 task 任务。64. 说说值对象与引用对象的区别？65. 谈谈你对反射机制的理解及其用途？答： java 中的反射，首先我们写好的类，经过编译之后就编程了.class 文件，我们可以获

39、取这个类的 .class 文件，获取之后，再来操作这个类。这个就是java 的反射机制。66. ArrayList 、 Vector 、LinkedList的区别及其优缺点？HashMap、 HashTable 的区别及其优缺点？答：ArrayList和 Vector 是采用数组方式存储数据，Vector 由于使用了synchronized方法（线程安全）所以性能上比 ArrayList 要差， LinkedList 使用双向链表实现存储， 按序号索引数据需要进行向前或向后遍历，但是插入数据时只需要记录本项的前后项即可，所以插入数度较快！HashMap 和 HashTable：Hashtabl

40、e的方法是同步的，而HashMap的方法不是， Hashtable是基于陈旧的 Dictionary 类的，HashMap 是 Java 1.2 引进的 Map 接口的一个实现。 HashMap 是一个线程不同步的， 那么就意味着执行效率高， HashTable 是一个线程同步的就意味着执行效率低，但是 HashMap 也可以将线程进行同步，这就意味着，我们以后再使用中，尽量使用 HashMap 这个类。67. 文件大小默认为 64M ，改为 128M 有啥影响？答：更改文件的block 块大小， 需要根据我们的实际生产中来更改block 的大小， 如果 block定义的太小，大的文件都会被切

41、分成太多的小文件，减慢用户上传效率，如果block 定义的太大，那么太多的小文件可能都会存到一个block 块中，虽然不浪费硬盘资源，可是还是会增加 namenode 的管理内存压力。68. NameNode 与 SecondaryNameNode的区别与联系？答： secondaryNameNode 更像是 Namenode 的一个冷备份，当namenode 宕机之后，可以从SecondaryNamenode 上面恢复部分数据。69. RPC 原理？答： 1.调用客户端句柄；执行传送参数2.调用本地系统内核发送网络消息3.消息传送到远程主机4.服务器句柄得到消息并取得参数5.执行远程过程6.

42、执行的过程将结果返回服务器句柄7.服务器句柄返回结果，调用远程系统内核8.消息传回本地主机9.客户句柄由内核接收消息10.客户接收句柄返回的数据70. 对 Hadoop 有没有调优经验，没有什么使用心得？（调优从参数调优讲起）Mapredure：71. .MapReduce 出现单点负载多大，怎么负载平衡？（可以用Partitioner ）答：可以用partioner 进行分区操作，将大数据分成多个小数据进行逐一处理。72 以你的实际经验，说下怎样预防全表扫描答：1.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描2.应尽量避免在where

43、 子句中使用 != 或 <>操作符，否则将引擎放弃使用索引而进行全表扫3.描应尽量避免在where 子句中使用or 来连接条件， 否则将导致引擎放弃使用索引而进行全表扫描4.in 和 notin，用具体的字段列表代替，不要返回用不到的任何字段。in 也要慎用，否则会导致全表扫描5.避免使用模糊查询6.任何地方都不要使用select * from t73. zookeeper 优点，用在什么场合答：74.Hive 中的metastore 用来做什么的？答： metastore 是一套映射工具，将sql 语句转换成对应的job 任务去进行执行。75.把公钥都追加到授权文件的命令？该命令

44、是否在root 用户下执行？答：不是。76. HadoopHA 集群中各个服务的启动和关闭的顺序？答：77. 在 hadoop 开发过程中使用过哪些算法？其应用场景是什么？答：排序分组。78. 在实际工作中使用过哪些集群的运维工具，请分别阐述期作用。答： ZooKeeper ，以及 shell79. 一台机器如何应对那么多的请求访问，高并发到底怎么实现，一个请求怎么产生的，在服务端怎么处理的，最后怎么返回给用户的，整个的环节操作系统是怎么控制的？80. java 是传值还是传址？答：引用传递。81. 问：你们的服务器有多少台？82. 问：你们服务器的内存多大？83. hbase 怎么预分区？8

45、4. hbase 怎么给 web 前台提供接口来访问（ HTABLE 可以提供对 HBase 的访问，但是怎么查询同一条记录的多个版本数据）？答：使用 HTable 来提供对HBase 的访问，可以使用时间戳来记录一条数据的多个版本。85. .htable API有没有线程安全问题，在程序中是单例还是多例？86. 你们的数据是用什么导入到数据库的？导入到什么数据库？处理之前的导入：通过 hadoop 命令导入到 hdfs 文件系统处理完成之后的导出：利用hive 处理完成之后的数据，通过sqoop 导出到mysql 数据库中，以供报表层使用。87. 你们业务数据量多大？有多少行数据？(面试了三

46、家，都问这个问题)开发时使用的是部分数据，不是全量数据，有将近一亿行（8、 9 千万，具体不详，一般开发中也没人会特别关心这个问题）88. 你们处理数据是直接读数据库的数据还是读文本数据？将日志数据导入到 hdfs 之后进行处理89. 你们写 hive 的 hql 语句，大概有多少条？不清楚，我自己写的时候也没有做过统计90. 你们提交的 job 任务大概有多少个？这些 job 执行完大概用多少时间？ ( 面试了三家，都问这个问题 )没统计过，加上测试的，会与很多91. hive 跟 hbase 的区别是？答： hive 说白了就是一个简化的mapreduce，使用 hive 来写 sql 语

47、句，然后92. 你在项目中主要的工作任务是？利用 hive 分析数据93. 你在项目中遇到了哪些难题，是怎么解决的？某些任务执行时间过长，且失败率过高，检查日志后发现没有执行完就失败，原因出在hadoop 的 job 的 timeout 过短（相对于集群的能力来说），设置长一点即可94. reduce 后输出的数据量有多大？95. 一个网络商城 1 天大概产生多少 G 的日志？ 4tb96. 大概有多少条日志记录（在不清洗的情况下）？7-8 百万条97. 日访问量大概有多少个？百万98. 注册数大概多少？不清楚几十万吧99. 我们的日志是不是除了apache 的访问日志是不是还有其他的日志？关

48、注信息100. 假设我们有其他的日志是不是可以对这个日志有其他的业务分析？这些业务分析都有什么？101. job 的运行流程 (提交一个 job 的流程 ) ？102Hadoop 生态圈中各种框架的运用场景？103. hive 中的压缩格式RCFile 、 TextFile 、 SequenceFile 各有什么区别？以上3 种格式一样大的文件哪个占用空间大小.等等104 假如： Flume 收集到的数据很多个小文件,我需要写MR 处理时将这些文件合并(是在MR中进行优化 ,不让一个小文件一个MapReduce)他们公司主要做的是中国电信的流量计费为主,专门写MR。105. 解释“ hadoop”和“ hadoop 生态系统”两个概念106. 说