Hadoop集群测试报告

1、测试报告集群设置1. 服务器配置CPU24内存128G带宽1024M磁盘44T磁盘吞吐预计100M/S2. Hadoop服务部署HADOOP-12-151NameNode Balancer、Hive Gateway、Spark Gateway> ResourceManager、Zk ServerHADOOP-12-152DataNode、SNN HFS Hive Gateway、WebHCat Hue> Impala Deamon CMServerMonitor、CM Activity Monitor 、CM Host Monitor、CM Event Server、CM Aler

2、tPublisher、Oozie Server、Spark History Server、Spark Gateway> NodeManagenJobHistory Server 、Zk ServerHADOOP-12-153DataNode、Hive Gateway、HiveMetastore、HiveServer2、Impala Catalog、ImpalaStateStore 、Impala Deamon、Spark Gateway > NodeManagen Zk ServerHADOOP-12-154DataNode、Hive Gateway、Impala Deamon S

3、park Gateway、NodeManagec Sqoop2HADOOP-12-155DataNode、Hive Gateway、Impala Deamon Spark Gateway、NodeManager、Zk ServerHADOOP-12-156DataNode、Hive Gateway、Impala Deamon Spark Gateway、NodeManager、Zk Server3. hadoop参数设置yarn-mb108544-allocation-mb4096-allocation-mb32768-allocation-mb4096-vcores24-pmem-ratio

4、mapreduce40968192307261441536100151555dfs3534096二、基准测试1. HDFSW写的吞吐性能连续10次执行如下写操作，其性能见图示：cd /opt/clouderahdfsadmin hadoopTestDFSIO -write -nrFiles 10 -fileSize 1000 -resFile /tmp/其具体数据见表格：123456789 10均值HDFS写文件吞吐均值：/ S平均执行时间：占用带宽：/ S结论：HDFSf,其磁盘吞吐基本上处于理想状态，且在此吞吐水平上其网络带宽占用较少，没有造成明显的带宽负载。连续10次执行如下读操作，其性

5、能见图示：hdfsadmin hadoopTestDFSIO -read -nrFiles 10 -fileSize 1000 -resFile /tmp/Map Task平均吞吐：S 。文件的平均IO速度：S,基本符合理想状态。附：I.带宽计算过程：10000/=6, 10个文件则10个进程并发，复本数为 2,则有1份网络彳输，10个进程并发在5台机器上，基本上每台机器有2个写进程，则网络流量大约为：S* 1*2=,远远低于千兆网络的带宽。II.清除测试数据：dfsadmin hadoopTestDFSIO - clean208192写性能：基本上与之前相当。读性能：Map Task平均吞吐

6、：S 。文件的平均IO速度：So2. mrbench基准测试重复执行小作业50次，检查平均执行时间hdfsadmin hadoopmrbench -numRuns 50基本情况，上述操作完全来自默认值：inputlines : 1mapper： 2reducer : 1完成时间：17986ms,即17秒。修改上述各参数的设置，inputlines : 100000mapper： 1000reducer : 200 hdfsadmin hadoopmrbench -numRuns 10 -inputLines 100000 -maps 1000 -reduces 200 完成时间：190131m

7、s,即190秒。在此参数设置下，集群负载很重，mapper&reducer总数明显超过了集群一般可以承受的水平继续调整参数设置，inputlines : 100000mapper： 100reducer : 5 hdfsadmin hadoopmrbench -numRuns 10 -inputLines 100000 -maps 100 -reduces 5完成时间：28682ms,即28秒。在此参数设置下，基本上符合集群负载的一般水平，mapper&reducer数设置较为合理，完成时间比较理想，即数据量越大，Hadoop越能够体现其优势。208192hdfsadmin h

8、adoopmrbench -numRuns 5015996ms,16shdfsadmin hadoopmrbench -numRuns 10 -inputLines 100000 -maps 100 -reduces 528975ms,29s3. 利用全局排序Terasort测试MapReduce行性能cd /opt/cloudera生成10G数据：hdfsadmin hadoop jar teragen -=100 /home/songuanglei/gen10G排序：hdfsadmin hadoop jar terasort -=100/60/10/5 /home/songuanglei/

9、gen10G /home/songuanglei/output10Gmap数目为2,不断调整reducer数目为100、60、10、5,其执行时间趋势如下图：结论：reducer数越接近集群节点数目，其执行速度越快。生成100G数据：hdfsadmin hadoop jar teragen -=100 /home/songuanglei/gen100G排序：hdfsadmin hadoop jar terasort -=100/6010/5 /home/songuanglei/gen100G /home/songuanglei/output100Gmap数目为800,不断调整reducer数目

10、为100、60、10、5,其执行时间趋势如下图：结论：随着处理数据的增大，map阶段耗时显着增加，成为整个 Job执行的重点，reducer数越接近集群节点数目，其执行速度越快。附：I.验证是否有序hdfsadmin hadoop jar teravalidate /home/songuanglei/output100G /home/songuanglei/validate100G4. 利用wordcount测试MR执行性能wordcount是CPU资源消耗型的 操作如下：hdfsadmin hadoop jar wordcount -=10 /user/songguanglei/ /user/songguanglei/output基本情况：输入文件：622MB默认 mapper数：5分别设置 reducer 数据为 60、10、5,分别得出 CPU time spent (ms)值：218340、130900