Hadoop集群测试报告

1、测试报告一、集群设置服务器配置CPU24内存128G带宽1024M磁盘44T磁盘吞吐预计100M/SHadoop服务部署HADOOP-12-151NameNodeBalancer、HiveGateway、SparkGateway、ResourceManager、ZkServerHADOOP-12-152DataNode、SNNHFSHiveGateway、WebHCatHueImpalaDeamonCMServerMonitor>CMActivityMonitor、CMHostMonitor、CMEventServer、CMAlertPublisher、OozieServer、Spark

2、HistoryServer、SparkGatewayNodeManagerJobHistoryServer、ZkServerHADOOP-12-153DataNode、HiveGatewayHiveMetastore、HiveServer2、ImpalaCatalog、ImpalaStateStore、ImpalaDeamon、SparkGateway、NodeManagerZkServerHADOOP-12-154DataNode、HiveGatewayImpalaDeamonSparkGatewayNodeManager、Sqoop2HADOOP-12-155DataNode、HiveGa

3、tewayImpalaDeamonSparkGateway、NodeManagerZkServerHADOOP-12-156DataNode、HiveGatewayImpalaDeamonSparkGateway、NodeManagerZkServerhadoop参数设置yarn-mb108544-allocation-mb4096-allocation-mb32768-allocation-mb4096-vcores24-pmem-ratio3.1mapreduce40968192307261441.HDF破写的吞吐性能1.1连续10次执行如下写操作，其性能见图示:cd/opt/cloude

4、rahdfsadminhadoopTestDFSIO-write-nrFiles10-fileSize1000-resFile/tmp/TestDFSIO_results.log其具体数据见表格:均值28.0106317561.54HDF有文件吞吐均值：26.76M/S平均执行时间：61.54S占用带宽：53.52M/S结论：HDFSf,其磁盘吞吐基本上处于理想状态，且在此吞吐水平上其网络带宽占用较少，没有造成明显的带宽负载。I. 2连续10次执行如下读操作，其性能见图示：hdfsadminhadoopTestDFSIO-read-nrFiles10-fileSize1000-resFileZ

5、tmpZTestDFSIO_results.logMapTask平均吞吐：67.5MZS。文件的平均IO速度：288.5MZS，基本符合理想状态。附：I.带宽计算过程：10000/61.54/26.76=6,10个文件则10个进程并发，复本数为2,则有1份网络传输，10个进程并发在5台机器上，基本上每台机器有2个写进程，则网络流量大约为：26.76MZS*1*2=53.52M,远远低于千兆网络的带宽。II. 清除测试数据：dfsadminhadoopTestDFSIOclean208192写性能：基本上与之前相当。读性能：MapTask平均吞吐：65.1MZS。文件的平均IO速度：198.5M

6、ZS。2. mrbench基准测试重复执行小作业50次，检查平均执行时间hdfsadminhadoopmrbench-numRuns50基本情况，上述操作完全来自默认值：inputlines:1mapper：2reducer:1完成时间：17986ms,即17秒。修改上述各参数的设置，inputlines:100000mapper：1000reducer:200hdfsadminhadoopmrbench-numRuns10-inputLines100000-maps1000-reduces200完成时间:190131ms,即190秒。在此参数设置下，集群负载很重，mapper&red

7、ucer总数明显超过了集群一般可以承受的水平。继续调整参数设置，inputlines:100000mapper：100reducer:5hdfsadminhadoopmrbench-numRuns10-inputLines100000-maps100-reduces5完成时间：28682ms,即28秒。在此参数设置下，基本上符合集群负载的一般水平，mapper&reducer数设置较为合理，完成时间比较理想,即数据量越大，Hadoop越能够体现其优势。208192hdfsadminhadoopmrbench-numRuns5015996ms,16shdfsadminhadoopmrbe

8、nch-numRuns10-inputLines100000-maps100-reduces528975ms,29s利用全局排序Terasort测试MapReduce行性能cd/opt/cloudera生成10G数据：hdfsadminhadoopjarhadoop-examples.jarteragen-=100/home/songuanglei/gen10G排序：hdfsadminhadoopjarhadoop-examples.jarterasort-=100/60/10/5/home/songuanglei/gen10G/home/songuanglei/output10Gmap数目为

9、2,不断调整reducer数目为100、60、10、5,其执行时间趋势如下图：结论：reducer数越接近集群节点数目，其执行速度越快。生成100G数据：hdfsadminhadoopjarhadoop-examples.jarteragen-=100/home/songuanglei/gen100G排序：hdfsadminhadoopjarhadoop-examples.jarterasort-=100/6010/5/home/songuanglei/gen100G/home/songuanglei/output100Gmap数目为800，不断调整reducer数目为100、60、10、5,

10、其执行时间趋势如下图:结论：随着处理数据的增大，map阶段耗时显着增加，成为整个Job执行的重点，reducer数越接近集群节点数目，其执行速度越快。附：I.验证是否有序hdfsadminhadoopjarhadoop-examples.jarteravalidate/home/songuanglei/output100G/home/songuanglei/validate100G利用wordcount测试MR执行性能wordcount是CPU源消耗型的操作如下：hdfsadminhadoopjarhadoop-examples.jarwordcount-=10/user/songguanglei/201408_status_data.csv/user/songguanglei/output基本情况：输入文件：622MB默认mapper数：5分别设置reducer数据为60、10、5,分别得出CPUtimespent(ms)值：21