Hadoop性能管理与监控

Hadoop性能管理与监控1Hadoop集群性能因子Hadoop集群性能指标2Hadoop集群性能因子影响Hadoop大数据作业性能的因子有以下几点：①Hadoop配置：配置对Hadoop集群的性能是非常重要的；不合理的配置会产生CPU负载、内存交换、IO等的额外开销问题。②文件大小：特别大和特别小的文件都会影响Map任务的性能。③Mapper，Reducer的数量：会影响Map、Reduce的任务和Job的性能。④硬件:节点的性能、配置规划及网络硬件的性能会直接影响到作业的性能。⑤代码：质量差的代码会影响Map/Reduce性能。Hadoop集群性能指标ElapsedtimeTotalAllocatedContainersNumberofmaps,LaunchedmaptasksNumberofreduces,LaunchedreducetasksJobstateTotaltimespentbyallmaptasks(ms)Totaltimespentbyallreducetasks(ms)Totalvcore-secondstakenbyallmaptasksTotalvcore-secondstakenbyallreducetasksMapinputrecordsMapoutputrecordsMapoutputbytesMapoutputmaterializedbytesInputsplitbytesCombineinputrecordsCombineoutputrecordsReduceinputgroupsReduceshufflebytesReduceinputrecordsReduceoutputrecordsHadoop集群性能指标SpilledRecordsShuffledMapsFailedShufflesMergedMapoutputsGCtimeelapsed(ms)CPUtimespent(ms)Physicalmemory(bytes)snapshotVirtualmemory(bytes)snapshotTotalcommittedheapusage(bytes)Hadoop集群性能指标Hadoop集群性能指标FileNumberofbytesread=446,文件系统的读取的字节数。File:Numberofbyteswritten.文件系统的写人的字节数。File:Numberofrendoperaions,文件系统的读操作的次数。File:Numberoflargereadoperationg,文件系统的大量读的操作次数。File:Numberofwriteopentios,文件系统的写操作的次数。HDFS:NumberofbytesreadeHDFS的读取的字节数。HDFS:NumberofbyteswiteHDFS的写入的字节数。HDFS:Numberofreadoperations.HDFS的读操作的次数。HDFS:Numberoflargereadopcratios,HDFS的大量读的操作次数。HDFS:NumberofwritleoprnatinsHDFS的写操作的次数。Hadoop集群性能指标FileloputFormatCounters:BytesRead。Job执行过程中，Map端从HDFS读取的输入的split源文件内容大个，不包括Map的spli元数据；如果是压缩的文件则是未经解压的文件大小。FileOutputFormatCounters：ByesWitern。Job执行完毕后把结果写入到HDFS,该值是结果文件的大小；如果是压缩的文件则是未经解压的文件大小。JVM内存使用。堆内存HeapMemory：代码运行使用内存。非堆内存NonHeapMemory：JVM自身运行使用内存Hadoop集群性能指标磁盘空间使用。ConfiguredCapacity：GB，所有的磁盘空间。DFSUsed：MB，当前HDFS的使用空间。NonDFSUsed：GB，非HDFS所使用的磁盘空间。DFSRemaining：GB，HDFS可使用的磁盘空间。Filesanddirectories：文件和目录数量。HDFS文件信息。Size：大小Replication：副本数BlockSize：块大小Hadoop集群性能指标1GUI集群CLI23Linux系统监控工具Ganglia45其他工具通过浏览器查看HadoopNameNode开放的50070端口,可以了解到hadoop集群的基本配置信息和监控到hadoop集群的状态。集群基本信息（1）性能监控工具——GUI集群基本信息（2）性能监控工具——GUI集群基本信息（3）性能监控工具——GUI集群基本信息（4）性能监控工具——GUI（1）运行了哪些作业，每个作业的类型、执行时间、起始时间、结束时间、执行时间、当前状态、最终状态等。性能监控工具——GUI8088端口是Hadoop的资源管理框架YARN监控端口，可以监控作业运行。（2）作业运行在集群的哪些计算节点上。性能监控工具——GUI（3）HDFS文件信息，包括Size、Replication、BlockSize。性能监控工具——GUIYARNmapred性能监控工具——集群CLI使用YARN命令管理Hadoop作业查看应用程序检查应用程序状态杀死正在运行的作业检查节点状态检查YARN队列状态获取作业的日志性能监控工具——集群CLI——YARN查看应用程序yarnapplication–helpyarnapplication–list作业状态包括：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、KILLEDyarnapplication–list–appStatesrunningyarnapplication–list–appStatesfinishedyarnapplication–list–appTypesall性能监控工具——集群CLI——YARN检查应用程序状态检查特定作业状态yarnapplication–status<applicationID>检查作业尝试的状态yarnapplicationattempt–list<applicationID>-status<applicationattemptID>杀死正在运行的作业yarnapplication–list<applicationID>yarnapplication–list–appTypesrunning性能监控工具——集群CLI——YARN检查应用程序状态检查特定作业状态yarnapplication–status<applicationID>检查作业尝试的状态yarnapplicationattempt–list<applicationID>-status<applicationattemptID>杀死正在运行的作业yarnapplication–list<applicationID>yarnapplication–list–appTypesrunning性能监控工具——集群CLI——YARN检查节点状态yarnnode–all–list检查YARN的队列状态yarnqueue–statusproduser获取作业的日志（已经结束运行的作业）yarnlogsyarnapplication–listappStatesfinishedyarnlogs–applicationId<applicationID>性能监控工具——集群CLI——YARNmapredjobCLI命令语法：mapredjob-help列出当前运行的作业mapredjob–list列出之前运行的所有历史作业mapredjob–listall列出运行的作业队列mapredqueue-list性能监控工具——集群CLI——mapred监控Hdoop包括跟踪系统资源利用率和识别性能瓶颈。跟踪I/O带宽数据传输速率网络延迟交换空间利用率每秒磁盘I/O操作数量。性能监控工具——Linux系统监控工具Linux系统监控项目监控CPU使用情况用户与系统使用情况可运行进程上下文切换和中断监控内存使用情况页面输入和页面输出换入和换出活动和非活动页面性能监控工具——Linux系统监控工具监控磁盘存储检查可用空间读取和写入监控带宽计算数据传输速率数据包冲突率数据传输错误率Linux系统监控工具监测内存使用vmstat使用meminfo查看内存使用情况和内存空闲情况使用iostat查看I/O统计信息使用sar分析读/写操作使用top命令监视资源使用情况使用dstat进行网络监控性能监控工具——Linux系统监控工具监测内存使用vmstatvmstat实用程序可以监测内存使用情况、页面错误、进程和CPU活动vmstat–helpvmstatvmstat–SM1vmstat–a–w2vmstat-D性能监控工具——Linux系统监控工具使用meminfo查看内存使用情况和内存空闲情况使用meminfo文件中的数据作为源head–5/proc/meminfo使用free获取内存使用信息free性能监控工具——Linux系统监控工具使用iostat查看I/O统计信息可以提供系统上所有壁盘的输入/输出统计信息有两个参数:在屏幕上更新信息之前的秒数以及更新临息的次数Iostat45性能监控工具——Linux系统监控工具使用sar分析读/写操作可以分析从磁盘到缓冲区缓存以及从缓冲区缓存到磁盘的读/写操作通过使sar命令的各种选项，可以监视磁盘和CPU活动，以及现冲区缓存活动sar–u110性能监控工具——Linux系统监控工具使用top命令监视资源使用情况可以查找哪些用户/进程使用的资源最多top性能监控工具——Linux系统监控工具使用dstat进行网络监控在shuffle阶段，reduce任务获得map任务输出时，hadoop会大量使用网络。当reduce作业将结果输出到HDFS时，网络利用率也高如果网络数据速率约为网络带宽的20%或更高，则表示网络过载高中断率表示网络流量超载，dstat工具可以同时显示网络数据速率和中断数量dstat性能监控工具——Linux系统监控工具性能监控工具——GangliaGanglia概述Ganglia架构Ganglia安装与配置Ganglia和Hadoop整合性能监控工具——GangliaGanglia概述为高性能计算

集群设计的可扩展性的分布式监控系统运行在各个节点上的gmond守护进程来采集CPU、内存、磁盘利用率、I/O负载、网络流量情况等方面的数据。指标数据汇总到gmetad守护进程下，使用rrdtool存储数据将数据以曲线方式通过页面呈现。Nagios是一款精于预警、通知的软件。把Ganglia采集的数据作为Nagios的数据源，然后利用Nagios来发送预警通知，可以完美的实现一整套监控管理的系统性能监控工具——GangliaGanglia概述性能监控工具——GangliaGanglia架构gmond:集群中的每个主机都运行gmond守护程序，该守护程序的工作是从所有集群节点收集指标数据。gmetad:轮询节点的指标数据的守护进程。从集群中的任何一个节点获取整个集群的指标。gmetad守护程序创建RRD（RoundRobinDatabase）表以存储指标数据。gweb:用于Ganglia监控系统通过存储在RRD数据库中的数据收集指标的Web接口。可以使用图形查看特定指标，并使用特定指标或主机的详细信息来创建自定义图表。Gweb进程实际上是一个在ApacheWeb服务器上运行的PHP程序。Ganglia架构性能监控工具——Ganglia性能监控工具——GangliaGanglia安装与配置——服务器端安装（1）sudoaptupdate（2）安装依赖包sudoaptinstallapache2phplibapache2-mod-php（3）安装ganglia包$sudoapt-getinstallrrdtoolganglia-monitorgmetadganglia-webfrontend$sudouseraddganglia-gganglia（如果出现问题先执行该行）（4）修改配置文件编辑/etc/ganglia/gmond.conf：1）将setuid=yes,改成setuid=no;2）然后找到在cluster块中的name，改成name=”hadoop-test”性能监控工具——GangliaGanglia安装与配置——服务器端安装cluster{

name="hadoop-test"

#需要和gmetad的配置文件名相同

owner="unspecified"

latlong="unspecified"

url="unspecified"

}（5）修改配置文件

编辑/etc/ganglia/gmetad.conf,添加数据源，即被监控的机器的列表data_source“hadoop-test”namenode:8649datanode1:8649datanode2:8649

如果有多台主机则需要在数据源那行增加所有主机的ip性能监控工具——GangliaGanglia安装与配置——服务器端安装（6）重启gmond和gmetad服务重启主节点的gmetad服务$sudo/etc/init.d/gmetadrestart重启所有节点的gmond服务

#监控结点只安装aptinstall-y

ganglia-monitor

$sudo/etc/init.d/ganglia-monitorrestart（7）启动成功后，可以访问ganglia首页http://namenode/ganglia性能监控工具——GangliaGanglia安装与配置——客户端安装（1）安装ganglia监控包$sudoapt-getinstallganglia-monitor$sudouseraddganglia-gganglia（如果出现问题先执行该行）（2）修改配置文件在/etc/ganglia/gmond.conf配置文件中先找到：setuid=yes,改成setuid=no;将cluster块中的name，改成name=”hadoop-test”;

（3）重启gmond$sudo/etc/init.d/ganglia-monitorrestart

性能监控工具——GangliaGanglia安装与配置——配置Hadoop文件（1）编辑hadoop根目录下的conf文件夹下的perties文件：#Configurationofthe“dfs”contextforganglia

dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext

dfs.period=10

dfs.servers=1:8649

#Configurationofthe“mapred”contextforganglia

mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext

mapred.period=10

mapred.servers=1:8649

#Configurationofthe“jvm”contextforganglia

jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext

jvm.period=10

jvm.servers=1:8649

性能监控工具——GangliaGanglia安装与配置——配置Hadoop文件（2）改完以后将配置文件分发到各个datanode节点的${HADOOP_HOME}/conf目录下，（3）重启Hadoop集群。性能监控工具——GangliaGanglia安装与配置——服务器端部署ganglia-web（1）将ganglia-web-3.5.12.tar.gz安装包拷贝到linux服务器：（2）将安装包拷贝到/var/www/目录下面，并解压该安装包：cpganglia-web-3.5.12.tar.gz/var/www/tar-zxvfganglia-web-3.5.12.tar.gz（3）将解压出来的目录名ganglia-web-3.5.12.重命名为ganglia：mv/var/www/ganglia-web-3.5.12/var/www/ganglia（4）修改环境变量和相关的配置文件，执行脚本Makefile：Makefileinstall

（5）测试能否正常打开页面http://ipaddress:port/ganglia如果能够正常打开，证明ganglia监控搭建成功Ganglia监控画面性能监控工具——Ganglia其它常用监控工具Dr.ElephantNagioseBayEagle性能监控工具——其他监控工具Dr.Elephant监控画面1Hadoop性能优化概述Hadoop运行环境优化23Hadoop操作系统优化4Hadoop应用优化Hadoop参数优化5性能优化——概述运行硬件优化操作系统调优从应用程序角度进行优化对Hadoop参数进行调优从系统实现角度进行优化性能优化——硬件优化原则一：主节点机器配置要高于从节点机器配置原则二：多路多核，高频率CPU、大内存。DataNode的内存需要根据cpu的虚拟核数(vcore)进行配比CPU的vcore数计算公式为=cpu个数*单cpu核数*HT（超线程）内存容量大小=vcore数*2GB(至少2GB)原则三：根据数据量确定集群规模一天增加10GB,365天，原数据1TB，replacation=3，1.5个mapreduce计算完保存的数据规划容量为：1TB+10GB*365*3*1.5=20.53TB如果一台datanode的存储空间为2TB，21/2=11，总节点为=11+2=13原则四：不要让网路I/O成为瓶颈性能优化——Hadoop集群配置规划优化Hadoop集群配置规划优化集群节点内存分配一个数据节点，task并行度为p，单个任务内存开销为mG节点内存=m*4（DataNode）+m*2(NodeManager)+m*4(ZooKeeper)+m*p集群节点规模每天产生的数据容量为dTB，需保存t个月，每个节点硬盘容量为hTB，Hadoop数据副本数为k（通常为3），磁盘最佳利用率为R（常为70%）节点数n=d*k*t*30/h/R性能优化——操作系统优化cachemodeI/Oscheduler调度参数文件块大小Inode大小日志功能文件时间戳方式同步或异步I/Owriteback模式性能优化——应用优化避免不必要的Reduce任务如果要处理的数据是排序且已经分区的，或者对于一份数据,需要多次处理,可以先排序分区；然后自定义InputSplit,将单个分区作为单个mapred的输入；在map中处理数据,Reducer设置为空。

既重用了已有的“排序”,也避免了多余的reduce任务。外部文件引入应用程序要使用外部文件，如字典，配置文件等，这些文件需要在所有task之间共享，可以放到分布式缓存DistributedCache中（或直接采用-files选项，机制相同）。性能优化——应用优化为job添加一个Combiner为job添加一个combiner可以大大减少shuffle阶段从maptask拷贝给远程reducetask的数据量。一般而言，combiner与reducer相同。根据处理数据特征使用最适合和简洁的Writable类型Text对象使用起来很方便，但它在由数值转换到文本或是由UTF8字符串转换到文本时都是低效的，且会消耗大量的CPU时间。当处理那些非文本的数据时，可以使用二进制的Writable类型，如IntWritable，FloatWritable等。二进制writable好处是避免文件转换的消耗，使maptask中间结果占用更少的空间性能优化——应用优化重用Writable类型很多MapReduce用户常犯的一个错误是，在一个map/reduce方法中为每个输出都创建Writable对象。publicvoidmap(LongWritablekey,Textvalue,Contextcontext){for(Stringword:words){output.collect(newText(word),newIntWritable(1));}}}这样会导致程序分配出成千上万个短周期的对象。Java垃圾收集器就要为此做很多的工作。性能优化——应用优化重用Writable类型更有效的写法是：classWordCountMapperextendsMapper{TextwordText=newText();IntWritableone=newIntWritable(1);publicvoidmap(LongWritablekey,Textvalue,Contextcontext){for(Stringword:words){wordText.set(word);output.collect(wordText,one);}}}性能优化——应用优化使用StringBuffer而不是String当需要对字符串进行操作时，使用StringBuffer而不是String，String是read-only的，如果对它进行修改，会产生临时对象，而StringBuffer是可修改的，不会产生临时对象调试最重要，也是最基本的，是要掌握MapReduce程序调试方法，跟踪程序的瓶颈。性能优化——hadoop参数优化Linux文件系统参数调整调试Hadoop通用参数调整HDFS相关配置map/reduce相关配置maptask相关配置reducetask相关配置YARN调优性能优化——hadoop参数优化Linux文件系统参数调整调试noatime和nodiratime属性文件挂载时设置这两个属性可以明显提高性能。默认情况下，Linuxext2/ext3文件系统在文件被访问、创建、修改时会记录下文件的时间戳，比如：文件创建时间、最近一次修改时间和最近一次访问时间。如果系统运行时要访问大量文件，关闭这些操作，可提升文件系统的性能。Linux提供了noatime这个参数来禁止记录最近一次访问时间戳。性能优化——hadoop参数优化Linux文件系统参数调整调试readaheadbuffer调整linux文件系统中预读缓冲区地大小，可以明显提高顺序读文件的性能。默认buffer大小为256sectors，可以增大为1024或者2408sectors（注意，并不是越大越好）。可使用blockdev命令进行调整。避免RAID和LVM操作避免在TaskTracker和DataNode的机器上执行RAID和LVM操作，这通常会降低性能。性能优化——hadoop参数优化Hadoop通用参数调整(1)node.handler.count或mapred.job.tracker.handler.countnamenode或者jobtracker中用于处理RPC的线程数，默认是10，较大集群，可调大些，比如50。(2)dfs.datanode.handler.countdatanode上用于处理RPC的线程数。默认为3，较大集群，可适当调大些，比如8。需要注意的是，每添加一个线程，需要的内存增加。(3)tasktracker.http.threadsHTTPserver上的线程数。运行在每个TaskTracker上，用于处理maptask输出。大集群，可以将其设为40~50。性能优化——hadoop参数优化HDFS相关配置dfs.replication文件副本数，通常设为3，不推荐修改。dfs.block.sizeHDFS中数据block大小，默认为128M，对于较大集群，可设为256MB或者512MB。也可以通过参数mapred.min.split.size配置mapred.local.dir和dfs.data.dirmapred.local.dir和dfs.data.dir配置的是分布在各个磁盘上目录，这样可以充分利用节点的IO读写能力。运行Linuxsysstat包下的iostat-dx5命令查看每个磁盘利用率。性能优化——hadoop参数优化map/reduce相关配置{map/reduce}.tasks.maximum同时运行在TaskTracker上的最大map/reducetask数一般设为(core_per_node)/2~2*（cores_per_node）io.sort.factor当一个maptask执行完之后，本地磁盘上(mapred.local.dir)有若干个spill文件，执行mergesort，把这些spill文件合成一个文件。执行mergesort的时候，每次同时打开多少个spill文件由该参数决定。(3)mapred.child.java.opts设置JVM堆的最大可用内存，需从应用程序角度进行配置。性能优化——hadoop参数优化maptask相关配置

io.sort.mbMaptask的输出结果和元数据在内存中所占的buffer总大小。默认为100M，对于大集群，可设为200M。当buffer达到一定阈值，会启动一个后台线程来对buffer的内容进行排序，然后写入本地磁盘(一个spill文件)。io.sort.spill.percent这个值就是上述buffer的阈值，默认是0.8，即80%，当buffer中的数据达到这个阈值，后台线程会起来对buffer中已有的数据进行排序，然后写入磁盘。性能优化——hadoop参数优化maptask相关配置

io.sort.recordio.sort.mb中分配给元数据的内存百分比，默认是0.05。这个需要根据应用程序进行调整。press.map.output/press中间结果和最终结果是否要进行压缩，如果是，指定压缩方式（press.map.output.codec/press.codec）。推荐使用LZO压缩。Intel内部测试表明，相比未压缩，使用LZO压缩的TeraSort作业运行时间减少60%，且明显快于Zlib压缩。性能优化——hadoop参数优化maptask相关配置性能优化——hadoop参数优化reducetask相关配置mapred.reduce.parallelReduceshuffle阶段copier线程数。默认是5，对于较大集群，可调整为16~25。性能优化——hadoop参数优化reducetask相关配置性能优化——hadoop参数优化YARN调优Yarn的资源表示模型为ceontainer（容器）container将资源抽象为两个维度，内存和虚拟cpu(vcore)兼容各种计算框架动态分配资源，减少资源浪费性能优化——hadoop参数优化YARN调优性能优化——hadoop参数优化YARN调优计算每台机子最多可以拥有多少个container计算的公式:containers=min(2*CORES,1.8*DISKS,(TotalavailableRAM)/MIN_CONTAINER_SIZE)说明：CORES为机器CPU核数DISKS为机器上挂载的磁盘个数TotalavailableRAM为机器总内存MIN_CONTAINER_SIZE是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格性能优化——hadoop参数优化YARN调优每个container的平均使用内存大小计算方式为：RAM-per-container=max(MIN_CONTAINER_SIZE,(TotalAvailableRAM)/containers))性能优化——hadoop参数优化YARN调优通过上面的计算，YARN以及MAPREDUCE可以这样配置性能优化——hadoop参数优化YARN调优yarn.nodemanager.resource.memory-mb(容器内存)yarn.scheduler.minimum-allocation-mb(最小容器内存)yarn.scheduler.increment-allocation-mb(容器内存增量)yarn.scheduler.maximum-allocation-mb(最大容器内存)yarn.nodemanager.resource.cpu-vcores(容器虚拟cpu内核)性能优化——hadoop参数优化YARN调优yarn.scheduler.minimum-allocation-vcores(最小容器虚拟cpu内核数量)yarn.scheduler.increment-allocation-vcores(容器虚拟cpu内核增量)yarn.scheduler.maximum-allocation-vcores(最大容器虚拟cpu内核数量)性能优化——hadoop参数优化YARN调优对于128G内存、32核CPU的机器，挂载了7个磁盘，根据上面的说明，系统保留内存为24G，不适应HBase情况下，系统剩余可用内存为104G。containers=min(2*32,1.8*7,(128-24)/2)=min(64,12.6,51)=13RAM-per-container=max(2,(124-24)/13)=max(2,8)=8性能优化——hadoop参数优化YARN调优性能优化——hadoop参数优化YARN调优yarn.nodemanager.vmem-pmem-ratio：任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1。yarn.nodemanager.pmem-check-enabled：是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。yarn.nodemanager.vmem-pmem-ratio：是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。性能优化——hadoop参数优化YARN调优YARN中目前的CPU被划分成虚拟CPU（CPUvirtualCore），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。性能优化——hadoop参数优化YARN调优yarn.nodemanager.resource.cpu-vcores：表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。yarn.scheduler.minimum-allocation-vcores：单个任务可申请的最小虚拟CPU个数，默认是1，如果一个任务申请的CPU个数少于该数，则该对应的值改为这个数。yarn.scheduler.maximum-allocation-vcores：单个任务可申请的最多虚拟C