收集文件系统的指标

主讲：侯磊目录01收集文件系统的指标收集文件系统的指标1收集文件系统的指标要收集指标并使用它们进行调优和故障排除，必须配置各种Hadoop守护程序，以指定的时间间隔收集指标，并输出指标。可以使用插件输出指标。Hadoop守护程序产生的指标称为sources，插件称为sinks。因此，sources产生数据，sinks消耗数据或输出数据。可以使用各种类型的插件，默认使用FileContext，它将指标写入文件。Null-Context丢弃指标,GangliaContext会将指标发送到Ganglia监控系统收集文件系统的指标为了获取由Hadoop生成的指标，需要配置perties文件。该文件通常位于诸如/etc/hadoop/conf之类的目录中。以下示例显示了如何在该文件中存储与NameNode和DataNodes有关的指标。可以将其他指标（例如JVM指标）添加到同一个文件中。收集文件系统的指标#ThefollowingentriesshowhowtocapturemetricsfromtheNameNode,and#DataNodestoasinknamed"tfile"(outputtofile).#Definingsinkforfileoutput*.sink.tfile.class=org.apache.hadoop.metrics2.sink.FileSink收集文件系统的指标#FilenameforNameNodemetricscapturenamenode.sink.tfile.filename=namenode-metrics.log#FilenameforDataNodemetricsdatanode.sink.tfile.filename=datanode-metrics.log收集文件系统的指标在这个例子中，使用本地文件从NameNode和DataNode收集指标。演示了如何将指标发送到Gangliasink后，我们讲一下应该添加到此文件的条目，从而将数据捕获到Gangliasink。为了只关注关键指标，避免在海量的指标中迷失，可以根据源、上下文、记录过滤Hadoop指标。在一个源中，可以根据include或excludee的模式进行过滤，其中include模式优先于exclude模式。过滤器可以通过将输出限制为在hadoop-metrics2-properties文件中配置的指标文件来有效地管理指标。以下是一些示例，说明如何通过各种自定义过滤器来限制指标输出。收集文件系统的指标在设置自定义过滤器之前，将以下参数添加到hadoop-metrics2-properties文件中:#Syntax:<prefix>.(source|sink).<instance>.<option>*.sink.file.class=org.apache.hadoop.metrics2.sink.Filesink*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter*.record.filter.class=${*.source.filter.class}*.metric.filter.class=${*.source.filter.class}收集文件系统的指标#Thefollowinglimitsmetricstojustthosefromthedfscontext.bcl.sink.file0.class=org.apache.hadoop.metrics2.sink.FileSinkbcl.sink.file0.context=dfs#Thefollowingwillfilteroutmetricsfromthespecifiedhost.jobtracker.source.dfs.record.filter.exclude=hadoop01.localhost*#Thefollowingwillfilteroutmetricsmatchingthepattern-cpu*.jobtracker.sink.file.metric.filter.exclude=cpu*收集文件系统的指标通过手动检查所有集群节点中的大量文件来了解Hadoop守护程序的性能是不现实的。解决这个问题有几种方法。可以将数据存储在Hive外部表或HBase表中。然后，可以设置警报机制来发送适当的警报。访问Hadoop指标的最佳方法是将警报发送到Ganglia接收器。发送指标到Ganglia接收器不需要做额外的事情（当然配置了Ganglia)，这非常类似于将警报指向文件。Ganglia是监测系统状态的流行工具。Nagi