系统日志数据采集

负责人：郑美容01目录系统日志数据采集系统日志数据采集1系统日志数据采集

Flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着Flume的不断被完善以及升级版本的逐一推出，特别是Flume-NG;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一。系统日志数据采集Flume概述：（1）Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。（2）Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。（3）一般的采集需求，通过对flume的简单配置即可实现。（4）Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景。系统日志数据采集Flume架构：Flume的核心就是一个Agent，每个FlumeAgent有三个组件：Source、Channel、Sink。系统日志数据采集（1）Flume分布式系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成（2）每一个agent相当于一个数据传递员，内部有三个组件：

Source：采集源，用于跟数据源对接，以获取数据

Channel：主要提供一个队列的功能，对source提供中的数据进行简单的缓存并传递到Sink中

Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据。系统日志数据采集（1）Flume的核心组件Source的使用：

Flume提供了各种source的实现，包括AvroSource、ExceSource、SpoolingDirectorySource、NetCatSource、SyslogSource等对现有系统影响最小的是ExecSource和SpoolSource这两种方式：（1）ExecSource是以运行Linux命令的方式，持续的按照文件名输出最新的数据，如tail-F文件名指令（2）Spool

Source是监测配置的目录下新增的文件，并将文件中的数据读取出来系统日志数据采集（2）Flume的核心组件Sink的使用Flume也提供了各种sink的实现，包括HDFSsink、Loggersink、Avrosink、FileRollsink、Nullsink、HBasesink，etc等FlumeSink在设置存储数据时，可以向文件系统中，数据中库，hadoop中储数据。（3）Flume的核心组件Chanel的使用Flume对于Channel，则提供了MemoryChannel、JDBCChanel、FileChannel，etc等实现MemoryChannel可以实现高速的吞吐，但是无法保证数据的完整性，MemoryRecoverChannel在官方文档的建议上已经建义使用FileChannel来替换。FileChannel保证