2023学年完整公开课版flume配置文件

Flume配置文件主要内容2Flume配置文件的使用Flume配置文件常见参数详解3一、flume配置文件的使用4Flume配置文件的使用Flume的在搭建好以后需要根据需求编写配置文件，根据编写好的配置文件通过flume-ng运行agent实现对数据的收集功能运行命令：flume-ngagent--conf(flume下的conf/)--name(agent名字)--conf-file（自己编写的配置文件路径）5二、flume配置文件常见参数详解6三大组件1.source2.sink3.channel71.1AvroSourceavro

source:avro可以监听和收集指定端口的日志，使用avro的source需要说明被监听的主机ip和端口号agent1.sources

=

r1agent1.sources.r1.type

=

avro

(类型为avro

source)agent1.sources.r1.bind

=

（指定监听的主机ip.本机是.）agent1.sources.r1.port

=

9090

(指定监听的端口号)81.2ExecSourceexec

source:可以通过指定的操作对日志进行读取，使用exec时需要指定shell命令，对日志进行读取agent1.source

=

r2agent1.sources.r2.type

=

exec

mand

=tail

-F

/tmp/root/hive.log

(监听的文件的路径)91.3Spool-directorySourceSpooling-directory

source:可以读取文件夹里的日志，使用时指定一个文件夹，可以读取该文件夹中的所有文件，当出现新文件时会读取该文件并获取数据.需要注意的是该文件夹中的文件在读取过程中不能修改，同时文件名也不能修改。1、completedSuffix是文件读取完毕后给完成文件添加的标记后缀，默认是".COMPLETED"；2、deletePolicy这是是否删除读取完毕的文件，默认是"never"，就是不删除，目前只支持"never"和“IMMEDIATE”；102.Channelagent1.channels

=

c1agent1.channels.c1.type

=

memory：缓存方式为内存agent1.channels.c1.capacity

=

100000agent1.channels.c1.transactionCapacity

=

100000113.1LoggerSinklogger

sink:将收集到的日志写到flume的log中agent1.sinks

=

k1agent2.sinks.k1.type

=

logger123.2.1HDFSSink把数据存放至hdfs中a1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path：上传到hdfs的路径a1.sinks.k1.hdfs.filePrefix：文件前缀a1.sinks.k1.hdfs.round：是否按时间新建文件夹a1.sinks.k1.hdfs.roundValue：定义多久新建文件夹a1.sinks.k1.hdfs.roundUnit：重新定义时间单位133.2.2HDFSSinka1.sinks.k1.hdfs.useLocalTimeStamp：是否使用本地时间戳a1.sinks.k1.hdfs.batchSize：flush到hdfs需要积攒event的数量a1.sinks.k1.hdfs.fileType：设置文件类型a1.sinks.k1.hdfs.rollInterval：多久生成一个新的文件（单位：秒）a1.sinks.k1.hdfs.rollSize：接收多少数据生成一个新文件（单位：字节）a