2023学年完整公开课版配置Flumeagent

主讲：朱佳目录0102Flumeagent的注意事项配置FlumeagentFlumeagent的注意事项1Flumeagent的注意事项以下是我们需要了解的关于Flumeagent的关键事项:■最简要说明，Flumeagent由source、channel和sink组成。■每个source、channel和sink必须唯一命名。■Flumeagent可以有多个source、channel和sink。■可以配置多个Flumeagent来运行多组channel和sink,这样可以复制或选择性地路由事件。.■可以串联agent以形成具有多跳的分层收集拓扑，直到事件存储在其最终数据存储中，例如HDFS。Flumeagent的注意事项■虽然source可以将数据发送到多个channel,但是sink只能从一个channel接收数据。■可以将数据发送到多个sink,如HDFSsink和Cassandrasink。Flume拓扑结构非常灵活，没有标准的架构。Flume架构支持分层数据收集，多层次Flumeagent。可以连接多个Flumeagent来构建复杂的数据工作流。在链式agent架构中，一个agent的sink可以向不同的agent的source发送数据。Avro通常用于跨网络发送数据，因为它以将数据转换为紧凑二进制格式的高效序列化机制著称。配置Flumeagent2配置Flumeagent下载并解压缩Flume二进制文件后，为了运行Flume作业，需要配置Flumeagent。flume.conf文件是关键文件，可以在此文件中指定source、channel和sink的属性,以及如何将它们连接在一起以形成Flume数据流。可以直接编辑该文件，或者简单地将perties.template文件复制到flume.conf文件中，如下所示:$cpperties.templateflume.conf配置FlumeagentFlume架构由三个组件(source、channel和sink)组成，可以通过Flumeagent配置(存储在与Java属性文件类似的本地文本文件中)将它们转换为功能模型。Flume配置文件(flume.conf)在启动时传递键/值对给代理。Flume会每30秒监视一次此配置属性文件的更改。可以在单个Flumeagent配置文件中配置多个Flumeagent。可以使用以下三个参数配置每个Flumeagent:agent.sources=<listofsources>agent.channels=<listofchannels>agent.sinks=<listofsinks>配置Flumeagent通过Flume配置文件中的每个配置项Flume知道使用的source、channel和sink的类型。可以在配置文件中配置source、channel和sink的属性。在Flumeagent中,source、channel和sink都有唯一的名称。也可以为agent指定名称，这里简单地选择使用“agent"作为agent的名称。例如，如果你正在收集ApacheWeb服务器的HTTP访问日志，则可以命名channel为“access",并如下配置channel:agent.channels.access配置Flumeagent在这个例子中，agent.channels.access是一个配置项。更具体地说，配置channel时，需要指定channel的类型。选择指定一个内存中的channel(还有其他类型的channel,稍后解释)，名为“access"的channel的完整配置如下:agent.channels.access.type=memory可以通过以