Flume海量日志聚合技术原理

Flume技术原理m版权所有©2018华为技术有限公司lFlume是开源日志系统。是一个分布式、可靠和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。版权所有版权所有©2018华为技术有限公司页目标l学完本课程后，您将能够：p熟悉Flume是什么pp熟悉Flume能干什么p熟悉Flume在FusionInsight产品的位置p掌握Flume的系统架构p掌握Flume关键特性介绍p熟悉Flume应用举例版权所有版权所有©2018华为技术有限公司页目录1.Flume简介及架构2.Flume关键特性介绍33.Flume应用举例版权所有版权所有©2018华为技术有限公司页lFlume是流式日志采集工具，Flume提供对数据进行简单处理并且写到各种数据接受方(可定制)的能力，Flume提供从本地文件(地文件(spoolingdirectorysource)、实时日志(taildir、exec)、版权所有版权所有©2018华为技术有限公司页l提供从固定目录下采集日志信息到目的地(HDFS,HBase,ll提供实时采集日志信息(taildir)到目的地的能力。lFlume支持级联(多个Flume对接起来)，合并数据的能力。lFlume支持按照用户定制采集数据的能力。版权所有版权所有©2018华为技术有限公司页FlumeFlumeonInsight应用服务层MRarkStormSolrFlume是收集、聚合事件流数据的分布式框架。版权所有版权所有©2018华为技术有限公司页SinkSourceChannel SourceSinkChannel SSinkSourceChannel SourceSinkChannel SourceChannelSinkLog集，存储到最终的存储系统中。主要应用于集群外的数据集群内。版权所有版权所有©2018华为技术有限公司页eventsCeventsChannelInterceptorCChannelSelectoreventsSinkProcessorSinkSourceeventsChannelPorcessorSinkRunnereventseventsChannelevents版权所有版权所有©2018华为技术有限公司页基本概念-Source(1)个或多个Channels。有驱动和轮询2种类型的Source。eFlumelSource必须至少和一个channel关联。版权所有版权所有©2018华为技术有限公司页基本概念-Source(2)或者脚本，并将其执行结果的输sourcecejmssource版权所有版权所有©2018华为技术有限公司页。p。pFileChannel:基于WAL(预写式日志Write-AheadLog)实现。pJDBCChannel式Database实现。lChannels支持事务，提供较弱的顺序保证，可以连接任何数量的基本概念-Channel(1)lChannel位于Source和Sink之间，Channel的作用类似队列，用于临时缓存进来的events，当Sink成功地将events发送到下一跳的channel或ll不同的Channel提供的持久化水平也是不一样的:pMemoryChannel:不会持久化版权所有版权所有©2018华为技术有限公司页基本概念-Channel(2)llFileChannel：对数据持久化；但是配置较为麻烦，需要配置数据目录和checkpoint目录；不同的filechannel均需要配置一个checkpoint可靠性；可以取代同样具有持久特性的filechannel。版权所有版权所有©2018华为技术有限公司页lSink负责将events传输到下一跳或最终目的，成功完成后将events从channel移除。l必须作用于一个确切的channel。版权所有版权所有©2018华为技术有限公司页avroflumethiftsinksink版权所有版权所有©2018华为技术有限公司页目录1.Flume简介及架构2.Flume关键特性介绍33.Flume应用举例版权所有版权所有©2018华为技术有限公司页 SourceChannelSink SourceChannelSink SourceChannelSinkKafkaHBaseLogLogLog版权所有版权所有©2018华为技术有限公司页ChannelSinkSourceChannelSinkChannelSinkChannelSinkSourceChannelSinkChannelSinkumelFlume支持将多个Flume级联起来，同时级联节点内部支持数据复制。SourceSourcee版权所有版权所有©2018华为技术有限公司页Flume级联消息压缩、加密lFlume级联节点之间的数据传输支持压缩和加密，提升数据传输效率和安全性。e应用HDFS/Hive/HBase/Kafka解压解密FlumeAPI压缩加密版权所有版权所有©2018华为技术有限公司页应用发送量e收量量SinkChannelHDFS应用发送量e收量量SinkChannelHDFS/Hive/HBase/Kafka版权所有版权所有©2018华为技术有限公司页SourceCSourceChannelChannellFlume在传输数据过程中，采用事务管理方式，保证传输过程中数据不会丢失，增强了数据传输的可靠性，同时缓存在channel中的数据如果采用filechannel，进程或者节点重启数丢失。SinkStarttxSendeventsStarttxTakeeventsxPuteventsx版权所有版权所有©2018华为技术有限公司页SinkSinkSourceChannelSinkSinkSourceChanneliloverlFlume在传输数据过程中，如果下一跳的Flume节点故障或者数据接受异常时，可以自动切换到另外一路上继续传输。SinkSinkSourceChannelSinSinkSourcSourceChannel版权所有版权所有©2018华为技术有限公司页elFlume在传输数据过程中，可以简单的对数据简单过滤、清洗，可以去掉不关心的数据，同时如果需要对复杂的数据过滤，需需要用户根据自己的数据特殊性，开发过滤插件，Flume支持第三方过滤插件调用。InterceptoreventsChannelSelectorChannelPorcessoreventsChannelChannelevents版权所有版权所有©2018华为技术有限公司页1.Flume简介及架构2.Flume关键特性介绍33.Flume应用举例版权所有版权所有©2018华为技术有限公司页ll数据准备p在集群某一个节点上创建日志目录/tmp/log_test。p目录mkdir/tmp/log_test。Flume操作示例1(1)l说明p本例子演示Flume通过采集集群内应用(比如网银系统)产生的版权所有版权所有©2018华为技术有限公司页Flume操作示例1(2)l下载Flume客户端pFusionInsightHD服务管理>Flume>下载客户版权所有版权所有©2018华为技术有限公司页Flume操作示例1(3)l安装Flume客户端p解压客户端fFusionInsightVRCFlumeClienttarTarxvfFusionInsightVRCFlumeClientConfig.tarsionInsightVRCFlumeClientConfigFlumeTarxvfFusionInsightFlumetar.gzp安装客户端properties版权所有版权所有©2018华为技术有限公司页Flume操作示例1(4)l配置flumesourcehssconfigurationofaoldirDirtmplogtestffixCOMPLETEDolicyneverrDirflumespoolersourcesaignorePatternchSizeserver.sources.a1.inputCharset=UTF-8lizerLINEortypereplicatingderKeyfilederfalselsch版权所有版权所有©2018华为技术有限公司页Flume操作示例1(5)l配置flumechannel##thechannelconfigurationofch1server.channels.ch1.type=memoryserver.channels.ch1.capacity=10000server.channels.ch1.transactionCapacity=1000server.channels.ch1.channlefullcount=10server.channels.ch1.keep-alive=3server.channels.ch1.byteCapacityBufferPercentage=20版权所有版权所有©2018华为技术有限公司页Flume操作示例1(6)l配置flumesinkserverserver.sinks.s1.type=hdfsserver.sinks.s1.hdfs.path=/tmp/flume_avrofixover_%{basename}server.sinks.s1.hdfs.inUseSuffix=.tmpserver.sinks.s1.hdfs.rollInterval=30rollSizeersinksshdfsrollCountbatchSizeserver.sinks.s1.hdfs.fileType=DataStreamserver.sinks.s1.hdfs.maxOpenFiles=5000server.sinks.s1.hdfs.writeFormat=WritablescallTimeoutersinksshdfsthreadsPoolSizeersinksshdfsfailcountserver.sinks.s1.hdfs.fileCloseByEndEvent=trueserver.sinks.s1.channel=ch1版权所有版权所有©2018华为技术有限公司页Flume操作示例1(6)l配置flumesinkathtmpflumeavronksshdfsfilePrefixdfsinUseSuffixtmpsinksshdfsrollIntervalrollSizeersinksshdfsrollCountbatchSizeTypeDataStreammaxOpenFileseFormatWritablescallTimeoutersinksshdfsthreadsPoolSizeersinksshdfsfailcountloseByEndEventtrueh版权所有版权所有©2018华为技术有限公司页Flume操作示例1(7)l将flumeagent的配置文件命名为perties。l上传该配置文件版权所有版权所有©2018华为技术有限公司页Flume操作示例1(8)l向监控目录/tmp/log_test生产数据：mmv/log/log/tmp/log_testl查看数据是否sink到HDFS:hdfshdfsdfs–ls/tmp/flume_avro采集成功。版权所有版权所有©2018华为技术有限公司页ll数据准备p在集群某一个节点上创建日志目录/tmp/log_click。kafkatopicFlume操作示例2(1)l说明ka处理。版权所有版权所有©2018华为技术有限公司页Flume操作示例2(2)l配置flumesource：ssconfigurationofaoldirlDirtmplogclickffixCOMPLETEDolicyneverrDirflumespoolersourcesaignorePatternchSizeserver.sources.a1.inputCharset=UTF-8ortypereplicatingenameHeaderKeybasenameserver.sources.a1.deserializer.maxBatchLine=1serializermaxLineLengthlsch版权所有版权所有©2018华为技术有限公司页Flume操作示例2(3)l配置flumechannel：ationofchemorycapacityransactionCapacityrchannelschchannlefullcountserverchannelsch.keep-alive=3nnelschbyteCapacityBufferPercentage版权所有版权所有©2018华为技术有限公司页Flume操作示例2(4)l配置flumesink：##thesinkconfigurationofs1server.sinks.s1.type=org.apache.flume.sink.kafka.KafkaSinkserver.sinks.s1.kafka.topic=topic_1028server.sinks.s1.flumeBatchSize=1000nksskafkaproducertypesyncserver.sinks.s1.kafka.bootstrap.servers=5:21007tocol=SASL_PLAINTEXTserver.sinks.s1.requiredAcks=0server.sinks.s1.channel=ch1版权所有版权所有©2018华为技术有限公司页Flume操作示例2(5)l上传配置文件到flume。l使用kafka命令查看采集到kafkatopic_1028的