项目三-工业软件系统数据采集-1

项目三

工业软件系统数据采集工业大数据采集技术主讲：罗金凯工业软件系统数据采集概述

Flume概述

Flume架构Flume部署分布式采集原理与实现

采购系统操作日志采集案例CONTENTS工业软件系统数据采集概述01工业软件数据采集概述

工业软件数据采集定义

使用信息化手段采集工业软件系统运行过程过程的各类数据，常见的有软件运行数据、日志数据等。Flume概述02Flume简介flume是由cloudera软件公司产出的可分布式日志收集系统

2009年被捐赠了apache软件基金会，为hadoop相关组件之一。Flume目前存在两个版本：FlumeOG（Originalgeneration）和FlumeNG(Next/Newgeneration)，其中FlumeOG对应的是ApacheFlume0.9.x之前的版本，2011年10月重构后的版本统称为FlumeNGFlume官方网站：/Flume基本思想Flume采用了插拔式软件架构，所有组件均是可插拔的，用户可以根据自己的需求定制每个组件。Flume特点良好的扩展性；Flume的架构是完全分布式的，没有任何中心化组件，使得其非常容易扩展高度定制化；采用插拔式架构，各组件插拔式配置，用户可以很容易的根据需求自由定义良好的可靠性；Flume内置了事务支持，能保证发送的每条数据能够被下一跳收到而不丢失可恢复性；依赖于其核心组件channel,选择缓存类型为FileChannel，事件可持久化到本地文件系统中Flume的核心概念Client：Client生产数据，运行在一个独立的线程。Event：一个数据单元，消息头和消息体组成。（Events可以是日志记录、avro对象等。）

FlumeNG组件FlumeAgent主要由三个组件构成，分别是Source、channel、Sink。FlumeNG组件FlumeAgent主要由三个组件构成，分别是Source、channel、Sink。FlumeNG组件Source：采集外围数据，通常从Client程序或上一个Agent接受数据并写入一个或多个Channel。(1)与系统集成的Source:Syslog,Netcat(2)自动生成事件的Source:Exec(3)监听文件夹下文件变化：SpoolingDirectorySource,TaildirSource(4)用于Agent和Agent之间通信的IPCSource:Avro、ThriftFlumeNG组件ChannelChannel是一个缓存区，是连接Source和Sink的组件，它缓存Source写入的Event，直到被Sink发送出去。FlumeNG组件Channel目前Flume主要提供了以下几种Channel：MemoryChannel:使用内存缓存EventJDBCChannel：使用Derby嵌入式数据库文件缓存EventKafkaChannel：使用Kafka缓存EventFileChannel：使用本地文件系统缓存EventFlumeNG组件SinkSink负责从Channel读取数据，并发送给下一个Agent的Source或者文件存储系统。FlumeNG组件

Sink目前Flume主要提供了以下几种Sink：AvroSink：使用AVRO协议将数据写出给Avro服务器。ThriftSink：使用Thrift协议将数据写出给Thrift服务器。HDFSSink: