版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Hadoop大数据技术——Flume日志采集系统Flume概述
Flume是Cloudera开发的一个分布式的、可靠的、高可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化的数据存储系统中。随着互联网的发展,特别是移动互联网的兴起,产生了海量的用户日志信息,为了实时分析和挖掘用户需求,需要使用Flume高效快速采集用户日志,同时对日志进行聚合避免小文件的产生,然后将聚合后的数据通过管道移动到存储系统进行后续的数据分析和挖掘。湖南软件职业技术大学Flume架构设计湖南软件职业技术大学
Flume之所以比较强大,是源于自身的一个设计-Agent。Agent本身是一个Java进程,它运行在日志收集节点之上。Agent里面包含3个核心组件:source、Channel和Sink。Flume构架如图所示。Flume架构设计湖南软件职业技术大学
客户端操作消费数据的来源,可以将数据发送给FlumeAgent。Flume支持多种数据源,如Avro、Log4j、Syslog和Http。Flume自带很多Source组件支持采集各种数据源,常见的类型见表。Flume架构设计湖南软件职业技术大学Channel是中转Event(数据的表现形式)的一个临时存储就,保存用Source组件传递过来的Event,目前比较常用的Channel有MemoryChannel和FileChannel。FlumeChannel支持的常用类型见表Flume架构设计湖南软件职业技术大学
Sink在设置存储数据时,可以向文件系统、数据库、hadoop中存储
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024至2030年互联网+水泥市场前景研究报告
- 2024至2030年中国热灌装饮料瓶聚酯瓶片市场调查与行业前景预测专题研究报告
- 2024至2030年中国人脸识别产业发展趋势分析及投资风险预测报告
- 滚丝机产品市场环境与对策分析
- 水质分析仪产品营销计划书
- 卫星数字电视综合接收解码器产品营销计划书
- 2025年上海市浦东新区浦东下学期初三年级3月第五次调研考试语文试题含解析
- 2025年上海市交大嘉定高三第一次联考(一模)物理试题含解析
- 氮氧化铝晶体ALON市场发展预测和趋势分析
- 接近传感器市场发展预测和趋势分析
- 监理安全生产教育培训记录
- 农村乡贤事迹范文
- 英语26个字母规范书写四线三格
- 胃食管反流病(最新)课件
- 中小学高级职称英语全英答辩题
- 船舶设计合同
- 新版教科版科学五年级上册全册课件
- 2022年新部编人教版小学五年级语文上册教学计划及活动安排
- 《比较思想政治教育研究》课程教学大纲
- 汽车辆租赁项目服务方案技术服务方案
- 主诊医师负责制的实施与管理
评论
0/150
提交评论