版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
Flume介绍1.掌握Flume是什么
2.掌握Flume架构介绍1.
Flume是什么
2.
Flume架构介绍Flume是什么
Flume英文引水槽
apacheFlume是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。数据处理Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIXtail）、syslog（syslog日志系统），支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。Flume优势1.Flume可以将应用产生的数据存储到任何集中存储器中2.当收集数据的速度超过将写入数据的时候，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据.3.提供上下文路由特征4.Flume的管道是基于事务，保证了数据在传送和接收时的一致性.5.Flume是可靠的，容错性高的，可升级的，易管理的,并且可定制的。Flume特征1.Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中2.使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中3.除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据，比如facebook,twitter,电商网站如亚马逊，flipkart等4.支持各种接入资源数据的类型以及接出数据类型5.支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等6.可以被水平扩展source、channel、sink、agent、event、clientFlume架构介绍
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- LED显示屏采购投标方案（技术方案）
- 车库门链条开启系统市场深度分析与投资战略研究报告模板
- 北师大版五年级数学上册第五单元达标测试卷（共8套）
- 产品手绘与数字化表现 课程 一点透视
- 中国新一代信息技术产业发展现状及前景趋势分析报告2024-2030年
- 山东省宁津县大庄中学2024-2025学年上学期八年级英语收心检测试题（解析版）
- 2024-2025学年高一上学期12月学情反馈地理试题（原卷版）
- 第四单元测试卷-2024-2025学年统编版语文四年级上册
- 记账实操-蛋糕店账务处理分录
- 1.第一单元检测卷
- PCB-焊盘工艺设计规范
- 人民医院能源托管服务项目可研技术方案书
- SCI+论文写作及投稿指南课件
- 更换净化水设备的请示
- 焦炉炉顶灌浆施工方案
- 神经病学常见病详细目录
- 赤峰市国企招聘考试真题及答案
- 史密斯输液泵的使用方法
- 机械制图习题集（第7版）
- 农业推广的内容同课异构
- 2023年上海市英语高考一轮复习精讲精练专题23：句子翻译（下）含详解
评论
0/150
提交评论