2023学年完整公开课版flume的基本概念_第1页
2023学年完整公开课版flume的基本概念_第2页
2023学年完整公开课版flume的基本概念_第3页
2023学年完整公开课版flume的基本概念_第4页
2023学年完整公开课版flume的基本概念_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Flume的基本概念主要内容2Flume的基本概念Flume的特性3一、Flume的基本概念4Flume的概念Flume最早是Cludera提供的日志收集系统，后被纳入成为Apache中一个子项目，Flume支持在日志系统中指定各类数据发送方,用于收集数据Flume是一个高可用的、高可靠的、鲁棒性、分布式的海量日志采取、聚合和传输系统，它将各个服务器的数据收集汇总并发送到指定的位置（如HDFS中）

5二、Flume的特性6Flume特性1.可靠性2.可恢复性3.可扩展性3.可管理性71.可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失，Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。）Storeonfailure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送）Besteffort（数据发送到接收方后，不会进行确认）82.可恢复性Sink通道可以用内存或文件的方式实现：内存：速度快但不可恢复文件：速度略慢但具有可恢复性93.可扩展性Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题104.可管理性所有agent和colletor由master统一管理，这使得系统便于维护多master情况，Flume利用Zookeeper和gossip，保证动态配置数据的一致性用户可以在master上查看各个数据源或者数据流执行情况，且可以对各个数据源配置和动态加载Flume提供了

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论