实例讲解grouping策略及并发度_第1页
实例讲解grouping策略及并发度_第2页
实例讲解grouping策略及并发度_第3页
实例讲解grouping策略及并发度_第4页
实例讲解grouping策略及并发度_第5页
已阅读5页，还剩1页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Storm流计算从入门到精通—技术篇讲师：Cloudy（北风网版权所有)7、实例讲解Grouping策略及并发度读文件案例的问题思考Spout数据源：Message

queueMQ、Db、文件直接流数据源：MQ从db只能读配置文件Log文件增量数据：1、读出内容写入MQ，2、Storm处理

Spout读文件：学习用，其他无用读文件：1、分布式应用无法读；2、spout开并发会重复读stream

grouping就是用来定义一个stream应该如果分配给Bolts上面的多个Executors(多线程，并发度)注：不是一个spout或bolt

emit到多个bolt（广播方式）。storm里面有6种类型的stream

grouping。单线程下均等同于All

GroupingShuffle

Grouping轮询，平均分配。随机派发stream里面的tuple，保证每个bolt接收到的tuple数目相同。Non

Grouping:无分组，这种分组和Shuffle

grouping是一样的效果，多线程下不平均分配。Fields

Grouping：按Field分组，比如按word来分组，具有同样word的tuple会被分到相同的Bolts，而不同的word则会被分配到不同的Bolts。作用：1、过滤，从源端（Spout或上一级Bolt）多输出Fields中选择某些Field2、相同的tuple会分发给同一个Executer或task处理典型场景：去重操作、JoinStream

grouping

策略All

Grouping：广播发送，对于每一个tuple，所有的Bolts都会收到。Global

Grouping:

全局分组，这个tuple被分配到storm中的一个bolt的其中一个task。再具体一点就是分配给id值最低的那个task。适合场景：想象不到。Direct

Grouping:

直接分组，这是一种比较特别的分组方法，用这种分组意味着消息的发送者决定由消息接收者的哪个task处理这个消息。只有被声明为DirectStream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来或者处理它的消息的taskid(OutputCollector.emit方法也会返回taskid)Stream

grouping

策略并发度场景分析：单线程下：加减乘除，和任何处理类Operate，汇总多线程下：1、局部加减乘除2、做处理类Operate，如split3、持久化，如入DB以WordCountTopology.java

为例讲解？并且在高并发下完成思考题：如何计算

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论