java分布式之流处理介绍

1、第22讲Stream Processing流处理 莫伟伟Stream Processing1、为什么要进行流处理2、StormStream Processing challenge1、大量数据 需要实时数据观（real-time views ）2、对大量高流通，以及包含潜在因素的数据处理mapreduce1、成批处理 需要等待全部数据计算结束2、mapreduce的处理不能长时间运行Storm components Tuples （元组） Streams (被处理的数据) Spouts (数据源) Bolts (处理数据者) Topologies （计算拓扑）Tuples 有序元素的排列Spo

2、uts Spouts 是Storm 集群中一个计算任务（Topology）中消息流的生产者，Spouts一般是从别的数据源（例如，数据库或者文件系统）加载数据，然后向Topology中发射消息。Bolts 所有消息处理的逻辑都在Bolt 中完成，在Bolt 中可以完成如过滤、分类、聚集、计算、查询数据库等操作。Topologies 在 Storm 中，一个实时计算应用程序的逻辑被封装在一个称为Topology 的对象中，也称为计算拓扑Stream Groupings 定义一个 Topology 的其中一步是定义每个Bolt 接收什么样的流作为输入。Stream Grouping 就是用来定义一

3、个Stream 应该如何分配给Bolts 上面的多个TasksStorm 里面有6 种类型的Stream Grouping： Shuffle Grouping：随机分组，随机派发Stream 里面的tuple Fields Grouping：按字段分组 All Grouping：广播发送，对于每一个tuple，所有的Bolts 都会收到 Global Grouping: 全局分组，这个tuple 被分配到Storm 中一个Bolt 的其中一个Task Non Grouping：不分组，这个分组的意思是Stream 不关心到底谁会收到它的tuple Direct Grouping：直接分组Sto

4、rm cluster Master node(控制节点) 控制节点上面运行一个后台进程Nimbus Worker node（工作节点）每一个工作节点上面运行一个叫作Supervisor 的守护进程。Supervisor 会监听分配给自己所在机器的工作，根据需要启动/关闭工作进程 Zookeeper：Storm 集群使用 Zookeeper集群来作为自己的协调系统Fault-tolerance1、工作进程worker 失效：如果一个节点的工作进程worker“死掉”，supervisor 进程会尝试重启该worker。如果连续重启worker 失败Nimbus 会分配该任务到集群其他的节点上执行2、集群节点失效：如果集群中某个节点失效，分配给该节点的所有任务会因超时而失败，Nimbus 会将分配给该节点的所有任务重新分配给集群中的其他节点3、supervisor 守护进程失败：被设计成快速失败（遇到未知错误时迅速自我失败）和无状态的，一旦supervisor 失败，可以立刻重启它们，整个集群就好像什么事情也没发生Summary：Stream Processing Processing data in real-time a big requirement today Storm And other sister syst