8、并发度详解案例开发高运用

1、Storm流计算从入门到精通技术篇讲师：Cloudy（北风网 )8、并发度详解、案例开发（高并发运用）并发度场景分析场景分析：单线程下：加减乘除，和任何处理类Operate，(全局)汇总多线程下：1、局部加减乘除2、做处理类Operate，如split3、持久化，如入DB以WordCountTopology.java 为例讲解思考题：如何计算：word总数和word个数 ？并且在高并发下完成前者是总行数，后者是去重word个数类似企业场景：计算网站PV和UV并发度一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一

2、个topology的子集, 并且worker只能对应于一个topology一个worker可用包含一个或多个executor, 每个component (spout或bolt)至少对应于一个executor, 所以可以说executor执行一个compenent的子集, 同时一个executor只能对应于一个componentTask就是具体的处理逻辑对象, 一个executor线程可以执行一个或多个tasks但一般默认每个executor只执行一个task, 所以我们往往认为task就是执行线程, 其实不是。task代表最大并发度, 一个component的task数是不会改变的, 但是一个

3、componet的executer数目是会发生变化的（storm rebalance命令），task数=executor数, executor数代表实际并发数 并发度例子Config conf = new Config();conf.setNumWorkers(2); topologyBuilder.setSpout(blue-spout, new BlueSpout(), 2); topologyBuilder.setBolt(green-bolt, new GreenBolt(), 2) .setNumTasks(4) .shuffleGrouping(blue-spout);topolo

4、gyBuilder.setBolt(yellow-bolt, new YellowBolt(), 6) .shuffleGrouping(green-bolt);StormSubmitter.submitTopology( mytopology, conf, topologyBuilder.createTopology() );并发度例子通过setBolt和setSpout一共定义2+2+6=10个executor threads 并且同setNumWorkers设置2个workers, 所以storm会平均在每个worker上run 5个executors 而对于green-bolt, 定义

5、了4个tasks, 所以每个executor中有2个tasks动态设置并发度Storm支持在不restart topology的情况下, 动态的改变(增减)worker processes的数目和executors的数目, 称为rebalancing. 通过Storm web UI, 或者通过storm rebalance命令# Reconfigure the topology mytopology to use 5 worker processes, # the spout blue-spout to use 3 executors and # the bolt yellow-bolt to use 10 executors. storm rebalance mytopology -n 5 -e blue-spout=