大规模流式增量计算及应用

1、大规模流式增量计算及应用技术创新，变革未来数据流真实世界中，大部分数据都是连续产生的数据流如在线搜索、用户点击、社交网络分享、即时通信和监控视频实时采集与数据分析预警监控基于流计算的“规则引擎”提供了传统的安全监控系统 无法提供的海量数据处理能力。利用大规模分布式集 群实时计算和分析监控数据，避免人肉数据检查的低 效，有效扩大监控范围，提升监控时效。协鑫光伏流计算为现代制造提供了实时智能引擎，通过分析传感 器采集的各类数据指标，监控和预测设备良品率，有效 避免了由于环境和人为操作失误导致次品情况。城市大脑杭州城市大脑使用流计算实时监控交通状况， 通过智能调度道路红绿灯、实时更新导航系统， 优化

2、城市道路拥堵情况。流式数据处理传统的“先存后算”架构: 高时延(成本较低)存储批处理价值流式数据处理数据“流动”中的计算: 高时效性& 低时延价值随数据(流)的产生，实时计算系统架构数据采集数据总线数据触发流计算数据集成数据消费数据库数据展现消息队列消息处理离线存储离线计算低延时持久化切片/并发 保序低延迟展现/决策连接下游 计算/服务高吞吐流水处理性能延时和吞吐容错有状态计算数据一致性扩展性超大集群规模 线性扩展成本优化提高资源利用率易用性实时计算编程开发调试环境服务化多租户 资源隔离 高可用性计算挑战实时计算编程如何编写流式处理程序同时运行于成千上万的“核”价值?Apache Stormi

3、nterface IBolt void execute(Tuple input);输入流RRXXXM输出流管道计算节点事件WordCountvar result =input.SelectMany(r = Mapper(r).GroupBy(r = Key(r).Select(g = Reducer(g);MapReduce分布式排序var result =input.SelectMany(r = Mapper(r).OrderBy(r = Key(r);SQL语义与流水执行SELECT CustomerName, SUM(Price)FROM StreamWHERE Price 200.00

4、GROUP BY CustomerName困难: 什么时候聚合/输出?输入: 连续/无穷的数据流流式SQL长得像SQL, 但修改/引入一批新算子，如:JOIN 加入范围限定GROUP-BY 分流引入WINDOW, 等等练习题改写成流式SQL?老板的要求可能是这样的!让我时刻看到变化!递进式/增量计算流式增量计算采用(离线)SQL表达流式数据处理!递进式对每个已到达数据(子)集合求解SQL查询技术挑战: 尽可能避免冗余运算/自动实现增量计算SQL开发数据调试作业运维每一笔交易在3秒内被反映到大屏上，实时聚合的输入日志高达1亿事件/秒！展望未来：支持多样化的场景场景多样性数据/计算类型多样化实时语音、图像和视频监测 在线机器学习、智能分析物联网: 成千上万“小”流查询结束语大规模流式计算可能是大数据应用的一个突破点机会与挑战并存深入领域, 结合真实场景,