storm技术分享_第1页
storm技术分享_第2页
storm技术分享_第3页
storm技术分享_第4页
storm技术分享_第5页
已阅读5页，还剩9页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、 大数据 巨量资料，指所涉及资料量规模巨大 （Volume、Variety）无法透过目前主流 软件工具合理时间(Velocity)内达撷取、 管理、处理、并整理成帮助企业经营决策 （Variety）更积极目的的资讯 大数据与云计算 分布式实时流式处理系统 流式处理系统（规范且稳定的结构）： http:/ 1213608837.html 分布式系统（网格，云计算，快速的部署能 力和容灾性，方便的扩展） 实时系统（快速的处理能力） 典型的场景 日志统计系统： 传统的解决方案： queue+worker实时系统实时系统：云统计云统计 问题：问题： 1、部署维护消息队列 2、自动容错机制，进程、机器挂

2、掉自动处 理 3、功能扩展性 Storm是什么 分布式实时流式处理系统 流式流式：提供了一个简单的计算模型和API （类似MapReduce），可以方便的处理不 断产生的数据 实时实时：系统本身的效率很高，处理延迟在毫 秒级 水平扩展水平扩展：通过简单加机器、提高并发数就 可以提高整体处理能力 自动容错自动容错：自动处理进程、机器挂掉的异常 Storm的位置 几个重要几个重要概念概念：数据输入：数据输入 Tuple：被处理的数据 Stream:一群消息的集合 Spout：产生数据源的组件 几个重要概念几个重要概念：数据数据处理处理 Bolt:接受数据后处理数据的组件 Worker：运行处理组件

3、逻辑的进程 Task：Work中每一个spout/bolt的线程 bolt的角色是处理数据，输入是上游 （spout或bolt）的tuple，输出是发往下游 （bolt）的tuple；bolt可以有多级，一般最 后一级bolt会定期把结果写到外部存储 几个重要概念几个重要概念：组合组合 Topology：对一个应用的spout、bolt类 型、输入输出tuple/stream、关联关系的 描述 几个重要概念：集群控制 Nimbus：主控节点。负责分配资源，任 务调度，监控集群等 Supervisor：接收任务，启动进程 Zookeeper：协调Nimbus和Supervisor之 间的工作，存放公共数据 几个重要概念：集群控制 Storm处理

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论