_20200914_105905bookjstorm流式计算小谈_第1页
_20200914_105905bookjstorm流式计算小谈_第2页
_20200914_105905bookjstorm流式计算小谈_第3页
_20200914_105905bookjstorm流式计算小谈_第4页
_20200914_105905bookjstorm流式计算小谈_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、CompanyLOGO流式计算小谈纪君祥（封仲淹）大纲alipay概念问题与症结趋势封仲淹（Longda Feng）流式计算定义alipayv 基于下图的分布式流水线的计算方式，类似随着对计算能力不断追求，程序从过去的单机流水线转向分布式流水线封仲淹（Longda Feng）VS hadoop mapredalipayv 区别： 7 X 24 小时 流计算计算单元之间数据是小的，而mapreduce 单元之间数据是大的数据块未来流计算编程模型与hadoop的mapred肯定都会相互渗透，相互融合。因为计算方式未来的趋势都是分布式流水线封仲淹（Longda Feng）VS 实时计算alipayv

2、 流式计算 是一种编程模型v 实时计算 是一种对数据时效的要求两者是在不同的维度，但流式计算常用于实时计算封仲淹（Longda Feng）VS Alipay sofaalipayv Sofa 其实不适合做架非常重复杂计算，因为框v Storm 计算单元非常轻量， 内核实际上就3 个线程，一个发送，一个接受，一个执行。v 通讯协议：sofa 走rpc，storm走zeromq。一台物理机可以运行20个甚至30个storm slot，但无法运行20个sofa程序封仲淹（Longda Feng）问题与症结alipayv 需求与开发资源完全不对称，期待一种快速解决需求的平台或工具v 流计算（比如sto

3、rm）只不过是一个计算引擎，还是很单薄，需要一个完整的平台。封仲淹（Longda Feng）需求的分类alipayv 无状态数据 直接对本数据流计算即可得到结果，不需要依赖外部数据流或外部大数据。v 有状态数据 依赖外部数据流或外部大数据不同的数据类型，带来计算复杂性的质变封仲淹（Longda Feng）无状态计算趋势alipayv 固定的计算因子，count/sum/filter/replace/serialize/deserialize/group by/。用户通过一个工具或者网页，对数据流配置输入、输出、计算因子， 最终结果就输向指定的地方（如数据库或hadoop）封仲淹（Longda Feng）有状态计算alipayv 类似于hive，以一种类似SQL的方式来解决需求v 依附于海量存储，或海量数据库。v 包容有状态计算CDO 的galaxy正在朝这个方向封仲淹（Longda Feng）未来可能alipay自编程Command/web UI流式计算平台Meta/ttDB/ HB

人人文库> 全部分类> 应用文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论