spark 2 0高性能让作为编译器来运行_第1页
spark 2 0高性能让作为编译器来运行_第2页
spark 2 0高性能让作为编译器来运行_第3页
spark 2 0高性能让作为编译器来运行_第4页
spark 2 0高性能让作为编译器来运行_第5页
已阅读5页，还剩2页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

上海育创网络科技有限公司Spark从入门到精通Spark

2.0-高性能：让Spark作为编译器来运行讲师：中华石杉（北风网）让Spark作为编译器来运行在一个2015年的spark调查中显示，91%的spark用户是因为spark的高性能才选择使用它的。所以spark的性能优化也就是社区的一个重要的努力方向了。spark1.x相较于hadoopmapreduce来说，速度已经快了数倍了，但是spark

2.x中，还能不能相较于spark

1.x来说，速度再提升10倍呢？带着这个疑问，我们可以重新思考一下spark的物理执行机制。对于一个现代的大数据处理引擎来说，

CPU的大部分时间都浪费在了一些无用的工作上，比如说virtual

function

call，或者从CPU缓冲区中读写数据。现代的编译器为了减少cpu浪费在上述工作的时间，付出了大量的努力。让Spark作为编译器来运行Spark2.0的一个重大的特点就是搭载了最新的第二代tungsten引擎。第二代tungsten引擎吸取了现代编译器以及并行数据库的一些重要的思想，并且应用在了spark的运行机制中。其中一个核心的思想，就是在运行时动态地生成代码，在这些自动动态生成的代码中，可以将所有的操作都打包到一个函数中，这样就可以避免多次virtualfunction

call，而且还可以通过cpu

register来读写中间数据，而不是通过cpu

cache来读写数据。上述技术整体被称作“whole-stage

code

generation”，中文也可以叫“全流程代码生成”。让Spark作为编译器来运行之前有人做过测试，用单个cpu

core来处理一行数据，对比了spark

1.6和spark

2.0的性能。spark

2.0搭载的是whole-stage

code

generation技术，spark

1.6搭载的是第一代tungsten引擎的expression

code

generation技术。测试结果显示，spark

2.0的性能相较于spark

1.6得到了一个数量级的提升。让Spark作为编译器来运行除了刚才那个简单的测试以外，还有人使用完整的99个SQL基准测试来测试过spark

1.6和spark

2.0的性能。测试结果同样显示，spark

2.0的性能比spark

1.6来说，提升了一个数量级。让Spark作为编译器来运行spark

2.0中，除了whole-stage

code

generation技术以外，还使用了其他一些新技术来提升性能。比如说对

Spark

SQL的catalyst查询优化器做了一些性能优化，来提升对一些常见查询的优化效率，比如null值处理等。再比如说，通过

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论