Spark的优势技术优势_第1页
Spark的优势技术优势_第2页
Spark的优势技术优势_第3页
Spark的优势技术优势_第4页
Spark的优势技术优势_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

大数据计算平台《大数据导论》课程IntroductiontobigdataSpark的优势技术优势011.每一个作业独立调度，可以把所有的作业做一个图进行调度，各个作业之间相互依赖，在调度过程中一起调度，速度快。2.所有过程都基于内存，所以通常也将Spark称作是基于内存的迭代式运算框架。3.spark提供了更丰富的算子，让操作更方便。4.更容易的API：支持Python，Scala和JavaSparkSpark的优势在Map结束后会将数据落地HDFS中(如图a、b、c、d标记)，Reduce端才从落地HDFS中拉取数据，中间经过复杂的shuffle阶段。因此，这样的计算框架每次shuffle阶段都会有落地到磁盘，也是影响效率的一方面。MapReduce的一次基本运行Map1Map2Reduce1b,dReduce2a,cabcdSpark计算是基于RDD的模型，对于简单的操作，比如map、reduce或是filter之类的操作，在数据量且内存空间允许下是可以直接基于内存进行计算的，这样也就是说有些情况也会落到磁盘，所以Spark的计算速度可以比MapReduce、Hive计算速度快几倍，甚至几十倍。Spark的一次基本运行RDD1RDD2RDD3Spark基于内存依次计算转换转换Spark

SQLHiveSparkSQL并不是直接全部替换Hive，而只是替换了Hive的查询引擎部分，通过SparkSQL的查询引擎去操作表或是HDFS上的目录文件，从而提高了查询速度。又是Spark一站式生态圈的一员，这样更加优选Spark。...Hadoop的HDFS表分区目录文件基于Hive的数据仓库Spark查询引擎SQL语句查询Hive查询引擎基于HDFS的SQL文件查询基于表的SQL查询SparkStreaming与Storm比较比较内容SparkStreamingStorm实时性属于准实时，由于基于RDD计算，所以是对一个短时间内的数据集，作为一个RDD进行计算来处理属于纯实时，逐条处理计算延迟度亚秒级秒级吞吐量高低事务机制支持不太完善支持好动态调整并行度不支持支持Storm的简易框架Storm的计算模型是基于对每一条记录的流式实时计算框架，如上图所示，这可以算是一种非常纯的实时计算框架。也就是这种基于来一条数据就计算处理，这将会大大的占用资源，从而降低整体的吞吐量。数据1Storm流式计算框架数据2数据nSparkStreaming的简易框架如果设置时间间隔为1秒，也就是会把1秒里面过来的数据收集起来，然后一次性作为一个batch提交给SparkStreaming进行计算处理。这样基于batch的时间段收集数据，所以就不能是纯的实时计算框架了，只能算是一种准实时计算框架，尽管这批量处理对集群资源效率下降了，但是增加了自身的吞吐量。数据1Sp

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论