云计算及应用课件：Spark

SPARKHow?What?Why?ApacheSparkWhen?WhatWhat不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中。Spark是一个通用的并行计算框架，由加州大学伯克利分校的AMP实验室开发。Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点。WhatWhenWhenWhenWhenWhenWhenApacheSpark组件图Bagel(pregelonspark)：Bagel是基于Spark的轻量级的Pregel(Pregel是Google鼎鼎有名的图计算框架)的实现。HowShark(HiveonSpark)：Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口。可以理解为SharkOnSpark，就是HiveOnHadoop，两者地位是一样的。Streaming(Spark):SparkStreaming是构建在Spark上的处理实时数据的框架。其基本原理是将Stream数据分成小的时间片段（几秒），以类似batch批处理的方式来处理小部分数据。HowRDD(ResilientDistributedDataset)RDDsaremotivatedbytwotypesofapplicationsthatcurrentcomputingframeworkshandleinefficiently:iterativealgorithmsandinteractivedataminingtools.Althoughcurrentframeworksprovidenumerousabstractionsforaccessingacluster’scomputationalresources,theylackabstractionsforleveragingdistributedmemory.HowRDD(ResilientDistributedDataset)RDD是Spark的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示已被分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。RDD必须是可序列化的。RDD可以cache到内存中，每次对RDD数据集的操作之后的结果，都可以存放到内存中，下一个操作可以直接从内存中输入，省去了MapReduce大量的磁盘IO操作。这对于迭代运算比较常见的机器学习算法,交互式数据挖掘来说，效率提升比较大。HowRDD(ResilientDistributedDataset)-DefineRDD 1.read-only,partitioned

2.canonlycreatedthoughdeterministicoperationson ①datainstablestorage ②otherRDDs

3.RDDhasenoughinformationabouthowitwasderivedfromotherdatasets.(lineage血统)

4.userscancontroltwootheraspectsofRDDs: ①persistence ②partitioning

HowRDD(ResilientDistributedDataset)-ProgramminginterfaceinSpark SparkexposeRDDthroughalanguage-integratedAPI eachdatasetisrepresentedasanobject.举个例子WhySpark与Hadoop的对比-Spark的中间数据放到内存中，对于迭代运算效率更高。Spark更适合于迭代运算比较多的机器学习(MachineLearning)和数据挖掘(DataMining)运算。因为在Spark里面，有RDD的抽象概念。-Spark比Hadoop更通用。Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count,collect,reduce,lookup,save等多种actions操作。Spark通过提供丰富的Scala,Java，PythonAPI及交互式Shell来提高可用性。WhySpark立足于内存计算，从而不再需要频繁的读写HDFS，这使得Spark能更好的适用于：(1)迭代算法，包括大部分机器学习算法MachineLearning和比如PageRank的图形算法。(2)交互式数据挖掘，用户大部分情况都会大量重复的使用导入RAM的数据（R、Excel、python）(3)需要持续长时间维护状态聚合的流式计算。Spark的适用场景：HowRDD(ResilientDistributedDataset)RDDswouldbelesssuitableforapplicationsthatma