2023学年完整公开课版RDD简单实例

RDD简单实例目录CONTENTS2RDD使用例子1RDD简介RDD简介PART0101RDD简介是Spark中最重要的核心概念，是Spark应用中存储数据的数据结构。RDD，弹性分布式数据集（ResilienntDistributedDatasets）RDD其实就是分布式的只读元素集合。一个Spark应用，本质上就是对RDD进行转化（Transformation）和行动（Action）操作，Spark会自动将RDD中的数据分发到集群上，并将操作并行化执行，计算得到最终的结果。RDD简介RDD理解的知识点框架图：RDD使用例子PART0202RDD使用例子

本节介绍一个RDD使用例子，将数据文件读入为RDD，并作相应的转化、行动操作，在过程中展示RDD的知识点。##input.txt##INFOThisisamessagewithcontentINFOThisissomeothercontent(空行)INFOHerearemoremessagesWARNThisisawarning(空行)ERRORSomethingbadhappenedWARNMoredetailsonthebadthingINFObacktonormalmessages1、创建数据文件，如下：RDD使用例子//读取输入文件scala>valinput=sc.textFile("input.txt")//切分为单词并且删掉空行scala>valtokenized=input.map(line=>line.split("")).filter(words=>words.size>0)//提取出每行的第一个单词(日志等级)并进行计数scala>valcounts=tokenized.map(words=>(words(0),1)).reduceByKey{(a,b)=>a+b}2、在spark-shell中编写代码如下，得到counts，表示每种提示类型的出现次数RDD使用例子如查看input的血缘关系，可以看到创建出了一个HadoopRDD

对象，然后对该RDD执行映射操作，最终得到了返回的RDD3、使用toDebugString获取RDD的血缘关系RDD使用例子可以看到血缘关系中记录了从input经过若干转化操作得到counts，其中reduceByKey需要进行数据混洗。4、同样的，我们可以查看counts的血缘关系如下RDD使用例子这里同一缩进等级的操作为一个Stage，同一个Stage里的操作可以流水线并行——前面的操作map、filter等不需要数据混洗，为窄依赖，划分为一个StagereduceByKey需要数据混洗，为宽依赖，划分为一个Stage5、在上图中我们还可以看到，血缘关系中具有不同的缩进等级RDD使用例子6、在监控界面上查看任务的划分与执行情况，默认地址为http://localhost:4040，打开如下，可以看到尽管我们做了数据的读入、转化操作，但由于惰性求值的特性，还没有任务执行。RDD使用例子7、使用collect操作，获取counts的内容，由于该操作是行动操作，Spark会开始运行任务，在监控界面查看如下，一个Job，两个Stage，与上面的血缘关系一致。RDD使用例子8、点击该任务可以查看任务详情如下，可以看到具体的Stage划分可视化。RDD使用例子9、使用cache将counts缓存，重新调用collect函数，Spark会根据缓存自动截断血缘，加快计算，此时在监控界面再次查看任务如下，可以看到只剩下一个Stage，前面的Stage由于缓存跳过计算。//缓存RDD