版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
SparkRDD2知识目标RDD产生过程RDD的作用RDD的操作01能力目标了解RDD的产生过程了解什么是RDD掌握RDD的操作02学习目标3目录01RDD是什么02RDD产生的原因03RDD的作用04RDD操作RDD是什么4RDD：Spark的核心概念是RDD(resilientdistributeddataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。RDD产生的原因5
(1)传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法
(2)RDD的具体描述RDD(弹性数据集)是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编程操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能有已存在的RDD变换而来的共享内存，然后将所有数据都加载到内存中，方便进行多次重用。RDD产生的原因6(3)RDD的容错机制实现分布式数据集容错方法有两种：数据检查点和记录更新RDD采用记录更新的方式：记录所有更新点的成本很高。所以，RDD只支持粗颗粒变换，即只记录单个块上执行的单个操作，然后创建某个RDD的变换序列(血统)存储下来;变换序列指，每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统”容错。RDD操作7（1)如何获取RDDa.从共享的文件系统获取，(如：HDFS)b.通过已存在的RDD转换c.将已存在scala集合(只要是Seq对象)并行化，通过调用SparkContext的parallelize方法实现d.改变现有RDD的之久性;RDD是懒散，短暂的。(RDD的固化：cache缓存至内错;save保存到分布式文件系统)(2)操作RDD的两个动作a.Actions：对数据集计算后返回一个数值value给驱动程序;例如：Reduce将数据集的所有元素用某个函数聚合后，将最终结果返回给程序。b.Transformation：根据数据集创建一个新的数据集，计算后返
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 大竹县竹中中考数学试卷
- 营养型输液项目风险识别与评估综合报告
- 自筹经费措施方案
- 喀什非开挖顶管施工方案
- 智能制造与物联网（IoT）应用的策略及实施方案
- 新型城镇化中的农村振兴与现代农业发展的策略
- 能源结构优化与清洁能源转型的策略
- 降碳减污扩绿增长的经济学分析
- 文化交流与一带一路人文合作的推动路径
- 更大力度稳定和扩大就业的策略及实施路径
- 人工挖孔桩施工危险源辨识与评价及应对措施
- 品管圈成果汇报——提高导管固定正确率PPT课件
- 第2讲 麦克斯韦方程组
- 读懂教材、读懂学生、读懂课堂,构建和谐有效的课堂教学
- 装饰施工进度计划网络图及横道图
- 机械毕业实习报告
- 材料科学与工程专业 毕业论文
- 糖尿病视网膜病变PPT课件
- 古诗分类讲解五思乡怀人诗
- 多极磁燃气环保节能器-合力金科技
- 青少年心理学书籍：青少年心理学
评论
0/150
提交评论