版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
1、术语解释Worker NodeExecutorCacheTaskTaskDrivrogramSparkContextCluster ManagerWorker NodeExecutorCacheTaskTaskRDD graphClustermanagerTask ThreadsSchedulerval sc = new SparkContextval data = sc.textFile(“”) data.filter().countTask ThreadsBlock trackerShuffle trackerHDFS,HBase,partitiontaskHadoopRDDpath=hd
2、fs:/FilteredRDDfunc=_.contains() rdd.cacheHDFS!LRUHDFS分区 protected def getPartitions: ArrayPartition依赖 protected def getDependencies: SeqDependency_ = deps函数 def compute(split: Partition, context: TaskContext): IteratorT最佳位置(可选) protected def getPreferredLocations(split: Partition): SeqString = Nil分
3、区策略(可选) transient val partitioner: OptionPartitioner = NoneRDDDAG SchedulerTaskf1!f2!f3shuffleRegisterApplicationRegisteredWorkerRegisterWorkerFailedRegisteredApplicationLaunchExecutorApplicationRemovedKillExecutorWorkerMastercntExecutorAddedRegisterWorkerHeartbeatExecutorUpdatedExecutorSeChanged累加器 AccumulatorsSpark0.9100Kcoalescerepartitionmap,mapPartitionpartitionHadoop M
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- HO-PEG3-CH2-6-Cl-生命科学试剂-MCE-6427
- CP-LC-0743-生命科学试剂-MCE-6886
- 5-Hydroxy-9-S-hexahydrocannabinol-生命科学试剂-MCE-2639
- 二零二五年度互联网医疗企业股权并购协议
- 二零二五年度白酒新品全国市场推广与销售代理协议
- 2025年度二零二五年度终止股权转让终止协议
- 二零二五年度终止体育赛事组织劳务终止合同
- 二零二五年度蔬菜大棚租赁与农业循环经济合作协议
- 施工现场施工防生物战争威胁制度
- 施工围蔽项目特征描述
- 医保按病种分值付费(DIP)院内培训
- 近五年重庆中考物理试题及答案2023
- 2023年新高考物理广东卷试题真题及答案详解（精校版）
- 全科医医师的临床诊疗思维
- 第二章直线和圆的方程（单元测试卷）（原卷版）
- GB/T 16818-2008中、短程光电测距规范
- (七圣)七圣娘娘签诗
- 内镜下粘膜剥离术(ESD)护理要点及健康教育
- 新媒体文案创作与传播精品课件(完整版)
- 2022年全省百万城乡建设职工职业技能竞赛暨“华衍杯”江苏省第三届供水安全知识竞赛题库
- 广西北海LNG储罐保冷施工方案
评论
0/150
提交评论