已阅读5页，还剩2页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
RDD创建方式目录/Contents01通过读取文件生成RDD02通过并行化方式创建RDD通过读取文件生成RDD01通过读取文件生成RDDSpark是支持使用任何Hadoop支持的存储系统上的文件创建RDD的，比如说HDFS、Cassandra、HBase以及本地文件。通过调用SparkContext的textFile()方法，可以针对本地文件或HDFS文件创建RDD。1．通过加载本地文件数据创建RDD2．通过加载HDFS文件数据创建RDD通过并行化方式创建RDD02通过并行化方式创建RDD如果要通过并行化集合来创建RDD，需要针对程序中已经存在的集合、数组，调用SparkContext中的parallelize()方法。Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。即：集合中的部分数据会到一个节点上，而另一部分数据会到其它节点上。然后就可以采用并行的方式来操作这个分布式数据集合。感谢大家的聆听
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年度新能源车辆技术研发与制造合同3篇
- 2024幼儿园教职工聘任与管理综合服务合同范本3篇
- 2024年简易钢材配送合同
- 会计法规培训模板
- 双十一营销策略分析模板
- 餐具厨具销售员工作总结
- 航空航天会计工作总结
- 金融行业分析师培训总结
- 湘中幼儿师范高等专科学校《教育经典名著选读》2023-2024学年第一学期期末试卷
- 财务工作年终绩效总结
- DLT 261《火力发电厂热工自动化系统可靠性评估技术导则》题库
- 自动化立体库货架验收报告
- 消防系统工程质量控制资料检查记录
- 中药封包疗法操作规范
- 浙江产业带分布情况
- 道岔主要几何尺寸表
- 柳宗元毛笔楷书字帖
- 纤力玻璃钢管道厚度,重量一览表
- 新浪网删贴申请文档 (个人)
- 低温乙烯罐内罐预冷过程温度急降原因探讨
- 世界各国电压频率一览表（精编版）
评论
0/150
提交评论