版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
主讲：张义目录0102如何使用压缩设置Spark的本地目录如何使用压缩1如何使用压缩可以使用压缩的方式来减少内存需求。压缩编解码器对于数据处理的效率有着巨大的影响。假设文件大小为10GB,HDFS数据块大小为256MB。因此，需要40个块来存储数据，从而需要40个任务来处理该文件的数据。但是，如果这个文件是以gzip格式存储的，那么Spark不能并行运行这40个任务来解压缩数据，因为gzip格式不允许各个块分别解压缩。最终使用一个任务来处理整个大文件，这当然是很慢的处理。如何使用压缩在前面的课程中讲过，处理压缩数据时，需要在压缩比和速度之间做出权衡。具体总结如下：gzip提供了很好的压缩比，但其不可拆分。bizp2提供比gzip更好的压缩比，并且是可拆分的。lzo和lz4没有提供很好的压缩比，但它们非常快。除非有索引，否则lzo不可拆分。Snappy非常快，是可拆分的。如何使用压缩这里特别讲一下Snappy压缩编解码器，因为它非常快速，而且可拆分。它提供了很好的解压速度。如果经常阅读相同的数据集，Snappy是一个很好的选择。必须谨慎评估文件的可分割性。还需要考虑文件格式。假设使用非可拆分压缩编解码器压缩文本格式的文件，当Spark压缩文件时，它将所有数据整合到单个块中，因而只需要1个任务即可处理。如何使用压缩但是，如果要使用诸如SequenceFiles或支持块结构的优化行列（ORC）文件格式，则Spark可以使用多个任务并行压缩文件，因为可以将压缩应用于每个块。不可拆分的文件应该足够小，以便单个Spark任务可以处理。设置Spark的本地目录2设置Spark的本地目录使用spark.local.dir属性可以设置Spark的本地目录，该目录用于存储Spark存储在磁盘上的map输出文件和RDD。由于我们讨论YARN上的Spark，因而在集群模式下，YARN的yarn.nodemanager.local-dirs参数（或LOCALDIRS环境变量）的值将覆盖spark.local.dir属性的值。也就是说，Spark执行器和Spark驱动程序都会使用利用yarn.nodemanager.local-dirs参数为YARN指定的本地目录。但是，在客户端模式下，Spark执行器使用由yarn.nodemanager.local-dirs参数指定的本地目录，但Spa
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年中国职业女装市场调查研究及行业投资潜力预测报告
- 2025年度建筑垃圾运输工程劳务合作合同规范
- 【可行性报告】2025年石灰石、石膏类项目可行性研究分析报告
- 2025年砂轮切割行业深度研究分析报告
- 强化消费品牌引领的背景与意义
- 2025年度农产品深加工贸易居间代理协议
- 可持续发展与循环经济在造纸行业的应用
- 2025年度房地产开发项目资金支付担保协议范本修订版
- 2025年春初中生物七年级下册苏教版教学课件 第3单元 第8章 第1节 生态系统的自我调节(二)
- 2025年度教育助学贷款合同范本分期还款流程范本
- GB/T 22133-2008流体流量测量流量计性能表述方法
- GB/T 19181-2018生咖啡分级方法导则
- GA/T 766-2020人精液PSA检测金标试剂条法
- 胃食管反流病优质课件
- 格力GMV多联机安装及维修手册
- 农产品质量安全控制课件
- 尿失禁健康讲座(SUI)
- lovo操作手册中文翻译版-professorgong
- 南网5S管理、四步法、八步骤
- 管道工程污水管网监理规划（共44）
- 危货运输车辆日常维护检查及记录表
评论
0/150
提交评论