全文预览已结束
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
北风网项目实战培训Spark性能优化:提高并行度讲师:中华石杉Spark从入门到精通(案例实战、高级特性、内核源码、性能调优)实际上Spark集群的资源并不一定会被充分利用到,所以要尽量设置合理的并行度,来充分地利用集群的资源。才能充分提高Spark应用程序的性能。Spark会自动设置以文件作为输入源的RDD的并行度,依据其大小,比如HDFS,就会给每一个block创建一个partition,也依据这个设置并行度。对于reduceByKey等会发生shuffle的操作,就使用并行度最大的父RDD的并行度即可。可以手动使用textFile()、parallelize()等方法的第二个参数来设置并行度;也可以使用spark.default.parallelism参数,来设置统一的并行度。Spark官方的推荐是,给集群中的每个cpu core设置23个task。比如说,spark-submit设置了executor数量是10个,每个executor要求分配2个core,那么application总共会有20个core。此时可以设置new SparkConf().set(spark.default.parallelism, 60)来设置合理的并行度
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 一级建造师《水利水电工程管理与实务》测评卷
- 2022年四川省小学教师资格证《小学综合素质》科目真题冲刺卷
- 2021年广东省教师资格证《小学综合素质》科目真题冲刺卷
- 化工行业2024年投资策略分析报告:供需格局改善新技术驱动景气复苏
- 《2024年 不同滴灌量对青贮玉米光合特性及产量品质的影响研究》范文
- 《2024年 数学模型在生物序列结构比较中的研究及其应用》范文
- 超星尔雅学习通《形势与政策(2024春)》章节测试附答案(培优a卷)
- 《 基于事理学的家用多功能刷鞋机设计》范文
- 《 气液分离式原油含水率测量系统研究》范文
- 2023年机器人及具有独立功能专用机械项目需求分析报告
- 九年级数学下册第二十七章《相似》教材分析
- 商户绩效考核管理规定
- 各种常见岩石岩性描述
- (完整word版)综合工时及特殊工时申请会议纪要
- 射线检测布片张数计算表
- 《秘书实务》教学课件(全套)
- GB-28481-2012-塑料家具中有害物质限量
- SYNTEC M新代铣床程序说明书
- 变电站调试方案
- (完整版)呼吸科各种标准操作规程
- 新版人教版一年级上册语文教学进度表
评论
0/150
提交评论