免费预览已结束,剩余1页可下载查看
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
深入浅出Hive企业级优化讲师:Cloudy(北风网 )2、Hive优化策略大探底及架构优化案例一Hive优化策略架构层面(高效,全局或局部) 分表 合理利用中间结果集,重视查过就丢的资源浪费,Hadoop的IO负载瓶颈 常用复杂或低效统计统一给出,以避免上层作业过多计算 合理设计表分区,静态分区和动态分区HQL语法层面(中低效,Job内) 执行计划 Hive参数层面(全局) 太暴力,很少用,有时会起到好效果。分表日志表trackinfo 2亿数据量 有5千个作业按天访问邮件营销EDM、网盟Unoin 剥离之后,edm_unoin_track 只有5个作业按天访问Trackinfo 将至1.5亿 架构优化案例剖析:合理利用中间结果集一(单Job)Hadoop的负载主要是:CPU负载和I/O负载压缩技术降低IO负载,但是加重了CPU负载随着Job增多,IO资源通常是最大的瓶颈,文件读写方式造成固有最忌讳的代码:查了就丢90%是按天执行,每天执行一次5% 按小时执行,每小时执行一次Cloudera Hadoop系列课程.版本及以上对集群规模无上限现在,不再有50台上限欢迎访问我们的官方网站
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 通信光纤课件教学课件
- 黄山学院《创作训练》2021-2022学年第一学期期末试卷
- 淮阴师范学院《专业知识与教学能力选讲》2022-2023学年第一学期期末试卷
- 淮阴师范学院《小学语文课程标准解读与教材分析》2021-2022学年第一学期期末试卷
- 淮阴师范学院《管理学原理》2023-2024学年第一学期期末试卷
- 淮阴师范学院《基本体操(3)》2022-2023学年第一学期期末试卷
- DB6111∕T+215-2024+设施火龙果产期调控技术规程
- DB4110T74-2024农田氮磷面源污染源头减控技术规程
- 农药制造中的纳米技术应用考核试卷
- 海水淡化处理中的膜技术应用考核试卷
- 《钢结构的检测》课件
- 《膝盖积水症状》课件
- 专题2.2 绝对值的综合(压轴题专项讲练)(北师大版)(原卷版)
- 河南省青桐鸣大联考2023-2024学年高一上学期12月月考试题化学
- 第20课珍爱国宝──古代陶瓷艺术
- 城市道路机动车安全驾驶指南
- 我有一盏小灯笼
- 湖南省建设工程质量检测收费项目和收费标准
- 职业倦怠量表MBIGS (MBIGeneral Survey)
- 9-1文化发展的必然选择 教学设计 高中政治统编版必修4(2023~2024学年)
- 预防一氧化碳中毒安全教育完整PPT
评论
0/150
提交评论