2、hive优化策略大探底及架构案例一_第1页
2、hive优化策略大探底及架构案例一_第2页
免费预览已结束，剩余1页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

深入浅出Hive企业级优化讲师：Cloudy（北风网 )2、Hive优化策略大探底及架构优化案例一Hive优化策略架构层面（高效，全局或局部） 分表 合理利用中间结果集，重视查过就丢的资源浪费，Hadoop的IO负载瓶颈 常用复杂或低效统计统一给出，以避免上层作业过多计算 合理设计表分区，静态分区和动态分区HQL语法层面（中低效，Job内） 执行计划 Hive参数层面（全局） 太暴力，很少用，有时会起到好效果。分表日志表trackinfo 2亿数据量 有5千个作业按天访问邮件营销EDM、网盟Unoin 剥离之后，edm_unoin_track 只有5个作业按天访问Trackinfo 将至1.5亿 架构优化案例剖析：合理利用中间结果集一（单Job）Hadoop的负载主要是：CPU负载和I/O负载压缩技术降低IO负载，但是加重了CPU负载随着Job增多，IO资源通常是最大的瓶颈，文件读写方式造成固有最忌讳的代码：查了就丢90%是按天执行，每天执行一次5% 按小时执行，每小时执行一次Cloudera Hadoop系列课程.版本及以上对集群规模无上限现在，不再有50台上限欢迎访问我们的官方网站

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论