Hadoop集群监控与Hive高可用-向磊_第1页
Hadoop集群监控与Hive高可用-向磊_第2页
Hadoop集群监控与Hive高可用-向磊_第3页
Hadoop集群监控与Hive高可用-向磊_第4页
Hadoop集群监控与Hive高可用-向磊_第5页
已阅读5页，还剩26页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

LOGOLOGOHadoop集群监控与Hive高可用--向磊LOGOLOGOHadoop集群监控Cacti默认Cacti模板太少增加模板我们的模板磁盘IO单个内核使用CPU总和及IOWaitJMX支持监控HadoopLOGOLOGOHadoop集群监控Cacti优点监控每台服务器的详细数据SNMP采集数据可以自己定义相比zabbix：无需客户端安装配置简单spine采集速度快缺点SNMPD为UDP协议，不够稳定无法获知集群整体运行状况LOGOLOGOHadoop集群汇总监控GangliaLOGOLOGOHadoop集群汇总监控Ganglia优点集群总体状况和负载汇总采用多播地址降低带宽占用hadoop原生支持ganglia数据采集缺点配置稍复杂，需安装客户端单台数据不如cacti详细LOGOLOGOHive高可用集群Hive存在的问题单一节点HiveThriftServer故障导致任务失败高可用方案多个HiveThriftServer节点HAProxy+HiveHAProxy在实际应用中出现过的问题和优化Hive日志问题轮询方式优化仍存在不稳定因素，其他方式解决LOGOHAProxyHiveHiveHiveHadoopHiveLOGOHAProxyHiveHiveHiveHadoopHiveHAProxy+Hive网络拓扑QQueriesHAProxyLOGOLOGOHAProxy+Hive高可用集群HAProxy是什么及优势OSI4-7层代理转发单点故障自动摘除LOGOLOGOHAProxy+Hive高可用集群LOGOLOGOHAProxy问题解决及优化TCPSession超时问题：查询时间长导致TCPSession进入CLOSE_WAIT解决：HAProxy中增大几种TCP连接模式的timeout时间Hive日志问题问题：健康检查创造出太多Hive日志解决：增大健康检查时间轮询优化常用几种轮询算法leastconn，round-robin，static-rr，source推荐使用leastconn和static-rr仍然存在的不稳定因素Job提交给Hadoop后Hive宕机，Hive代理层无解。调度系统解决LOGOLOGOphpHiveAdmin测试版0.06beta4MoltenCore改变了一些CSS和页面色彩功能增加了一点Partition功能，表操作的各种增强，配置文件更加简单查询增强了一点复杂查询直接可实时监控map/reduce的全过程，记录操作日志LOGOLOGOphpHiveAdmin工作流程图LOGOLOGO新的phpHiveAdmin测试版表操作创建表LOGOLOGO新的phpHiveAdmin测试版Map/Reduce实时监控LOGOLOGO新的phpHiveAdmin测试版界面清晰，安装简单，运行方便节省Hive操作时间，提高工作效率改变公司内部工作流程新增功能历史记录查询Meta数据查看LOGOLOGO近期开发计划MVC框架化Ind

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论