版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、企业实时大数据系统介绍技术创新,变革未来目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控 - ELK数据总线 - Kafka数据实时分析 - Spark Streaming/Storm/Flink数据存储 - Elasticsearch as a ServiceOLAP/试验平台 - Zeppelin+Spark/FlinkPrism数据流图这里开始Dev成为问题定位的瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法
2、快速构建业务流无法快速增减容量怎么办?我们的方案解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Marathon和Spark的位置在Mesos上运行无状态服务宿主节点快照找到Kibana网络方案-net=hostCalicoCNI (Mesos version = 1.0)请求路由/服务发现(HTTP)多机房日志流汇聚日志平台接入Portal新需求新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求引入Spark on MesosSoftware on Mesos一个真实的业务场景规模实时日志分析:300模块,kafka
3、峰值带宽6GSpark Streaming任务:50个Storm集群:5个Flink集群:2个集群规划宗旨基础设施这一层技术收敛Fail Over多租户资源隔离QuotaBootstrap Version 3.0All in Docker监控监控数据处理模块拓扑监控业务统计监控队列堆积:Kafka Topic Lag流量:Search Count/Message Count错误:Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控Mesos资源统计广告 pyadvisor/QunarOPS/pyadvisor规模计算集群120+; 2600+ 容器ES中存储的日志160T,4万ShardsEsaas 50+;47 ES集群; 600+ 容器总结我们做的事儿实时数据治理解决数据软件的部署的门槛解决Mesos环境
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 特种设备安全第2次形考作业
- 外研版六上教学指南解析
- 做合格驾驶员拒绝酒驾
- 人教版八年级上册地理 2024-2025学年八年级上册地理第三章基础测试卷(含解析)
- 工伤补偿责任声明书
- 河北省保定市满城县2023-2024学年二年级上学期期末调研语文试题(含答案)
- 宿舍安全你我共同守护
- 粉煤灰质量保证保书
- 大学与高中数学的过渡研究
- 外研版必修二模拟试题解析
- 【心理健康主题班会】我的情绪我做主-课件PPT
- 电力工程电缆设计规范课件
- 概率论典型例题
- 第4讲两三位数除以一位数(教师版)(知识梳理典例分析举一反三巩固提升)苏教版
- 生命健康教育知到章节答案智慧树2023年温州医科大学
- 2023年江苏卷化学高考试题真题(答案+解析)
- resform地质研究工作室快速使用指南
- 生物质能气化技术在农村生产和生活用能中的应用
- 浙江临床放射检查资料互认项目清单
- 国开电大 操作系统 实验4文件管理实验报告1
- 科研伦理与学术规范期末考试答案
评论
0/150
提交评论