版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、企业实时大数据系统介绍技术创新,变革未来目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控 - ELK数据总线 - Kafka数据实时分析 - Spark Streaming/Storm/Flink数据存储 - Elasticsearch as a ServiceOLAP/试验平台 - Zeppelin+Spark/FlinkPrism数据流图这里开始Dev成为问题定位的瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法
2、快速构建业务流无法快速增减容量怎么办?我们的方案解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Marathon和Spark的位置在Mesos上运行无状态服务宿主节点快照找到Kibana网络方案-net=hostCalicoCNI (Mesos version = 1.0)请求路由/服务发现(HTTP)多机房日志流汇聚日志平台接入Portal新需求新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求引入Spark on MesosSoftware on Mesos一个真实的业务场景规模实时日志分析:300模块,kafka
3、峰值带宽6GSpark Streaming任务:50个Storm集群:5个Flink集群:2个集群规划宗旨基础设施这一层技术收敛Fail Over多租户资源隔离QuotaBootstrap Version 3.0All in Docker监控监控数据处理模块拓扑监控业务统计监控队列堆积:Kafka Topic Lag流量:Search Count/Message Count错误:Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控Mesos资源统计广告 pyadvisor/QunarOPS/pyadvisor规模计算集群120+; 2600+ 容器ES中存储的日志160T,4万ShardsEsaas 50+;47 ES集群; 600+ 容器总结我们做的事儿实时数据治理解决数据软件的部署的门槛解决Mesos环境
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 南京农业大学《逻辑学》2022-2023学年第一学期期末试卷
- 《如何应对心理压力》课件
- 2024年度房地产项目股东合作开发合同范本版
- 2024年度代理商业合作协议样本版B版
- 2024年度无人机飞行培训租赁合同
- 《集夏季安全行车》课件
- 2024年度三方协议补充条款细化协议版
- 2024年度校园食堂综合服务承包合同版
- 2024年度清洁能源开发利用合同
- 河北省保定市易县中学2025届高三第六次模拟考试英语试卷含解析
- 化工(危险化学品)企业主要负责人、安管员安全生产管理专项培训考核试卷(附参考答案)
- 人教新课标四年级数学上册7《条形统计图》说课稿7
- 2024年新华社面向社会招聘140人历年(高频重点提升专题训练)共500题附带答案详解
- 九年级 英语 命题双向细目表
- 药物分析考试题(附答案)
- 康复建设规划方案
- 2024年连云港职业技术学院单招职业适应性测试题库完整
- 第三节 泌尿系统疾病的营养课件
- 0-3岁婴幼儿感觉统合训练智慧树知到答案2024年杭州师范大学
- 营养与食品卫生学智慧树知到期末考试答案2024年
- 中医培训课件:《放血疗法》
评论
0/150
提交评论