版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、企业实时大数据系统介绍技术创新,变革未来目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控 - ELK数据总线 - Kafka数据实时分析 - Spark Streaming/Storm/Flink数据存储 - Elasticsearch as a ServiceOLAP/试验平台 - Zeppelin+Spark/FlinkPrism数据流图这里开始Dev成为问题定位的瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法
2、快速构建业务流无法快速增减容量怎么办?我们的方案解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Marathon和Spark的位置在Mesos上运行无状态服务宿主节点快照找到Kibana网络方案-net=hostCalicoCNI (Mesos version = 1.0)请求路由/服务发现(HTTP)多机房日志流汇聚日志平台接入Portal新需求新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求引入Spark on MesosSoftware on Mesos一个真实的业务场景规模实时日志分析:300模块,kafka
3、峰值带宽6GSpark Streaming任务:50个Storm集群:5个Flink集群:2个集群规划宗旨基础设施这一层技术收敛Fail Over多租户资源隔离QuotaBootstrap Version 3.0All in Docker监控监控数据处理模块拓扑监控业务统计监控队列堆积:Kafka Topic Lag流量:Search Count/Message Count错误:Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控Mesos资源统计广告 pyadvisor/QunarOPS/pyadvisor规模计算集群120+; 2600+ 容器ES中存储的日志160T,4万ShardsEsaas 50+;47 ES集群; 600+ 容器总结我们做的事儿实时数据治理解决数据软件的部署的门槛解决Mesos环境
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 广东省佛山市莘村中学2025届高考英语押题试卷含解析
- 2025届福建省南安一中高三一诊考试英语试卷含解析
- 天津市静海区独流中学2025届高考数学倒计时模拟卷含解析
- 2025届山东青岛城阳区高三下学期联考英语试题含解析
- 海南省昌江县矿区中学2025届高三最后一卷语文试卷含解析
- 安徽舒城桃溪中学2025届高三二诊模拟考试英语试卷含解析
- 湖南省衡阳市高中名校2025届高考全国统考预测密卷英语试卷含解析
- 山东省潍坊市高密市2025届高考语文全真模拟密押卷含解析
- 2024年家庭赡养协议范本版
- 2024年度医疗补偿合同全文及附加合同版B版
- 九年级 英语 命题双向细目表
- 药物分析考试题(附答案)
- 康复建设规划方案
- 2024年连云港职业技术学院单招职业适应性测试题库完整
- 第三节 泌尿系统疾病的营养课件
- 0-3岁婴幼儿感觉统合训练智慧树知到答案2024年杭州师范大学
- 营养与食品卫生学智慧树知到期末考试答案2024年
- 中医培训课件:《放血疗法》
- 办公家具采购技术方案
- KA-T 20.1-2024 非煤矿山建设项目安全设施设计编写提纲 第1部分:金属非金属地下矿山建设项目安全设施设计编写提纲
- 非遗文化蓝染工艺传承科普介绍教学课件
评论
0/150
提交评论