版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、企业实时大数据系统介绍技术创新,变革未来目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控 - ELK数据总线 - Kafka数据实时分析 - Spark Streaming/Storm/Flink数据存储 - Elasticsearch as a ServiceOLAP/试验平台 - Zeppelin+Spark/FlinkPrism数据流图这里开始Dev成为问题定位的瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法
2、快速构建业务流无法快速增减容量怎么办?我们的方案解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Marathon和Spark的位置在Mesos上运行无状态服务宿主节点快照找到Kibana网络方案-net=hostCalicoCNI (Mesos version = 1.0)请求路由/服务发现(HTTP)多机房日志流汇聚日志平台接入Portal新需求新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求引入Spark on MesosSoftware on Mesos一个真实的业务场景规模实时日志分析:300模块,kafka
3、峰值带宽6GSpark Streaming任务:50个Storm集群:5个Flink集群:2个集群规划宗旨基础设施这一层技术收敛Fail Over多租户资源隔离QuotaBootstrap Version 3.0All in Docker监控监控数据处理模块拓扑监控业务统计监控队列堆积:Kafka Topic Lag流量:Search Count/Message Count错误:Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控Mesos资源统计广告 pyadvisor/QunarOPS/pyadvisor规模计算集群120+; 2600+ 容器ES中存储的日志160T,4万ShardsEsaas 50+;47 ES集群; 600+ 容器总结我们做的事儿实时数据治理解决数据软件的部署的门槛解决Mesos环境
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 《培训师管理》课件
- 骨折病中医护理常规
- 癌痛的治疗及护理
- 糖尿病并发肾病
- 重型再障的护理
- 《钢筋工程计量教材》课件
- 《生活=百科全书》课件
- 《NVMP平台产品特点》课件
- 《生态系统生态学》课件
- 《甲状腺癌的护理》课件
- 2024年烟草职业技能鉴定考试-烟叶分级工考试近5年真题附答案
- 2024-2025学年中职美术公共艺术(美术篇)人教版(2013)教学设计合集
- 部编版道德与法治八年级上册8.2坚持国家利益至上(2)教案
- 国开(河北)2024年《公文写作》形考作业4答案
- 古代小说戏曲专题-形考任务2-国开-参考资料
- 中国企业投资缅甸光伏发电市场机会分析及战略规划报告2024-2030年
- 化工(危险化学品)企业主要负责人、安管员安全生产管理专项培训考核试卷(附参考答案)
- 入团积极分子培养考察表
- 人教新课标四年级数学上册7《条形统计图》说课稿7
- 高中体育与健康教师资格考试学科知识与教学能力2024年下半年测试试题及解答
- 2024年新华社面向社会招聘140人历年(高频重点提升专题训练)共500题附带答案详解
评论
0/150
提交评论