企业实时大数据系统介绍_第1页
企业实时大数据系统介绍_第2页
企业实时大数据系统介绍_第3页
企业实时大数据系统介绍_第4页
企业实时大数据系统介绍_第5页
已阅读5页，还剩37页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、企业实时大数据系统介绍技术创新，变革未来目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控 - ELK数据总线 - Kafka数据实时分析 - Spark Streaming/Storm/Flink数据存储 - Elasticsearch as a ServiceOLAP/试验平台 - Zeppelin+Spark/FlinkPrism数据流图这里开始Dev成为问题定位的瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法

2、快速构建业务流无法快速增减容量怎么办？我们的方案解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Marathon和Spark的位置在Mesos上运行无状态服务宿主节点快照找到Kibana网络方案-net=hostCalicoCNI (Mesos version = 1.0)请求路由/服务发现（HTTP）多机房日志流汇聚日志平台接入Portal新需求新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求引入Spark on MesosSoftware on Mesos一个真实的业务场景规模实时日志分析：300模块，kafka

3、峰值带宽6GSpark Streaming任务：50个Storm集群：5个Flink集群：2个集群规划宗旨基础设施这一层技术收敛Fail Over多租户资源隔离QuotaBootstrap Version 3.0All in Docker监控监控数据处理模块拓扑监控业务统计监控队列堆积：Kafka Topic Lag流量：Search Count/Message Count错误：Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控Mesos资源统计广告 pyadvisor/QunarOPS/pyadvisor规模计算集群120+； 2600+ 容器ES中存储的日志160T，4万ShardsEsaas 50+;47 ES集群； 600+ 容器总结我们做的事儿实时数据治理解决数据软件的部署的门槛解决Mesos环境

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论