下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、日志分析平台建设方案目录TOC o 1-5 h z HYPERLINK l bookmark4 一、现状和需求2 HYPERLINK l bookmark6 (一)现状与问题2 HYPERLINK l bookmark8 (二)需求说明与分析2 HYPERLINK l bookmark10 二、建设目标2 HYPERLINK l bookmark12 三、系统设计2(一)技术选型2 HYPERLINK l bookmark14 (二)系统架构2 HYPERLINK l bookmark16 架构图22.架构分析3 HYPERLINK l bookmark18 (三)系统介绍3 HYPERLIN
2、K l bookmark20 四、实施方案4 HYPERLINK l bookmark22 (一)系统配置4软件4硬件4 HYPERLINK l bookmark24 (二)系统搭建4一、现状和需求(一)现状与问题1.日志文件分散在各个应用服务器,开发人员必须远程登录才能查看日志,不利于服务器安全管控,加大生产服务器的风险;服务器上各项目日志配置很随意,文件分布杂乱,没有统一的规范和管理;日志文件占用服务器大量的硬盘空间,如不及时清理会发生硬盘占满,影响系统的正常运行;对于超过百兆的日志文件根本没法打开和关键字搜索,不利于问题的快速定位和排查;集群和分布式的系统需要查看多个服务器的日志日志保存
3、的时间不统一,不能长时间保存日志(二)需求说明与分析不需要开发人员登录生产服务器就能查看日志;2.统一规范日志的配置和输出格式;实时的将日志文件从服务器中迁出;提供日志的检索和统计分析的平台;二、建设目标搭建支持高并发高可靠的日志分析平台,方便开发人员快速的检索日志,排查问题,同时提供友好的分析和统计的界面。三、系统设计(一)技术选型针对这些问题,为了提供分布式的实时日志搜集和分析的监控系统,我们采用了业界通用的日志数据管理解决方案-它主要包括Elasticsearch、Logstash和Kibana三个系统。通常,业界把这套方案简称为ELK,取三个系统的首字母。调研了ELK技术栈,发现新一代
4、的logstash-forward即Filebeat,使用了golang,性能超logstash,部署简单,占用资源少,可以很方便的和logstash和ES对接,作为日志文件采集组件。所以决定使用ELK+Filebeat的架构进行平台搭建。为了支持日志的高并发和高可靠需要进了消息队列(MQ),这里选择了kafka,相对其他消息中间件,kafka有支持大并发,快速持久化等优点,而且ELK+Filebeat对kafka的兼容性也很好。最终,我们采用Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper的架构搭建日志分析平台。(二)系统架构1.架
5、构图a-ZDoKeepG-rESDataNodeKafra-ZcflKeeper-ESDataNodeKafca-ZooKeeper&FibeatW它bjg务圉葉胖ElaLtic-tearh箋醉Logstasli有.ESMa&VeFNodicibaiia2.架构分析第一层、数据采集层最左边的是业务服务器集群,上面安装了filebeat做日志采集,同时把采集的日志分别发送给两个logstash服务。第二层、数据处理层,数据缓存层logstash服务把接受到的日志经过格式处理,转存到本地的kafkabroker+zookeeper集群中。第三层、数据转发层这个单独的Logstash节点会实时去ka
6、fkabroker集群拉数据,转发至ESDataNode。第四层、数据持久化存储ESDataNode会把收到的数据,写磁盘,建索引库。第五层、数据检索,数据展示ESMaster+Kibana主要协调ES集群,处理数据检索请求,数据展示。(三)系统介绍Elasticsearch:分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。基于ApacheLucene构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎,使其具有复杂的搜索功能;Logstash:数据收集额外处理和数据引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等
7、操作,然后存储到用户指定的位置;Kibana:数据分析和可视化平台。通常与Elasticsearch配合使用,对其中数据进行搜索、分析和以统计图表的方式展示;Filebeat:ELK协议栈的新成员,在需要采集日志数据的server上安装Filebeat,并指定日志目录或日志文件后,Filebeat就能读取数据,迅速发送到Logstash进行解析,亦或直接发送到Elasticsearch进行集中式存储和分析。Kafka:数据缓冲队列。作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。Zookeeper:是一种在分布式系统中被广泛用来作为:分布式状态管理、分布式协调管理、分布式配置管理、和分布式锁服务的集群okafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kafka系统会捕获这些事件,进行新一轮的负载均衡,客户端也会捕获这些事件来进行新一轮的处理。四、实施方案(一)系统配置软件Elasticsearch-6.0.0logstash-6.0.0kibana-6.0.0filebeat-6.0.0JDK1.8Kafka_2.12-1.1.0Zoopkeeper-3.4
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 事业单位保密教育培训
- 人教版三年级语文下册教案全集
- 【初中物理】物态变化单元练习2024-2025学年人教版物理八年级上册
- 成品油零售经营批准证书变更、补办、到期换证申请表
- 职业学院游艇设计与制造专业人才培养方案
- 升降机操作装置产业深度调研及未来发展现状趋势
- 保险信息行业市场调研分析报告
- 婴儿用驱蚊贴市场发展预测和趋势分析
- 单板滑雪服市场发展预测和趋势分析
- 振动按摩器产业链招商引资的调研报告
- 实验室生物安全委员会及其工作职责
- 水利部2002预算定额全套版
- JJF(鄂) 90-2021 电子辊道秤校准规范(高清版)
- ISO-IEC17025-2017实验室管理体系全套程序文件
- 上好一节消防课(课堂PPT)
- 无人机培训心得体会1
- CPA会计知识点总结完美版
- 钣金成品类检验标准作业指导书
- 计算机系统的组成--完整版PPT课件
- 六年级英语上册单词默写黑体
- 温度二次仪表计量标准技术
评论
0/150
提交评论