日志分析平台建设方案样本

日记分析平台建设方案目录一、 现状和需求 1(一) 现状与问题 1(二) 需求说明与分析 1二、 建设目标 1三、 系统设计 1(一) 技术选型 1(二) 系统架构 21. 架构图 22. 架构分析 2(三) 系统介绍 2四、 实施方案 3(一) 系统配置 31. 软件 32. 硬件 3(二) 系统搭建 4现状和需求现状与问题日记文献分散在各个应用服务器，开发人员必要远程登录才干查看日记，不利于服务器安全管控，加大生产服务器风险；服务器上各项目日记配备很随意，文献分布杂乱，没有统一规范和管理；日记文献占用服务器大量硬盘空间，如不及时清理睬发生硬盘占满，影响系统正常运营；对于超过百兆日记文献主线没法打开和核心字搜索，不利于问题迅速定位和排查；集群和分布式系统需要查看各种服务器日记日记保存时间不统一，不能长时间保存日记需求阐明与分析不需要开发人员登录生产服务器就能查看日记；统一规范日记配备和输出格式；实时将日记文献从服务器中迁出；提供日记检索和记录分析平台；建设目的搭建支持高并发高可靠日记分析平台，以便开发人员迅速检索日记，排查问题，同步提供和谐分析和记录界面。系统设计技术选型针对这些问题，为了提供分布式实时日记收集和分析监控系统，咱们采用了业界通用日记数据管理解决方案-它重要涉及Elasticsearch、Logstash和Kibana三个系统。普通，业界把这套方案简称为ELK，取三个系统首字母。调研了ELK技术栈，发现新一代logstash-forward即Filebeat，使用了golang，性能超logstash，布置简朴，占用资源少，可以很以便和logstash和ES对接，作为日记文献采集组件。因此决定使用ELK+Filebeat架构进行平台搭建。为了支持日记高并发和高可靠需要进了消息队列（MQ），这里选取了kafka，相对其她消息中间件，kafka有支持大并发，迅速持久化等长处，并且ELK+Filebeat对kafka兼容性也较好。最后，咱们采用Elasticsearch+Logstash+Kibana+Filebeat+Kafka+Zookeeper架构搭建日记分析平台。系统架构架构图架构分析第一层、数据采集层最左边是业务服务器集群，上面安装了filebeat做日记采集，同步把采集日记分别发送给两个logstash服务。第二层、数据解决层，数据缓存层logstash服务把接受到日记通过格式解决，转存到本地kafkabroker+zookeeper

集群中。第三层、数据转发层这个单独Logstash节点会实时去kafkabroker集群拉数据，转发至ESDataNode。第四层、数据持久化存储ESDataNode

会把收到数据，写磁盘，建索引库。第五层、数据检索，数据展示ESMaster+Kibana

重要协调

ES集群，解决数据检索祈求，数据展示。系统简介Elasticsearch：分布式搜索和分析引擎，具备高可伸缩、高可靠和易管理等特点。基于ApacheLucene构建，能对大容量数据进行接近实时存储、搜索和分析操作。普通被用作某些应用基本搜索引擎，使其具备复杂搜索功能；Logstash：数据收集额外解决和数据引擎。它支持动态从各种数据源收集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到顾客指定位置；Kibana：数据分析和可视化平台。普通与Elasticsearch配合使用，对其中数据进行搜索、分析和以记录图表方式展示；Filebeat：ELK合同栈新成员，在需要采集日记数据server上安装Filebeat，并指定日记目录或日记文献后，Filebeat就能读取数据，迅速发送到Logstash进行解析，亦或直接发送到Elasticsearch进行集中式存储和分析。Kafka：数据缓冲队列。作为消息队列解耦了解决过程，同步提高了可扩展性。具备峰值解决能力，使用消息队列可以使核心组件顶住突发访问压力，而不会由于突发超负荷祈求而完全崩溃。Zookeeper:是一种在分布式系统中被广泛用来作为：分布式状态管理、分布式协调管理、分布式配备管理、和分布式锁服务集群。kafka增长和减少服务器都会在Zookeeper节点上触发相应事件kafka系统会捕获这些事件，进行新一轮负载均衡，客户端也会捕获这些事件来进行新一轮解决。实行方案系统配备软件Elasticsearch-6.0.0logstash-6.0.0kibana-6.0.0filebeat-6.0.0JDK1.8Kafka_2.12-1.1.0

Zoopkeeper-3.4.12硬件4台内网linux服务器，c