2023学年完整公开课版EFK简介

EFK简介2知识目标了解Filebeat基础知识了解Elasticsearch基础知识了解Kibana基础知识01能力目标掌握Filebeat工作原理了解Elasticsearch索引

能够说出Kibana基本功能02学习目标3目录01EFK简介02Filebeat简介03Elacsticsearch简介04Kibana简介4EFK简介EFK不是一个软件，而是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。EFK是三个开源软件的缩写，分别表示：Elasticsearch,FileBeat,Kibana。5EFK三大组件Elasticsearch：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch基于Lucene开发，现在使用最广的开源搜索引擎之一，Wikipedia、StackOverflow、Github等都基于它来构建自己的搜索引擎。Filebeat：轻量级数据收集引擎。基于原先Logstash-fowarder的源码改造出来。换句话说：Filebeat就是新版的Logstash-fowarder，也会是ELKStack在shipper端的第一选择。Kibana：可视化化平台。它能够搜索、展示存储在Elasticsearch中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。6EFK基本架构7beatsBeats对于收集数据非常有用。它们位于你的服务器上，将数据集中在Elasticsearch中，Beats也可以发送到Logstash来进行转换和解析。为了捕捉（捕获）数据，Elastic提供了各种Beats。8FilebeatFilebeat隶属于Beats。Filebeat

内部集成了一系列模块，用以简化常见日志格式（例如NGINX、Apache或诸如Redis或Docker等系统指标）的收集、解析和可视化过程。Filebeat由两个主要组成部分组成：prospector和harvesters。这些组件一起工作来读取文件并将事件数据发送到您指定的output。即无论您要使用Logstash转换或充实日志和文件，还是在Elasticsearch中随意处理一些数据分析，亦或在Kibana中构建和分享仪表板，Filebeat都能轻松地将您的数据发送至最关键的地方。9Filebeat工作原理Filebeat可以保持每个文件的状态，并且频繁地把文件状态从注册表里更新到磁盘。这里所说的文件状态是用来记录上一次Harvster读取文件时读取到的位置，以保证能把全部的日志数据都读取出来，然后发送给output。如果在某一时刻，作为output的ElasticSearch或者Logstash变成了不可用，Filebeat将会把最后的文件读取位置保存下来，直到output重新可用的时候，快速地恢复文件数据的读取。在Filebaet运行过程中，每个Prospector的状态信息都会保存在内存里。如果Filebeat出行了重启，完成重启之后，会从注册表文件里恢复重启之前的状态信息，让FIlebeat继续从之前已知的位置开始进行数据读取。

Prospector会为每一个找到的文件保持状态信息。因为文件可以进行重命名或者是更改路径，所以文件名和路径不足以用来识别文件。对于Filebeat来说，都是通过实现存储的唯一标识符来判断文件是否之前已经被采集过。10Elaticsearch用途应用程序搜索网站搜索企业搜索日志处理和分析基础设施指标和容器监测应用程序性能监测地理空间数据分析和可视化安全分析业务分析11Elasticsearch的工作原理原始数据会从多个来源（包括日志、系统指标和网络应用程序）输入到Elasticsearch中。数据采集指在Elasticsearch中进行索引之前解析、标准化并充实这些原始数据的过程。这些数据在Elasticsearch中索引完成之后，用户便可针对他们的数据运行复杂的查询，并使用聚合来检索自身数据的复杂汇总。在Kibana中，用户可以基于自己的数据创建强大的可视化，分享仪表板，并对ElasticStack进行管理。12Elasticsearch索引Elasticsearch

索引指相互关联的文档集合。Elasticsearch会以JSON文档的形式存储数据。每个文档都会在一组键（字段或属性的名称）和它们对应的值（字符串、数字、布尔值、日期、数值组、地理位置或其他类型的数据）之间建立联系。Elasticsearch使用的是一种名为倒排索引的数据结构，这一结构的设计可以允许十分快速地进行全文本搜索。倒排索引会列出在所有文档中出现的每个特有词汇，并且可以找到包含每个词汇的全部文档。在索引过程中，Elasticsearch会存储文档并构建倒排索引，这样用户便可以近实时地对文档数据进行搜索。索引过程是在索引API中启动的，通过此API既可向特定索引中添加JSON文档，也可更改特定索引中的JSON文档。13Kibana简介Kibana作为EFK日志分析工具，Kibana是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索仪表板。Kibana非常容易安装和使用，整个项目都是基于HTML和Javascript进行书写，所以Kibana不需要任何服务器端组件，仅需一个文本发布服务器。Kibana可以为Logstash、Beats和ElasticSearch提供的日志分析友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。Kibana是为Elasticsearch设计的开源分析和可视化平台。可以使用Kibana来搜索，查看存储在Elasticsearch索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。14Kibana基本知识列表本地安装：跨平台，无依赖默认5601端口默认情况下，Kibana会连接运行在localhost的Elasticsearch。Discover页加载