ELK日志分析系统.docx

资料收集于网络 如有侵权请联系网站 删除 谢谢 ELK日志分析系统1、 ELK日志分析系统介绍1.1传统的日志统计及分析方式日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。1.2 ELK介绍开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。（1）、Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。（2）、Logstash是一个完全开源的工具，可以对日志进行收集、过滤，并将其存储供以后使用（如：搜索）。（3）、Kibana 也是一个开源和免费的可视化工具，可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。1.2.1 Elasticsearch介绍Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎，Lucene是当前行业内最先进、性能最好的、功能最全的搜索引擎库。但Lucene只是一个库。无法直接使用，必须使用Java作为开发语言并将其直接集成到应用中才可以使用，而且Lucene非常复杂，需要提前深入了解检索的相关知识才能理解它是如何工作的。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。但Elasticsearch不仅仅值是Lucene库和全文搜索，它还有以下用途： 分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器，处理PB级结构化或非结构化数据1.2.2 Elasticsearch基础概念Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。（1）、接近实时（NRT）Elasticsearch是一个接近实时的搜索平台。意味着检索一个文档直到这个文档能够被检索到有一个轻短暂的延迟（通常是1秒）。（2）、集群（cluster）集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字很重要，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也可以。（3）、节点（node）节点是值集群中的具体服务器，作为集群的一部分，它可存储数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机名字，这个名字会在服务启动时赋予节点。这个名字对于管理者非常重要，因为在管理过程中，需要确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，那么各节点将会自动地形成并加入到一个叫做“elasticsearch”的集群中。在一个集群里，可以拥有任意多个节点。并且，如果当前网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。（4）、索引（index）索引是指一个拥有相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。每个索引均由一个名字来标识（必须全部是小写字母的），并且当要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。“索引”有两个意思： A.作为动词，索引指把一个文档“保存”到 ES 中的过程，某个文档被索引后，就可以使用 ES 搜索到这个文档 B.作为名词，索引指保存文档的地方，相当于数据库概念中的“库” 为了方便理解，我们可以将 ES 中的一些概念对应到我们熟悉的关系型数据库上：ES索引类型文档DB库表行在一个集群中，可以定义任意多的索引。（5）、类型（type）在一个索引中，可以定义一种或多种类型。类型是指索引的一个逻辑上的分类/分区，其语义可自定义。通常情况下，会为具有一组共同字段的文档定义一个类型。比如说，我们假设运营一个博客平台并且将所有的数据存储到一个索引中。在这个索引中，可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。（6）、文档（document）文档是指可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个普遍存在的互联网数据交互格式。在一个index/type里面，可以存储任意多的文档。注意，尽管一个文档物理上存在于一个索引之中，但文档必须被赋予一个索引的type。（7）、分片和复制（shards & replicas）一个索引可以存储超出单个节点磁盘限制的大量数据。比如以下情况，一个具有10亿文档的索引占据1TB的磁盘空间，而集群中任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。为了解决此问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当创建一个索引的时候，可以指定想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。分片之所以重要，主要有两方面的原因：A.允许水平分割/扩展内容容量B.允许在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量至于一个分片怎样分布，它的文档怎样聚合搜索请求，是完全由Elasticsearch管理的，用户对此是透明的。在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点无原因就处于离线状态，或者由于任何原因消失了的情况下，Elasticsearch提供一个故障转移机制，它允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。复制之所以重要，有两个主要原因：A.在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。B.扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，可以在任何时候动态地改变复制的数量，但是事后不能改变分片的数量。默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。1.2.3 Logstash介绍Logstash的主要功能是收集和过滤，类似于shell中的管道符“|”。它的工作过程是将数据进行收集，并对收集的入职根据策略进行分类和过滤，最后进行输出.实际上，Logstash 是用不同的线程来实现收集、过滤、输出功能的，可运行 top 命令然后按下 H 键查看线程。数据在线程之间以事件的形式流传。并且，logstash 可以处理多行事件。Logstash 会给事件添加一些额外信息。其中最重要的就是 timestamp，是用来标记事件的发生时间。因为这个字段涉及到 Logstash 的内部流转，所以必须是一个json对象，如果自定义给一个字符串字段重命名为 timestamp 的话，Logstash会直接报错，那么就需要使用filters/date插件来管理这个特殊字段。额外信息还包括以下几个概念：A.host 标记事件发生在哪里。B.type 标记事件的唯一类型。C.tags 标记事件的某方面属性。这是一个数组，一个事件可以有多个标签。也可以自定义个事件添加字段或者从事件里删除字段。事实上事件本身就是是一个 Ruby对象。1.2.4 Kibana介绍Kibana是一个开源的分析与可视化平台，用于和Elasticsearch一起使用，可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。Kibana对大量数据的呈现非常清晰。它简单、基于浏览器的接口能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。Kibana支持LInux、Windows等操作系统。版本要求：Kibana要求安装版本要和Elasticsearch一致。Kibana版本Elasticsearch版本是否支持5.X2.X不支持5.15.0不支持5.15.1支持5.15.2支持(会有提示升级的警告)5.1.05.1.1支持本次安装部署的Kibana版本为4.3.1版本，对应Elasticsearch版本为2.4.6版本。2 ELK安装配置2.1 系统架构介绍此架构的工作流程是 Logstash agent（shipper）监控并过滤客户端日志，将过滤后的日志内容发给Redis（indexer），此处的Redis既充当消息队列的角色，由于其优越的持久化机制也被用来做缓存，然后Logstash Server（indexer）从Redis的对应位置拿出日志数据，并将其输出到ElasticSearch中，ElasticSearch获取到数据后开始生产索引，然后使用Kibana进行页面展示。这是一个完成的日志收集、存储、检索流程。2.2 安装ElasticsearchOS:Centos 6.5elk-node1：8elk-node2：7在两台主机上分别安装Elasticsearch。准备工作：（1） 、关闭防火墙、Selinux# iptables -F# chkconfig iptables off# setenforce 0# vim /etc/sysconfig/selinux改为：SELINUX=disabled（2） 、配置java环境# yum install -y java# java -versionjava version 1.7.0_151OpenJDK Runtime Environment (rhel-.el6_9-x86_64 u151-b00)OpenJDK 64-Bit Server VM (build 24.151-b00, mixed mode)（3） 、配置主机信息node1、node2节点分别配置：其中node1是master，node2是slave# vim /etc/hosts8 elk-node1 7 elk-node22.2.1 Yum方式安装（1）、下载并安装GPG-Key# rpm -import https:/packages.elastic.co/GPG-KEY-elasticsearch（2）、添加yum仓库# vim /etc/yum.repos.d/elasticsearch.repoelasticsearch-2.xname=Elasticsearch repository for 2.x packagesbaseurl=http:/packages.elastic.co/elasticsearch/2.x/centosgpgcheck=1gpgkey=http:/packages.elastic.co/GPG-KEY-elasticsearchenabled=1（3）、安装elasticsearch# yum install -y elasticsearch（4）、安装测试软件注：提前先下载安装epel源：epel-release-latest-6.noarch.rpm，否则yum会报错:No Package.# wget http:/ftp.riken.jp/Linux/fedora/epel/epel-release-latest-6.noarch.rpm# rpm -ivh epel-release-latest-6.noarch.rpm# yum install -y redis# yum install -y nginx（5）、部署配置# mkdir -p /data/es-dataelk-node1：# vim /etc/elasticsearch/elasticsearch.yml : nova #集群名称 : elk-node1 #节点名，建议和主机一致node.master: true #指定该节点是否有资格被选举成为master node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。node.data: false #指定该节点是否存储索引数据，默认为true。 path.data: /data/es-data #数据存放路径 path.logs: /var/log/elasticsearch/ #日志存放文件bootstrap.memory_lock: true #内存锁机制，锁住内存，不被使用到交换分区去network.host: #网络主机访问权限设置http.port: 9200 #web端口elk-node2：# vim /etc/elasticsearch/elasticsearch.yml : nova #集群名称 : elk-node2 #节点名，建议和主机一致node.master: false #指定该节点是否有资格被选举成为master node，默认是true，默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。node.data: true #指定本节点为数据存储节点 path.data: /data/es-data #数据存放路径 path.logs: /var/log/elasticsearch/ #日志存放文件bootstrap.memory_lock: true #内存锁机制，锁住内存，不被使用到交换分区去network.host: #网络主机访问权限设置http.port: 9200 #web端口discovery.zen.ping.multicast.enabled: false #多播自动发现禁用开关，当前设置为关闭discovery.zen.ping.unicast.hosts: 8, 7# chown -R elasticsearch.elasticsearch /data/（6）、启动服务# /etc/init.d/elasticsearch startStarting elasticsearch: OK # chkconfig elasticsearch on# /etc/init.d/elasticsearch statuselasticsearch (pid 2309) is running.# netstat -antplu| egrep 9200|9300tcp 0 0 :9200 :* LISTEN 2309/java tcp 0 0 :9300 :* LISTEN 2309/java （7） 、验证1）、web浏览器访问打开浏览器（最好是google浏览器），输入IP+端口：8:9200，查看界面显示。验证正确。2）、通过命令的方式查看注：即可在本机查看，也可在其他主机查看。# curl -i -XGET 8:9200/_count?pretty -d query:match_all:HTTP/1.1 200 OK #访问成功Content-Type: application/json; charset=UTF-8Content-Length: 95 count : 0, _shards : total : 0, successful : 0, failed : 0 2.2.2 源码安装（1） 、获取elasticsearch-2.4.6.tar.gz源码包，并保存在系统/usr/local/src中。（2） 、解压安装# cd /usr/local/src# tar -xvf elasticsearch-2.4.6.tar.gz# mv elasticsearch-2.4.6 /usr/loca/es（3） 、创建es用户及数据目录# groupadd es# useradd -g es es# mkdir -r /data/es-data# chown -R es:es /data/es-data# mkdir -r /var/log/elasticsearch# chown -R es:es /var/log/elasticsearch（4） 、es配置# vim /usr/local/es/config/elasticsearch.yml注：配置参数时，需要先设置一个空格，否则启动时会报错。: : elk-node3node.master: falsenode.data: truepath.data: /data/es-datapath.logs: /data/logs/espath.logs: /data/logs/esnetwork.host: http.port: 9200discovery.zen.ping.multicast.enabled: falsediscovery.zen.ping.unicast.hosts: 8, 7,8（5） 、启动源码安装的es不能使用root用户启动，必须使用创建好的普通用户进行启动。# su - es$ /usr/local/es/bin/elasticsearch & 2017-09-29 23:57:38,334WARN bootstrap unable to install syscall filter: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed2017-09-29 23:57:38,346WARN bootstrap Unable to lock JVM Memory: error=12,reason=Cannot allocate memory2017-09-29 23:57:38,346WARN bootstrap This can result in part of the JVM being swapped out.2017-09-29 23:57:38,346WARN bootstrap Increase RLIMIT_MEMLOCK, soft limit: 65536, hard limit: 655362017-09-29 23:57:38,346WARN bootstrap These can be adjusted by modifying /etc/security/limits.conf, for example: # allow user es mlockalles soft memlock unlimitedes hard memlock unlimited2017-09-29 23:57:38,347WARN bootstrap If you are logged in interactively, you will have to re-login for the new limits to take effect.2017-09-29 23:57:38,704INFO node elk-node3 version2.4.6, pid3375, build5376dca/2017-07-18T12:17:44Z2017-09-29 23:57:38,704INFO node elk-node3 initializing .2017-09-29 23:57:39,167INFO plugins elk-node3 modules lang-groovy, reindex, lang-expression, plugins , sites 2017-09-29 23:57:39,205INFO env elk-node3 using 1 data paths, mounts / (/dev/mapper/vg_nginx-lv_root), net usable_space 33.2gb, net total_space 36.8gb, spins? possibly, types ext42017-09-29 23:57:39,205INFO env elk-node3 heap size 1015.6mb, compressed ordinary object pointers true2017-09-29 23:57:39,205WARN env elk-node3 max file descriptors 4096 for elasticsearch process likely too low, consider increasing to at least 655362017-09-29 23:57:40,645INFO node elk-node3 initialized2017-09-29 23:57:40,645INFO node elk-node3 starting .2017-09-29 23:57:40,691INFO transport elk-node3 publish_address 8:9300, bound_addresses :93002017-09-2923:57:40,695INFOdiscoveryelk-node3 nova/DSP41KSoR2C_RdXJNPO4zg显示以上信息表示es启动成功。$ netstat -antplu | grep javatcp 0 0 :9200 :* LISTEN 3375/java tcp 0 0 :9300 :* LISTEN 3375/java 端口已开启。验证：$ curl -i -XGET 8:9200/_count?pretty -d query:match_all:HTTP/1.1 200 OKContent-Type: application/json; charset=UTF-8Content-Length: 98 count : 78, _shards : total : 21, successful : 21, failed : 0 验证正常。2.2.3 head插件安装（1） 、方法一：直接安装# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head安装完成，进行验证。打开浏览器，输入8:9200/_plugin/head/，查看显示结果。插件安装成功。删除插件：# /usr/share/elasticsearch/bin/plugin listInstalled plugins in /usr/share/elasticsearch/plugins: - head #当前已安装插件# /usr/share/elasticsearch/bin/plugin remove head- Removing head.Removed head #删除成功注：源码安装的es，在安装head插件后，重启会报错。报错信息：Exception in thread main java.lang.IllegalArgumentException: Property version is missing for plugin head解决方案：# vim /usr/local/es/plugins/head/perties description=head - A web front end for an elastic search clusterversion=mastersite=truename=head然后进行重启，重启后正常。（2） 、方法二：源码安装head插件包百度云盘下载：/s/1boBE0qj，提取密码：ifj7# cd /usr/local/src/# unzip elasticsearch-head-master.zip # cd /usr/share/elasticsearch/plugins/# mkdir head# cd head/# cp -r /usr/local/src/elasticsearch-head-master/* ./# chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins# /etc/init.d/elasticsearch restart# curl -i -XGET 8:9200/_count?pretty -d query:match_all:命令测试插件安装成功。Web界面显示正确，说明插件安装成功。2.2.4 实例测试（1） 、插入数据实例测试打开”复合查询“，在POST选项下，任意输入如/index-demo/test,然后在下面输入数据，查看返回结果。注：内容之间换行的逗号不要漏掉点击”验证JSON“-”提交请求“，提交成功后，观察右栏里出现的信息：有index，type，version等信息，failed:0（成功消息）测试成功。（2） 、实例测试选择复合查询选项，选择GET选项，在/index-demo/test/后面输入上面POST结果中的id号，不输入内容，即括号里为空！点击”验证JSON“和提交请求，观察右栏内显示结果。结果中有上述插入的数据，这就是elasticsearch检索功能的具体体现。（3） 、实例查询打开基本查询，查看下数据，如下，即可查询到（1）步骤中插入的数据。打开“数据浏览”，也能查看到插入的数据。其中也可通过mesg和user关键字检索相应数据。2.2.5 kopf监控插件（1） 、方法一# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf安装成功。（2） 、方法二：源码安装# wget /lmenezes/elasticsearch-kopf/archive/master.zip# unzip master.zip # cd /usr/share/elasticsearch/plugins/# mkdir kopf# cd kopf# cp -r /usr/local/src/elasticsearch-kopf-master/* ./# chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins# /etc/init.d/elasticsearch restartStopping elasticsearch: FAILEDStarting elasticsearch: OK 测试验证：2.3 安装Logstash安装包：/components/cache/logstash/logstash-2.3.4.tar.gz2.3.1 下载源码安装包# wget /components/cache/logstash/logstash-2.3.4.tar.gz2.3.2 安装# tar -xvf logstash-2.3.4.tar.gz# mv logstash-2.3.4/ /usr/local/logstash 2.3.3 配置环境# vim /etc/profile export PATH=$PATH:/usr/local/logstash/bin# source /etc/profile2.3.4 重启elasticsearch# /etc/init.d/elasticsearch restart2.3.5 数据测试logstash常用参数：-e :指定logstash的配置信息，可以用于快速测试;-f :指定logstash的配置文件；可以用于生产环境;（1）、基本输入输出（数据未写入elasticsearch中）# logstash -e input stdin output stdout Settings: Default filter workers: 1Logstash startup completedhello #输入 2017-09-19T18:51:29.082Z hello #输出world #输入 2017-09-19T18:51:38.151Z world #输出（2）、使用rubydebug详细输出（数据未写入elasticsearch中）# logstash -e input stdin output stdout codec = rubydebug Settings: Default filter workers: 1Logstash startup completedhello #输入 #输出下面信息 message = hello, version = 1, timestamp = 2017-09-19T19:32:44.701Z, host = world #输入#输出线面信息 message = world, version = 1, timestamp = 2017-09-19T19:32:55.357Z, host = （3） 、把输入内容输出到elasticsearch中# logstash -e input stdin output elasticsearch hosts = 9:19200 Settings: Default filter workers: 1Logstash startup completed 123456 #输入内容novahelloworldSIGINT received. Shutting down the pipeline. :level=:warnLogstash shutdown completed注：使用rubydebug和写到elasticsearch中的区别：其实就在于后面标准输出的区别，前者使用codec；后者使用elasticsearch。测试：写到elasticsearch中内容在logstash中查看，如下图：注：master收集到日志后，会把一部分数据碎片到salve上（随机的一部分数据），master和slave又都会各自做副本，并把副本放到对方机器上，这样就保证了数据不会丢失。如下，master收集到的数据放到了自己的第3分片上，其他的放到了slave的第0,1,2,4分片上。（1）、elasticsearch查看（2）、Logstash查看（3）、文本查看（4）、既写到elasticsearch中又写到文件中# logstash -e input stdin output elasticsearch hosts = 9:19200 stdout codec = rubydebugSettings: Default filter workers: 1Logstash startup completedyangguoqiang #输入 #输出内容 message = yangguoqiang, version = 1, timestamp = 2017-09-19T21:02:36.313Z, host = nihao#输入#输出内容 message = nihao, version = 1, timestamp = 2017-09-19T21:02:39.163Z, host = Logstash shutdown completed注：以上文本可以长期保留、操作简单、压缩比大。验证：输出信息被记录在文本中，可实时查询。2.3.6 logstash的配置和文件编写参考文档：https:/www.elastic.co/guide/en/logstash/current/configuration.html https:/www.elastic.co/guide/en/logstash/current/configuration-file-structure.html# mkdir /etc/logstash（1） 、logstash的配置# vim /etc/logstash/conf.d/01.logstash.confinputstdin output elasticsearch hosts = 9:19200 stdout codec = rubydebug 执行：# logstash -f /etc/logstash/conf.d/01.logstash.confSettings: Default filter workers: 1Logstash startup completedbeijing #输入信息#输出信息 message = beijing, version = 1, timestamp = 2017-09-20T09:00:46.581Z, host = 验证：（2）、收集系统日志配置# vim /etc/logstash/log_file.confinput file path = /var/log/messages type = system start_position = beginning output elasticsearch hosts = 9:19200 index = system-%+YYYY.MM.dd 验证： （3） 、收集java日志，其中包含上面讲到的系统日志收集# vim /etc/logstash/log_java.confinput #系统日志输入 file path = /var/log/messa