ELK日志分析系统

./ELK日志分析系统ELK日志分析系统介绍1.1传统的日志统计及分析方式日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如：开源的syslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。1.2ELK介绍开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。〔1、Elasticsearch是个开源分布式搜索引擎,它的特点有：分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。〔2、Logstash是一个完全开源的工具,可以对日志进行收集、过滤,并将其存储供以后使用〔如：搜索。〔3、Kibana也是一个开源和免费的可视化工具,可以为Logstash和ElasticSearch提供的日志分析友好的Web界面,可以帮助汇总、分析和搜索重要数据日志。1.2.1Elasticsearch介绍Elasticsearch是一个基于ApacheLucene<TM>的开源搜索引擎,Lucene是当前行业内最先进、性能最好的、功能最全的搜索引擎库。但Lucene只是一个库。无法直接使用,必须使用Java作为开发语言并将其直接集成到应用中才可以使用,而且Lucene非常复杂,需要提前深入了解检索的相关知识才能理解它是如何工作的。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTfulAPI来隐藏Lucene的复杂性,从而让全文搜索变得简单。但Elasticsearch不仅仅值是Lucene库和全文搜索,它还有以下用途：►分布式的实时文件存储,每个字段都被索引并可被搜索►分布式的实时分析搜索引擎►可以扩展到上百台服务器,处理PB级结构化或非结构化数据1.2.2Elasticsearch基础概念Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。 〔1、接近实时〔NRTElasticsearch是一个接近实时的搜索平台。意味着检索一个文档直到这个文档能够被检索到有一个轻短暂的延迟〔通常是1秒。〔2、集群〔cluster集群就是由一个或多个节点组织在一起,它们共同持有整个的数据,并一起提供索引和搜索功能。集群由一个唯一的名字标识,这个名字默认就是"elasticsearch"。这个名字很重要,因为一个节点只能通过指定某个集群的名字,来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯,但是使用默认值来进行测试/开发也可以。〔3、节点〔node节点是值集群中的具体服务器,作为集群的一部分,它可存储数据,参与集群的索引和搜索功能。和集群类似,一个节点也是由一个名字来标识的,默认情况下,这个名字是一个随机名字,这个名字会在服务启动时赋予节点。这个名字对于管理者非常重要,因为在管理过程中,需要确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫做"elasticsearch"的集群中,这意味着如果在网络中启动了若干个节点,并假定它们能够相互发现彼此,那么各节点将会自动地形成并加入到一个叫做"elasticsearch"的集群中。在一个集群里,可以拥有任意多个节点。并且,如果当前网络中没有运行任何Elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做"elasticsearch"的集群。〔4、索引〔index索引是指一个拥有相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。每个索引均由一个名字来标识〔必须全部是小写字母的,并且当要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。"索引"有两个意思：A.作为动词,索引指把一个文档"保存"到ES中的过程,某个文档被索引后,就可以使用ES搜索到这个文档B.作为名词,索引指保存文档的地方,相当于数据库概念中的"库"为了方便理解,我们可以将ES中的一些概念对应到我们熟悉的关系型数据库上：ES索引类型文档DB库表行在一个集群中,可以定义任意多的索引。〔5、类型〔type在一个索引中,可以定义一种或多种类型。类型是指索引的一个逻辑上的分类/分区,其语义可自定义。通常情况下,会为具有一组共同字段的文档定义一个类型。比如说,我们假设运营一个博客平台并且将所有的数据存储到一个索引中。在这个索引中,可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。〔6、文档〔document文档是指可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以JSON〔JavascriptObjectNotation格式来表示,而JSON是一个普遍存在的互联网数据交互格式。在一个index/type里面,可以存储任意多的文档。注意,尽管一个文档物理上存在于一个索引之中,但文档必须被赋予一个索引的type。〔7、分片和复制〔shards&replicas一个索引可以存储超出单个节点磁盘限制的大量数据。比如以下情况,一个具有10亿文档的索引占据1TB的磁盘空间,而集群中任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求,响应太慢。为了解决此问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片。当创建一个索引的时候,可以指定想要的分片的数量。每个分片本身也是一个功能完善并且独立的"索引",这个"索引"可以被放置到集群中的任何节点上。分片之所以重要,主要有两方面的原因：A.允许水平分割/扩展内容容量B.允许在分片〔潜在地,位于多个节点上之上进行分布式的、并行的操作,进而提高性能/吞吐量至于一个分片怎样分布,它的文档怎样聚合搜索请求,是完全由Elasticsearch管理的,用户对此是透明的。在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点无原因就处于离线状态,或者由于任何原因消失了的情况下,Elasticsearch提供一个故障转移机制,它允许你创建分片的一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。复制之所以重要,有两个主要原因：A.在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主要〔original/primary分片置于同一节点上是非常重要的。B.扩展你的搜索量/吞吐量,因为搜索可以在所有的复制上并行运行总之,每个索引可以被分成多个分片。一个索引也可以被复制0次〔意思是没有复制或多次。一旦复制了,每个索引就有了主分片〔作为复制源的原来的分片和复制分片〔主分片的拷贝之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后,可以在任何时候动态地改变复制的数量,但是事后不能改变分片的数量。默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个复制,这意味着,如果你的集群中至少有两个节点,你的索引将会有5个主分片和另外5个复制分片〔1个完全拷贝,这样的话每个索引总共就有10个分片。1.2.3Logstash介绍Logstash的主要功能是收集和过滤,类似于shell中的管道符"|"。它的工作过程是将数据进行收集,并对收集的入职根据策略进行分类和过滤,最后进行输出.实际上,Logstash是用不同的线程来实现收集、过滤、输出功能的,可运行top命令然后按下H键查看线程。数据在线程之间以事件的形式流传。并且,logstash可以处理多行事件。Logstash会给事件添加一些额外信息。其中最重要的就是@timestamp,是用来标记事件的发生时间。因为这个字段涉及到Logstash的内部流转,所以必须是一个json对象,如果自定义给一个字符串字段重命名为@timestamp的话,Logstash会直接报错,那么就需要使用filters/date插件来管理这个特殊字段。额外信息还包括以下几个概念：A.host标记事件发生在哪里。B.type标记事件的唯一类型。C.tags标记事件的某方面属性。这是一个数组,一个事件可以有多个标签。也可以自定义个事件添加字段或者从事件里删除字段。事实上事件本身就是是一个Ruby对象。1.2.4Kibana介绍Kibana是一个开源的分析与可视化平台,用于和Elasticsearch一起使用,可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。Kibana对大量数据的呈现非常清晰。它简单、基于浏览器的接口能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。Kibana支持LInux、Windows等操作系统。版本要求：Kibana要求安装版本要和Elasticsearch一致。Kibana版本Elasticsearch版本是否支持5.X2.X不支持5.15.0不支持5.15.1支持5.15.2支持<会有提示升级的警告>支持本次安装部署的Kibana版本为版本,对应Elasticsearch版本为版本。ELK安装配置2.1系统架构介绍此架构的工作流程是Logstashagent〔shipper监控并过滤客户端日志,将过滤后的日志内容发给Redis〔indexer,此处的Redis既充当消息队列的角色,由于其优越的持久化机制也被用来做缓存,然后LogstashServer〔indexer从Redis的对应位置拿出日志数据,并将其输出到ElasticSearch中,ElasticSearch获取到数据后开始生产索引,然后使用Kibana进行页面展示。这是一个完成的日志收集、存储、检索流程。2.2安装ElasticsearchOS:Centos6.5elk-node1：elk-node2：在两台主机上分别安装Elasticsearch。准备工作：、关闭防火墙、Selinux#iptables-F#chkconfigiptablesoff#setenforce0#vim/etc/sysconfig/selinux改为：SELINUX=disabled、配置java环境#yuminstall-yjava#java-versionjavaversion"1.7.0_151"OpenJDKRuntimeEnvironment<rhel-.el6_9-x86_64u151-b00>OpenJDK64-BitServerVM<build24.151-b00,mixedmode>、配置主机信息node1、node2节点分别配置：其中node1是master,node2是slave#vim/etc/hosts8elk-node17elk-node22.2.1Yum方式安装〔1、下载并安装GPG-Key#rpm--import〔2、添加yum仓库[elasticsearch-2.x]name=Elasticsearchrepositoryfor2.xpackagesgpgcheck=1enabled=1〔3、安装elasticsearch#yuminstall-yelasticsearch〔4、安装测试软件注：提前先下载安装epel源：,否则yum会报错:NoPackage#yuminstall-yredis#yuminstall-ynginx〔5、部署配置#mkdir-p/data/es-dataelk-node1：#vim/etc/elasticsearch/elasticsearch.yml:nova##集群名称:elk-node1##节点名,建议和主机一致node.master:true##指定该节点是否有资格被选举成为masternode,默认是true,es是默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。node.data:false##指定该节点是否存储索引数据,默认为true。path.data:/data/es-data##数据存放路径path.logs:/var/log/elasticsearch/##日志存放文件bootstrap.memory_lock:true##内存锁机制,锁住内存,不被使用到交换分区去##网络主机访问权限设置http.port:9200##web端口elk-node2：#vim/etc/elasticsearch/elasticsearch.yml:nova##集群名称:elk-node2##节点名,建议和主机一致node.master:false##指定该节点是否有资格被选举成为masternode,默认是true,默认集群中的第一台机器为master,如果这台机挂了就会重新选举master。node.data:true##指定本节点为数据存储节点path.data:/data/es-data##数据存放路径path.logs:/var/log/elasticsearch/##日志存放文件bootstrap.memory_lock:true##内存锁机制,锁住内存,不被使用到交换分区去##网络主机访问权限设置http.port:9200##web端口discovery.zen.ping.multicast.enabled:false##多播自动发现禁用开关,当前设置为关闭discovery.zen.ping.unicast.hosts:["8","7"]#chown-Relasticsearch.elasticsearch/data/〔6、启动服务#/etc/init.d/elasticsearchstartStartingelasticsearch:[OK]#chkconfigelasticsearchon#/etc/init.d/elasticsearchstatuselasticsearch<pid2309>isrunning...#netstat-antplu|egrep"9200|9300"tcp00:::9200:::*LISTEN2309/javatcp00:::9300:::*LISTEN2309/java、验证1、web浏览器访问打开浏览器〔最好是google浏览器,输入IP+端口：8:9200,查看界面显示。验证正确。2、通过命令的方式查看注：即可在本机查看,也可在其他主机查看。#curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'HTTP/1.1200OK##访问成功Content-Type:application/json;charset=UTF-8Content-Length:95{"count":0,"_shards":{"total":0,"successful":0,"failed":0}}2.2.2源码安装、获取源码包,并保存在系统/usr/local/src中。、解压安装#cd/usr/local/src#mvelasticsearch-2.4.6/usr/loca/es、创建es用户及数据目录#groupaddes#useradd-geses#mkdir-r/data/es-data#chown-Res:es/data/es-data#mkdir-r/var/log/elasticsearch#chown-Res:es/var/log/elasticsearch、es配置#vim/usr/local/es/config/elasticsearch.yml注：配置参数时,需要先设置一个空格,否则启动时会报错。::elk-node3node.master:falsenode.data:truepath.data:/data/es-datapath.logs:/data/logs/espath.logs:/data/logs/eshttp.port:9200discovery.zen.ping.multicast.enabled:falsediscovery.zen.ping.unicast.hosts:["8","7","8"]、启动源码安装的es不能使用root用户启动,必须使用创建好的普通用户进行启动。#su-es$/usr/local/es/bin/elasticsearch&[2017-09-2923:57:38,334][WARN][bootstrap]unabletoinstallsyscallfilter:seccompunavailable:CONFIG_SECCOMPnotcompiledintokernel,CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERareneeded[2017-09-2923:57:38,346][WARN][bootstrap]UnabletolockJVMMemory:error=12,reason=Cannotallocatememory[2017-09-2923:57:38,346][WARN][bootstrap]ThiscanresultinpartoftheJVMbeingswappedout.[2017-09-2923:57:38,346][WARN][bootstrap]IncreaseRLIMIT_MEMLOCK,softlimit:65536,hardlimit:65536[2017-09-2923:57:38,346][WARN][bootstrap]Thesecanbeadjustedbymodifying/etc/security/limits.conf,forexample: #allowuser'es'mlockall essoftmemlockunlimited eshardmemlockunlimited[2017-09-2923:57:38,347][WARN][bootstrap]Ifyouareloggedininteractively,youwillhavetore-loginforthenewlimitstotakeeffect.[2017-09-2923:57:38,704][INFO][node][elk-node3]version[2.4.6],pid[3375],build[5376dca/2017-07-18T12:17:44Z][2017-09-2923:57:38,704][INFO][node][elk-node3]initializing...[2017-09-2923:57:39,167][INFO][plugins][elk-node3]modules[lang-groovy,reindex,lang-expression],plugins[],sites[][2017-09-2923:57:39,205][INFO][env][elk-node3]using[1]datapaths,mounts[[/</dev/mapper/vg_nginx-lv_root>]],netusable_space[33.2gb],nettotal_space[36.8gb],spins?[possibly],types[ext4][2017-09-2923:57:39,205][INFO][env][elk-node3]heapsize[1015.6mb],compressedordinaryobjectpointers[true][2017-09-2923:57:39,205][WARN][env][elk-node3]maxfiledescriptors[4096]forelasticsearchprocesslikelytoolow,considerincreasingtoatleast[65536][2017-09-2923:57:40,645][INFO][node][elk-node3]initialized[2017-09-2923:57:40,645][INFO][node][elk-node3]starting...[2017-09-2923:57:40,691][INFO][transport][elk-node3]publish_address{8:9300},bound_addresses{[::]:9300}[2017-09-2923:57:40,695][INFO][discovery][elk-node3]nova/DSP41KSoR2C_RdXJNPO4zg显示以上信息表示es启动成功。$netstat-antplu|grepjavatcp00:::9200:::*LISTEN3375/javatcp00:::9300:::*LISTEN3375/java端口已开启。验证：$curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'HTTP/1.1200OKContent-Type:application/json;charset=UTF-8Content-Length:98{"count":78,"_shards":{"total":21,"successful":21,"failed":0}}验证正常。2.2.3head插件安装、方法一：直接安装#/usr/share/elasticsearch/bin/plugininstallmobz/elasticsearch-head安装完成,进行验证。打开浏览器,输入8:9200/_plugin/head/,查看显示结果。插件安装成功。删除插件：#/usr/share/elasticsearch/bin/pluginlistInstalledpluginsin/usr/share/elasticsearch/plugins:-head##当前已安装插件#/usr/share/elasticsearch/bin/pluginremovehead->Removinghead...Removedhead##删除成功注：源码安装的es,在安装head插件后,重启会报错。报错信息：Exceptioninthread"main"java.lang.IllegalArgumentException:Property[version]ismissingforplugin[head]解决方案：#vim/usr/local/es/plugins/head/pertiesdescription=head-Awebfrontendforanelasticsearchclusterversion=mastersite=truename=head然后进行重启,重启后正常。、方法二：源码安装head插件包百度云盘下载：,提取密码：ifj7#cd/usr/local/src/#unzipelasticsearch-head-master.zip#cd/usr/share/elasticsearch/plugins/#mkdirhead#cdhead/#cp-r/usr/local/src/elasticsearch-head-master/*./#chown-Relasticsearch:elasticsearch/usr/share/elasticsearch/plugins#/etc/init.d/elasticsearchrestart#curl-i-XGET'8:9200/_count?pretty'-d'{"query":{"match_all":{}}}'命令测试插件安装成功。Web界面显示正确,说明插件安装成功。2.2.4实例测试、插入数据实例测试打开"复合查询",在POST选项下,任意输入如/index-demo/test,然后在下面输入数据,查看返回结果。注：内容之间换行的逗号不要漏掉点击"验证JSON"->"提交请求",提交成功后,观察右栏里出现的信息：有index,type,version等信息,failed:0〔成功消息测试成功。、实例测试选择"复合查询"选项,选择GET选项,在/index-demo/test/后面输入上面POST结果中的id号,不输入内容,即{}括号里为空！点击"验证JSON"和"提交请求",观察右栏内显示结果。结果中有上述插入的数据,这就是elasticsearch检索功能的具体体现。、实例查询打开"基本查询",查看下数据,如下,即可查询到〔1步骤中插入的数据。打开"数据浏览",也能查看到插入的数据。其中也可通过mesg和user关键字检索相应数据。2.2.5kopf监控插件、方法一#/usr/share/elasticsearch/bin/plugininstalllmenezes/elasticsearch-kopf安装成功。、方法二：源码安装#wget/lmenezes/elasticsearch-kopf/archive/master.zip#unzipmaster.zip#cd/usr/share/elasticsearch/plugins/#mkdirkopf#cdkopf#cp-r/usr/local/src/elasticsearch-kopf-master/*./#chown-Relasticsearch:elasticsearch/usr/share/elasticsearch/plugins#/etc/init.d/elasticsearchrestartStoppingelasticsearch:[FAILED]Startingelasticsearch:[OK]测试验证：2.3安装Logstash安装包：2.3.1下载源码安装包2.3.2安装#tar-xvf2.3.3配置环境#vim/etc/profileexportPATH=$PATH:/usr/local/logstash/bin#source/etc/profile2.3.4重启elasticsearch#/etc/init.d/elasticsearchrestart2.3.5数据测试logstash常用参数：-e:指定logstash的配置信息,可以用于快速测试;-f:指定logstash的配置文件；可以用于生产环境;〔1、基本输入输出〔数据未写入elasticsearch中#logstash-e'input{stdin{}}output{stdout{}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedhello##输入2017-09-19T18:51:29.082Zhello##输出world ##输入2017-09-19T18:51:38.151Zworld ##输出〔2、使用rubydebug详细输出〔数据未写入elasticsearch中#logstash-e'input{stdin{}}output{stdout{codec=>rubydebug}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedhello##输入{ ##输出下面信息"message"=>"hello","@version"=>"1","@timestamp"=>"2017-09-19T19:32:44.701Z","host"=>""}world ##输入{ ##输出线面信息"message"=>"world","@version"=>"1","@timestamp"=>"2017-09-19T19:32:55.357Z","host"=>""}、把输入内容输出到elasticsearch中#logstash-e'input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}}'Settings:Defaultfilterworkers:1Logstashstartupcompleted123456 ##输入内容novahelloworldSIGINTreceived.Shuttingdownthepipeline.{:level=>:warn}Logstashshutdowncompleted注：使用rubydebug和写到elasticsearch中的区别：其实就在于后面标准输出的区别,前者使用codec；后者使用elasticsearch。测试：写到elasticsearch中内容在logstash中查看,如下图：注：master收集到日志后,会把一部分数据碎片到salve上〔随机的一部分数据,master和slave又都会各自做副本,并把副本放到对方机器上,这样就保证了数据不会丢失。如下,master收集到的数据放到了自己的第3分片上,其他的放到了slave的第0,1,2,4分片上。〔1、elasticsearch查看〔2、Logstash查看〔3、文本查看〔4、既写到elasticsearch中又写到文件中#logstash-e'input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}stdout{codec=>rubydebug}}'Settings:Defaultfilterworkers:1Logstashstartupcompletedyangguoqiang##输入 { ##输出内容"message"=>"yangguoqiang","@version"=>"1","@timestamp"=>"2017-09-19T21:02:36.313Z","host"=>""}nihao ##输入{ ##输出内容"message"=>"nihao","@version"=>"1","@timestamp"=>"2017-09-19T21:02:39.163Z","host"=>""}Logstashshutdowncompleted注：以上文本可以长期保留、操作简单、压缩比大。验证：输出信息被记录在文本中,可实时查询。2.3.6logstash的配置和文件编写参考文档：#mkdir/etc/logstash、logstash的配置input{stdin{}}output{elasticsearch{hosts=>["9:19200"]}stdout{codec=>rubydebug}}执行：Settings:Defaultfilterworkers:1Logstashstartupcompletedbeijing##输入信息{ ##输出信息"message"=>"beijing","@version"=>"1","@timestamp"=>"2017-09-20T09:00:46.581Z","host"=>""}验证： 〔2、收集系统日志配置#vim/etc/logstash/log_file.confinput{file{path=>"/var/log/messages"type=>"system"start_position=>"beginning"}}output{elasticsearch{hosts=>["9:19200"]index=>"system-%{+YYYY.MM.dd}"}}验证：、收集java日志,其中包含上面讲到的系统日志收集#vim/etc/logstash/log_java.confinput{ ##系统日志输入file{path=>"/var/log/messages"type=>"system"start_position=>"beginning"}}input{ ##es-error日志输入file{path=>"/var/log/elasticsearch/nova.log"type=>"es-error"start_position=>"beginning"}}output{ ##输出到es中if[type]=="system"{elasticsearch{hosts=>["9:19200"]index=>"system-%{+YYYY.MM.dd}"}}if[type]=="es-error"{ ##判断日志type,如果符合es-error字段,则输出到es中。elasticsearch{hosts=>["9:19200"]index=>"es-error-%{+YYYY.MM.dd}"}}}注：如果你的日志中有type字段那你就不能在conf文件中使用type验证：案例〔3中是将每个报错收集成一行内容,并不是按照一个报错、一个时间模块方式收集的。、以事件方式收集报错信息#vim/etc/logstash/multiline.confinput{stdin{codec=>multiline{pattern=>"^\[INFO"negate=>truewhat=>"previous"}}}output{stdout{codec=>"rubydebug"}}执行:#logstash-fmultiline.confSettings:Defaultpipelineworkers:2Pipelinemainstarted123 ##输入456[123{ ##输出"@timestamp"=>"2017-09-20T14:36:59.487Z","message"=>"123\n456","@version"=>"1","tags"=>[[0]"multiline"],"host"=>""}123] ##输入[456]{ ##输出"@timestamp"=>"2017-09-20T14:37:36.771Z","message"=>"[123\n123]","@version"=>"1","tags"=>[[0]"multiline"],"host"=>""}Pipelinemainhasbeenshutdownstoppingpipeline{:id=>"main"}注：在没有遇到"["的时候,系统不会收集,只有遇见"["的时候,才算是一个事件,才收集起来。2.4Kibana安装配置node:elk-node22.4.1安装kibana#cd/usr/local/src#wget#mvkibana-4.3.1-linux-x64/usr/local/kibana2.4.2配置kibana#vim/usr/local/kibana/config/kibana.ymlserver.port:5601server.host:""9:19200"kibana.index:".kibana"#/usr/local/kibana/bin/kibana&#netstat-antplu|grepnodetcp00:5601:*LISTEN8716/node验证：打开浏览器,输入：7:5601,点击Setting进行设置。2.4.3KibanaWeb界面介绍〔1、Setting窗口点击"Create"进行创建一个index或者Pattern,用于在分析时确定ES中的Index。Kibana会自动加载该Index下doc的field,并自动选择合适的field用于图标中的时间字段：注：这里输入的index或Pattern项必须为之前logstash中配置好的index。点击"Discover",注意右上角是查询的时间范围。如果没有查找到数据,那么就需要需调整这个时间范围。选择时间段后,就可看到ES中的数据信息。关键字搜索：点击右边的保存按钮,保存该查询为localhost_logs,点击Sava保存。〔2、Visualize窗口接下来去Visualize页面,点击新建一个柱状图〔VerticalBarChart,然后选择刚刚保存的查询localhost_logs。之后,Kibana将生成类似于下图的柱状图〔只有1条日志,而且是在同一时间段的,比较丑,但足可以说明问题在左边设置图形的各项参数,点击ApplyChanges按钮,右边的图形将被更新。同理,其他类型的图形都可以实时更新。点击右边的保存,保存此图,命名为localhost_logs_visual。〔3、Dashboard窗口切换到Dashboard页面,单击新建按钮,选择刚刚保存的search_all_logs_visual图形,面板上将展示该图。如果有较多数据,我们可以根据业务需求和关注点在Dashboard页面添加多个图表：柱形图,折线图,地图,饼图等等。当然,我们可以设置更新频率,让图表自动更新。如果设置的时间间隔够短,就很趋近于实时分析了。到这里,ELK平台部署和基本的测试已完成。三ELK+Redis架构安装部署如果生产环境使用Logstashagent直接连接ELK,则会出现以下这个问题：一旦Elasticsearch出现问题,就不能进行日志采集处理了！这种情况下该怎么办呢？解决方案：可以在Client和Elasticsearch之间添加一个中间件作为缓存,先将采集到的日志内容写到中间件上,然后再从中间件输入到Elasticsearch中。这就比较完美的解决了上述的问题了。3.1Redis安装配置3.1.1安装依赖性#yumrepolist##获取当前有效rpm包。#yum-yinstallgccgcc-c++makegmakecmakezlibtcl##安装依赖性下载源码包,安装redis#cd/usr/local/src##进入软件包目录〔规范化#wget\\下载软件包#tar-xzfredis-3.2.9.tar.gz##解压并进入redis目录#cdredis-3.2.9##解压并进入redis目录#./runtest##运行测试#makeMALLOC=libc##预编译编译安装#maketest##编译测试#cdsrc##进入src目录安装#makePREFIX=/usr/local/redisinstall##编译安装#cdutils/#.src/install_server.sh//脚本执行后,所有选项都以默认参数为准即可Pleaseselecttheredisportforthisinstance:[6379] ##此处回车,可设置Selectingdefault:6379Pleaseselecttheredisconfigfilename[/etc/redis/6379.conf] ##此处回车,可设置Selecteddefault-/etc/redis/6379.confPleaseselecttheredislogfilename[/var/log/redis_6379.log] ##此处回车,可设置Selecteddefault-/var/log/redis_6379.logPleaseselectthedatadirectoryforthisinstance[/var/lib/redis/6379] ##此处回车,可设置Selecteddefault-/var/lib/redis/6379Pleaseselecttheredisexecutablepath[] ##默认为[],设置为/usr/local/redis/bin/redis-serverSelectedconfig:Port:6379Configfile:/etc/redis/6379.confLogfile:/var/log/redis_6379.logDatadir:/var/lib/redis/6379Executable:/usr/local/bin/redis-serverCliExecutable:/usr/local/bin/redis-cliIsthisok?ThenpressENTERtogoonorCtrl-Ctoabort.##此处回车Copied/tmp/6379.conf=>/etc/init.d/redis_6379Installingservice...Successfullyaddedtochkconfig!Successfullyaddedtorunlevels345!##运行等级为345StartingRedisserver...Installationsuccessful!3.1.3配置redis#vim/usr/local/redis/etc/6379.confport6379tcp-backlog511timeout60stcp-keepalive300daemonizeyessupervisednopidfile/var/run/redis_6379.pidloglevelnoticelogfile/var/log/redis_6379.logdatabases16save9001save30010save6010000stop-writes-on-bgsave-erroryesrdbcompressionyesrdbchecksumyesdbfilenamedump.rdbdir/var/lib/redis/6379repl-diskless-syncnorepl-diskless-sync-delay5repl-timeout60repl-disable-tcp-nodelaynorequirepassmimamaxclients10000maxmemory256mmaxmemory-policyvolatile-ttlmaxmemory-samples5appendonlynoappendfilename"appendonly.aof"appendfsyncalwaysno-appendfsync-on-rewritenoauto-aof-rewrite-percentage100auto-aof-rewrite-min-size64mbaof-load-truncatedyeslua-time-limit5000slowlog-log-slower-than10000slowlog-max-len128latency-monitor-threshold0notify-keyspace-events""hash-max-ziplist-entries128hash-max-ziplist-value1024list-max-ziplist-size-2list-compress-depth0set-max-intset-entries512zset-max-ziplist-entries128zset-max-ziplist-value64hll-sparse-max-bytes3000activerehashingyesclient-output-buffer-limitnormal000client-output-buffer-limitpubsub32mb8mb60hz10aof-rewrite-incremental-fsyncyes3.1.4设置守护进程/etc/init.d/redis#chmod755/etc/init.d/redis#vim/etc/init. d/redis#!/bin/sh#SimpleRedisinit.dscriptconceivedtoworkonLinuxsystems#asitdoesuseofthe/procfilesystem.#chkconfig:-5874#description:Redis_6379isapersistentkey-valuedatabaseREDISPORT=6379EXEC=/usr/local/redis/bin/redis-serverCLIEXEC=/usr/local/redis/bin/redis-cliPIDFILE=/var/run/redis_${REDISPORT}.pidCONF="/etc/redis/${REDISPORT}.conf"case"$1"instart>if[-f$PIDFILE]thenecho"$PIDFILEexists,processisalreadyrunningorcrashed"elseecho"StartingRedisserver..."$EXEC$CONFfiecho"Redisstart";;stop>if[!-f$PIDFILE]thenecho"$PIDFILEdoesnotexist,processisnotrunning"elsePID=$<cat$PIDFILE>echo"Stopping..."$CLIEXEC-a"mima"-p$REDISPORTshutdownwhile[-x/proc/${PID}]doecho"WaitingforRedistoshutdown..."sleep1doneecho"Redisstopped"fi;;status>PID=$<cat$PIDFILE>if[!-x/proc/${PID}]thenecho'Redisisnotrunning'elseecho"Redisisrunning<$PID>"fi;;restart>$0stop$0start;;*>echo"Pleaseusestartorstopasfirstargument";;esac#chkconfig--addredis #添加系统服务#chkconfigredison #设置开机自启#serviceredisstart##服务启动#serviceredisstatus##查看服务状态#serviceredisstop##服务关闭#serviceredisrestart##服务重启3.1.5测试redis#redis-cli-h7-p63797:6379>ping<error>NOAUTHAuthenticationrequired. ##认证失败,即未进行密码认证,7:6379>auth"mima"##redis的认证方式是auth"密码",其中密码是/etc/redis/6379.conf文件中的"requirepass"参数中OK7:6379>pingPONG7:6379>quit3.2ELK+redis连接配置3.2.1输出信息到屏幕#vim/etc/logstash/log_redis.conf##logstash+redis配置input{stdin{}}output{stdout{codec=>rubydebug} ##设置输出方式,此方式为文本输出redis{type=>"redis-log"host=>"7" ##主机password=>"mima" ##认证密码port=>"6379" ##端口db=>"6" ##选择数据库目录,自动创建data_type=>"list" ##数据类型key=>"demo" ##键值对}}#logstashagent-flog_redis.conf--verbosestartingagent{:level=>:info}startingpipeline{:id=>"main",:level=>:info}Settings:Defaultpipelineworkers:2Startingpipeline{:id=>"main",:pipeline_workers=>2,:batch_size=>125,:batch_delay=>5,:max_inflight=>250,:level=>:info}Pipelinemainstartednihao ##输入内容{ ##输出内容"message"=>"nihao","@version"=>"1","@timestamp"=>"2017-09-22T11:31:30.082Z","host"=>"elk-node2"}Inputpluginsstopped!Willshutdownfilter/outputworkers.{:level=>:info}Pipelinemainhasbeenshutdownstoppingpipeline{:id=>"main"}Closinginputs{:level=>:info}Closedinputs{:level=>:info}验证：#redis-cli-h7-p6379##登陆redis数据库7:6379>auth"mima"##密码验证,如果此处没有进行密码验证,则会报出错误,错误信息如下："NOAUTHAuthenticationrequired."OK7:6379>info##查看redis信息查看#Server##redis版本信息redis_git_sha1:00000000redis_git_dirty:0redis_build_id:2fd0f0229ac00f27redis_mode:standaloneos:Linux2.6.32-696.10.2.el6.x86_64x86_64arch_bits:64multiplexing_api:epoll##gcc版本信息process_id:24757 ##当前Redis服务器进程idrun_id:3563e3ab4f6739fde5a523a668bca974b202706etcp_port:6379uptime_in_seconds:357768##运行时长〔秒uptime_in_days:4 ##运行时长〔天hz:10lru_clock:13265422executable:/usr/local/redis/bin/redis-serverconfig_file:/etc/redis/6379.conf#Clientsconnected_clients:1##客户端连接数client_longest_output_list:0client_biggest_input_buf:0blocked_clients:0#Memoryused_memory:1001568##Redis分配的内存总量used_memory_human:978.09Kused_memory_rss:3497984 ##Redis分配的内存总量<包括内存碎片>used_memory_rss_human:3.34Mused_memory_peak:2425176used_memory_peak_human:2.31M###Redis所用内存的高峰值total_system_memory:4010504192total_system_memory_human:3.74G##系统内存总量used_memory_lua:49152used_memory_lua_human:48.00Kmaxmemory:256000000maxmemory_human:244.14Mmaxmemory_policy:volatile-ttlmem_fragmentation_ratio:3.49mem_allocator:libc#Persistenceloading:0rdb_changes_since_last_save:2rdb_bgsave_in_progress:0rdb_last_save_time:1506436853rdb_last_bgsave_status:okrdb_last_bgsave_time_sec:0rdb_current_bgsave_time_sec:-1aof_enabled:0##redis是否开启了aofaof_rewrite_in_progress:0aof_rewrite_scheduled:0aof_last_rewrite_time_sec:-1aof_current_rewrite_time_sec:-1aof_last_bgrewrite_status:okaof_last_write_status:ok#Statstotal_connections_received:346605##运行以来连接过的客户端的总数量total_commands_processed:4084150##运行以来执行过的命令的总数量instantaneous_ops_per_sec:0total_net_input_bytes:197967251total_net_output_bytes:78672012instantaneous_input_kbps:0.00instantaneous_output_kbps:0.00rejected_connections:0sync_full:0sync_partial_ok:0sync_partial_err:0expired_keys:0evicted_keys:0keyspace_hits:346624keyspace_misses:898947pubsub_channels:0pubsub_patterns:0latest_fork_usec:195migrate_cached_sockets:0#Replicationrole:master##当前实例的角色master还是slaveconnected_slaves:0##当前连接slave数量master_repl_offset:0repl_backlog_active:0repl_backlog_size:1048576repl_backlog_first_byte_offset:0repl_backlog_histlen:0#CPUused_cpu_sys:289.65##CPU 系统使用量used_cpu_user:4.06 ##CPU用户使用量used_cpu_sys_children:0.01 ##CPU系统子进程使用量used_cpu_user_children:0.00 ##CPU用户子进程使用量#Clustercluster_enabled:0 ##集群模式启动#Keyspacedb0:keys=1,expires=0,avg_ttl=0##各个数据库的key的数量,以及带有生存期的key的数量db1:keys=1,expires=0,avg_ttl=0db6:keys=1,expires=0,avg_ttl=07:6379[1]>select6##选择db6库目录OK7:6379[6]>keys* ##查看当前库目录下的所有key值1>"demo" ##当前库目录下只有"demo"一个key值7:6379[6]>LINDEXdemo1##查看"demo"key的第二个value"{\"message\":\"2\",\"@version\":\"1\",\"@timestamp\":\"2017-09-26T15:57:10.167Z\",\"host\":\"elk-node2\"}"7:6379[6]>LINDEXdemo-1##查看"demo"key的最后一个value"{\"message\":\"8\",\"@version\":\"1\",\"@timestamp\":\"2017-09-26T15:57:13.467Z\",\"host\":\"elk-node2\"}"以上实验证明输入信息可以正常输出到redis数据库对应库中,并以key：value简直对的形式存储。3.2.2输出信息到Elasticsearch#vim/etc/logstash/log_es_redis.confinput{redis{host=>"7"password=>"mima"##redis认证密码port=>"6379" ##redis端口db=>"6" ##此处的db库名应与此前写入redis数据库的库名一致。data_type=>