阶段四-好客租房学习之beats、kibana logstash讲义

：Logstash学1、Beats 2、、架用于、收集服务器日志文件、部署与运1123456789mkdirtar-xvffilebeat-6.5.4-linux-x86_64.tar.gzcdfilebeat-6.5.4-linux-x86_64#创建如下配置文件-type:stdinindex.number_of_shards:3pretty:enable:#启动./filebeat-e-c#输oo运行结"@timestamp""@timestamp":"2019-01-、文1123456789#配文件项haoke--type:log-index.number_of_shards:3enable:#启动./filebeat-e-chaoke-#观察filebeat{"@timestamp":"2019-01-{"version":"host":"name":""source":"/haoke/beats/logs/a.log","offset":0,"message":""prospector":{"type":"input":"type":"beat":"version":"name":"}"hostname":"{}"@timestamp":"2019-01-{"version":{"input":"type":"beat":"version":"name":""hostname":"}"host":"name":""source":"/haoke/beats/logs/a.log","offset":6,"message":、自定义字1#1#文件项haoke--type:enabled:-tags:[ #添加自定义tag，便于后fields:#添加自定义字段from:haoke-fields_under_root:true#true为添加到根节点，false为添加到 index.number_of_shards:pretty:enable:#启动./filebeat-e-chaoke-log.yml#/haoke/beats/logs下创建a.log文件，并输入如下内#执行效{ "@timestamp":"2019-01-"@metadata":"beat":"type":"version": "offset":"tags":"haoke- "prospector": "type": "beat": "name": "hostname": "version": "host": "name": "source":"message":"input":"type": "from":"haoke-53、输出到tagstags:["haoke-index.number_of_shards:3#指定索引的分区数output.elasticsearch:#指定ES的配在日志文件中输入新的内容进试查看数据、Filebeat工作原Filebeat由两个主要组件组成：prospector和harvester。负责单个文件的内容 Filebeat保存每个文件的状态并经常将状态刷新到磁盘上的文件中。如果输出（例如Elasticsearch或Logstash）无法，Filebeat会最后发送的行，并在输出再次可时继续文件在lebeat运行时，每个pospectr内存中也会保存的文件状态信息，当重新启动lebeat文件的数据来重建文件状态，Flebeat将每个hrvestr在从保存的最后偏移量继续。./filebeat-e-c./filebeat-e-chaoke.yml-d"publish"#参数说-e:输出到标准输出，默认输出到syslog和logs-c:指定配置文件-d:输出debug信8#测试：./filebeat-e-chaoke-log.yml-d" Publishevent: "@timestamp":"2019-01-"@metadata":"beat":"type":"version": "offset":"tags":"haoke- "input":"type": "prospector":"type": "beat": "name": "hostname": "version": "source":"fields":"from":"haoke- "host": "name": "message":40、前面要想实现日志数据的以及处理都是自己手动配置的，其实，在Flebeat中，有大量的Modle，可以化我们的配置，直接就可以使用，如下：、redis 、redismodule、修改redis的dockeri下。oglevl日志等级分为：debug、verbose、notice、waring其中，debug会有大量信息，对开发、测试有用；verbose等于log4j中的info，有很多信息，但是不会像debug那样乱；notice一般信息；warning只有非常重要/关键的消息、配置 path:当然了，其他的Module的用法参加文档：filebeat/current/filebeat-3、、Metricbeat组收集指标的集合，如：cpu、memry、twk等；以RedisModule为例：、部署与收集系统指tartar-xvfmetricbeat-6.5.4-linux-path:path:#./metricbeat-systemmodule配置1root@2#Module:3#45-module:6period:78-9----system.filesystem.mount_point:3.3、Mri.lount_point:1123456789./metricbeatmoduleslist#查看列system#默认启用 3.4、Redis#启./metricbeat-4、Kibana是一款开源的数据分析和可视化平台，它是ElasticStack成员之一，设计用于和Elasticsearch协作。您可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数 、配置安#解压#解压安装tar-xvfkibana-6.5.4-linux-x86_64.tar.gz10#、通过docker部#docker/kibana.yml:/usr/share/kibana/config/kibana.yml、功能说、数据探首先先添加索引信息即可查看索引数、Metricbeat##修改metricbeat#到查看系统信息、Filebeat##修改配置 path:#安到5、、简用途、部署安#第一个logstash示执行效果如下、接收Filebeat输入的日、安装#/usr/share/nginx#/usr/share/nginx：存放静态文#nginx-#通过浏览 页面并且查看日 地址、配置#启#说明：现报错，因为Logstash还没有启、配置#启动--config.test_and_exit用于测试#正式启 --config.reload.automatic热加载配置文件，修改配置文件后无需重新启、测3043040\"-\"\"Mozilla/5.0(WindowsNT6.3;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/70.0.3538.67Safari/537.36\"","input"=>"type"=> "prospector"=>"type"=> 28 5.3.4、配置面的输出中，可以看出，虽然可以拿到日志信息，但是信息格式并不友好，比如说，不能直接拿到日志中的ip地址。access_log/var/log/nginx/access.log第二步，编写nginx-patterns{HTTPDATE:time_local}\]{HTTPDATE:time_local}\]\"%{DATA:request}\"%{INT:status}%{NUMBER:bytes_sent}第三步，修改haoke-pipeline.confpatterns_dirpatterns_dir=>"/haoke/logstash-6.5.4/nginx-"source""source"=>5.3.5、发送到修改配置1123456789#vimhaoke-pipeline.confinput{beatsport=>}}filtergrokpatterns_dir