基于ELK的Packetbeat和watcher数据监控V1.0

1、提提 纲纲ELK基础知识基础知识Packetbeat知识介绍知识介绍Watcher知识介绍知识介绍业内大数据分析系统调研业内大数据分析系统调研ElasticSearch特点ElasticSearch 是一个基于Apache Lucene的开源数据搜索引擎，它的特点有：l实时：可以进行实时的数据搜索和分析l分布式：分布式文件存储，并将每个字段都编入索引lRESTful API：对外提供一系列基于JAVA和HTTP的API，用于索引、查询、修改大多数配置lJSON：输入输出格式为JSON，快捷方便l多租户：可根据不同用途分索引，同时操作多个索引ElasticSearch使用案例l维基百科使用 El

2、asticsearch 来进行全文搜索并高亮显示关键词，以及提供search-as-you-type、did-you-mean等搜索建议功能。l英国卫报使用 Elasticsearch 来处理访客日志，以便能将公众对不同文章的反应实时地反馈给各位编辑。lStackOverflow 将全文搜索与地理位置和相关信息进行结合，以提供more-like-this相关问题的展现。lGitHub 使用 Elasticsearch 来检索超过1300亿行代码。l每天，Goldman Sachs 使用它来处理5TB数据的索引，还有很多投行使用它来分析股票市场的变动。ElasticSearch安装ES的安装很简

3、单，可参考官网https:/www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html服务启动后测试下是否运行正常：head插件：elasticsearch/bin# ./plugin install mobz/elasticsearch-headKopf插件：elasticsearch/bin# ./plugin install lmenezes/elasticsearch-kopfElasticSearch插件安装ES插件，来查看集群状态、查看数据信息等。Logstrash简介Logstash是一个接

4、收，处理，转发日志的工具，由Jruby语言编写，并运行在Java虚拟机上。在Logstrash的生态系统中主要分为4大组件：lShipper：日志收集者。负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，输出到Redis暂存。lBroker and Indexer：接受并索引化事件lSearch and Storage：允许对时间进行搜索和存储lWeb Interface：基于WEB的展示页面Logstrash简介Logstash使用管道方式进行日志的搜集处理和输出。主要做3件事：lCollect：数据输入lEnrich：数据加工，如过滤，改写等lTransport：数据输出Kib

5、ana介绍Kibana 是一个使用 Apache 开源协议，基于浏览器的 Elasticsearch 分析和搜索仪表板。Kibana安装配置Kibana安装比较简单，可参考官网https:/www.elastic.co/downloads/kibana默认情况下，Kibana 会连接运行在 localhost 的 Elasticsearch。要连接其他 Elasticsearch 实例，修改kibana.yml 里的 Elasticsearch URL，然后重启 Kibana。从 Kibana 访问 Elasticsearch 索引的配置方法1.配置包含时间戳的索引：可以用来做基于时间的处理2

6、.索引定期生成且索引名中包含时间戳：提高搜索性能，Kibana 会至搜索你指定的时间范围内的索引。Kibana-Discover在 Discover 页交互式探索数据。你可以访问到所匹配的索引模式的每个索引的每条记录。你可以提交过滤搜索请求，然后查看文档数 据。你还可以看到匹配搜索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文档的时序分布情况会在页面顶部以柱状图的形式展示出来。Kibana-Discover在 Discover 页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。可以直接输入简单的请求字符串，也就是用 Lucene query syntax，也可以用

7、完整的基于 JSON 的 Elasticsearch Query DSL。l简单文本搜索：直接输入文本字符串l搜索特定字段中的值：格式：字段名:值l搜索值的范围：格式：字段名:【start_value TO end_value】l指定复杂搜索标准：使用布尔操作符 AND，OR，NOTkibana-Visualize你可以用 Visualize 页来设计可视化。可以保存可视化或者合并到 dashboard 里。创建一个新的可视化：第一步：选择一个可视化的类型：区块图、折线图等第二步：选择数据源：可以选择新建或者读取一个已保存的搜索，作为你可视化的数据源。第三步：可视化编辑器kibana-Visu

8、alize-区块图Y轴是数值维度，有以下聚合可用Count:返回元素的计数Average：返回一个数值字段的平均值Sum：返回一个数值字段的总和Median：返回一个数值字段的中间值Min：返回一个数值字段的最小值Max：返回一个数值字段的最大值Unique Count：返回一个数值字段的去重数值Percentiles：返回一个数值字段的百分比分布图形的 X 轴是buckets 维度，指明从你的数据集中将要检索什么信息，支持以下聚合Date Histogram:基于时间的展示Histogram：基于数值字段创建，指定数值间隔Range：基于数值字段创建，指定一系列区间Date Range：基于

9、时间创建，指定时间区间IPv4 Range：基于IPv4创建，指定IPv4区间Terms：展示一个字段的元素值Filters：添加过滤器Significant Terms：展示实验性聚合结果kibana-Visualize-区块图kibana-Visualize-区块图kibana-Visualize-折线图kibana-Visualize-表格数据定义metrics表格列，定义 buckets 来切割表格成行kibana-Visualize-Metric为你选择的聚合显示一个单独的数字kibana-Visualize-饼图饼图的分片大小通过 metrics 聚合定义。这个维度可以支持以下聚合

10、：Count:返回元素的计数Sum：返回一个数值字段的总和Unique Count：返回一个数值字段的去重数值buckets 聚合指明从你的数据集中将要检索什么信息。kibana-Visualize-饼图kibana-Visualize-竖条图kibana-Visualize-地图地图显示一个由圆圈覆盖着的地理区域。这些圆圈则是由你指定的 buckets 控制地图使用 Geohash 聚合作为他们的初始化聚合。从下拉菜单中选择一个坐标字段。Precision 滑动条设置圆圈在地图上显示的颗粒度大小。一旦你定义好了一个 X 轴聚合。你可以继续定义子聚合来完善可视化效果。kibana-Dashbo

11、ard一个 Kibana dashboard 能让你自由排列一组已保存的可视化。然后你可以保存这个仪表板，用来分享或者重载。简单的仪表板：用户可以对仪表板做多样化操作：1.添加可视化到仪表板2.保存仪表板3.加载已保存的仪表板4.定义仪表板元素5.移动容器6.改变容器大小7.删除容器8.修改可视化9.分享仪表板并嵌入到其他用户的仪表板中ELK 套装 logstash agent 监控并过滤日志，将过滤后的日志内容发给redis(只处理队列不做存储)，logstash index将日志收集在一起交给全文搜索服务ElasticSearch ，通过Kibana 结合自定义搜索进行页面展示提提 纲纲E

12、LK基础知识基础知识Packetbeat知识介绍知识介绍Watcher知识介绍知识介绍业内大数据分析系统调研业内大数据分析系统调研几种beats在生产环境中，数据搜索需求会更复杂一些，通过logstash写正则，实在是个费时费劲的事。而beats就比较简单高效。beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。lFilebeat：用来收集日志lTopbeat：用来收集系

13、统基础设置数据，如cpu、内存、每个进程的统计信息lWinlogbeat：监控windows下面的日志信息lPacketbeat：是一个网络包分析工具，统计收集网络信息。Packetbeat是网络协议抓包和处理的一个框架，用来嗅探和分析网络流量，关联他们到事物，并且使用Elasticsearch来分析，然后进行点对点查询。Packetbeat介绍Packetbeat的安装很简单，可参考官网https:/www.elastic.co/downloads/beats/packetbeat配置文件： /etc/packetbeat/packetbeat.yml在ES中加载Packetbeat索引模板

14、，执行命令curl -XPUT http:/localhost:9200/_template/packetbeat -d/etc/packetbeat/packetbeat.template.json启动Packetbeat： sudo /etc/init.d/packetbeat startPacketbeat协议目前支持了常见的一些协议：ICMP、DNS、HTTP、MySQL、PostgreSQLRedis、Thrift-RPC、MongoDB、Memcache，也可进行协议的扩展。协议扩展开发可参考：https:/www.elastic.co/guide/en/beats/packetb

15、eat/current/new-protocol.htmlhttp:/ 纲纲ELK基础知识基础知识Packetbeat知识介绍知识介绍Watcher知识介绍知识介绍业内大数据分析系统调研业内大数据分析系统调研Watcher介绍Watcher是Elasticsearch的一个插件，提供警报和通知，并可定义基于数据的变化简单地定义一个条件，触发指定条件后Watcher会执行相关的警报和通知。 几大功能特点：1.根据ES数据的变化自动触发通知如异常登录失败、应用程序响应时间高于平均值，或者发生意外错误时发送通知。 2.主动监控Elasticsearch集群对接Watcher与Marvel服务。可以监

16、控集群状态，如节点加入或离开集群，查询高峰，内存使用率太高时候可以发送通知。 3.自定义通知可以轻松设置电子邮件通知，也可以既集成到第三方的监控服务，如通过Watcher发送警报给Nagios，PagerDuty等 4.分析历史记录可以在Kibana服务中查询Watcher的历史触发记录,支持嵌套或者多级的通知 5.高可用支持Watcher作为ElasticSearch集群的一部分运行，能够很好的应对部分硬件和网络故障。Watcher案例介绍 配置流程： 1.设置定时器和输入源(错误数据的查询条件) 2.设置触发条件（是否查询到了错误数据） 3.设置触发动作(发现错误后执行Action)监控错

17、误数据案例，每监控错误数据案例，每10秒搜索一次数据，发现错误后，记录一秒搜索一次数据，发现错误后，记录一条错误记录。条错误记录。 Watcher案例介绍监控监控ElasticSearch集群状态：每集群状态：每10秒检测一次集群状态，如果集群状态错秒检测一次集群状态，如果集群状态错误，则发送邮件给运维误，则发送邮件给运维Watcher在kibana上的监控当一个Watcher被触发后，watch_record文件被创建且添加到watcher历史索引中，名称形式为watch_history-YYYY.MM.dd，可以像其他Elasticsearch索引一样，搜索watcher历史，在Kiban

18、a中监控和可视化watch的执行情况。在Kibana中配置监控watches：Watcher在kibana上的监控通过kibana监控Watcher的历史数据提提 纲纲ELK基础知识基础知识Packetbeat知识介绍知识介绍Watcher知识介绍知识介绍业内大数据分析系统调研业内大数据分析系统调研业内大数据分析系统调研开源数据分析系统（Moloch、haka、bro、beats）云利来iMAPRiverbed SteelCentral AppResponseBigSwitch自带分析系统协议IP、HTTP、DNS、IP Address、Hostname、SSH、IRC、SSL/TLS、DHC

19、P、ICMP、MySQL、PostgreSQL、Redis、Thrift-RPC、MongoDB、MemcacheTCP、UDP、HTTP、DNSIP、HTTP、TCP、UDP、DHCP、ICMP等DHCP、DNS、ICMP字段解析byte、byte_in、byte_out、client_ip、client_port、client_proc、connection_id、source.ip，dest.ip，dest.ipv6，direction，type（thrift、http、mysql、pgsql、mongodb、redis、dns、flow），transport，responsetime，

20、port，source.port，dest.port，ip，，dns.response_code，dns.id，icmp_id，method，status，_bytes_totalbit、in_bit、out_bit、retransmit、server_latency、client_latency、protocol、protocol_dport、byte、packet、sip、dip、p_oo_oder、out_packet、in_packet、syn_receive、province、city、dport、t_gt400、t_flow、status、doma

21、in、url、t_fail、retname、address、amqp-tcp、gre、webm-https-tcp、ssdp-udp、mpc-lifenet-udp、MS-WBT-SRV-TCP、NETBIOS-NS-UDP、mysql-tcp、limnr-udp、vrrp、netbios-dgm-udp（应用），payload（server、client）、packet throughput、response time、packet loss、connect faileddhcprequest、dhcppack、chaddr、ciaddr、cname、yiaddr、dhcpoptions、l

22、easetime、hops、xid、dnsmessge、clientip、serverName、qnamelist、eventtype、alias、policyname、sHost、dHost、ipAddr、macAddr告警支持告警，但需后台脚本或api执行创建TCP延迟告警，TCP重传告警，HTTP延迟告警，HTTP状态告警、DDoS提供告警且帮助快速定位网络性能问题的关键业内大数据分析系统调研开源数据分析系统（Moloch、haka、bro、beats）云利来iMAPRiverbed SteelCentral AppResponseBigSwitch自带分析系统可分析协议展示客户端地理坐标，web链接数，数据库（mysql、pgsql、mongodb）请求数，redis发生数，RPC发生数，响应时间分布，错误和成功发生数，数据库性能，TCP UDP协议分布，应用层协议分布，UDP流量，TCP流量，TCP响应时间，UDP响应时间，TCP端口分布，UDP端口分布，ICMP请求数统计，DNS请求数统计，服务器概况TCP流量、TCP重传率、TCP延迟、TCP流量协议分布、TCP端口分布、TCP服务器、TCP包数、TCP SYN包数、TC