splunk简易教程

1、splunk Copyright 2011, Splunk Inc.Listen to your data.2 Splunk = Splunkweb + Splunkd Copyright 2011, Splunk Inc.Listen to your data.3 索引任何的机器数据 实时从日志文件获取事件 运行脚本获取系统参数, 连接到 API 和数据库 监听 syslog 或获取 Windows 事件 通用方式索引任何内容格式的数据, 不需要连接器 Windows Registry Event logs File system sysinternals Linux/Unix Config

2、urations Syslog File system Ps, iostat, top Virtualization Hypervisor Guest OS Guest Apps Applications Web logs Log4J, JMS, JMX .NET events Code and scripts Databases Configurations Audit/query logs Tables Schemas Network Configurations syslog SNMP netflow Copyright 2011, Splunk Inc.Listen to your d

3、ata.4 Splunk 有四个主要功能组件 索引和搜索服务(Indexer) 本地和分布式管理 (Deployment Server) 数据收集和转发(Forwarder) 搜索和报表(Search Head) 一个 Splunk 安装可以是其中一个或者多个角色 Copyright 2011, Splunk Inc.Listen to your data.5 安装和启动 1.安装过程很简单 2. Splunk启动后，你可以打开浏览器登录进入Splunk。默认的情况下 Splunk 会使用 8000 端口，如果是在本机登录 Splunk，你可以直接在地址栏输入 http:/localhost:

4、8000 Copyright 2011, Splunk Inc.Listen to your data.6 添加数据 回到Splunk的 Web 界面，在页面右上角选择“管理”,选择所需添加日志的 类型,或者可以选择从文件和目录导入数据. Copyright 2011, Splunk Inc.Listen to your data.7 添加数据 网络设备添加数据,通过udp 514端口定向转发syslog Copyright 2011, Splunk Inc.Listen to your data.8 添加数据 通过指定路径添加日志文件,如我们通过指定路径收集IIS日志 Copyright 2

5、011, Splunk Inc.Listen to your data.9 Serach应用的介绍 在应用栏选择serach,可以打开serach界面. Copyright 2011, Splunk Inc.Listen to your data.10 Search应用的介绍 开始一个搜索,展现结果. Copyright 2011, Splunk Inc.Listen to your data.11 Serach应用的介绍 开始搜索,可以进一步添加搜索条件,例如添加一个ip,相关结果会高亮显示. Copyright 2011, Splunk Inc.Listen to your data.12

6、 添加字段 点击edit按钮,可以添加自己想要的字段,图中实例添加action、category_id、 product_id 三个字段,按字段搜索可以更加精确定位搜索结果. Copyright 2011, Splunk Inc.Listen to your data.13 保持搜索结果 搜索可以保存,方便以后快速找到结果. Copyright 2011, Splunk Inc.Listen to your data.14 搜索语句简介 Splunk 不只是提供简单的条件匹配搜索，还可以通过对搜索结果做进一步的 处理从而进行各种复杂的数据分析。例如在样例数据中，如果我希望了解到： 在线商店卖的

7、最好的产品是哪些？有多少客户购买了鲜花？每个客户购买了 多少鲜花？这些问题都可以通过 Splunk提供的强大的搜索命令来进行分析得 到最终的结果. Copyright 2011, Splunk Inc.Listen to your data.15 搜索语句简介 管道符（“ | ”）与top sourcetype=access_* action=purchase | top category_id 例如，如果希望知 道所有购买商品的 日志记录中，最多 的产品类别是哪些， 我可以先筛选出有 购买命令动作的日 志事件，然后使用 top 这个命令来对结 果中的 category_id 字段进行排序 C

8、opyright 2011, Splunk Inc.Listen to your data.16 搜索语句简介 对搜索结果进一步钻取 通过鼠标点击 category_id 中 的 FLOWERS， Splunk会自动把 这个条件添加 到搜索条件中， 打开新的搜索 结果页面 Copyright 2011, Splunk Inc.Listen to your data.17 搜索语句简介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats dc(clientip) 有多少独立客 户购买了鲜花 类商品？（设

9、定一个 clientip 即为一个客户 来源） stats是用于统计的命令，后面可以有多种不同的统计方法，dc（或 distinct_count）是其中一个计算去重后的数量 Copyright 2011, Splunk Inc.Listen to your data.18 搜索语句简介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats count BY clientip 每个独立客户 各购买的鲜花 数量是多少？ stats是用于统计的命令，后面可以有多种不同的统计方法，dc（或 distinct_co

10、unt）是其中一个计算去重后的数量 Copyright 2011, Splunk Inc.Listen to your data.19 搜索语句简介 更多的搜索方法 sourcetype=access_* action=purchase category_id=flowers | stats count AS 购买的鲜花数量 by clientip | rename clientip AS 客户 我们还可以对 输出展现的样 式进行调整， 使用 rename命 令将每列的表 头名称修改为 比较易于理解 的描述文字. Splunk提供了上百个不同的搜索命令以便于用户可以对所获取的数据进行各种 不同

11、维度的分析,详细参见请见Search Reference手册. Copyright 2011, Splunk Inc.Listen to your data.20 创建报表 sourcetype=access_* method=GET | chart count AS views, count(eval(action=purchase) AS purchases by category_id | rename views AS 查看, purchases AS 购买, category_id AS 产品类别 我们用下面的 chart 命令创建 一个报表，展现查看和购买 的商品类别数量。然后选择

12、 创建” !Report 打开报表编辑 器 Copyright 2011, Splunk Inc.Listen to your data.21 创建报表 sourcetype=access_* | timechart count(eval(action=purchase) by product_name usenull=f 1.用 timechart 命令做一个基 于时间的报表。这个例子中 我们会使用到之前做的查找 对照定义字段 2.timechart 命令自动会使用最合适的一 个时间间隔来做出报表，如果你有自己 指定的时间间隔，可以在 timechart 后 面增加span=xxx来定义间隔

13、，例如 span=1d、span=1h， 等等，具体可参考 timechart 命令的详细说明。 选择创建Report 生成报表，填入 报表标题，在“堆叠模式”中选 择“堆叠图”，并应用保存。 Copyright 2011, Splunk Inc.Listen to your data.22 创建仪表板 仪表板是一个展现多个报表和搜索结果的视图。一个仪表板由多个面板内容 组成，Splunk允许用户自己创建并组织仪表板的内容和样式。下面我们首先 通过Dashboard & Views 菜单创建一个仪表板: 创建一个新仪表板后是一个空白的视图， 我们可以通过仪表板右上角的“启用”、 “停用” 来编

14、辑仪表板上的面板内容。 Copyright 2011, Splunk Inc.Listen to your data.23 创建仪表板 我们点击“新建面板”来增加几个刚刚保存过的报表和搜索。选择“各种产 品购买趋势”报表，报表面板添加到仪表板后，选择 Edit!Edit Visualization， 选择“直条图”，在“堆叠模式”处选择“stacked” （堆叠） Copyright 2011, Splunk Inc.Listen to your data.24 创建仪表板 继续添加其他两个报表，用鼠标拖拽排列面板的位置，最终我们就生成了一 个完整的仪表板 Copyright 2011, Sp

15、lunk Inc.Listen to your data.25 Splunk应用管理 官网提供很多免费的,常用的应用下载,在”管理-应用”菜单里我们可以点击互 联网查找更多应用或者选择从文件安装应用 安装应用,选择从文件安装, 选择路径点击上载即可 Copyright 2011, Splunk Inc.Listen to your data.26 Splunk for windows应用 安装好for Windows的应用之后,可以在应用菜单中选择windwos应用 Copyright 2011, Splunk Inc.Listen to your data.27 Splunk for win

16、dows应用 安装应用的好处是,我们不需要去编写麻烦的search语句,只需点击一个按钮就 可以得到自己想要的结果 例如我们选择搜 索和报表,选择 cpu使用阀值 得到cpu设定阀 值触发的次数 统计 Copyright 2011, Splunk Inc.Listen to your data.28 Splunk for linux应用 Splunk for linux应用,和for windows应用类似,我们可以很方便的查找到系统硬 件(cpu,内存)等的使用状态,还可以查找到用户的登录情况(失败次数,用户添加, 用户修改密码记录)等等. Copyright 2011, Splunk In

17、c.Listen to your data.29 更多应用 更多应用请登录http:/splunk- 作,需根据实际情况而定. Copyright 2011, Splunk Inc.Listen to your data.30 创建告警 可以根据实际环境要求,创建告警通知 根据需求,编写搜索语句,然后 在右边的创建按钮处,选择创 建alert(告警) Copyright 2011, Splunk Inc.Listen to your data.31 创建告警 配置接收告警邮箱 创建完alert后,可以在收 索与报表中看到刚才创 建的告警 在管理器-搜索和报表 中可以看到刚创建的报 表,点击进入

18、设置项 Copyright 2011, Splunk Inc.Listen to your data.32 创建告警 配置接收告警邮箱 进入告警之后可以设置 时间,默认是实时监控的. 只要有符合搜索条件的 日志就会触发告警. 填写接收警告的邮箱,按 保存完成. Copyright 2011, Splunk Inc.Listen to your data.33 创建告警 配置发送告警邮箱,在菜单管理器-系统设置-电子邮箱通知设置目录下. 配置发送邮件服务器信 息,以及发送邮件的账户 信息. 这里的电子邮件发送方 式可以填发送邮箱名, 点击保存按钮,完毕. Copyright 2011, Splunk Inc.Listen to