GeryLog2 splunk spark 大数据日志分析需求文档

本文格式为Word版，下载可任意编辑——GeryLog2splunkspark大数据日志分析需求文档

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

****基于日志分析

软件需求规格说明书

第0.9版

2023年3月

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

版本历史

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

目录

1.

引言..2.

编写目的4项目背景4系统现状说明4术语和缩略语4

项目概述.2.3.

项目目标5项目范围5业务流程图5

3.功能性需求.

功能模块列表6功能模块.2.2.

核心需求7功能模块7

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

1.引言

1.1.编写目的

本需求文档为****基于日志分析系统需求参考编写的。为提高****信息化基础建设过程中，日志分析带来提高系统性能的价值依据。

1.2.项目背景1.3.系统现状说明

参考资料

表1-1：参考资料列表

1.4.术语和缩略语

表1-2：术语和缩略语列表

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

2.项目概述

2.1.项目目标

提高****信息化建设综合问题的排除能力和分析能力。

2.2.项目范围

收集需要日志分析功能的所有软件系统。

2.3.业务流程图

图2-1：业务流程图

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

3.功能性需求

3.1.功能模块列表

表3-1：功能模块列表

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

3.2.功能模块3.2.1.核心需求

核心需求包括三点：报警、日志统计分析、异动检测。

3.2.2.功能模块

.日志统计分析

通过根据日志产生的时间相对一个固定的时间查询消息、根据日志产生的时间相对一个绝对的时间查询消息、根据基于特定语法的关键词查询消息。统计出日志结果的总数，在当前时间总数中分时间维度查看报表，当前结果字段可选择显示的方式。表3-2：探寻功能类型表

基于对消息Keyword（关键字）探寻，参考表格中“输入查找〞的特定语法，得出查找消息的结果参照表格“语法解释〞的内容。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

表3-3：探寻功能语法表

查询的消息记录结果，以报表柱状图的方式查看。以年、季度、月、周、天、小时、分钟七种时间维度进行查看报表。通过柱状图查看当前时间维度消息的总数，同时对应相应的消息总数的用占用的物理容量。对于每条已截获的消息流，可根据该流当中选择所有字段、默认字段、自选字段、不选字段进行查看每条字段当中的实际统计值。

在单个字段有可操作的显示方式，其中统计、快速显示值参考以下表格中的内容。生成图表功能有选值查看功能：实际值（Mean）、最大值（Maximum）、最小值（Minimum）、求和（total）、总条数（Count）；

报表查看类型：面积（Area）、条（Bar）、线（Line）、散点图（scatterplot）；

分析视图方式：分钟（Minute）、小时（Hour）、天（Day）、周（Week）、月（Month）、季度（Quarter）、年（Year）。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

表3-4：探寻结果字段统计类型表

查询出的结果单个消息和柱状视图两个方式都可以参与DashBoard中，当前结果可以保存在本地文件当中，也可以作为结果集保存在服务器上。

.消息流

消息流是对于消息输入项中，配置对消息的MessageID和Index两个参数一致的消息进行截获。

填写消息流标题、消息流描述创立完成不带消息输入项的的空消息流。消息流列表当中显示消息流的名称、消息流描述、IO（messages/second）、配置规则数（展开所有配置规则清单可做删除、修改操作）、创立人、创立时间、删除当前消息流操作。

表3-4：消息流配置表

.1.编辑消息流

修改之前定义好消息流的名称，描述信息。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

.2.编辑规则

一条消息流可添加多个规则，编辑完成的规则可修改、删除。

.3.快速添加规则

在消息输入项消息获取过程当中，建立消息流的规则机制。自定义当前消息的规则检测消息输入项的异动状况，定义消息异动的阀值。定义的表达式可通过消息记录数量、字段名称，表达式定义丰富可完全匹配、表达式匹配、大于、小于、字段存在，以上条件可实现表达式的条件反转。表3-5：消息规则表达式类型表

当前消息流进行规则限制。限制的规则为在当前消息流中某一个字段和消息总数值进行规则，输入限制规则的字段名称，选择该字段规则的类型完全匹配、正则表达式匹配、大于数值、小于数值、记录必需有当前字段的五种匹配方式之一。同一个消息流当中可以增加多个规则，对于已增加的规则可实现修改、删除等操作。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

表3-5：消息流规则表单

.4.告警管理

对于消息流在一段时间内截获的消息可定义报警表达式，定义邮件报警、发送Http消息头方式的报警事件。

配置告警条件1.消息数量条件

一段时间内定义消息流截获当前消息数量的阀值，灵活配置触发阀值启动项目，截获的当前消息记录次数可大于||小于||等于阀值时，触发报警动作。表3-6：消息数量告警条件配置值表

2.Field值条件

自定义截获消息的字段和截获当前字段数值的阀值，灵活配置触发阀值启动项目，截获的当前消息记录字段数值大于||小于||等于阀值时，触发报警动作。表3-7：Filed值告警条件配置值表

触发警告的动作1.发送Http请求

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

以上条件触发警告动作，可向服务器发送自定义的Http请求。表3-8：Http请求配置表

2.通知邮件的发送

自定义通知邮件发送的邮箱账号，邮件的主题内容。邮件接收人为系统的登录用户，邮箱账号可通过警告的接收自行添加。表3-9：邮件请求配置表

警告的接收

配置接收告警邮件的用户名和邮箱账号，用户名必需是系统的管理员。表3-10：邮件接收配置表

.5.ShowMetriceson（度量器）

所有节点提供一组用于诊断内部指标，调试和监控。通过JMX访问所有度量。其中每组用于诊断内部指标包含汇总信息(tatal)、实际值（0events/sec）、一分钟内的平均值（1minuteavg）、五分钟内的平均值（1minuteavg）、十五分钟内的平均值（1minuteavg）。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

表3-11：度量器类型表

.6.流操作

暂停、启动操作。当前流是启动状态时，可做暂停操作。当前流是暂停状态时，可做启动操作。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

.7.克隆当前消息流

对当前消息流包括消息流规则进行复制成为一个新的消息流，需要定义新消息流的名称和描述。

.Dashboards

.1.Dashboard操作

Dashboard是将各个显示的报表以组件的形式参与到显示仪表盘中。创立Dashboard输入标题、描述信息即创立完成。一个Dashboard可以添加多个组件，DashBorad创立列表中查看当前Dashboard关联组件的总和、创立人、创立时间。实现编辑、删除等操作。表3-12：DashBoard配置表

.2.组件操作

查找结果、Streams、数据输入项(system_input)、字段统计(statistics)、快速统计(Quickvalues)、生成报表(Generatechart)均可参与到DashBorad组件中显示。Dashboard有解锁和加锁两种状态，在解锁状态下，可以修改Dashboard属性、组件名称、修改组件缓存时间、拖动组件到任意位置、删除组件。在锁定状态组件全部都不可编辑。Dashboard支持屏显示和编辑。

.资源

资源是消息输入项配置过程中统配的资源标识符，查看配置在当前资源标识符下的所有

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

消息输入项消息的个数。饼图浮现各个资源所占总资源的百分比，点击所占不同比例的饼图，进入当前资源维度的视图。从拉动资源视图时间距离，自动生成开始终止时间，实现查找当前时间段内的消息记录。选择不同的时间维度，查看当前时间下的视图。表3-13：资源时间维度选择表

.系统

.1.数据源输入

数据源输入是将多种类型的消息以消息输入项的形式把当前消息器类型输入到系统当中。消息输入项的操作

正在获取消息的消息输入项，使用暂停、删除、、操作(编辑输入、提取管理、增加静态字段、消息输入源)

暂停/启动

正在获取的消息的消息输入项有两种状态，启动可使用暂停操作，暂停可使用启动操作；

删除

对于建立的项目输入项可实现删除；操作

编辑输入、提取管理、增加静态字段、消息输入源。

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

表3-14：消息输入项类型表

增加消息输入项

多种消息输入的类型可以增加，选择需要增加的消息输入类型；当前的消息输入项是作用于当前的服务器节点或者所有的集群服务器节点；填写当前消息输入项的名称；是否将当前的消息源利用主机地址字符串的形式重写；填写定义当前消息输入源的资源名称；填写定义当前消息输入源的产生消息的时长；填写定义当前消息输入源产生消息时长的最大偏差值；是否允许节流输入。表3-15：增加消息输入项配置表

提取管理

本篇文档是为甲方企业基于Gerylog2中的功能撰写的需求文档。其中一个高级软件开发工程师负责环境搭建和功能学习,一个需求人员分析业务规律编写出该文档。

提取管理是已创立好的消息提取器，在消息输入项中对原来消息中的某一个字段进行内容匹配，匹配到的内容存储在当前记录的新字段当中。

导入/导出提取器

将自定义的格式的提取器导入到消息输入项中，手动添加的提取器可导出自定义格式的脚本文件中。

手动添加提取器

加载message根据MessageID和index查询出该条消息记录。选择需要提取内容的字段，选择提取方法，以下创立