日志分析软件需求说明

日志分析软件需求说明我校现有多套应用系统在线运行，这些系统分布在Windows、Linux、以及公共云等多种操作系统上，大多数业务系统的日志都落到服务器本地，对日志的敏感信息的保护，日志访问权限的控制，日志生命周期的管理以及日志对于业务系统监控分析等方面较为薄弱。与应用系统相关的中间件日志，操作系统日志，硬件日志等未实现有效利用；同时操作人员需逐台登陆服务器查看日志定位故障时效率差，缺乏查询和报表展现，难以支持审计、统计分析、业务性能调优等更高管理需求。故需要建设一个对业务日志实时集中搜索、监控、分析的日志分析软件产品，产品能对分布在不同环境中的应用日志进行集中操作管理，实现统一管理、分权限操作和分析，提升快速故障定位和统计用户访问行为的能力；能够通过日志快速分析出访问量，访问地域分布、浏览器类型等信息，最终提升整体服务质量和用户访问体验。一）产品功能参数要求功能模块功能描述日志上传支持对装有Linux、Windows操作系统的服务器进行日志进行采集并做流式上传；支持对网络设备的日志进行采集并做流式上传；支持通过(Linux)SSH端口批量接入Agent；支持AIX操作系统日志接入和实时采集；支持采集Docker内应用日志（含stdout标准输出及文件日志）；支持主机IPMI（智能平台管理接口）数据采集；支持天翼云、阿里云的资源数据接入。性能数据采集支持操作系统、数据库等性能数据采集，包括CPU、内存、IO、网络及其磁盘空间等。Agent管控主机列表：支持接入日志主机列表；支持Agent及管控容器化；文件列表：支持服务器日志文件列表同步；日志接入：支持多种格式和系统的日志接入；资源限制：支持Agent采集客户端的资源限制功能；性能监控：监控宿主机CPU、内存、网络流量性能，统计图展示；主机目录监听、文件预览、自定义换行；配置文件可视化修改、下发；支持Linux、Windows平台等Agent管控；数据转发，支持多个机房网络不通情况下，通过添加转发器代理，实现多机房数据的统一采集。解析规则智能解析：支持只针对需要的字段做解析；支持多解析单元，解析同一文件多种格式日志等复杂格式日志；解析规则主动关联文件，选择作用域哪些文件；支持鼠标划选自动生成正则表达式，并捕获对应字段；支持查看规则关联文件日志解析成功率；支持多种类型的数据解析，包括正则、Json、拆分、Key-value、IP、UserAgent等解析方式，并提供官方解析模板，包括Nginx、Apache、MySQL等；解析方式：支持多种解析规则，提供友好的规则配置流程向导。日志搜索搜索范围：支持通过自定义组织结构快速选择查询范围，通过数据结构自定义组合查询范围；时间范围搜索：支持点击日历控件生成时间范围，提供最近1天、7天；今天、昨天、本周、上周、本月、上月等快捷生成范围；在日志全文中搜索短语，短语内的多个词都必须都出现，而且保持同样的顺序及相邻状况，系统不区分大小写；搜索历史：记录用户过去曾经使用过的搜索语句的完整列表可选择再执行；快速解析：支持直接选择日志样例进入解析环节，配置并关联该文件；原文模式：支持显示日志原文，可自定义显示日志上下文行数；日志上下文：支持查看对应日志上下文；高级搜索：二维表格形态展示高级搜索指令返回的数据集合，在字段列表中点击字段名称，浮层展现即时的字段统计排序；搜索标签：支持在搜索界面添加一个新的日志展现标签页，在搜索界面删除一个已有的日志展现标签页；搜索语法关联提示，自动补充查询语法；数据摘要，系统按照日志输出文件层级展示。仪表盘仪表盘用来自定义可视化监控场景，比如通过web服务器日志，可以分析和展现页面访问量、独立访客数、异常请求次数、web流量、响应时间、请求趋势、请求访问码分布、异常请求的分布、异常的链路等图形；仪表盘管理：支持私有不对其他用户可见，根据应用、仪表盘名称查询；应用、仪表盘支持置顶排序；支持全屏查看仪表盘；支持仪表盘自动更新；支持导出仪表盘数据；仪表盘编辑：支持数字面板、柱状图、折线图、条形图、面积图、饼图、文本；支持搜索框、下拉菜单（单选、多选）、分段控制器、时间选择器；支持用户指定某个图表的查询时间范围，指定仪表盘内所有图表统一采用某个查询时间范围；仪表盘支持通过SQL查询，借助groovy进行数据转换；同时支持SPL/SQL/DSL等查询语句；支持配置仪表盘间联动关系；支持仪表盘皮肤切换；支持面板大小和位置自由拖拽；自持数据源支持SQL、DSL进行查询；支持通过对结果集进行再次运算；支持配置图表标签、间隔等样式。监控告警支持基于搜索条件进行告警，包含全文检索、SQL、SPL索引查询；告警规则管理：显示告警规则、创建者、创建时间、触发时间；支持启动、停止告警历史查询：支持曾经触发的告警，保存成历史记录查看；支持根据告警规则名称进行搜索；支持统计图展示对应时间告警触发趋势；执行计划：支持设定每次间隔多长时间执行一次检测；告警推送：支持发送短信、邮件、钉钉方式来通知相关人员；接收设置：支持告警接收人及接收信息，告警接收人分配置对应组，根据组进行告警。实时追踪实时查询：支持实时日志同步显示，可选择暂停；可支持日志实时tail前台展示；日志搜索：支持搜索框标准查询，支持And、Or、Not基本逻辑运算；支持聚焦搜索框下方提示系统字段查询语法；支持智能提示该查询范围内包含的文件或字段值，选择即自动补充；日志过滤：支持输入“关键词”结果高亮；增删窗口：支持增加或者删除实时追踪的窗口；模式切换：日志以原始方式展示，便于与其他日志进行区分；日志清屏：支持一键清除全部内容；搜索查询：支持携带查询条件进入搜索页面查看详细内容。数据投递可支持maxcomputer、datahub、关系型数据库MySQL、Oracle的数据实时投递同步；任务管理：支持任务总数，进行中、失败、配置失败、停止数量统计；支持异常状态信息上报；支持任务操作、启动、停止、重试、编辑、删除；支持根据状态筛选对应任务，根据任务名称、描述进行搜索；Access_key管理：支持管理Access_key并进行加密，定义别名，创建任务使用别名，保证信息安全；任务创建：支持根据解析规则（文件类型）筛选数据源，预览所选文件；支持项目名称、表名称配置，支持分区格式配置，支持层级分区；支持MaxCompute连通性测试，支持定义字段类型。数据脱敏脱敏规则管理：支持系统默认给的常用脱敏规则，支持该规则被作用于哪些日志文件；支持启动、停止、编辑、删除脱敏规则；命中统计：支持当前规则命中率最高的文件，以及被脱敏日志的统计图呈现；脱敏规则编辑：支持全局匹配脱敏规则，针对文件进行脱敏；支持针对日志类型（logtype）进行脱敏；支持系统提供常用脱敏模版（正则表达式），可直接选择使用；支持填写日志样例，并对实时查看脱敏效果；支持设置脱敏规则对哪些目标用户生效或不生效（白名单、黑名单）；支持可选择是否开启统计模式，统计含敏感字段的日志；保存原日志，读取、下载时进行脱敏，通过权限控制原数据可见。数据源管理数据源列表：支持显示当前上传的日志文件；分类管理：支持通过自定义组织结构管理数据源，依据结构进行快速定位；IP搜索：支持搜索IP查看具体机器下的数据源；支持跳转至搜索页面查看日志详情；保存周期：支持显示对应文件的保存周期；备份/恢复备份：支持平台内数据以索引为单位主动备份至指定文件系统；支持配置“索引过期自动备份”；恢复：支持备份至指定文件系统的数据，可恢复至日志系统供必要时使用。容量管理日志用量界面：支持直方图形式展现本月日志总用量的趋势；支持直方图形式展现本月各应用用量的趋势；日志保存周期：支持不同保存类型对应不同保存周期，通过修改日志保存周期来调整日志的保存周期。运维管理主机服务管理：支持日志中心各服务与主机的状态监控；监控告警：支持提供监控告警项自定义配置，可设置触发条件。权限管理用户管理：支持当前所有用户基本信息展示，标识普通成员、管理员、超级管理员身份，指定用户授予功能、数据源权限；支持超级管理员可将普通用户置为管理员，根据用户账号进行模糊搜索；功能权限：支持列表展示功能权限分组，对应用户数，编辑或删除功能组；支持选择功能权限点创建为功能组，功能组权限授予用户；数据源权限：支持列表展示数据源权限分组，对应用户数；编辑或删除数据源权限组；支持根据数据源结构，选择数据源节点创建为数据源组，数据源组权限授予用户。用户中心个人中心：支持设置用户电话、手机号码、邮箱；支持查看当前登录的时间、IP和地理位置信息；支持查看上次登录的时间、IP和地理位置信息；支持密码重置；角色管理：支持新增角色，并配置该角色拥有的菜单权限和数据源权限；支持修改角色对应的菜单权限和数据源权限。二）产品非功能性要求1.日志处理性能要求产品提供日增量不低于100G/每日的日志处理能力。2.实时性要求对于日志的使用、统计、展示等功能要求延时率极低（30秒之内），保证监控、告警的及时性，方便运维人员第一时间感知。3.可用性要求对数据的采集，中转，存储的系统都是使用服务器集群，小量的服务器故障不会影响整个系统的可靠性。日志分析系统在遇到故障时能自动隔离和阻断，保障不会对其他系统造成影响，同时系统关键信息及数据也按照多副本来存储，保证系统的可靠稳定工作。对于自身系统模块提供图形化的管理方式，方便提供服务指标和运维监控。4.扩展性要求日志系统的容量是可动态扩展，能满足对日志存储周期的整体要求以及更多各类日志接入之后存储需求的快速增长。日志系统的部署可灵活搭配，能满足后续的技术架构和部署架构，满足跨中心日志查询和搜索。5.开放性要求可提供标准Restfulapi接口给其他系统使用，将原始日志信息，或统计结果，告警信息，发送给第三方系统。可将日志进行合并过滤后，将统计结果发送到第三方系统。可将日志进行格式化处理后，会自动回写一份格式化后的日志到消息队列