日志分析及数据可视化项目需求

日志分析及数据（一）日志分析软件产品我校现有多套应用系统在线运行，这些系统分布在Windows、Linux、以及公共云等多种操作系统上，大多数业务系统的日志都落到服务器本地，对日志的敏感信息的保护，日志访问权限的控制，日志生命周期的管理以及日志对于业务系统监控分析等方面较为薄弱。与应用系统相关的中间件日志，操作系统日志，硬件日志等未实现有效利用；同时操作人员需逐台登陆服务器查看日志定位故障时效率差，缺乏查询和报表展现，难以支持审计、统计分析、业务性能调优等更高管理需求。故需要采购一个对业务日志实时集中搜索、监控、分析的日志分析软件产品，产品能对分布在不同环境中的应用日志进行集中操作管理，实现统一管理、分权限操作和分析，提升快速故障定位和统计用户访问行为的能力；能够通过日志快速分析出访问量，访问地域分布、浏览器类型等信息，最终提升整体服务质量和用户访问体验。一）产品功能参数要求功能模块功能描述日志上传支持对装有Linux、Windows操作系统的服务器进行日志进行采集并做流式上传；支持对网络设备的日志进行采集并做流式上传；支持通过(Linux)SSH端口批量接入Agent；支持AIX操作系统日志接入和实时采集；支持采集Docker内应用日志（含stdout标准输出及文件日志）；支持主机IPMI（智能平台管理接口）数据采集；支持天翼云、阿里云的资源数据接入。性能数据采集支持操作系统、数据库等性能数据采集，包括CPU、内存、IO、网络及其磁盘空间等。Agent管控主机列表：支持接入日志主机列表；支持Agent及管控容器化；文件列表：支持服务器日志文件列表同步；日志接入：支持多种格式和系统的日志接入；资源限制：支持Agent采集客户端的资源限制功能；性能监控：监控宿主机CPU、内存、网络流量性能，统计图展示；主机目录监听、文件预览、自定义换行；配置文件可视化修改、下发；支持Linux、Windows平台等Agent管控；数据转发，支持多个机房网络不通情况下，通过添加转发器代理，实现多机房数据的统一采集。解析规则智能解析：支持只针对需要的字段做解析；支持多解析单元，解析同一文件多种格式日志等复杂格式日志；解析规则主动关联文件，选择作用域哪些文件；支持鼠标划选自动生成正则表达式，并捕获对应字段；支持查看规则关联文件日志解析成功率；支持多种类型的数据解析，包括正则、Json、拆分、Key-value、IP、UserAgent等解析方式，并提供官方解析模板，包括Nginx、Apache、MySQL等；解析方式：支持多种解析规则，提供友好的规则配置流程向导。日志搜索搜索范围：支持通过自定义组织结构快速选择查询范围，通过数据结构自定义组合查询范围；时间范围搜索：支持点击日历控件生成时间范围，提供最近1天、7天；今天、昨天、本周、上周、本月、上月等快捷生成范围；在日志全文中搜索短语，短语内的多个词都必须都出现，而且保持同样的顺序及相邻状况，系统不区分大小写；搜索历史：记录用户过去曾经使用过的搜索语句的完整列表可选择再执行；快速解析：支持直接选择日志样例进入解析环节，配置并关联该文件；原文模式：支持显示日志原文，可自定义显示日志上下文行数；日志上下文：支持查看对应日志上下文；高级搜索：二维表格形态展示高级搜索指令返回的数据集合，在字段列表中点击字段名称，浮层展现即时的字段统计排序；搜索标签：支持在搜索界面添加一个新的日志展现标签页，在搜索界面删除一个已有的日志展现标签页；搜索语法关联提示，自动补充查询语法；数据摘要，系统按照日志输出文件层级展示。仪表盘仪表盘用来自定义可视化监控场景，比如通过web服务器日志，可以分析和展现页面访问量、独立访客数、异常请求次数、web流量、响应时间、请求趋势、请求访问码分布、异常请求的分布、异常的链路等图形；仪表盘管理：支持私有不对其他用户可见，根据应用、仪表盘名称查询；应用、仪表盘支持置顶排序；支持全屏查看仪表盘；支持仪表盘自动更新；支持导出仪表盘数据；仪表盘编辑：支持数字面板、柱状图、折线图、条形图、面积图、饼图、文本；支持搜索框、下拉菜单（单选、多选）、分段控制器、时间选择器；支持用户指定某个图表的查询时间范围，指定仪表盘内所有图表统一采用某个查询时间范围；仪表盘支持通过SQL查询，借助groovy进行数据转换；同时支持SPL/SQL/DSL等查询语句；支持配置仪表盘间联动关系；支持仪表盘皮肤切换；支持面板大小和位置自由拖拽；自持数据源支持SQL、DSL进行查询；支持通过对结果集进行再次运算；支持配置图表标签、间隔等样式。监控告警支持基于搜索条件进行告警，包含全文检索、SQL、SPL索引查询；告警规则管理：显示告警规则、创建者、创建时间、触发时间；支持启动、停止告警历史查询：支持曾经触发的告警，保存成历史记录查看；支持根据告警规则名称进行搜索；支持统计图展示对应时间告警触发趋势；执行计划：支持设定每次间隔多长时间执行一次检测；告警推送：支持发送短信、邮件、钉钉方式来通知相关人员；接收设置：支持告警接收人及接收信息，告警接收人分配置对应组，根据组进行告警。实时追踪实时查询：支持实时日志同步显示，可选择暂停；可支持日志实时tail前台展示；日志搜索：支持搜索框标准查询，支持And、Or、Not基本逻辑运算；支持聚焦搜索框下方提示系统字段查询语法；支持智能提示该查询范围内包含的文件或字段值，选择即自动补充；日志过滤：支持输入“关键词”结果高亮；增删窗口：支持增加或者删除实时追踪的窗口；模式切换：日志以原始方式展示，便于与其他日志进行区分；日志清屏：支持一键清除全部内容；搜索查询：支持携带查询条件进入搜索页面查看详细内容。数据投递可支持maxcomputer、datahub、关系型数据库MySQL、Oracle的数据实时投递同步；任务管理：支持任务总数，进行中、失败、配置失败、停止数量统计；支持异常状态信息上报；支持任务操作、启动、停止、重试、编辑、删除；支持根据状态筛选对应任务，根据任务名称、描述进行搜索；Access_key管理：支持管理Access_key并进行加密，定义别名，创建任务使用别名，保证信息安全；任务创建：支持根据解析规则（文件类型）筛选数据源，预览所选文件；支持项目名称、表名称配置，支持分区格式配置，支持层级分区；支持MaxCompute连通性测试，支持定义字段类型。数据脱敏脱敏规则管理：支持系统默认给的常用脱敏规则，支持该规则被作用于哪些日志文件；支持启动、停止、编辑、删除脱敏规则；命中统计：支持当前规则命中率最高的文件，以及被脱敏日志的统计图呈现；脱敏规则编辑：支持全局匹配脱敏规则，针对文件进行脱敏；支持针对日志类型（logtype）进行脱敏；支持系统提供常用脱敏模版（正则表达式），可直接选择使用；支持填写日志样例，并对实时查看脱敏效果；支持设置脱敏规则对哪些目标用户生效或不生效（白名单、黑名单）；支持可选择是否开启统计模式，统计含敏感字段的日志；保存原日志，读取、下载时进行脱敏，通过权限控制原数据可见。数据源管理数据源列表：支持显示当前上传的日志文件；分类管理：支持通过自定义组织结构管理数据源，依据结构进行快速定位；IP搜索：支持搜索IP查看具体机器下的数据源；支持跳转至搜索页面查看日志详情保存周期：支持显示对应文件的保存周期；备份/恢复备份：支持平台内数据以索引为单位主动备份至指定文件系统；支持配置“索引过期自动备份”；恢复：支持备份至指定文件系统的数据，可恢复至日志系统供必要时使用。容量管理日志用量界面：支持直方图形式展现本月日志总用量的趋势；支持直方图形式展现本月各应用用量的趋势；日志保存周期：支持不同保存类型对应不同保存周期，通过修改日志保存周期来调整日志的保存周期。运维管理主机服务管理：支持日志中心各服务与主机的状态监控；监控告警：支持提供监控告警项自定义配置，可设置触发条件。权限管理用户管理：支持当前所有用户基本信息展示，标识普通成员、管理员、超级管理员身份，指定用户授予功能、数据源权限；支持超级管理员可将普通用户置为管理员，根据用户账号进行模糊搜索；功能权限：支持列表展示功能权限分组，对应用户数，编辑或删除功能组；支持选择功能权限点创建为功能组，功能组权限授予用户；数据源权限：支持列表展示数据源权限分组，对应用户数；编辑或删除数据源权限组；支持根据数据源结构，选择数据源节点创建为数据源组，数据源组权限授予用户。用户中心个人中心：支持设置用户电话、手机号码、邮箱；支持查看当前登录的时间、IP和地理位置信息；支持查看上次登录的时间、IP和地理位置信息；支持密码重置；角色管理：支持新增角色，并配置该角色拥有的菜单权限和数据源权限；支持修改角色对应的菜单权限和数据源权限。二）产品非功能性要求1.日志处理性能要求产品提供日增量不低于100G/每日的日志处理能力。2.实时性要求对于日志的使用、统计、展示等功能要求延时率极低（30秒之内），保证监控、告警的及时性，方便运维人员第一时间感知。3.可用性要求对数据的采集，中转，存储的系统都是使用服务器集群，小量的服务器故障不会影响整个系统的可靠性。日志分析系统在遇到故障时能自动隔离和阻断，保障不会对其他系统造成影响，同时系统关键信息及数据也按照多副本来存储，保证系统的可靠稳定工作。对于自身系统模块提供图形化的管理方式，方便提供服务指标和运维监控。4.扩展性要求日志系统的容量是可动态扩展，能满足对日志存储周期的整体要求以及更多各类日志接入之后存储需求的快速增长。日志系统的部署可灵活搭配，能满足后续的技术架构和部署架构，满足跨中心日志查询和搜索。5.开放性要求可提供标准Restfulapi接口给其他系统使用，将原始日志信息，或统计结果，告警信息，发送给第三方系统。可将日志进行合并过滤后，将统计结果发送到第三方系统。可将日志进行格式化处理后，会自动回写一份格式化后的日志到消息队列，方便第三方系统直接消费消息队列的数据。可以直接转发原始日志到NAS存储，并根据应用名，时间建立目录，方便存储备份。6.安全性要求采集节点部署的代理程序在满足自身采集功能的情况下占用所在主机基础资源较小且支持资源使用限制，与主机其他应用隔离，对其他应用无影响；日志文件中涉及的涉密数据，日志分析系统可对其安全性进行管理，即数据脱敏，从而保证数据安全。使用“脱敏配置”规则对其进行脱敏设置，这样没有脱敏权限的用户将只会看到脱敏数据。（二）数据可视化软件产品我校经过多年的信息化建设，建立了多个信息系统平台，每天产生大量的各类信息数据，但一直缺乏一个统一的数据可视化系统集成各个系统数据源，实时各类数据统计分析和数据汇总，以大屏为载体，以各种可视化手段对各类数据指标进行全面的呈现，为提升学校的管理效率和精准决策提供支撑。故需要采购一个能提供多样化的组件以及大屏设计开发能力的数据可视化软件产品。一）产品功能参数要求功能模块功能描述可视化项目管理（1）可视化项目创建：支持用户自由创建可视化项目，支持对可视化项目进行全屏预览。（2）支持将可视化项目对外公开分享，目标用户无需登录系统可直接查看分享出的可视化项目；支持将可视化项目对外加密分享，目标群体需根据设定好的访问密码，方可查看分享出的可视化项目。（3）支持创建项目文件夹对可视化项目进行分组管理，支持对已有可视化项目进行拷贝复用。（4）数据大屏导入导出：支持将本产品其他环境设计或配置好的数据大屏快速导入当前产品环境，且包含大屏内数据源及其他资源配置信息；支持将当前环境大屏下载、导出形成大屏文件包，并可提供给其他环境复用。可视化项目配置（1）编辑配置：以所见即所得式的形式，通过可视化界面对组件色彩、比例、字体等样式进行自定义编辑，通过可视化组件自由拖拽、组成，即可创造出专业的可视化应用。（2）内置模版：平台提供数据大屏模板，满足多种业务场景的大屏展示，用户可由新建大屏页面一键使用模版样式，快速完成数据大屏开发。模板数量不少于5个。（3）内置组件：支持柱形图、折线图、饼图等常规类型组件，以及文字、辅助图形、指标控件、二维和三维地图、交互类型组件，组件为主要为矢量格式，任意尺寸组件不失真。预置「基本柱状图」、「基本条形图」、「轮播排行柱状图」、「3D圆柱图」、「双轴横向柱状图」、「基本面积图」、「基本折线图」、「表格折线图」、「双轴折线图」、「线性回归图」、「单值占比图」、「基本环图」、「双层饼图」、「3D饼图」、「甜甜圈图」、「嵌套甜甜圈图」、「玫瑰图」、「层叠玫瑰图」、「多色玫瑰图」、「定点气泡图」、「力学气泡图」、「万用图」、「基本三角形图」、「象形图」、「圆形雷达图」、「雷达图」、「漏斗图」、「环状点联结柱状图」、「标题」、「渐变文字」、「轮播表格」、「子项表格组」、「轮播行」、「新闻列表」、「链接」、「词云」、「图片」、「自定义路径」、「装饰」、「闪点」、「路径」、「当前时间」、「翻牌器」、「基本水位图」、「仪表盘」、「百分比条」、「分类占比条」、「天气组件」、「栅格进度条」、「状态卡片」、「圆形栅格占比」、「图标占比」、「预警点滴」、「3D地球」、「2D地图」、「3D地图」、「边界地图」、「3D边界地图」、「选项卡」、「时间轴」、「iframes切换」、「全屏切换」、「交互组件」、「单个iframe组件」、「视频」、「视频流播放器」、「声音组件」、「开场视频」、「自定义模型组件」、「3D圆形指标」、「数据容器」（4）分辨率设置：平台内置1920*1080、1366*768、1024*768等常用分辨率，可直接选择使用，同时支持根据实际展示场景，编辑页面自定义分辨率大小。（5）图层创建：通过界面点选拖拽方式，选取系统内置组件进行大屏搭建，大屏根据图层当前所在上下层级排布顺序进行展示。（6）图层编辑：支持对图层进行显示隐藏操作，便于整体项目编辑；支持对图层进行编组管理，并可通过快捷键快速进行操作；支持对图层顺序进行调整，一键置顶、置底，并可通过快捷键快速进行操作；支持对现有图层进行锁定，锁定状态暂时无法选取、编辑，便于整体项目编辑。（7）图层跨屏复制：支持将项目内图层复制并转发到其他大屏，且维持组件配置及坐标不变，便于项目内多大屏间组件复用。（8）画布及组件缩放：支持对画布及组件自由进行缩放或控制（9）画布区域支持一键控制大屏显示区域且适应当前可视窗口；编辑过程中支持使用快捷键对图层及画布功能进行操作，如图层置顶、分组、组件复制等。（10）编辑过程中支持使用鼠标右键对图层及画布功能进行操作，如组件显示隐藏、锁定、跨屏复制等；支持通过鼠标对画布现有内容进行快速框选。（11）画布区域提供标尺及参考线功能，且支持对参考线一键显示隐藏。（12）画布移动：支持鼠标抓手对画布进行移动，同时允许画布过界操作，便于整体项目编辑。（13）图层独显：支持对项目内所选中的图层进行独立显示，帮助使用者以聚焦模式进行项目编辑，同时省去不必要的性能消耗。（14）全局搜索：支持对项目内图层进行模糊检索、快速定位，且支持对平台组件进行搜索、快速选用（15）组件样式编辑：支持对各组件样式进行自定义编辑，包括组件色彩、大小、字体、特殊效果等，且不同组件包含不同的配置项。（16）支持配置数据联动，可实现数据联动或切换功能，Tab页切换、时间轴联动切换数据。（17）事件交互配置：组件分类下拥有可交互组件，支持对组件事件进行定义，通过事件方式对大屏或组件进行状态操作，单击组件控制对话框或其他内容的显示、隐藏。（18）数据映射：编辑过程中根据组件场景可对接不同数据源、进行数据关联映射，包括MySQL、API、CSV等数据源的字段获取、映射，支持SQL查询语句编写、API参数定义。（19）支持数据源过滤功能，通过编写JavaScript语句，创建数据过滤器，对获取到的数据格式进行后期转换。（20）自动轮播：支持通过单个参数配置即可实现Tab、iframe内置页面自动轮播，满足页面自动切换场景。（21）显隐交互：支持配置组件交互动作，可通过配置项定义组件间显示、隐藏操作，定义点击某tab控件后大屏中心区域弹出对话框展示详情模块，再次触发关闭或定时关闭等，满足对应各种交互场景诉求。（22）跨屏数据联动：平台支持跨屏回调参数定义，以满足跨屏参数传递、数据联动等复杂数据交互切换场景。（23）支持动态面板功能，面板可自由创建多个状态，通过交互事件方式对面板各状态进