日志采集软件需求说明

日志采集软件需求说明一、建设内容1、根据《交通管理信息系统业务日志采集软件接入规范》，完成日志采集软件的采购，实现支队级重要信息系统日志数据的采集。2、日志采集软件系统的运维服务，确保本支队重要信息系统日志数据采集、上传通道畅通。二、采购内容及要求2.1系统概述交通管理信息安全监管系统由系统应用软件、信息系统业务日志采集软件、信息安全传输交换系统组成。本次需采购的日志采集软件需符合部《日志采集软件接入规范》。日志采集软件通过制定统一的信息系统安全防护技术规范、安全防护水平评价指标和评价方法、信息安全异常监管指标，研制安全策略审核和日志探测采集软件，采集汇聚信息系统应用日志、设备运行日志、网络和安全产品日志，检测、感知、审核信息系统安全状况。建设交通管理信息安全监管系统，开展信息安全网上巡查、事件处置、安全评估和分析研判，全面提升信息系统安全防御水平，提前预警、主动发现、有效防范安全入侵、信息窃取、篡改数据等各类信息安全事件，保障信息系统安全、稳定运行。本项目拟采购信息系统业务日志采集软件，负责采集交通管理综合应用平台、交通集成指挥平台的系统登录、信息查询、接口访问、系统操作等日志数据，并实现与交通管理信息安全监管系统的对接。因此要求具有丰富的总队、地市两级交通集成指挥平台以及交通管理综合应用平台的实施部署、维护经验。2.2技术参数要求1、性能指标及配置需求：日志采集软件应满足以下性能指标：1）单个软件安装节点，存量数据采集性能不低于15MB/秒；2）单个软件安装节点，单个业务数据库时，日志文件解析性能不低于10MB/秒；3）在数据采集过程中，保证数据不丢失、不错乱。2、通用功能需求1）旁路部署日志采集软件应支持旁路部署。2）数据库日志文件获取方式目标数据库的归档日志、在线日志文件获取可通过Agent、SMB/NFS共享两种方式，并提供相应的配置功能。3）支持多目标数据库1套日志采集软件应支持同时对多个目标数据库进行日志采集，并提供多个目标数据库连接方式。4）支持不同采集环境（1）可支持Oracle8i以上所有版本目标数据库的数据采集，可支持RAC模式的Oracle目标数据库的数据采集，可支持OracleASM/RAW存储方式目标数据库的数据采集。（2）支持安装在不同操作系统环境下数据库的数据采集，包括：windowsXP/2000/2003/2008/7、RedHatLinux4/5/6、CentOS5/6/7、AIX5/6、HP-UX、SUNSolaris、OracleEnterprisLinux等。（3）支持32位和64位操作系统中数据库的数据采集。（4）支持数据库多种字符集类型，包括GBK、UTF-8等。（5）支持数据库无主键且无唯一索引表数据的采集。5）数据库审计信息采集在通过数据库日志文件采集数据过程中，除采集业务日志数据外，还应依据数据库操作的事务信息，采集操作的机器名、客户端类型（SQLPlus、PL/SQLDeveloper、JDBC等）、操作时间等数据库审计信息。6）日志采集软件自身运行环境日志采集软件配置管理采用B/S架构，全中文图形化界面实现本地配置管理、运行监控等功能。3、配置管理1）系统访问授权信息登记提供安管系统接口访问授权信息录入、修改功能，包括备案编号、接口访问授权码、本级安管系统IP地址及访问端口，为调用安管系统接口提供认证参数。2）日志采集软件初始化提供日志采集软件参数初始化功能，在“安管系统访问授权信息登记”工作基础上，通过安管系统提供的REST服务接口，获取日志采集策略相关信息。3）目标数据库连接配置。根据从安管系统获取的日志采集策略中的“交管信息系统类别”信息，为不同的目标数据库分别配置数据库连接信息。4）数据库日志文件读取配置配置数据库日志文件获取方式，包括Agent或SMB/NFS共享两种方式。4、日志采集分类需求1）存量数据采集实现对目标数据库中存量业务日志数据的批量采集，打包生成XML格式的日志解析文件，上传FTP服务器或Flume服务器。2）增量数据采集通过Oracle归档日志、在线日志采集实时采集增量数据，打包生成XML格式的日志解析文件，上传FTP服务器或Flume服务器。3）DDL数据采集通过Oracle归档日志、在线日志采集DDL数据，直接上传本级安管系统。4）每日核对数据量采集实现对目标数据库中指定业务日志表，根据时间戳字段，每天定时统计前一天的新增数据量，直接上传本级安管系统。5）详细核对数据采集实现对目标数据库中指定日期业务日志数据的批量采集，打包生成XML格式的日志解析文件，上传FTP服务器或Flume服务器。5、任务进程需求1）主进程在系统完成初始化及本地参数配置后，日志采集软件启动任务主进程，加载日志采集相关策略和参数，启动并控制各分任务进程的运行。2）存量数据采集任务负责存量数据的采集，打包生成XML格式的日志解析文件，存放本地待传输目录，交由“日志解析文件传输任务”负责文件传输。3）增量数据采集任务负责增量数据的采集，打包生成XML格式的日志解析文件，存放本地待传输目录，交由“日志解析文件传输任务”负责文件传输。4）每日核对数据量采集任务负责每日核对数据量的采集，采集过程中实时写每日核对数据量信息，交由“http传输任务”负责将相关信息上报本级安管系统。5）详细核对数据采集任务负责详细核对数据的采集，打包生成XML格式的日志解析文件，存放本地待传输目录，交由“日志解析文件传输任务”负责文件传输。6）日志解析文件传输任务负责扫描本地日志解析文件待传输目录，将日志解析文件上传FTP或Flume指定文件目录。7）http传输任务负责将DDL数据、每日核对数据量、采集任务运行状态、数据分块信息、采集断点信息、日志解析文件信息等存放在日志采集软件自身数据库中的相关数据，通过本级安管系统提供的接口上报。8）日志解析文件反馈处理任务负责定期通过本级安管系统提供的接口，获取日志解析文件传输入库反馈状态。9）采集策略更新任务负责定期通过本级安管系统提供的接口，获取日志采集策略数据。10）错误数据重采任务负责将要求重传但本地已传输目录、备份目录均无文件的日志解析文件相关数据