日志综合分析与管理解决方案(共17页)

1、精选优质文档-倾情为你奉上泰合中心日志综合分析与管理系统解决方案北京启明星辰信息技术股份有限公司Beijing Venus Information Tech. Inc.2008年10月专心-专注-专业目 录1文档管理11.1文档信息11.2分发控制11.3版本控制12日志管理现状及面临的挑战22.1日志管理现状22.2面临的挑战23日志分析与管理的需求34方案设计34.1设计原则34.2体系结构44.3系统概述44.4方案实现功能54.4.1日志数据源64.4.2日志集中采集74.4.3日志存储104.4.4告警监控114.4.5基于日志的审计114.5方案功能特色124.5.1支持海量数据存

2、储124.5.2多样化的报表124.5.3丰富的分析功能134.5.4支持通用日志采集134.5.5灵活扩充新设备134.5.6日志日常维护134.5.7资产管理134.5.8用户管理134.5.9系统管理l145实施与部署146方案成效151 文档管理1.1 文档信息文档名称泰合平台类系列解决方案（THS）之-日志综合分析与管理系统解决方案保密级别机密文档编号V1.0制作人制作日期2008年10月22日复审人复审日期适用范围1.2 分发控制编号读者文档权限与文档的主要关系1泰合平台管理部读、写文档作者2泰合中心审核文档审核者1.3 版本控制时间版本说明修改人2 日志管理现状及面临的挑战2.1

3、 日志管理现状目前大多数企业，特别是大型企业、机构对于异构、海量日志数据没有很好的管理办法，结果往往是：Ø 日志采集效率低不能完全捕获，数据格式不统一，缺少标准化的技术手段。Ø 人员要求高系统管理人员面对浩如烟海的日志信息，首先面临的一个问题是如此浩大的工作量是人工所无法完成的，另外，要求系统管理人员能够理解日志信息的内涵，对管理人员的要求很高。Ø 各自为战，缺乏关联性不同的系统管理员分管不同的信息系统，难免出现各自为政的局面，但是事故发生前的一系列事件之间却存在紧密的联系，二者之间的矛盾导致事故难于处理。Ø 人力投入高，处理效果差海量日志数据需要系统管

4、理人员手工维护和管理，导致分析时间长，关键时刻很难发现问题。2.2 面临的挑战大型企业的网络规模庞大、系统复杂，其中包含各种网络设备、服务器、工作站、业务系统等。同时安全领域也逐步发展成复杂和多样的子领域，例如访问控制、入侵检测、身份认证等等。这些安全子系统通常在各个业务系统中独立建立，随着大规模安全设施的部署，管理成本不断飞速上升，同时对这些安全基础设施产品和它们产生的日志信息的管理成为日益突出的问题。Ø 海量日志信息企业中存在的各种IT设备提供大量的安全信息，特别是安全系统，例如入侵检测系统、防火墙和漏洞扫描系统等。这些数量庞大的信息使得管理员疲于应付，容易忽略一些重要但是数量较

5、少的告警。海量日志信息是现代企业安全管理和审计面临的主要挑战之一。Ø 孤立的安全信息相对独立的IT设备产生了相对孤立的日志信息。企业缺乏智能的关联分析方法，分析多个日志信息之间的联系，揭示安全信息的本质。例如什么样的安全事件是真正的安全事件，它是否真正影响到业务系统的运行等。Ø 缺少标准的数据格式另一个日志管理的障碍是计算机、防火墙、路由器、交换机，服务器和其他设备都有它们自己记录事件的格式，甚至同一厂家的不同服务器也会不同。Windows服务器有庞大的用户群，它就提供了几种不同格式的日志数据。3 日志分析与管理的需求通过对日志分析与管理（以下简称“系统”）的现状和面临的挑

6、战，不难得到日志分析管理的需求：Ø 海量日志数据的集中管理。Ø 日志管理格式标准化。Ø 事前预警、事中监控和事后分析。Ø 制订统一的日志行业标准。Ø 对日志进行生命周期管理。Ø 符合政策、法规的规范性要求。4 方案设计4.1 设计原则为保证系统的有效运行，应遵循以下原则进行系统设计：Ø 开放性。日志分析与管理系统应参考各种相关的国际标准和安全标准。Ø 可扩展性。日志分析与管理系统设计时具备良好的扩展性，方便以后可以以之为基础增加其它系统功能。Ø 安全性。日志分析与管理系统涉及客户的敏感信息，在设计时充分考

7、虑了所分析和管理数据的保密性、可用性、完整性的要求。4.2 体系结构图1 体系结构图4.3 系统概述系统通过监测及采集信息系统中的系统安全事件、用户访问行为、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，同时保留原始的日志信息和日志格式，以便事后分析取证用，结合丰富的日志分析综合显示功能，实现对信息系统整体安全状况的全面管理。系统专注于对局域网、广域网和互联网上各类系统、应用和设备的安全事件、用户行为、系统状态的实时采集、实时分析、异常报警、集中存储和进行事中监控、事后分析，同时也是支持分布式、跨平台的统一的日志综合分析

8、与管理系统，可以对各类网络设备、安全设备、操作系统、WEB服务、中间件、数据库和其它应用进行全面的基于日志的安全审计。4.4 方案实现功能方案实现的功能用一句话总结就是，实现了日志的生命周期管理。日志分析与管理系统实现了从原始日志（Raw Log）产生、到原始日志的采集（日志采集中心）、到日志综合分析处理和存储（综合分析与统一存储），以及最后的基于日志的管理与审计（综合显示中心）的整个生命周期管理。日志信息及其处理、统计的结果可以以图形、折线等丰富的表现形式进行展现。为了方便管理人员的集中管理，系统提供自管理模块，可以方便地管理用户、被管理的设备和权限以及自身健康状态监控等。图2 日志生命周期

9、4.4.1 日志数据源系统采集的数据来源于网络系统中已经部署的已有的网络安全系统、主机系统和网络系统。如，防火墙/UTM、入侵检测系统、防病毒系统、网络审计系统、漏洞扫描系统、网络交换机、路由器、主机/服务器、数据库和应用服务器等。上述日志数据源具有不同的日志格式，如下图所示：图3 日志数据源格式4.4.2 日志集中采集系统通过多种采集方式实现对不同类型数据源的采集，支持的数据采集方式包括：1、Syslog方式，支持SYSLOG协议的设备，如：防火墙、UNIX服务器等；2、ODBC/JDBC方式，支持数据库联接的设备，如：启明星辰天镜漏洞扫描；3、SNMP Trap方式，支持SNMP协议的设备

10、，如：交换机、路由器、启明星辰天阗入侵检测等；4、XML方式，支持HTTP协议的设备，如：Nessus漏洞扫描系统；5、EventLog方式，支持Windows平台；6、特定接口方式，对于不支持通用协议的设备，需要定制开发，如：某网闸隔离系统。7、VIP（Venus Interface Protocol）方式，如启明星辰公司的天阗入侵检测系统。日志收集之后进行范式化以统一日志格式。. 网络设备的信息采集系统目前通过使用Syslog协议采集CISCO、华为等主流网络交换机、路由器的日志信息，同时能够通过SNMP协议采集上述网络设备的状态信息。通过同样方式可快速提供对用户现有的3Co

11、m、北电网络设备的支持。在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog服务代理，在被审计网络设备上指定Syslog服务代理的位置，即可对网络设备的日志信息进行采集。. 安全设备的信息采集系统能通过采用Syslog、SNMP Trap等协议采集主流安全设备的安全日志和安全事件报警信息，并能通过与第三方厂商的沟通与合作支持更多的安全设备。目前能够支持的安全设备种类包括防火墙、入侵检测、漏洞扫描、防病毒、网络审计、主机监控与审计等。在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog/SNMP服务代理，在被审计安全设备上指定Syslog服务代理的位置，

12、或在被审计安全设备上设置SNMP Trap并指定SNMP服务代理的位置，即可对安全设备的日志信息进行采集。部分安全系统的日志是以数据库或文件形式保存在本地管理服务器上的，对于这些安全系统，我们将采用数据库ODBC/JDBC方式、文件读取方式来采集其日志信息，此时需要请用户协调相关安全系统厂商给以支持。. 操作系统的日志采集系统通过使用NT Eventlog （即在Windows 计算机上安装通用代理，在通用代理上指定接受Windows日志的Syslog服务代理的IP地址）或采用WMI（直接在Windows 计算机指定接受Windows日志的Syslog服务代理的IP地址，而不必安

13、装通用代理）来采集Windows系列操作系统的日志信息，通过使用Syslog协议采集SUN Solaris、IBM AIX、Linux等操作系统的日志信息，能够全面记录系统特权命令的使用，包括：修改系统文件和文件属性试图猜测口令登录成功、失败关键应用系统文件的改变增加和改变用户属性系统启动和关闭用户操作时的用户识别符登录时间（包括系统用户最后一次登录）、注销时间事件发生的日期和时间事件内容或操作结果通过与本地网络中的LDAP目录服务相关联，能够把日志中的用户帐号信息与LDAP目录服务中的用户名相对应，便于日后的责任认定。. 数据库日志采集系统通过采用专用代理+Syslog的方式采

14、集Oracle、MS SQL Server、DB2、Informix、Sybase等主流数据库的操作及数据库自身日志；包括：用户登录数据查询数据修改数据删除修改配置对特定的表的操作超级管理员对数据库的连接数据库启动和停止同时能通过与专用数据库系统的开发机构进行沟通与合作支持用户特有的数据库系统. 应用系统日志采集系统通过采用专用代理+Syslog或SNMP方式采集以下应用系统的日志信息。MicrosoftIIS 5.0/6.0MicrosoftFTPBEAWebLogic（SNMP）MicrosoftSQL ServerOracleOracle数据库IBMDomino同时能通过与

15、应用系统的开发厂商和机构进行沟通与合作对用户正在使用的其他应用系统提供定制开发支持，包括：网络管理系统：OPEN VIEW、CISCO WORKS等；备份系统：HP、IBM、EMC、VERITAS等公司的产品；应用系统：AVIDM、OA、人力资源系统、质量管理系统、物流供应链系统、门户系统和综合业务平台等（包括将来新增的其他应用系统）。存储系统：SAN、NAS等4.4.3 日志存储系统将收集来的数据统一存储和归档，选用企业级数据库Oracle、sqlserver作为支撑，支持海量数据存储，同时也支持磁盘柜、NAS和SAN等多种存储方式，便于扩充和统一查询检索。4.4.4 告警监控事件监控负责实

16、时监控网络的安全事件状态，是实时掌握全网的安全威胁状况的重要手段之一。通过事件监控模块监控网络各个网络设备、主机系统等日志信息，以及安全产品的安全事件日志信息等，及时发现已经发生和正在发生的安全事件，通过响应管理模块采取措施，保证网络和业务系统的安全、可靠运行，实时将其结果输入综合分析决策支持与预警平台。1、提供直观的安全事件趋势分析2、详细安全事件实时监控4.4.5 基于日志的审计基于日志的审计主要体现在：1、日志的综合查询检索。支持关键字、基于时间、源地址、目的地址、源端口、目的端口、设备类型等多个条件的组合查询，便于快速产生所需的结果。2、灵活多样的日志报表。包括实时的在线报表和非实时的

17、离线报表；可以按照操作人员的角色分别生成报表；可以按照所管理的设备生成报表；可以生成有关审计事件严重程度等相关的TOP10报表；报表输出格式可以转换为PDF、pdf、html等多种常用的标准格式；支持报表内容的客户化定制，使用户可以通过管理界面对报告内容或格式进行定制，上述报表均可以以图形化方式输出显示或者打印。4.5 方案功能特色4.5.1 支持海量数据存储Ø 支持大数据量的存储；Ø 可以对要收集的日志数据指定过滤条件，从而可以丢弃不需要的数据，而将注意力集中到所关心的日志上，一方面可以降低网络流量，另一方面也可以减小对日志数据库的存储压力；Ø 可以根据需要设置

18、存储策略； Ø 对于标准的数据格式，如Windows平台下支持EventLog、微软的IIS/FTP/NNTP/SMTP日志、Unix平台下支持操作系统登录日志、各个用户的Shell操作命令日志、Apache日志、Syslog日志、网络设备所发出的SNMP Trap日志等，应能存储其原始格式支持多类型设备Ø 它可以对安全产品、网络产品、应用系统、操作系统等产品和系统的日志信息统一进行收集、范式化并集中存储。4.5.2 多样化的报表日志统一管理系统提供多种内置的报表，管理人员可以根据需要灵活地定义各种特定的报表。包括在线和离线报表、根据不同角色生成不同的报表、客户化定制报表等

19、，包括支持PDF、Excel、Word等格式。4.5.3 丰富的分析功能日志分析管理系统对采集到的日志数据，可以根据日志处理策略的定义进行自动处理。系统提供规则关联、统计关联等分析方法，通过建立科学的分析模型，对日志的分析深度与事件的识别准确度得到进一步的提升。4.5.4 支持通用日志采集SYSLOG和SNMP协议是大多数设备支持的数据传输协议，该系统支持接收所有符合SYSLOG和SNMP协议标准的日志信息，并采用特定算法进行范式化化和存储分析。同时支持XML、ODBC/JDBC、VIP以及通用代理多种日志采集方式。4.5.5 灵活扩充新设备该系统通过Universal Agent的机制，可以通过配置文件的更改而适应新设备的支持，具有方便易用的新设备的扩充功能。4.5.6 日志日常维护系统具有丰富的日志维护功能，如导出、自动、手动等。4.5.7 用户管理提供用户集中管理的功能，对用户可以访问的资源权限进行细致的划分，具备安全可靠的分级及分类用户管理功能，要求支持用户的身份认证、授权、用户口令修改等功能；支持不同的操作员具有不同的数据访问权限和功能操作权限。 系统管理员应能对各操作员的权限进行配置和管理，要有完