日志综合分析与管理解决方案V1.1

PAGE泰合中心日志综合分析与管理系统解决方案北京启明星辰信息技术股份有限公司BeijingVenusInformationTech.Inc.2008年10月泰合平台类系列解决方案（THS）之日志综合分析与管理系统解决方案 PAGEi目录TOC\t"国标题1,1,封面标题,1,文章标题,1,章标题,1,国标题2,2,国标题3,3,国标题4,4"1 文档管理 11.1 文档信息 11.2 分发控制 11.3 版本控制 12 日志管理现状及面临的挑战 22.1 日志管理现状 22.2 面临的挑战 23 日志分析与管理的需求 34 方案设计 34.1 设计原则 34.2 体系结构 44.3 系统概述 44.4 方案实现功能 54.4.1 日志数据源 64.4.2 日志集中采集 74.4.3 日志存储 104.4.4 告警监控 114.4.5 基于日志的审计 114.5 方案功能特色 124.5.1 支持海量数据存储 124.5.2 多样化的报表 124.5.3 丰富的分析功能 134.5.4 支持通用日志采集 134.5.5 灵活扩充新设备 134.5.6 日志日常维护 134.5.7 资产管理 134.5.8 用户管理 134.5.9 系统管理 145 实施与部署 146 方案成效 15PAGE15文档管理文档信息文档名称泰合平台类系列解决方案（THS）之-日志综合分析与管理系统解决方案保密级别机密文档编号V1.0制作人制作日期200复审人复审日期适用范围分发控制编号读者文档权限与文档的主要关系1泰合平台管理部读、写文档作者2泰合中心审核文档审核者版本控制时间版本说明修改人

日志管理现状及面临的挑战日志管理现状目前大多数企业，特别是大型企业、机构对于异构、海量日志数据没有很好的管理办法，结果往往是：日志采集效率低不能完全捕获，数据格式不统一，缺少标准化的技术手段。人员要求高系统管理人员面对浩如烟海的日志信息，首先面临的一个问题是如此浩大的工作量是人工所无法完成的，另外，要求系统管理人员能够理解日志信息的内涵，对管理人员的要求很高。各自为战，缺乏关联性不同的系统管理员分管不同的信息系统，难免出现各自为政的局面，但是事故发生前的一系列事件之间却存在紧密的联系，二者之间的矛盾导致事故难于处理。人力投入高，处理效果差海量日志数据需要系统管理人员手工维护和管理，导致分析时间长，关键时刻很难发现问题。面临的挑战大型企业的网络规模庞大、系统复杂，其中包含各种网络设备、服务器、工作站、业务系统等。同时安全领域也逐步发展成复杂和多样的子领域，例如访问控制、入侵检测、身份认证等等。这些安全子系统通常在各个业务系统中独立建立，随着大规模安全设施的部署，管理成本不断飞速上升，同时对这些安全基础设施产品和它们产生的日志信息的管理成为日益突出的问题。海量日志信息企业中存在的各种IT设备提供大量的安全信息，特别是安全系统，例如入侵检测系统、防火墙和漏洞扫描系统等。这些数量庞大的信息使得管理员疲于应付，容易忽略一些重要但是数量较少的告警。海量日志信息是现代企业安全管理和审计面临的主要挑战之一。孤立的安全信息相对独立的IT设备产生了相对孤立的日志信息。企业缺乏智能的关联分析方法，分析多个日志信息之间的联系，揭示安全信息的本质。例如什么样的安全事件是真正的安全事件，它是否真正影响到业务系统的运行等。缺少标准的数据格式另一个日志管理的障碍是计算机、防火墙、路由器、交换机，服务器和其他设备都有它们自己记录事件的格式，甚至同一厂家的不同服务器也会不同。Windows服务器有庞大的用户群，它就提供了几种不同格式的日志数据。日志分析与管理的需求通过对日志分析与管理（以下简称“系统”）的现状和面临的挑战，不难得到日志分析管理的需求：海量日志数据的集中管理。日志管理格式标准化。事前预警、事中监控和事后分析。制订统一的日志行业标准。对日志进行生命周期管理。符合政策、法规的规范性要求。方案设计设计原则为保证系统的有效运行，应遵循以下原则进行系统设计：开放性。日志分析与管理系统应参考各种相关的国际标准和安全标准。可扩展性。日志分析与管理系统设计时具备良好的扩展性，方便以后可以以之为基础增加其它系统功能。安全性。日志分析与管理系统涉及客户的敏感信息，在设计时充分考虑了所分析和管理数据的保密性、可用性、完整性的要求。体系结构体系结构图系统概述系统通过监测及采集信息系统中的系统安全事件、用户访问行为、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，同时保留原始的日志信息和日志格式，以便事后分析取证用，结合丰富的日志分析综合显示功能，实现对信息系统整体安全状况的全面管理。系统专注于对局域网、广域网和互联网上各类系统、应用和设备的安全事件、用户行为、系统状态的实时采集、实时分析、异常报警、集中存储和进行事中监控、事后分析，同时也是支持分布式、跨平台的统一的日志综合分析与管理系统，可以对各类网络设备、安全设备、操作系统、WEB服务、中间件、数据库和其它应用进行全面的基于日志的安全审计。方案实现功能方案实现的功能用一句话总结就是，实现了日志的生命周期管理。日志分析与管理系统实现了从原始日志（RawLog）产生、到原始日志的采集（日志采集中心）、到日志综合分析处理和存储（综合分析与统一存储），以及最后的基于日志的管理与审计（综合显示中心）的整个生命周期管理。日志信息及其处理、统计的结果可以以图形、折线等丰富的表现形式进行展现。为了方便管理人员的集中管理，系统提供自管理模块，可以方便地管理用户、被管理的设备和权限以及自身健康状态监控等。日志生命周期日志数据源系统采集的数据来源于网络系统中已经部署的已有的网络安全系统、主机系统和网络系统。如，防火墙/UTM、入侵检测系统、防病毒系统、网络审计系统、漏洞扫描系统、网络交换机、路由器、主机/服务器、数据库和应用服务器等。上述日志数据源具有不同的日志格式，如下图所示：日志数据源格式日志集中采集系统通过多种采集方式实现对不同类型数据源的采集，支持的数据采集方式包括：1、Syslog方式，支持SYSLOG协议的设备，如：防火墙、UNIX服务器等；2、ODBC/JDBC方式，支持数据库联接的设备，如：启明星辰天镜漏洞扫描；3、SNMPTrap方式，支持SNMP协议的设备，如：交换机、路由器、启明星辰天阗入侵检测等；4、XML方式，支持HTTP协议的设备，如：Nessus漏洞扫描系统；5、EventLog方式，支持Windows平台；6、特定接口方式，对于不支持通用协议的设备，需要定制开发，如：某网闸隔离系统。7、VIP（VenusInterfaceProtocol）方式，如启明星辰公司的天阗入侵检测系统。日志收集之后进行范式化以统一日志格式。网络设备的信息采集系统目前通过使用Syslog协议采集CISCO、华为等主流网络交换机、路由器的日志信息，同时能够通过SNMP协议采集上述网络设备的状态信息。通过同样方式可快速提供对用户现有的3Com、北电网络设备的支持。在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog服务代理，在被审计网络设备上指定Syslog服务代理的位置，即可对网络设备的日志信息进行采集。安全设备的信息采集系统能通过采用Syslog、SNMPTrap等协议采集主流安全设备的安全日志和安全事件报警信息，并能通过与第三方厂商的沟通与合作支持更多的安全设备。目前能够支持的安全设备种类包括防火墙、入侵检测、漏洞扫描、防病毒、网络审计、主机监控与审计等。在实施过程中，只需在系统的信息管理服务器或采集器上部署Syslog/SNMP服务代理，在被审计安全设备上指定Syslog服务代理的位置，或在被审计安全设备上设置SNMPTrap并指定SNMP服务代理的位置，即可对安全设备的日志信息进行采集。部分安全系统的日志是以数据库或文件形式保存在本地管理服务器上的，对于这些安全系统，我们将采用数据库ODBC/JDBC方式、文件读取方式来采集其日志信息，此时需要请用户协调相关安全系统厂商给以支持。操作系统的日志采集系统通过使用NTEventlog（即在Windows计算机上安装通用代理，在通用代理上指定接受Windows日志的Syslog服务代理的IP地址）或采用WMI（直接在Windows计算机指定接受Windows日志的Syslog服务代理的IP地址，而不必安装通用代理）来采集Windows系列操作系统的日志信息，通过使用Syslog协议采集SUNSolaris、IBMAIX、Linux等操作系统的日志信息，能够全面记录系统特权命令的使用，包括：修改系统文件和文件属性试图猜测口令登录成功、失败关键应用系统文件的改变增加和改变用户属性系统启动和关闭用户操作时的用户识别符登录时间（包括系统用户最后一次登录）、注销时间事件发生的日期和时间事件内容或操作结果通过与本地网络中的LDAP目录服务相关联，能够把日志中的用户帐号信息与LDAP目录服务中的用户名相对应，便于日后的责任认定。数据库日志采集系统通过采用专用代理+Syslog的方式采集Oracle、MSSQLServer、DB2、Informix、Sybase等主流数据库的操作及数据库自身日志；包括：用户登录数据查询数据修改数据删除修改配置对特定的表的操作超级管理员对数据库的连接数据库启动和停止同时能通过与专用数据库系统的开发机构进行沟通与合作支持用户特有的数据库系统应用系统日志采集系统通过采用专用代理+Syslog或SNMP方式采集以下应用系统的日志信息。Microsoft IIS5.0/6.0Microsoft FTPBEA WebLogic（SNMP）Microsoft SQLServerOracle Oracle数据库IBM Domino同时能通过与应用系统的开发厂商和机构进行沟通与合作对用户正在使用的其他应用系统提供定制开发支持，包括：网络管理系统：OPENVIEW、CISCOWORKS等；备份系统：HP、IBM、EMC、VERITAS等公司的产品；应用系统：AVIDM、OA、人力资源系统、质量管理系统、物流供应链系统、门户系统和综合业务平台等（包括将来新增的其他应用系统）。存储系统：SAN、NAS等日志存储系统将收集来的数据统一存储和归档，选用企业级数据库Oracle、sqlserver作为支撑，支持海量数据存储，同时也支持磁盘柜、NAS和SAN等多种存储方式，便于扩充和统一查询检索。告警监控事件监控负责实时监控网络的安全事件状态，是实时掌握全网的安全威胁状况的重要手段之一。通过事件监控模块监控网络各个网络设备、主机系统等日志信息，以及安全产品的安全事件日志信息等，及时发现已经发生和正在发生的安全事件，通过响应管理模块采取措施，保证网络和业务系统的安全、可靠运行，实时将其结果输入综合分析决策支持与预警平台。1、提供直观的安全事件趋势分析2、详细安全事件实时监控基于日志的审计基于日志的审计主要体现在：1、日志的综合查询检索。支持关键字、基于时间、源地址、目的地址、源端口、目的端口、设备类型等多个条件的组合查询，便于快速产生所需的结果。2、灵活多样的日志报表。包括实时的在线报表和非实时的离线报表；可以按照操作人员的角色分别生成报表；可以按照所管理的设备生成报表；可以生成有关审计事件严重程度等相关的TOP10报表；报表输出格式可以转换为PDF、pdf、html等多种常用的标准格式；支持报表内容的客户化定制，使用户可以通过管理界面对报告内容或格式进行定制，上述报表均可以以图形化方式输出显示或者打印。方案功能特色支持海量数据存储支持大数据量的存储；可以对要收集的日志数据指定过滤条件，从而可以丢弃不需要的数据，而将注意力集中到所关心的日志上，一方面可以降低网络流量，另一方面也可以减小对日志数据库的存储压力；可以根据需要设置存储策略；对于标准的数据格式，如Windows平台下支持EventLog、微软的IIS/FTP/NNTP/SMTP日志、Unix平台下支持操作系统登录日志、各个用户的Shell操作命令日志、Apache日志、Syslog日志、网络设备所发出的SNMPTrap日志等，应能存储其原始格式支持多类型设备它可以对安全产品、网络产品、应用系统、操作系统等产品和系统的日志信息统一进行收集、范式化并集中存储。多样化的报表日志统一管理系统提供多种内置的报表，管理人员可以根据需要灵活地定义各种特定的报表。包括在线和离线报表、根据不同角色生成不同的报表、客户化定制报表等，包括支持PDF、Excel、Word等格式。丰富的分析功能日志分析管理系统对采集到的日志数据，可以根据日志处理策略的定义进行自动处理。系统提供规则关联、统计关联等分析方法，通过建立科学的分析模型，对日志的分析深度与事件的识别准确度得到进一步的提升。支持通用日志采集SYSLOG和SNMP协议是大多数设备支持的数据传输协议，该系统支持接收所有符合SYSLOG和SNMP协议标准的日志信息，并采用特定算法进行范式化化和存储分析。同时支持XML、ODBC/JDBC、VIP以及通用代理多种日志采集方式。灵活扩充新设备该系统通过UniversalAgent的机制，可以通过配置文件的更改而适应新设备的支持，具有方便易用的新设备的扩充功能。日志日常维护系统具有丰富的日志维护功能，如导出、自动、手动等。用户管理提供用户集中管理的功能，对用户可以访问的资源权限进行细致的划分，具备安全可靠的分级及分类用户管理功能，要求支持用户的身份认证、授权、用户口令修改等功能；支持不同的操作员具有不同的数据访问权限和功能操作权限。系统管理员应能对各操作员的权限进行配置和管理，要有完整的安全控制手段,对用户和系统管理员的权限进行分级管理,相应的账号和口令加密存放，充分保证用户信息的安全性。对系统操作员的密码有安全保障机制。用户的账号等数据以数据库的形式进行加密存储及管理；对用户数据的管理保证其完整性和一致性,在系统出错的情况下,对用户数据要有有效的保护措施。系统管理日志统一管理系统提供丰富的系统管理功能，如自身安全、人员权限等。实施与部署部署示意图方案成效提高网络安全性日志数据可以提供早期的混合型病毒和蠕虫攻击的行为特征，能确定网络攻击源，能对恶意代码入侵提供信息线索，从而实施预防或快速补救措施。提供可靠的网络信息审计日志能够记录用户使用计算机网络系统所访问的所有资源和访问的过程，通过它管理员可以判断终端用户是否访问了非法网站；是否传送了保密文件；是否过度占用了网络资源。管理员是否有越权行为；是否有误操作。简化为适应行业法规和监管要求所需工作，大大降低运营成本今天，越来越多的行业法规对日志保存和使用提出了更高要求。国际标准化组织建议保存两份日志拷贝，一份用于每日监控，另一份用于长期保存。也建议保存一个完整的，不可篡改的日志拷贝，最大要求封存日志达七年之久。目前日志数据必须手工采集，耗时和高成本。使用日志分析与管理系统可以比较好的解决这些问题，降低运营成本。通过对日志数据的分析，可以为企业管理者提供IT决策和风险管理支持。利于开展内部审计工作，有助于建立企业的责任认定体系。57710018030900120955790368228596330825771001803