日志_告警关联分析技术

1、安全事件关联分析技术安全事件关联分析技术关联分析意义日志记录计算机犯罪的大量“痕迹”，是计算机和网络系统用于记录发生在计算机本地系统或者网络中的事件的重要审计凭据，为打击计算机犯罪非常重要的线索和证据来源。如何充分利用日志资源在重点范围内实时发掘有效的计算机证据，重建入侵事件，追踪入侵肇事者，是计算机取证研究领域中亟待解决的一个非常重要的问题。安全事件定义计算机和网络上时刻发生着各种可以被观察到的现象，如通过网络连接到另一个系统、发送数据包、浏览网页等，这些现象可能是由一些恶意的人为行为引起的。我们将安全事件定义为那些影响计算机系统和网络安全的不正当行为。这些不正当行为包括对系统的破坏、未经授

2、权的情况下使用另一个账户或系统的特殊权以及执行恶意代码并毁坏数据等。根据上述对安全事件的定义，我们可将安全事件分为两类：一种是其发生环境局限于本地主机，称之为主机安全事件；另外一种是发生于网络环境中的事件，称之为网络安全事件。对于安全事件，我们一般只能通过专门的工具或设备如防火墙、IDS（入侵检测系统）等检测出。所以安全事件的最终表现形式为这些工具或设备产生的报警信息和日志信息。另外必须指出报警的发生和真正事件的发生并不等价，有可能是误告警基本方法针对系统日志取证进行分析的方法有：基于日志规则库的分析方法，即通过收集人侵攻击和系统缺陷的相关日志知识来构成日志知识库，并利用日志知识寻找企图利用这

3、些系统缺陷的攻击行为；基于统计的日志审计分析方法，即根据系统日志定义正常用户的行为模式，然后根据当前用户行为模式与历史用户行为的偏差判断；基于机器学习的分析方法，即利用日志的信息来学习用户的正常行为模式，通过日志的历史事件用一些学习算法来预测未来的用户行为；基于数据挖掘的分析方法，即从海量日志数据中提取出所感兴趣的数据信息，抽象出有利于进行判断和比较的特征模型，根据这些特征向量模型和行为描述模型，采用相应的数据挖掘算法判断出当前网络行为的性质；基于状态转移的分析方法，即采用系统状态、状态转移与日志特征的表达式来描述已知的网络攻击模式，采用优化的模式匹配技术判断当前事件是否与攻击模式匹配。重点：

4、关联分析关联是指将所有系统中的事件以统一格式综合到一起进行观察。在网络安全领域中，关联分析是指对网络全局的安全事件数据进行自动、连续分析，根据用户定义的、可配置的规则来识别网络威胁和复杂的攻击模式，从而可以确定事件真实性、进行事件分级并对事件进行有效响应。关联分析可以用来提高安全操作的可靠性、效率以及可视化程度，并为安全管理和应急响应提供技术手段。这里关联分析要解决的问题有：(1) 联系可能的安全场景分析单个报警事件，以避免虚警；(2) 对相同、相近的报警事件作处理，以避免重复报警；(3) 挖掘深层次、复杂的攻击行为，达到识别有计划的攻击，从而增加攻击检测率；(4) 提高分析的实时性，以利于及

5、时响应。意义(1) 海量的信息使得安全管理员无法处理。由于安全设备太多，所提供的报警信息量太大，信息中真实报警与虚假报警混杂其中，管理员难以在有限的时间内完全处理所有数据，更难以识别报警的真实性。(2) 安全描述片面性。网络攻击发生后，会在防火墙、IDS 等安全防护系统和操作系统的日志中留下攻击的痕迹。孤立地看待这些系统产生的信息，从中得到的网络安全状态描述可能会片面而不准确。(3) 漏报、误报现象。由于检测系统算法的局限性，大量的报警信息中存在着许多误报警。在管理员面对太多的报警数据无法处理的情况下，真正的报警信息也往往会被忽略，从而造成漏报警现象。关联分析的基本模型关联分析需要采集安全设备

6、所产生的报警信息和日志信息，将采集来的信息进行预处理，包括安全事件的格式统一化、对无用的安全事件的过滤、对安全事件的时间排序，对重复的安全事件的归并等，然后根据有关知识进行分析后得到相应的结果。一个典型的关联分析系统应该包括以下几个部件：(1) 代理端。从各个安全组件采集原始数据，对原始数据进行预处理，并通过安全信道将数据传送给关联分析引擎。(2) 关联分析知识库。事件关联关系的定义、事件之间推理规则的描述等。(3) 关联分析引擎。运用各种关联方法从相互独立的数据源中提取第一章 绪 论相关信息，用于安全事件的分析与处理。(4) 关联分析结果处理。对关联后的结果进行显示并做进一步的响应处理。关联

7、分析的基本模型关联分析模型如图 1.1 所示，其中核心的部件是 2 和 3。部件 2 是部件 3 的基础，部件 3 根据部件 2 提供的知识体系对接收的安全事件进行关联分析处理，最后将结果提交给关联分析结果处理部件进行显示并做进一步的响应处理。介绍关联分析技术核心领域论文1.综述综述A Comprehensive Approach to Intrusion Detection Alert Correlation2.实例实例A mission-impact-based approach to INFOSEC alarm correlation3.特定关联技术特定关联技术告警相似关联Probabilistic Alert Correlation 模式识别技术LAMBDA-a language to model a database for detection of attackModeling Multistep Cyber Attacks for Scenario有限状态机技术Fusing a Heteorgeneous Alert Stream into Scen