第13讲：第7章-入侵检测系统的标准与评估

1、0入侵检测技术分析第第13讲讲1入侵检测技术分析入侵检测技术分析 第七章第七章入侵检测系统的评估入侵检测系统的评估2课程安排课程安排n入侵检测概述入侵检测概述 2学时n 入侵方法及手段入侵方法及手段 3学时n 入侵检测系统入侵检测系统 3学时n 入侵检测流程入侵检测流程 6学时n 基于主机的入侵检测技术基于主机的入侵检测技术 4学时n 基于网络的入侵检测技术基于网络的入侵检测技术 4学时n 入侵检测系统的标准与评估入侵检测系统的标准与评估 4学时n Snort 分析分析 4学时n 入侵检测技术的发展趋势入侵检测技术的发展趋势 2学时 n 共32学时 3教材及参考书教材及参考书n 入侵检测技术曹

2、元大 人民邮电出版社n入侵检测技术薛静锋等 机械工业出版社 nSnort 2.0 入侵检测Brian Caswell等著 宋劲松等著 国防工业出版社 n 入侵检测实用手册Paul E. Proctor 中国电力出版社n http:/ 入侵检测标准化工作入侵检测标准化工作l CIDFl IDMEFl 入侵检测系统的设计考虑入侵检测系统的设计考虑5第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n入侵检测的标准化工作入侵检测的标准化工作n 入侵检测设计方面的考虑入侵检测设计方面的考虑n 评价入侵检测系统性能的标准评价入侵检测系统性能的标准n 网络入侵检测系统测试评估网络入侵检测系统测试评

3、估n 测试评估的内容测试评估的内容n 测试环境和测试软件测试环境和测试软件n 用户评估标准用户评估标准n 入侵检测评估方案入侵检测评估方案6第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估l 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l评价入侵检测系统性能的标准评价入侵检测系统性能的标准l 根据根据PorrasPorras等研究等研究, ,给出评价入侵检测系统性给出评价入侵检测系统性能的能的3 3个因素个因素. .l 准确性准确性(Accuracy)(Accuracy)l 处理性能处理性能(Performance)(Performance)l 完备性完备性(Complete

4、ness)(Completeness)l 在此基础上在此基础上,Debar,Debar等又增加了如下两个性能评等又增加了如下两个性能评价测度价测度: :l 容错性容错性(Fault Tolerance)(Fault Tolerance)l 及时性及时性(Timeliness)(Timeliness)7第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l影响入侵检测系统性能的参数影响入侵检测系统性能的参数 有效性有效性: : 研究检测机制的检测精度和系统报警研究检测机制的检测精度和系统报警的可信度的可信度 效率效率: : 从检测机制

5、的处理数据的速度以及经济从检测机制的处理数据的速度以及经济性的角度来考虑性的角度来考虑l 本节从有效性的角度对检测系统的检测性能及本节从有效性的角度对检测系统的检测性能及影响性能的参数进行分析讨论影响性能的参数进行分析讨论. .l 下面利用贝叶斯理论来分析基于异常检测的入下面利用贝叶斯理论来分析基于异常检测的入侵检测系统的检测率、虚警率与报警可信度之侵检测系统的检测率、虚警率与报警可信度之间的关系。间的关系。8第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l影响入侵检测系统性能的参数影响入侵检测系统性能的参数在异常检测和误用检

6、测中都会产生误报。误报包括在异常检测和误用检测中都会产生误报。误报包括虚警虚警(False Positive)(False Positive)和漏警和漏警(False Negative)(False Negative)。在异常检测中，由于不能保证入侵活动与异常活动在异常检测中，由于不能保证入侵活动与异常活动完全相符，因此会出现是异常却非入侵的情况或者完全相符，因此会出现是异常却非入侵的情况或者出现入侵却非异常的情况，前者会产生虚警，后者出现入侵却非异常的情况，前者会产生虚警，后者会产生漏警。会产生漏警。在误用检测中，由于可能出现入侵特征定义的不准在误用检测中，由于可能出现入侵特征定义的不准确和

7、不全面，因此会出现将正常模式当成入侵模式确和不全面，因此会出现将正常模式当成入侵模式的情况或者出现不能识别入侵模式的情况，前者会的情况或者出现不能识别入侵模式的情况，前者会产生虚警，后者会产生漏警。产生虚警，后者会产生漏警。9第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l影响入侵检测系统性能的参数影响入侵检测系统性能的参数入侵检测可以看作一个简单的二值假设检验问题。入侵检测可以看作一个简单的二值假设检验问题。为便于分析为便于分析, ,给出相关定义和符号。给出相关定义和符号。 假设假设I I和和I I分别表示入侵行为和目标系统

8、的正常分别表示入侵行为和目标系统的正常行为，行为，A A表示检测系统发出警报，表示检测系统发出警报，A A表示检测系统表示检测系统没有警报。没有警报。u 检测率：指目标系统受到入侵攻击时，检测系统能检测率：指目标系统受到入侵攻击时，检测系统能够正确报警的概率，可表示为够正确报警的概率，可表示为P P（A|IA|I）。）。u 虚警率：检测系统在检测时出现虚警的概率，用虚警率：检测系统在检测时出现虚警的概率，用P(A|P(A|I)I)表示。表示。u漏检率：检测系统在检测时出现漏警的概率，用漏检率：检测系统在检测时出现漏警的概率，用P(P(A|I)A|I)表示。表示。10第第7章章入侵检测系统的标准

9、与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l影响入侵检测系统性能的参数影响入侵检测系统性能的参数P(P(A|A|I)I)则指目标系统正常的情况下，检测系统则指目标系统正常的情况下，检测系统不报警的概率。不报警的概率。 显然有：显然有： P(P(A|I)=1- P(A|I) A|I)=1- P(A|I) ， P(P(A|A|I)=1- P(A|I)=1- P(A|I)I)l 在实际应用中，主要关注一个入侵检测系统的报在实际应用中，主要关注一个入侵检测系统的报警结果能否正确地反映目标系统的安全状态。警结果能否正确地反映目标系统的安全状态。 P( I |A

10、)P( I |A)给出了检测系统报警信息的可信度，即给出了检测系统报警信息的可信度，即检测系统报警时，目标系统正受到入侵攻击的概率。检测系统报警时，目标系统正受到入侵攻击的概率。 P(P( I | I |A)A)则给出了检测系统没有报警时，目则给出了检测系统没有报警时，目标系处于安全状态的可信度。标系处于安全状态的可信度。我们期望系统的这两个参数的值越大越好。我们期望系统的这两个参数的值越大越好。11第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l影响入侵检测系统性能的参数影响入侵检测系统性能的参数根据贝叶斯定理给出这二个参数

11、的计算公式：根据贝叶斯定理给出这二个参数的计算公式： )|()()|()()/()()|(IAPIPIAPIPIAPIPAIP)|()()|()()|()()|(IAPIPIAPIPIAPIPAIP12第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n7.3 入侵检测系统的性能指标入侵检测系统的性能指标l影响入侵检测系统性能的参数影响入侵检测系统性能的参数先验概率先验概率P(I)P(I)可利用实验环境和实际环境得到。可利用实验环境和实际环境得到。因为入侵行为出现的概率一般很小，即因为入侵行为出现的概率一般很小，即u l 所以所以P(I |A) P(I |A) 的值主要取决于虚警率的影

12、响。假的值主要取决于虚警率的影响。假定某一时间段内受到入侵攻击的概率定某一时间段内受到入侵攻击的概率P(I)=0.00001P(I)=0.00001，图中给出了检测系统的报警信息，图中给出了检测系统的报警信息可信度与系统检测虚警率、检测率之间的关系。可信度与系统检测虚警率、检测率之间的关系。 给定检测率，可信度随虚警率的增加而减小。给定检测率，可信度随虚警率的增加而减小。 给定虚警率的条件下，可信度将随着检测率的增给定虚警率的条件下，可信度将随着检测率的增大而增大。大而增大。 P(A|I)=1P(A|I)=1且且 P(A|P(A|I)=0I)=0时，检测结果最可信，但时，检测结果最可信，但这仅

13、是理想情况。这仅是理想情况。1)()()()(IPIPIPIP13第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 可信度、虚警率、检测率之间的关系图可信度、虚警率、检测率之间的关系图 14第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l 评价检测算法性能的测度评价检测算法性能的测度 通常可以用检测率随虚警率的变化曲线来评价检通常可以用检测率随虚警率的变化曲线来评价检测系统的性能测系统的性能 ，这个曲线称为接收器特性这个曲线称为接收器特性(ROC-(ROC-Receiver Operation Characteri

14、stic)Receiver Operation Characteristic)曲线。曲线。下图对应着采用不同检测算法的入侵检测系统下图对应着采用不同检测算法的入侵检测系统A A、B B、C C，所做的，所做的ROCROC曲线簇。曲线簇。u A A代表最坏情况，相当于对入侵行为没有识别能代表最坏情况，相当于对入侵行为没有识别能力力u 系统系统C C始终优于系统始终优于系统B Bu 检测系统的性能图中检测系统的性能图中y=xy=x可以作为系统的性能基可以作为系统的性能基准，所有的入侵检测系统性能都应好于它所代表的准，所有的入侵检测系统性能都应好于它所代表的系统。系统。15第第7章章入侵检测系统的标

15、准与评估入侵检测系统的标准与评估n 7.3 入侵检测系统的性能指标入侵检测系统的性能指标l 评价检测算法性能的测度评价检测算法性能的测度 图中有三个坐标点需要关注：图中有三个坐标点需要关注：u（0 0，0 0）点表示一个检测系统的报警门限过高，）点表示一个检测系统的报警门限过高，检测不出入侵情况检测不出入侵情况u （1 1，1 1）点则表示检测系统的报警门限为）点则表示检测系统的报警门限为0 0时，时，检测系统把被监控系统的所有行为都视为入侵活检测系统把被监控系统的所有行为都视为入侵活动的情况。动的情况。u （0 0，1 1）点则代表了一个完美的检测系统，能）点则代表了一个完美的检测系统，能在

16、没有虚警的情况下，检测出所有的入侵活动，在没有虚警的情况下，检测出所有的入侵活动，这是理想的情况。这是理想的情况。16第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估 表示不同检测性能的表示不同检测性能的ROC曲线簇曲线簇虚警率 100%检测率 100%ABC017第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n7.4 网络入侵检测系统测试评估网络入侵检测系统测试评估l 测试评估入侵检测系统很困难测试评估入侵检测系统很困难 涉及操作系统、网络环境、工具、软件、硬件涉及操作系统、网络环境、工具、软件、硬件和数据库等技术方面问题和数据库等技术方面问题 IDSIDS目前没有工业

17、标准可参考来评测目前没有工业标准可参考来评测 IDSIDS厂商不会公布检测算法厂商不会公布检测算法 只能依靠黑箱测试只能依靠黑箱测试l IDSIDS的评估者主要来自开发者、第三方、入侵的评估者主要来自开发者、第三方、入侵者和最终用户者和最终用户l 入侵和最终用户的测试是在实际应用环境下进入侵和最终用户的测试是在实际应用环境下进行的行的 ，评估效果更关键。，评估效果更关键。18第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.4 网络入侵检测系统测试评估网络入侵检测系统测试评估l 一般情况下，一般情况下，IDSIDS测试环境的组成有测试平台控测试环境的组成有测试平台控制器、正常合

18、法使用用户、攻击者、服务器和制器、正常合法使用用户、攻击者、服务器和IDSIDS系统。如图所示。系统。如图所示。 IDS测试环境组成示意图测试环境组成示意图19第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.5 测试评估内容测试评估内容l 误用检测失效的原因有以下误用检测失效的原因有以下3 3个方面：个方面： 系统活动记录未能为系统活动记录未能为IDSIDS提供足够的信息用来检提供足够的信息用来检测入侵测入侵 入侵签名数据库中没有某种入侵攻击签名入侵签名数据库中没有某种入侵攻击签名 模式匹配算法不能从系统活动记录中识别出入模式匹配算法不能从系统活动记录中识别出入侵签名侵签名l

19、 异常检测模块失效的原因如下：异常检测模块失效的原因如下： 异常阈值定义不合适异常阈值定义不合适 用户轮廓模板不足以描述用户的行为用户轮廓模板不足以描述用户的行为 异常检测算法设计错误。异常检测算法设计错误。20第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.5 测试评估内容测试评估内容lIDSIDS的评估涉及入侵识别能力、资源使用状况、的评估涉及入侵识别能力、资源使用状况、强力测试反应等几个主要问题。下面就强力测试反应等几个主要问题。下面就IDSIDS的功的功能、性能及产品可用性能、性能及产品可用性3 3个方面做进一步讨论：个方面做进一步讨论： 功能性测试：能反映出功能性测

20、试：能反映出IDSIDS的攻击检测、报告、的攻击检测、报告、审记、报警等能力审记、报警等能力u 攻击识别攻击识别u 抗攻击性抗攻击性u 过滤过滤u 报警报警u 日志日志u 报告报告21第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.5 测试评估内容测试评估内容性能测试：在各种不同环境下，检验性能测试：在各种不同环境下，检验IDSIDS的承受的承受强度，主要指标如下：强度，主要指标如下：uIDSIDS引擎的吞吐量引擎的吞吐量u 包的重装包的重装u 过滤的效率过滤的效率 产品可用性测试产品可用性测试u 评估系统用户界面的可用性、完整性和扩充性评估系统用户界面的可用性、完整性和扩充

21、性u 跨平台能力跨平台能力u 易用性易用性u 稳定性稳定性22第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.6 测试环境和测试软件测试环境和测试软件l Lincoln实验室设计了一个离线的网络实验室设计了一个离线的网络IDS测试环测试环境，如图所示。境，如图所示。 Lincoln实验室的实验室的IDS测试环境测试环境监听数据审计数据IDS检 测 结果ROC曲线分析23第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.6 测试环境和测试软件测试环境和测试软件l Rome实验室设计了一个实时的网络环境来作评实验室设计了一个实时的网络环境来作评测测IDS。如图所示

22、。如图所示. Rome实验室的实验室的IDS测试环境测试环境正常网络通信流攻击网络通信流评估网络IDS24第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.6 测试环境和测试软件测试环境和测试软件l为了较好地测试为了较好地测试IDS，针对不同的测试目标，一，针对不同的测试目标，一般构建专用的网络环境，下图是测试般构建专用的网络环境，下图是测试IDS功能的功能的网络配置图网络配置图 IDS功能测试配置图功能测试配置图攻击者路由器路由器网络负载产生器攻击目标IDS管理中心IDS探测器25第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.6 测试环境和测试软件测试环境

23、和测试软件l 测试软件测试软件 IDSIDS测试软件一般应具有以下功能：测试软件一般应具有以下功能：u 仿真用户操作仿真用户操作u 模拟入侵模拟入侵 NidsbenchNidsbench测试软件包测试软件包CaliforniaCalifornia大学的大学的IDSIDS测试平台测试平台26第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.7 用户评估标准用户评估标准l用户评估用户评估IDSIDS涉及多种因素涉及多种因素 1、 产品标识产品标识u生产厂商或公司生产厂商或公司u 产品版本号产品版本号u IDSIDS类型类型u IDSIDS的数据源是什么的数据源是什么u IDSIDS

24、的运行方式的运行方式u IDSIDS产品形式是硬件、软件还是软硬结合产品形式是硬件、软件还是软硬结合27第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.7 用户评估标准用户评估标准l用户评估用户评估IDSIDS涉及多种因素涉及多种因素 2 2 、IDSIDS文档和技术支持文档和技术支持 3 3、IDSIDS的功能的功能u产品与现有系统的集成产品与现有系统的集成u 是否即插即用是否即插即用u所支持的软件平台所支持的软件平台u 与其它安全工具的集成是否容易与其它安全工具的集成是否容易u IDSIDS运行需要的网络拓扑结构运行需要的网络拓扑结构u 支持的管理方式支持的管理方式u 管

25、理协议管理协议u 支持的网络协议支持的网络协议u 产品是否开放源代码产品是否开放源代码28第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.7 用户评估标准用户评估标准l 用户评估用户评估IDSIDS涉及多种因素涉及多种因素 4 4、IDSIDS报告和审计报告和审计 5 5、IDSIDS检测与响应检测与响应u数据内容识别能力数据内容识别能力u 抗攻击能力抗攻击能力u 冗错能力冗错能力u 检测精度和范围大小检测精度和范围大小u 通过何种方式报警通过何种方式报警 6 6、安全管理、安全管理 7 7、产品安装和服务支持、产品安装和服务支持29第第7章章入侵检测系统的标准与评估入侵检测

26、系统的标准与评估n7.8 7.8 入侵检测评估方案入侵检测评估方案l离线评估方案：离线评估方案：DARPADARPA与美国空军研究实验室联合发起的、与美国空军研究实验室联合发起的、由林肯实验室主持进行一年一度的评估活动。由林肯实验室主持进行一年一度的评估活动。 技术目标技术目标 评估评估 训练数据训练数据 测试数据开发测试数据开发 评估使用的测试数据评估使用的测试数据 异常检测异常检测 评估规则评估规则 结果提交格式结果提交格式 系统描述系统描述 运行时间运行时间30第第7章章入侵检测系统的标准与评估入侵检测系统的标准与评估n 7.8 7.8 入侵检测评估方案入侵检测评估方案l实时评估方案：实时评估