入侵检测系统评估

入侵检测系统评估第一页，共三十一页，编辑于2023年，星期二

6.1入侵检测系统的主要性能参数

在对入侵检测系统的性能进行分析时，应重点考虑检测的有效性、效率和可用性。

有效性：研究检测机制的检测精确度和系统报警的可信度，它是开发设计和应用IDS的前提和目的，是测试评估IDS的主要指标。

效率：从检测机制处理数据的速度以及经济角度来考虑，侧重检测机制性能价格比的改进。第二页，共三十一页，编辑于2023年，星期二6.1.1检测率、虚报率与报警可信度

人们希望检测系统能够最大限度地把系统中的入侵行为与正常行为区分开来，这就涉及到入侵检测系统对系统正常行为（或入侵行为）的描述方式、检测模型与检测算法的选择。

如果检测系统不能够精确地描述系统的正常行为（或入侵行为），那么，系统必然会出现各种误报。如果检测系统把系统的“正常行为”作为“异常行为”进行报警，这种情况就是虚报（FalsePositive）。如果检测系统对部分针对系统的入侵活动不能识别、报警，这种情况被称做漏报（FalseNegative）。第三页，共三十一页，编辑于2023年，星期二

1.检测率与虚报率

可以用贝叶斯理论来分析基于异常性检测的入侵检测系统的检测率、虚报率与报警可信度之间的关系，并在此基础上分析它们对异常性检测算法性能的影响。

入侵检测问题可看做是一个简单的二值假设检验问题。首先给出一系列相关的定义和符号：

假设I与I分别表示入侵行为和目标系统的正常行为，A代表检测系统发出入侵报警，A表示检测系统没有报警。

检测率：被监控系统受到入侵攻击时，检测系统能够正确报警的概率，可表示为P(A/I)。通常利用已知入侵攻击的实验数据集合来测试入侵检测系统的检测率。第四页，共三十一页，编辑于2023年，星期二虚报率：指检测系统在检测时出现虚报警的概率，可表示为P(A/I)。可利用已知的系统正常行为作为实验数据集，通过系统仿真获得检测系统的近似虚报率。

另外，概率P(A/I)代表检测系统的漏报率，P(A/I)则指目标系统正常（没有入侵攻击）的情况下，检测系统不报警的概率。显然有第五页，共三十一页，编辑于2023年，星期二在实际应用中，主要关注的是一个入侵检测系统的报警结果能否正确地反映目标系统的安全状态。下面的两个参数则从报警信息的可信度方面考虑检测系统的性能：

P(A/I)给出了检测系统报警信息的可信度，即检测系统报警时，目标系统正受到入侵攻击的概率。

P(A/I)给出了检测系统未发出报警信息的可信度，即检测系统未报警时，目标系统未受到入侵攻击的概率。

为使入侵检测系统更有效，系统的这两个参数的值越大越好。根据贝叶斯定理可以得出这两个参数的计算公式：（6.1）第六页，共三十一页，编辑于2023年，星期二同理：（6.2）第七页，共三十一页，编辑于2023年，星期二在实际应用过程中，检测率的好坏是由IDS的两个部分决定的。一是IDS的抓包能力，二是IDS的检测引擎。为了达到100％的检测率，IDS首先要把需要的数据包全部抓上来，送给检测引擎。在网络流量相同的情况下，数据包越小，数据包的个数就越多，IDS的抓包引擎是对数据包一个一个进行处理的，因此数据包越小，抓包引擎能处理的网络流量就越小。相比之下，数据包的大小对IDS检测引擎的影响程度较小，因为虽然检测引擎对每个数据包都要解析数据包头，但它同样要检测每个数据包的内容，总量是一样的，因此数据包的大小对检测引擎基本没有影响。第八页，共三十一页，编辑于2023年，星期二数据包抓上来之后，需要经过检测引擎的检测才能引发告警。在检测引擎的处理过程中，数据包的各种因素都会影响检测引擎的效率。不同的IDS产品因为其检测引擎中对数据包的处理有侧重点，因此不同内容的背景数据流会严重影响产品的检测率。当通过不同内容的背景数据流，可以判断出IDS检测引擎在某些方面的优劣。数据包中的数据内容也很关键，如果背景数据流中包含大量敏感的关键字，能引发一种IDS产品告警，而对另一种IDS产品可能并不引发告警，这样的数据包内容就影响了引擎的效率。即使在不引发告警的条件下，背景数据流的数据内容也对检测引擎影响很大。第九页，共三十一页，编辑于2023年，星期二实际上IDS的实现总是在检测率和虚报率之间徘徊，检测率高了，虚报率就会提高；同样,虚报率降低了，检测率也就会降低。一般地，IDS产品会在两者中取一个折中，并且能够进行调整，以适应不同的网络环境。美国的林肯实验室用接收器特性(ReceiverOperatingCharacteristic,ROC)曲线来描述IDS的性能。该曲线准确刻画了IDS的检测率与虚报率之间的变化关系。ROC广泛用于输入不确定的系统的评估。根据一个IDS在不同的条件(在允许范围内变化的阈值，例如异常检测系统的报警门限等参数)下的虚报率和检测率，分别把虚报率和检测率作为横坐标和纵坐标，就可做出对应于该IDS的ROC曲线。ROC曲线与IDS的检测门限具有对应的关系。第十页，共三十一页，编辑于2023年，星期二在现实中，虚报不会引起什么危害，因为事件本身是一个正常的事件。虚报的坏处可能就是浪费了安全管理员的一些阅读和检查的时间；而漏报则是一个很严重的错误。实际上，漏报就等于入侵事件没有被检测出来，对系统可能会引起很大的危害。

通常来讲，如果一个系统的虚报越多，它的漏报就越少。反过来，如果虚报越少，漏报则可能会越多。这是因为，虚报越多表示入侵检测系统对事件的警觉程度越高，这样，它忽略入侵的事件造成漏报的可能性就越小。从检测技术的角度来看，入侵检测系统对事件的警觉程度越高意味着检测算法对入侵事件的约束条件越紧；如果虚报越少，表示入侵检测系统对事件的警觉程度越低，这样，它忽略入侵事件的可能性就越大，也就是说，入侵检测系统对事件的警觉程度越低，意味着检测算法对入侵事件的约束条件越宽松。所以，误用检测技术所造成的虚报并不高，但很可能会漏掉一些入侵事件，特别是新的入侵类型。第十一页，共三十一页，编辑于2023年，星期二

2.ROC曲线

ROC曲线以图形方式来表示正确报告率和误报率的关系。ROC曲线是基于正确报告率和误报率的关系来描述的。这样的图称为诺模图（Nomo－gram），它在数学领域用于表示数字化的关系。选好一个临界点（CutoffPoint）之后，就可以从图中确定IDS的正确报告率和误报率。曲线的形状直接反映了IDS产品的准确性和总体品质。如果一条直线向上，然后向右方以45°角延伸，就是一个非常失败的IDS，它毫无用处；相反，ROC曲线下方的区域越大，IDS的准确率越高。如图6.1所示，IDSB的准确性高于IDSC，类似地，IDSA在所有的IDS中具有最高的准确性。第十二页，共三十一页，编辑于2023年，星期二图6.1

ROC曲线第十三页，共三十一页，编辑于2023年，星期二在测试评估IDS的具体实施过程中，除了要IDS的检测率和虚报率之外，往往还会单独考虑与这两个指标密切相关的一些因素，比如能检测的入侵特征数量、IP碎片重组能力、TCP流重组能力。显然，能检测的入侵特征数量越多，检测率也就越高。此外，由于攻击者为了加大检测的难度甚至绕过IDS的检测，常常会发送一些特别设计的分组。为了提高IDS的检测率，降低IDS的虚报率，IDS常常需要采取一些相应的措施，比如IP碎片能力、TCP流重组。由于分析单个的数据分组会导致许多误报和漏报，所以IP碎片的重组可以提高检测的精确度。IP碎片重组的评测标准有三个性能参数:能重组的最大IP分片数、能同时重组的IP分组数、能进行重组的最大IP数据分组的长度。TCP流重组是为了对完整的网络对话进行分析，它是网络IDS对应用层进行分析的基础，如检查邮件内容和附件、检查FTP传输的数据、禁止访问有害网站、判断非法HTTP请求等。这些因素都会直接影响IDS的检测可信度。第十四页，共三十一页，编辑于2023年，星期二6.1.2抗攻击能力

和其它系统一样，IDS本身也往往存在安全漏洞。若对IDS攻击成功，则直接导致其报警失灵，入侵者在其后所作的行为将无法被记录，因此IDS首先必须保证自己的安全性。IDS本身的抗攻击能力也就是IDS的可靠性，用于衡量IDS对那些经过特别设计直接以IDS为攻击目标的攻击的抵抗能力。它主要体现在两个方面：一是程序本身在各种网络环境下能够正常工作；二是程序各个模块之间的通信能够不被破坏，不可仿冒，此外要特别考虑抵御拒绝服务攻击的能力。如果IDS本身不能正常运行，也就失去了它的保护意义。而如果系统各模块间的通信遭到破坏，那系统的报警之类的检测结果也就值得怀疑，应该有一个良好的通信机制保证模块间通信的安全并能在出问题时能够迅速恢复。第十五页，共三十一页，编辑于2023年，星期二6.1.3其它性能指标

1.延迟时间

检测延迟指的是在攻击发生至IDS检测到入侵之间的延迟时间。延迟时间的长短直接关系着入侵攻击破坏的程度。

2.资源的占用情况

资源的占用情况是指系统在达到某种检测有效性时对资源的需求情况。通常，在同等检测有效性的前提下，对资源的要求越低，IDS的性能越好，检测入侵的能力也就越强。第十六页，共三十一页，编辑于2023年，星期二

3.负荷能力

IDS有其设计的负荷能力，在超出负荷能力的情况下，性能会出现不同程度的下降。比如，在正常情况下IDS可检测到某攻击,但在负荷大的情况下可能就检测不出该攻击。考察检测系统的负荷能力就是观察不同大小的网络流量、不同强度的CPU内存等系统资源的使用对IDS的关键指标（比如检测率、虚警率）的影响。第十七页，共三十一页，编辑于2023年，星期二

4.日志、报警、报告以及响应能力

日志能力是指检测系统保存日志的能力,按照特定要求选取日志内容的能力。报警能力是指在检测到入侵后，向特权部件、人员发送报警信号的能力以及在报警中附加信息的能力。报告能力是指产生入侵行为报告、提供查询报告、创建和保存报告的能力。响应能力是指在检测到入侵后进一步处理的能力，这包括阻断入侵、跟踪入侵者、记录入侵证据等。

5.系统的可用性

系统的可用性主要是指系统安装、配置、管理、使用的方便程度，系统界面的友好程度，攻击规则库维护的简易程度等方面。第十八页，共三十一页，编辑于2023年，星期二

6.检测范围

通常情况下，一个IDS能检测到的攻击是有一定范围的。检测范围的考察，就是在一定的攻击分类标准下，考察IDS对不同类型攻击的检测能力。

由此可以看出，IDS是个比较复杂的系统，对IDS进行测试和评估不仅和IDS本身有关，还与应用IDS的环境有关。测试过程中涉及到操作环境、网络环境、工具、软件、硬件等方面，既要考虑入侵检测的效果如何，也要考虑应用该系统后它对实际系统的影响，有时要折中考虑这两种因素。综合起来，入侵检测系统性能的参数主要有：检测率、虚报率、漏报率、不报率等，从而可以由此计算出检测系统报警信息的可信度。第十九页，共三十一页，编辑于2023年，星期二

6.2入侵检测系统评估标准

6.2.1准确性（Accuracy）

准确性指入侵检测系统能在各种行为中正确地检测出系统入侵活动的能力。当一个入侵检测系统的检测不准确时，它就可能把系统中的合法活动当作入侵行为并标识为异常（虚警现象）。

准确性主要是指研究检测机制的精确度和系统检测结果的可信度。准确性包含几个指标，即报警准确度（又称检测率、灵敏度）、误警率、检测可信度。这些指标既是开发和应用IDS的前提和目的，又是测试评估的主要指标。其中，第二十页，共三十一页，编辑于2023年，星期二具备较高的报警准确率是IDS的关键，是否智能、准确地报告非法入侵行为成为衡量一个入侵检测产品优劣的首要内容。误警率指错误报警或未报警的比率，包括虚警率和漏报率，其中，报警准确率和误警率是衡量IDS效率的两个重要指标。误警率和漏报率应尽量低。检测可信度指某一次报警是真实的报警（正确检测）的概率，反映的是检测系统检测结果的可信程度，也是IDS的重要指标，其取值与报警的次数、报警已逝去的时间等都有关系。第二十一页，共三十一页，编辑于2023年，星期二评估IDS的准确性除了要考察以上指标外，还应该单独考虑如下指标（但这些指标并不仅仅只反映IDS的准确性）：是否支持事件特征自定义、是否支持多级分布式结构和事件归并、能检测的入侵特征数量、IP碎片重组能力、TCP流重组能力、IDS对网络流量的分析是否能达到足够的抽样比例、系统对变形攻击的检测能力、系统对碎片重组的检测能力、系统对未发现漏洞特征的预报警能力、是否具有较低的漏报率、系统是否采取有效措施降低误报率、是否具有高的报警成功率、在线升级和入侵检测规则库的更新是否快捷有效等。第二十二页，共三十一页，编辑于2023年，星期二6.2.2完备性（Completeness）

完备性是指入侵检测系统能够检测出所有攻击行为的能力。如果存在一个攻击行为，无法被入侵检测系统检测出来，那么该入侵检测系统就不具有检测完备性。由于在一般情况下，很难得到关于攻击行为以及对系统特权滥用行为的所有知识，所以关于入侵检测系统的检测完备性的评估要相对困难得多。

由于通常不可能存在具有检测完备性的IDS，因此提出一个新的概念：完备度。第二十三页，共三十一页，编辑于2023年，星期二6.2.3容错性（FaultTolerance）

IDS本身也是会存在安全漏洞的，若对入侵检测系统攻击成功，则会直接导致IDS报警失灵，系统将无法记录入侵者在其后的所作所为。因此要求检测系统必须是可容错的，即使系统崩溃，检测系统本身必须能保留下来，而不必重启系统时必须重建知识库。入侵检测系统自身必须能够抵御对它自身的攻击，特别是拒绝服务攻击（DenialOfService）。拒绝服务攻击是指攻击者通过某种手段，有意地造成计算机或网络不能正常运转从而不能向合法用户提供所需要的服务或者降低其提供的服务质量。由于大多数入侵检测系统是运行在极易遭受攻击的操作系统和硬件平台上，这就使得系统的容错性变得特别重要，在设计入侵检测系统时必须考虑。第二十四页，共三十一页，编辑于2023年，星期二6.2.4及时性（Timeliness）

系统必须及时发现各种入侵行为，理想情况是事先发现攻击企图，比较现实的情况则是在攻击行为发生的过程中检测到攻击行为。及时性要求系统必须尽快地分析数据并把分析结果传播出去，以使系统安全管理者能够在入侵攻击尚未造成更大危害以前做出反应，阻止攻击者颠覆审计系统甚至入侵检测系统的企图。如果是事后才发现攻击的结果则必须保证时效性，因为一个已经被攻击过的系统往往意味着后门引入以及后续的攻击行为。和上面的处理性能因素相比，及时性要求更高。它不仅要求入侵检测系统的处理速度要尽可能地快，而且要求传播、反应检测结果信息的时间尽可能少。反映及时性的几个重要指标是延迟时间、检测时间、分析和关联时间、响应时间等。第二十五页，共三十一页，编辑于2023年，星期二6.2.5处理性能（Performance）

处理性能是指一个入侵检测系统处理审计数据的速度。显然，当入侵检测系统的处理性能较差时，它就不可能实现实时的入侵检测。

此外，一个完整的入侵检测系统必须具备下列特点：

（1）经济性。为了保证系统安全策略的实施而引入的入侵检测系统必须不妨碍系统的正常运行。

（2）安全性。入侵检测系统自身必须安全，如果入侵检测系统自身的安全性得不到保障，则意味着信息的无效，更为严重的是，入侵者控制了入侵检测系统即获得了对系统的控制权，因为一般情况下，入侵检测系统都是以特权状态运行的。第二十六页，共三十一页，编辑于2023年，星期二（3）可扩展性。可扩展性有两方面的意义：一是机制与数据的分离，在现在机制不变的前提下能够对新的攻击进行检测，例如，使用特征码来表示攻击特性；二是体系结构的可扩展性，在有必要的时候可以在不对系统的整体结构进行修改的前提下加强检测手段，以保证能够检测到新的攻击，如AAFID系统的代谢机制。

IDS系统最终是要为用户服务的，基于用户的角度，可以简单罗列出以下几方面来评估IDS是否满足用户的需要：第二十七页，共三十一页，编辑于2023年，星期二（1）IDS产品标识。

（2）IDS系统的文档和技术支持。

（3）IDS系统功能。

（4）IDS的报告和审计能力。

（5）IDS系统的检测和响应。

（6）IDS的安全管理能力。

（7）产品安装和服务支持。第二十八页，共三十一页，编辑于2023年，星期二评估入侵检测系统非常困难，涉及到操作系统、网络环境、工具、软件、硬件和数据库等技术方面的问题。IDS目前没有工业标准可参考来评测，由于入侵检测技术太新，为了跟上市场的增长步伐，商业的IDS新产品周期更新非常快。市场化的IDS产品很少去说明如何发现入侵者和日常运行所需