通信网络安全10

第十章网络安全事件管理研究意义网络应用的深入发展和技术进步的同时，非法访问、恶意攻击、病毒传播等安全威胁日益频繁防火墙、IDS、防病毒、身份鉴别、数据加密、安全审计等安全设备能够在特定方面发挥一定的作用，但大部分功能单一，彼此之间没有有效的统一管理调度机制，不能互相支持、协同工作，从而使各安全设备的应用效能无法得到充分的发挥同时，众多安全设备产生的大量异构安全事件中充斥着很多冗余或不可靠信息。只有从这些庞杂的安全事件中挖掘出真正的攻击才能对网络安全做出合理的评估和正确响应网络安全事件管理概念网络安全事件管理首先对采集的安全事件按一定的安全事件格式进行标准化处理，然后通过过滤、汇聚、安全事件关联分析和严重程度判断等手段对标准化后的安全事件进行处理，以便能够充分缩减从安全设备/系统中采集的安全事件，并对安全事件进行严重性排序，使安全管理人员和系统管理人员能及时、全面、方便地了解和识别出信息系统中存在的安全威胁和异常事件，最后对一定严重程度以上的安全事件进行呈现并通过安全报表管理模块进入响应流程。网络安全事件管理模型结构图网络安全事件管理产品netForensics公司在1999年提出安全事件管理(SEM)（也称安全信息管理，SIM)的概念，并率先进行相关网络安全事件管理产品的研发代表性网络安全事件管理产品:Cisco公司的安全策略管理器(CiscoSecurePolicyManager)天融信公司的综合安全管理系统(TOPSECManager)致力于SEM产品研究的其它著名公司，包括IBMSymantecCorp.IntellitacticsInc.e-SecurityInc.网络安全事件管理关键技术安全事件捕获安全事件关联分析安全态势评估安全事件捕获包括基于主机的安全事件(病毒、非法访问等引起)和基于网络的安全事件基于网络的安全事件捕获通过对各安全设备收集到的流量数据进行分析、检测，发现异常事件并生成告警安全事件捕获的核心在于流量异常事件检测流量异常事件的类型流量异常事件根据存在范围不同，大致可分为单链路流量异常和分布式流量异常。单链路流量异常通常是指仅存在于单条流量上的链路级别异常（如洪泛攻击、大文件传输攻击等）。分布式流量异常是指在网络多条链路上由同种原因引起的流量异常，具有单条链路异常流量小、多条链路异常总量大等特点，与单链路流量异常相比，影响范围更广、破坏力更大、更不易被检测。例如：DDoS(DistributedDenailofService)和蠕虫。分布式流量异常特征对全网造成影响分布式流量异常对网络的影响并不仅表现在一个网络局部，还会消耗大量核心网络的带宽资源。分布式存在，汇聚总量惊人都由Internet中多个分散源发起，操作异常不仅局限在异常结点上，通常向相邻链路扩散，当攻击流会聚到达目标系统时，将变得非常庞大。单条链路上的异常流量和正常流量之间没有明显的特征区别单个恶意攻击流数据报与合法报文相似，不存在明显攻击特征。多攻击源情况下，攻击流极易被隐藏在背景流量中，具有更强的隐蔽性。常见分布式流量异常——DDoSDDoS攻击是一种借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，针对一个或者多个目标，企图阻止合法用户正常使用目标系统所提供服务的攻击。DDoS攻击目标范围很广，从个人计算机、重要主机、具体应用服务、网络、到网络路由节点，造成的影响小到降低其服务性能，大到阻塞网络，使系统瘫痪，其目的不是破坏信息的私密性和完整性，而是破坏目标系统的可用性常见分布式流量异常——蠕虫蠕虫是一种可以在网络中自动传播的恶意代码，它通过不停地获得网络中存在漏洞的计算机上的部分或全部控制权来进行传播，可以在瞬间感染成千上万的目标系统。由于它不需要借助宿主，使得传播过程异常迅速和猛烈。对Internet构成的威胁体现在：每台受感染主机都试图通过中间路由器向目标主机发送大量的数据，大量的数据流汇聚到某个中间路由器，使得高速路由器性能急剧下降甚至无法完成对其它合法数据流的转发，瞬间造成大规模网络的拥塞崩溃。除开DDoS和蠕虫两种常见异常，还有操作异常、突发访问异常等等。流量信息获取方式全镜像监测技术通过在交换机等网络设备的端口上镜像或者通过分光器、网络探针等设备，复制和镜像采集流经的一系列数据报文流，可完整保留流量的所有数据，对其进行深度分析。数据流采集技术NetFlow是Cisco公司提出的网络数据包交换技术，实现对流量进行采样分析，并将分析结果发送至分析器进行流量分析。管理信息库查询用于网络管理系统中，对网络中的设备进行监控，通过提取网络设备代理提供的MIB(ManagementInformationBase)中一些具体设备及流量有关信息，安装在设备上的SNMP代理以变量的形式来维护被管理设备上的各种信息，网络管理系统通过不同协议操作来获取这些变量。检测方法分类统计分析技术统计分析方法观察历史流量的活动情况，然后产生刻画这些活动的行为轮廓，并将当前流量的行为轮廓与己存储的特征轮廓之间的差异是否超过预先设定好的阈值，来判断异常行为，历史流量的轮廓将根据新到达的流量定期进行调整。从这个检测角度出发，统计方法可以看作是流量的变化检测问题，即寻找流量中与统计模式偏差较大的突发变化。Thottan使用MIB中变量在关联模式下发生的突变描述网络异常，结合多个MIB变量的异常指标定义了是否存在异常的网络健康函数。Wang通过SYN与FIN数据包之间动态变化来检测SYN洪泛攻击，使用非参数化CUSUM(CumulativeSum)方法发现动态序列的突发变化。当DDoS攻击和蠕虫扫描泛滥时，网络业务量统计上呈现出较明显的转变，所以在检测这两类恶意流量的时候统计分析方法非常有效，然而该类方法中的参数(如阈值)往往是一个确定的值，当流量模式转变时，这些参数缺乏灵活性，不能作自适应调整。时间序列模型时间序列模型把网络流量视为均匀时间间隔采样形成、依据时间先后顺序排列起来的序列，建立相应序列模型描述其动态特性，模型需要能体现出观测值序列中的动态依存关系Brutlag等使用Holt-Winters预测增量模型对正常的网络流量数据进行建模，检测时间序列中的异常。一些方法利用经典的时间序列分析模型，如AR(AutoRegression)、ARMA(AutoRegressiveandMovingAverage)模型等，对流量进行预报，并根据实际观测值与预报值之间的偏差大小达到检测目的。随着流量长相关以及自相似特性的发现，研究人员提出了自相似模型来表征流量的突发特性，并将其应用于检测中，检验特征参数Hurst系数变化程度发现流量异常。基于时间序列模型的检测方法，其准确性主要依赖于模型对数据动态性和复杂性的描述上，然而对于高速网络，现有研究表明，这些模型很难实现对流量的准确刻画，给后续检测步骤的准确性带来影响。信号处理近年来，研究人员将流量观测值看作待处理信号，开始探讨异常流量在频域中表现出的特性。Barford等使用小波工具分析了不同异常的特性，提出了基于小波的异常检测方法，能有效辨认短持续期和长持续期的流量异常。Kim等提出一种通过离散小波变换分析边界路由器中出口流量目的IP地址之间的关联性来进行流量异常检测的技术，该技术可以用于事后或者实时检测出流量异常。L.Li提出了一种基于小波分析的能量分布方法来检测DDoS攻击，研究发现当流量被DDoS攻击影响时，流量能量分布的方差产生明显的“尖刺”。Dainotto等人提出了一种层次结构的检测，采用CWT(ContinuousWaveletTransform)对粗检测结果进行再次分析，降低粗检测的误报率。机器学习机器学习是一种自适应取得流量测量与网络状态是否正常或异常映射的方法，其主要目的是为了得出能够由测量中提取相关信息的自动学习算法，用于未知网络环境或是未知攻击检测。聚类分析是机器学习中的一种无监督学习过程，基于正常与异常之间的差异性来描述异常。该方法假设正常行为下的测量是相似的，并聚集在一起，而异常是落在正常聚类之外的。贝叶斯信任网络借助概率图形模型，研究变量与异常之间的统计关联性以及因果关系。PCA(PrincipalComponentAnalysis)是一种数据维度降解方法，基于PCA分析的异常检测基本思想是通过维度降解技术，将异常行为模式从正常行为中划分出来。数据挖掘数据挖掘方法通过关联分析、序列模式分析等算法，发掘数据间潜在的模式，找出某些容易被忽略的信息，以便于理解和观察的方式返回给用户作为决策依据。支持向量机是数据挖掘中的一项新技术，借助最优化方法解决机器学习问题的新工具，也被广泛用于检测过程中。另一种通过模拟自然进化过程搜索最优解的问题求解方法的遗传算法，在检测过程中用于不同目的，如分类规则的取得等等。数据挖掘方式的优点是数据驱动形式，不需要依靠先前观测的网络行为模式，并且适于处理大量数据的情况，然而该方法中各种挖掘算法太过分散，针对的数据对象差异较大。时间检测方法早期开展的流量异常检测方法多采用时间检测的方式，利用单条流量的时间序列模式偏离正常的程度揭示异常。单条流量可获得多种观测变量，如分组数，字节数，流数等，检测方法又可分为单变量时间检测和多变量时间检测。在某些应用环境下，时间检测方式被证明是有效的，该方式通常要求使用的时间序列模型具有较高准确性，能够刻画流量的动态特征。此外，由于网络连通性结构，不考虑链路流量之间关联性，孤立地分析每条流量，使得时间检测方法在检测性能上往往有一定局限性，适用于时间模式上发生明显改变的流量异常。时间检测方法单变量：单变量流量记录作为单时间序列，通过时间上观测值之间的变化关系检测异常。多种构建行为特征技术均可用于分析观测值之间的变化关系是否偏离正常。基于流量概要变化检测方法发现数据流中的大流量异常。使用时间序列分析方法辨认网络错误。使用信号处理取得流量序列的时频特征。多变量：在流量独立的假设条件下，单条流量的正常轮廓由多个监控变量共同描述。Thottan利用广义似然比对MIB库中的多个变量之间的关系进行分析，诊断网络故障，并利用变量的异常信息对网络故障进行分类。使用时间序列分析方法辨认网络错误。Yeung等开发了协方差矩阵方法对洪泛攻击进行建模和检测。空间检测方法大规模网络管理中，需要同时监控多条流量，并且各条流量之间往往并非完全独立，而是存在相关性。网络节点异常时，原本经过该节点所在链路流量下降，而相邻链路流量增加，这是由于结点故障后，分组经过重路由，绕过该结点，继续转发到目的结点。在针对服务器的DDoS攻击场景中，会引起指向某些受害者目的地址的多条流量增加。这些网络级别的问题，将流量作为单时间序列分析是不够的，需要从空间角度出发，同时分析多条流量，有助于捕捉异常在多条链路上的变化趋势；对于相互关联的流量，利用它们之间的关联性是否发生较大偏离，而不是流量时间模式上的转变，有利于检测单条流量上不明显的异常特征。该方式根据监控流量的多少，可以分为全局检测方式和分布式检测方式。空间检测方法全局：全局检测是一种同时对网络中的多条流量进行分析，利用流量之间的关系进行检测的方法。Lakhina等提出了一种基于数据降维PCA技术的子空间方法，对美国学术教育骨干网Abilene网中全局流量进行降维，在划分出的低维异常空间中确定异常，能够发现网络中的多种异常。2005年，Lakhina又将PCA扩展应用到全局流量的特征分布上，同时还提出了一种多路PCA(multiwayPCA)检测DDoS攻击。Ahmed等提出了一种在线检测算法，检测前根据全局流量向量构建出一系列近似正常行为子集的特征空间，检测时通过核函数度量当前时刻输入向量与特征空间的距离，假设正常流量测量的特征空间是“汇聚”的，而异常则表现为特征空间中远离聚集的正常测量。Rubinstein等调查了全局PCA方法对于骨干网异常的辨别能力，指出该方法不能检测出长持续期的缓慢幅值攻击。空间检测方法分布式空间：分布式空间检测在决策层次上可以分为协作式以及独立式。协作式结构是一个树型的分层体系，该结构底层是网络中选取一些节点，作为检测节点分别建立检测子网络，首先各节点依靠自己搜集的信息展开快速简单的本地局部检测；再利用一定的通信机制，交互各个节点的检测结果；最后上层结点接受并处理部分或全部节点的结果，以确认是否发生异常。如Talpade等提出了NOMAD(NetworkMonitoringFrameworkforAnomalyDetection)异常检测的监控框架，分为局部和全局监测，用于检测和定位网络异常.独立式结构无上层结点，多个相互平等的检测节点在网络中分别进行检测，并且协同处理大规模的入侵行为。P.Chhabra等提出了一种基于聚类的检测方法，其研究表明各个路由器上的流入流出链路流量具有关联性，依据它们之间的关系进行的异常检测可以达到与全局流量分析方式相同的检测效果。本教研室研究现状分布式流量异常的全局相关检测方法DDoS攻击的全局时频分析方法基于ICA的流量异常检测方法基于多时间序列分析的网络流量行为感知基于频繁子结构的异常特征提取算法尺度可调的多分辨网络流异常检测基于网络全局流量异常特征的DDoS攻击检测基于小波包的异常流量检测方法基于瞬时频率分析的网络流量异常检测基于子图模式的流量分类方法……安全事件关联分析安全报警事件关联(用户网络中)安全事件关联(骨干网络中)安全报警事件关联简介(1)为了保障网络的可用性和网络上信息的机密性、完整性、防止来自外部或内部的攻击行为，网络管理者购买大量网络安全设备，力图保障网络的安全。网络安全设备如防火墙，入侵检测系统（IDS），虚拟专用网（VPN）网关和防病毒软件等会发出不同层次、不同内容的报警信息。这些信息即安全报警事件，是网络安全工作中防御、检测和响应的重要基础依据。安全报警事件关联简介(2)现实网络环境中，这些安全报警事件是海量和零星杂乱的，存在较高的漏报和误报率，使其并不等于真实有效的安全信息，也不能单独构成有用的安全事件，继而不能形成有指导意义的安全响应知识。网络安全报警事件现存的主要问题有：①海量报警事件的处理②严重的漏报和误报③报警事件的冗余性与重复性安全报警事件关联简介(3)安全报警事件关联分析：通过对大量报警信息进行聚合处理得到粗粒度的报警事件，再使用关联方法将属于同一攻击的每一步攻击动作所产生的报警联系在一起，重建攻击过程。安全报警事件关联分析分为三步：①事件收集（收集报警信息并整理语义）②事件聚合（利用聚类技术等方法消除重复报警生成粗粒度报警事件）③事件关联（判断报警事件是否源于同一攻击）安全报警事件关联目的(1)消除或减少重复报警：网络上不同安全设备针对同一个安全事件都可能报警，这些重复报警少则几个，多则上万，通过对报警事件进行聚合和关联可以大大减少重复报警率。降低误报率：通过将一个攻击过程相关报警信息关联在一起，可以消除某些孤立和随机事件产生的误报警。另外，报警信息同被保护网络系统本身的信息相互比对可以更好地滤除无关报警，降低误报率。安全报警事件关联目的(2)扩大防御范围：在较大型的交换式网络系统中，单个安全设备其检测范围和处理能力是有限的，要想掌握整个网络的安全情况，就要将多个安全设备布置在网络上的不同位置，然后将来自于这些安全设备的报警进行关联分析处理，从而实现全网范围内的安全防御。安全报警事件关联目的(3)发现高层攻击策略：将一系列攻击活动关联在一起，重建攻击过程，这样就可以对攻击的整体情况进行描述，有利于对攻击的理解，发现高层攻击策略，克服了分析结果过于细化和底层的缺点，避免了“只见树木，不见森林”负面效果，为攻击的意图识别、攻击行动预测和攻击的快速响应打下了基础。算法及分析在整个安全报警事件关联分析的步骤中，报警信息收集所涉及算法较少，这里重点对报警事件的聚合与关联的算法进行分析。需要注意的是，报警事件的聚合算法主要处理的是原始报警信息，而报警事件的关联算法的主要处理对象是经过聚合后的粗粒度报警事件。算法及分析聚合算法可分为两种：①根据报警属性聚合②根据被保护系统本身特点聚合关联算法可分为三种：①根据事先定义好的攻击过程进行关联②根据前因后果进行关联③根据统计因果分析进行关联聚合算法根据报警属性的相似性来进行聚合。属于同一攻击的报警通常都具有相似的属性，直接的聚合方法就是通过检查报警属性发现它们之间的相似性。此方法要解决的问题是确定需要比较哪些属性，怎样知道这些属性是相似的，在比较中对不同的属性怎样分配权重此类算法通过精心选定相似度标准、权重数等参数，可以较好地捕捉到许多已知攻击类型的实质，且算法的实时性较好。但系统本身对攻击并不理解，其属性相似度计算和权重分配很大程度上依赖于领域知识，所以说它是一个由专家经验维护的系统聚合算法基于被保护系统本身特点的聚合方法。除了利用报警本身所携带的信息，我们还可以从被保护网络系统的角度来聚合报警信息。此算法主要用于特定目的(如报警验证alertverification或事件排序incidentrank)的报警聚合此类算法将“知彼”(报警信息)与“知己”(被保护的系统情况）综合在一起，来验证攻击所利用的操作系统、网络服务和相关漏洞与被攻击的主机实际情况是否相匹配，从而可以有效地滤除无关报警(不匹配的报警)关联算法关联规则：表明两个报警进行关联所需满足的条件，一个攻击过程可以由这样的多条关联规则组成根据事先定义好的攻击过程进行关联。通过机器学习等方法得到各种攻击过程，将其作为模板输入到系统中，然后系统就可以将报警同这些攻击过程模板相比较，进行实时关联，这种方法的关键问题是如何挖掘出这些关联规则这类算法的缺点是：①由于各方面的不确定性很难获得合适的训练集②不能处理在训练集中未出现的攻击过程③抗噪能力较差关联算法根据前因后果进行关联。任何一个攻击都具有前因和后果。所谓前因就是攻击要实施所必须具有的前提条件，后果就是攻击成功后所造成的结果。在一个有多个攻击动作组成的攻击过程中，一个攻击的后果就是下一个攻击前因。基于这一思想，首先定义每一个单独攻击的前因、后果，然后就可以将具有因果关系的攻击关联在一起，重现整个攻击过程这类算法的缺点是：①不能处理新攻击(不知道其前因、后果)，且只适用于攻击步骤的关联。②由于关联时搜索空间较大，对计算资源消耗大，处理时间长，不适合实时在线处理关联算法根据统计分析进行关联。基于统计分析的关联方法是目前提出的最新的关联方法之一。其主要通过已经收到的历史报警信息建立关于报警事件的预测模型，然后通过训练出的预警模型去计算其与正处于关联过程中的攻击序列的接近程度，以完成关联。安全事件关联简介(1)由于网络环境的不同，骨干网络中的网络安全管理与用户网络中有明显的区别。骨干网络中的网络安全管理不再依赖网络安全设备，而是通过在骨干路由器上采集流量信号，得到流量特征信号，从流量特征信号上提取异常情况即安全事件，以进行进一步的分析和处理。骨干通信网络中的安全事件关联与用户网络中的告警关联有明显的区别，具体体现在以下三个方面：安全事件关联简介(2)①关联的对象不同：在用户网络中，将由网络安全设备产生的告警作为关联的对象。而在骨干网络中，传统的基于精细包检测的网络安全设备在面对海量、高速的骨干网络数据时显得无能为力，因此，我们采用在骨干路由器上采集流量信号，从流量特征信号上提取出安全事件用作关联对象。安全事件关联简介(3)②关联的目的不同：用户网络中告警关联的目的就是在海量告警数据中得到精简的超报警呈现给网络管理人员。而在骨干网络中安全事件关联的目的则是挖掘安全事件与网络攻击之间的关联关系，即某种网络攻击会引发哪些安全事件。形成安全事件与网络攻击之间的关联规则后，在网络攻击的检测中，我们可以用骨干网中的流量特征信号分析代替用户网络中的精细包分析，进行骨干网中的网络安全管理。安全事件关联简介(4)③流量异常事件与告警的属性不同在用户网络中，各种安全设备产生的告警都有自己的告警数据格式，且告警蕴含了大量的信息，告警的属性丰富，如大部分入侵检测系统（IDS）采用IntrusionDetectionMessageExchangeFormat（IDMEF）的数据格式。而骨干通信网中的安全事件是由流量特征信号的的行为特征表现出来的异常情况而产生，其属性较少。为此，传统的告警关联技术中基于属性相似性的方法不适用于安全事件的关联分析。安全事件关联基本思想是否有网络攻击？

DOS,DDOS,portscan,worm,et是否患病?

感冒,发烧,

胃病,气管炎,等流量特征异常：时间域,频率域,地址统计属性,等身体症状异常：体温高,咳嗽,头晕,呕吐,等网络人医生进行病情诊断建立身体异常症状与病情的规则（医书）建立网络攻击与流量特征异常之间的规则（关联规则库）攻击检测关联规则S={s1,s2,s3,…,sn}为网络状态的时间序列，Si∈{E0,E1,E2,…Eu}表示网络的在i时刻状态，E0表示当前网络为正常状态，Ej表示当前网络上正在发生第j种网络攻击，如：DDOS，端口扫描，洪范攻击等。u为已知的网络攻击的种类。Fm×n称为网络流量特征矩阵。其中n表示时间上n个采样点，m表示流量特征信号的数量。其中fij是一个连续数值，表示第i个流量特征信号在第j时刻的数值关联规则连续数值不便于进行关联分析，通过离群点挖掘，在流量特征信号中挖掘得到离群点，形成流量异常事件。一般情况下，流量特征信号有三种离散的状态，一种为“normal”状态，表示无异常事件，用数字“0”表示；一种为“up”状态，表示流量特征信号在该点有一个大于正常行为的值，用数字“1”表示；一种为“down”，表示流量特征信号在该点有一个小于正常行为的值，用数字“2”表示。于是，fji就离散化为“0”、“1”、“2”三种符，通过离散符号表示，我们就得到离散数值的矩阵FAEm×n。同样，我们也将Si∈{E0,E1,E2,…Eu}也用数字简化表示。关联规则这样，一段时间内的网络流量特征与网络状况就用下面的网络特征时序图来表示。横坐标为时间轴，纵坐标为流量特征，F1、F2等为各种流量特征信号。将时间轴上的流量异常事件矩阵与时间轴下的网络状态序列合并，便可以得到一个增广矩阵，于是，我们通过在这个增广矩阵的所有列向量中挖掘满足一定条件的频繁子向量集以得到关联规则。关联规则挖掘算法安全事件关联分析的重点在于关联规则的挖掘。为了准确描述关联规则挖掘算法，下面给出关联规则的相关定义：

设I={I1,I2,I3,…,Im}是m个元素的集合，其中的每个元素称为项(item)。项的集合称项集(itemset)。记事务数据库D为事务(transaction)T的集合，其中每个事物T是项的集合，使得T⊆I。每个事务有一个标识符，记作TID。设A是一个项集且A⊆I，如果A⊆T，那么称事务T包含A。关联规则是形如A=>B的蕴含式，其中A⊆I，B⊆I，并且A∩B=∅。关联规则挖掘算法一条关联规则的成立必须要满足一定的条件，关联规则的描述一般有两个参数：支持度和置信度。(1)支持度(Support)：关联规则A=>B的支持度表示项集出现的频率，为事务集中同时包含A和B的事务的数量与所有事务数量的比值，记作support(A=>B)，即 support(A=>B)=(2)置信度(Confidence)：关联规则A=>B的置信度是事务集D中包含项集A的事务同时也包含项集B的事务的百分比，这是条件概率P(A|B)，记作confidence(A=>B)，即 confidence(A=>B)=关联规则挖掘算法支持度是对关联规则在事务集中的普遍性的衡量，而置信度是对关联规则准确度的衡量。一条关联规则应该是既普遍又准确，因此要求有较高的支持度与置信度。于是，关联规则的挖掘问题可描述为：在给定的事务数据库D中找出满足用户设定的最小支持度和最小置信度的关联规则。挖掘过程可以被分解为两个步骤：(1)找出所有的频繁项集。根据定义，这些项集的每一个出现的频繁性不小于预设的最小支持度。(2)由频繁项集生成关联规则：这些规则必须满足最小支持度和最小置信度。应用与分析在网络流量异常事件关联分析中，我们希望从历史流量集中挖掘出网络攻击与网络流量特征信号之间的关系。

这表明，当网络攻击A发生时，流量特征子空间中的流量特征信号也有很高的概率会发生异常事件。在今后的攻击检测中，我们就可以通过关联的流量特征子空间出现的异常事件来识别出网络攻击。

在流量特征空间F={f1,f2,f3…,ft}中挖掘出与网络攻击A关联的流量特征子空间Fsub(A)={fa1,fa2,fa3…faw}得到关联规则A=>{fa1,fa2,fa3…faw}关联规则挖掘算法在离线数据中进行关联规则挖掘，得到了网络攻击的关联规则库后，我们就可以通过流量特征信号的异常情况，根据规则库的每条关联规则，进行网络攻击的检测，如下图：网络安全态势评估研究背景随着攻击技术的变异提升，仅仅对已发生的攻击进行报警和拦截已不能满足需要人们需要对恶意代码、网络攻击等网络威胁进行分析、对网络的安全状况进行评估、对网络安全的态势进行分析，以期能对大规模的网络攻击进行预报，在其产生或者说是准备阶段就进行预警防范基于此种形势，网络安全态势评估已经逐渐成为当前网络安全评估中的一个研究热点。网络安全态势评估基本概念网络安全态势评估是分析过去一段时间内网络系统所处的运行状态及其未来发展的趋势，使管理员对过去的安全状况有一个宏观的把握，并对未来网络系统所处的运行状态有一定的预测的技术。通常，网络安全态势评估包含了两层含义：一是实时地对网络安全设备的告警信息进行关联归并、数据融合，并实时地反映网络实际的运行状况；二是根据历史数据，进行一定的离线分析，采用数据挖掘等手段对潜在的可能威胁进行预测。网络安全态势评估总体目标建立大规模网络统一、上下一体的安全态势评估体系，提供统一全网安全策略、进行广域态势评估的技术手段，为实施网络安全指挥提供态势感知和决策支持的工具。建立起一套科学、全面、合理的评估指标体系。所谓评估指标体系是指由反映一个复杂系统安全的一系列指标所组成的相互联系、相互补充以及相互依存的指标群。通常，它们建立在某些原则基础之上，需根据网络安全要素、安全特性和安全目标，确定评价指标体系，进而达到全面评价系统整体安全的目的。网络安全态势评估基本模型1988年，M.R.Endsley提出了态势估计功能模型。态势觉察：也称为事件检测，是态势估计处理过程中的核心和起点。其主要目标是提取对态势估计有意义的态势要素，并对其进行分类。态势理解：根据态势觉察阶段获取的态势特征向量，并结合专家系统对当前态势做出解释，用于判断识别敌方的意图和计划。态势预测：根据态势理解的结果对网络安全态势未来可能出现的态势情况进行预测。态势觉察（一级）态势理解（二级）态势预测（三级）网络安全态势评估的研究现状1999年，TimBass等人首次提出了网络态势感知（CyberspaceSituationAwareness）概念，即网络安全态势感知，并提出了基于多传感器数据融合的网络安全态势感知框架。诸多研究机构纷纷开始研制并完成了自己的网络安全态势评估工具。美国国家能源研究科学计算中心的劳伦斯伯克利国家实验室开发了“SpinningCubeofPotentialDoom”系统。2005年，CMU/SEI领导的CERT/NetSAG开发了SILK。美国国家高级安全系统研究中心正在进行的SIFT项目。西安交通大学研制了基于IDS和防火墙的集成化网络安全监控平台。网络流连接特征分析基本概念网络流行为特征分为应用层流行为特征以及传输层流行为特征传输层特征分为流本身的行为特征以及流连接行为特征，流本身特征包括例如流速率、平均包大小、平均包到达时间间隔及包大小方差等，流连接行为特征则描述的是网络主机之间的交互行为模式网络流行为特征应用层流行为特征传输层流行为特征流本身的行为特征流连接行为特征网络流连接特征分析网络流量传播图（TDG，TrafficDispersionGraph）2007年由加州大学河滨分校的Marios

Iliofotou和Michalis

Faloutsos等提出。其中网络主机映射为图形的节点，主机之间的交互行为映射为图形的边不同应用行为的TDG具有不同的特点，根据不同的图结构特征对网络应用流行为进行正确分类，并能够检测网络异常事件的发生不同应用行为的网络流量活动图网络流连接特征分析网络流量活动图（TAG，TrafficActivityGraph）在2009年由YuJin,EsamSharafuddin,Zhi-LiZhang等提出。TAG和TDG中的节点与边的定义相似，但TAG是一个无向边构成的有向图，方向性通过内外网节点体现。TAG将校园网的节点属于TAG的内部节点，外网的节点属于TAG的外部节点，将内部节点视为应用服务的请求者，外部节点是服务的提供者。1000条流下不同应用行为的网络流量活动图网络流连接关系图网络流连接关系图（NFCG，NetworkFlowConnectionGraph）网络主机作为图中的节点，主机之间的交互行为映射为边，从而用于刻画网络中主机之间流交互关系网络流连接图重点研究节点在整个网络等级制度以及边的权值属性，通过设定相应阈值从而实现对网络流行为核心结构的提取与挖掘节点确定规则：节点在网络流连接关系图中的物理含义节点过滤规则：根据不同的条件筛选目标核心节点边生成规则：边在网络流连接关系图中的生成方式，例如在通信网络中当两台主机产生TCP三次握手时生成一条边,主机之间的有UDP流连接就直接生成一条边；在社交网络中用户之间有通信交互就能够生成一条边边过滤规则：根据不同的条件筛选目标边，如利用流的目的节点端口号筛选满足特定端口号的边，生成不同应用种类的网络流连接关系图网络流连接关系图基于端口种类数以及基于流连接数量的网络流连接关系图网络流连接关系图经过端口种类及连接数量阈值筛选后的网络流连接关系图网络流连接关系图重点关注网络安全事件发生下图模式的变化网络流连接关系图的某些子图模式与网络事件密切相关挖掘与网络事件相关的闭频繁子图和核心频繁子图，进一步掌握网络流的连接行为特征挖掘动态频繁子图的特征和子图状态转移模式，刻画网络流连接行为的演化特征网络现实事件关联分析基本概念从网络空间出发，根据一系列网络空间中的实体（如网络流、网络拓扑等）的状态及其变化，推断、检测、分类或追踪发生在现实社会中的事件，以达到现实社会事件的信息归档、隐藏信息发现、趋势预测等目的。通常来讲，网络现实事件关联分析主要有两层含义：一是站在网络空间角度，发掘隐藏在现实事件背后的一些被遗漏的，不为人知的细节信息；二是通过检测和发现一些存在于网络空间中的现实事件将要发生的预兆，对现实社会中将要发生的事件进行预知，或者对正在发生的事件的趋势进行预测。网络现实事件关联分析基本模型网络现实事件关联分析可以看做是一个反问题。现实社会事件：指发生在现实社会中的实际事件，如政治军事事件、自然灾害事件、新闻娱乐事件等等。网络空间实体：指组成计算机网络或计算机网络承载的具体或抽象的对象，如网络拓扑、网络应用、网络流量等等。建立从现实社会空间事件到网络空间实体状态与变化的关联关系库，从网络空间实体的变化反推现实社会事件。现实社会事件网络空间实体实体状态与变化影响表现出反过程正过程网络现实事件关联分析：UESTC学生网络应用使用一周变化图流分类流：具有相同源IP，目的IP，源端口号，目的端口号以及传输层协议的数据包的有序集合80Port:

80Endpoint:

(,80)416250Connection:

(,80)、(4,16250)

和传输层协议流分类的意义是众多网络活动的基础实时监控与管理容量规划、网络优化网络安全现有流分类方法现有的流分类技术基于端口号的流分类技术根据标准端口号识别各种流量（如HTTP使用80）优点：速度快缺点：新的应用使用非标准端口、动态端口