网络流量模型及分析(最终思路)课件

1网络流量模型及分析

1网络流量模型及分析

我们的工作网络流量相关概念网络流量的采集网络流量模型实例分析1234我们的工作网络流量相关概念网络流量的采集网络流量模型实例分析2网络流量概念分类测量网络流量的特点自相似性长相关性周期性、突发性、混沌性………网络流量相关概念网络流量网络流量相关概念3网络流量-概念网络流量就是网络上传输的数据量

单位时间内通过网络设备或者传输介质的信息量报文数数据包数字节数网络流量-概念网络流量就是网络上传输的数据量4网络流量-分类Packet-level的流量分类关注数据包（packet）的特征及其到达过程Flow-level的流量分类由源IP地址、源端口、目的IP地址、目的端口、应用协议组成的五元组Stream-level的流量分类由源IP地址、目的IP地址、应用协议组成的三元组上述三种分类方法，流量的粒度由小到大递增。广泛使用参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平网络流量-分类Packet-level的流量分类关注数据包（5网络流量-测量主动向目标链路或目标节点发送探测包测量延迟、带宽、丢包率被动接入网络的测量探针监测、记录网络上的数据情况主动测量会额外注入流量，被动测量涉及安全性与私密性问题主动测量确定网络整体性能，被动测量故障定位！网络流量-测量主动向目标链路或目标节点发送探测包测量延迟、带6理想的网络测量不影响数据包转发的速度完整的流量监控占用资源少不会泄露用户的隐私速度完整资源安全理想的网络测量不影响数据包转发的速度完整的流量监控占用资源少7网络测量的意义Internet流量工程和网络行为学的研究的依据开发高性能网络设备和设计网络协议的理论基础开展Qos敏感应用提供Qos保证的前提条件诊断网络的运行状况，进行更好的管理保障网络安全，防范网络攻击运营商针对网络流量进行业务上的收费网络测量的意义Internet流量工程和网络行为学的研究的依8网络流量的特点自相似性长相关性周期性突发性混沌性

采集自台湾地区的台中教育大学网络主节点服务器Incmingartides共计71天的每小时网络流量数据图网络流量的特点自相似性采集自台湾地区的台中教育大学网络主节点9自相似性

局部结构与总体结构相比具有某种程度的一致性种类确定自相似性随机自相似性（网络流量）赫斯特指数（Hurst）确定自相似性示例自相似性

局部结构与总体结构相比具有某种程度的一致性确定自相10自相似性-从分布的角度定义

参考文献：基于时间相关的网络流量建模与预测研究_高波自相似性-从分布的角度定义

参考文献：基于时间相关的网络流11自相似性-赫斯特指数（Hurst）表征自相似特性的一个重要参数当0<H<0.5时，表示负相关，即不具备自相似性高低值交替的趋势持续一段时间（粗糙曲线）当H=0.5时，随机过程呈现为某种“随机游走”状态，即不同时间的状态转换是互不相关的当0.5<H<1时，表示正相关，即具有自相似性维持高值的趋势会持续一段时间（平滑曲线）自相似性-赫斯特指数（Hurst）表征自相似特性的一个重要参12不同H的分形布朗运动轨迹不同H的分形布朗运动轨迹13长相关性与自相似性

长相关：反映了自相似过程中的持续现象，即突发特性在所有的时间尺度上都存在的现象两者联系：H≠1/2的稳定自相似随机过程是长相关的，但长相关过程不一定就是自相似的。自相似性偏重于数学表述上的，长相关时侧重于业务量的统计特性。长相关性与自相似性

长相关：反映了自相似过程中的持续现象，即14周期性、混沌性、突发性周期性反映了网络流量时间序列表现出随时间的规律变化混沌性在确定性系统中出现的一种类似随机的现象突发性业务量在某一时刻或者一段时间内变化悬殊周期性、混沌性、突发性周期性15网络流量的采集方法[6]NetFlowsFlowRMON端口镜像参考文献：网络流量分析关键技术研究__任春梅网络流量的采集方法[6]NetFlow参考文献：网络流量分析16NetFlow将数据报文聚类，汇聚成流，置于缓存中转发的时候对于属于同一个流的连续包，后续报文不做三层处理同步实现对高速转发的IP数据流的测量和统计集成在路由器中NetFlow将数据报文聚类，汇聚成流，置于缓存中17NetFlowAnalyzerNetFlowAnalyzer18sFlow采用数据流随机采样技术，详细、实时地分析网络流的性能、趋势以及存在问题收集到的数据通过sFlow代理进行编码，转交给中心采集器（已植入设备中）不仅可以对数据包进行IP层分析还可以进行二层分析处理sFlow采用数据流随机采样技术，详细、实时地分析网络流的性19RMONRemoteNetworkMonitoringSNMPMIB两种方法收集数据通过RMON探测器，网管工作站直接获取全部MIB信息，并控制资源将RMON代理植入网络设备，网管工作站用SNMP交换数据RMONRemoteNetworkMonitoring20SNMP&MIBSNMP（简单网络管理协议）体系结构

被管理的设备SNMP管理器SNMP代理SNMP&MIBSNMP（简单网络管理协议）体系结构 21SNMP与MIBMIB（管理信息数据库）树形结构包含了管理代理中的有关配合和性能的数据对管理信息进行读写操作就可以完成管理SNMP与MIBMIB（管理信息数据库）22端口镜像无损复制、镜像采集配置交换机或路由器把一个或者多个端口的数据转发到某一个端口来实现对网络监听要监听所有流量，难度巨大，性能要求高端口镜像无损复制、镜像采集23四种流量采集技术的比较NetFlow：对主机间流量描述精确性接近100%，但是无法做深度检测基于软件架构，配置方便、安装简单利用汇集方式监测，适用于广域网间sFlow：速度快，实时性好分析过程对性能有一定要求利用随机采样方式监测，适用于局域网间RMON/SNMP：信息准确，读取方便对每个数据帧都会进行分析，增加负载端口镜像方案简单，无传输延迟处理时性能要求高四种流量采集技术的比较NetFlow：24网络流量建模原则以流量的重要特性为出发点设计流量模型以刻画实际流量的突出特性进行数学上的研究参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平网络流量建模原则以流量的重要特性为出发点参考文献：Inter25流量模型的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展泊松模型马尔科夫模型回归模型重尾分布的ON/OFF模型M/G/∞排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期70年代-1994年1994年-2004年2004年泊松回归引发的争论至今流量模型的发展历程传统模型自相似模型流量模型的新发展26传统（短相关）模型泊松(Poisson)模型马尔可夫(Markov)模型回归(regression)模型传统（短相关）模型泊松(Poisson)模型27泊松(Poisson)模型时间序列t内，包到达的数量n（t）符合参数为λt的泊松分布：时间间隔序列T呈负指数分布：λ(泊松过程的强度)：单位时间间隔内出现包的数量的期望,即包到达的平均速率泊松(Poisson)模型时间序列t内，包到达的数量n（t）28泊松(Poisson)模型泊松(Poisson)模型29泊松(Poisson)模型前提：假设网络事件(如数据包到达)是独立分布的只与一个单一的速率参数λ有关.泊松(Poisson)模型前提：30泊松(Poisson)模型优点较好地满足了早期网络的建模需求在网络设计、维护、管理和性能分析等方面发挥了很大的作用。缺点根据泊松流量模型,从不同的数据源汇聚的网络流量将随着数据源的增加而日益平滑,这与实际测试的流量是不符合的。泊松(Poisson)模型优点较好地满足了早期网络的建模需求31马尔科夫(Markov)模型对于一个给定的状态空间,表示在n时刻状态的随机变量,如果

的概率只依赖于当前的状态，就形成了一个Markov链只有当前的状态用来预测将来，过去对于预测将来是无关的马尔科夫(Markov)模型对于一个给定的状态空间32马尔可夫过程-实例33贪吃蛇的两种规则青蛙跳荷叶马尔可夫过程-实例33贪吃蛇的两种规则青蛙跳荷叶马尔科夫(Markov)模型优点在随机过程中引入了相关性，可以在一定程度上捕获业务的突发性马尔科夫方法是一种具有无后效性的随机过程，用途十分广泛缺点只能预测网络的近期流量，而且无法描述网络的长相关性马尔科夫(Markov)模型优点在随机过程中引入了相关性，可34传统模型的缺点实际的数据包和大部分连接的到达是相关联的,并不严格服从泊松分布流量自相似性反映业务在较大时间尺度具有突发性,对缓存的占用较大,导致更大的延时当业务源数目增加时,突发性会被吸收,聚合业务会变得越来越平滑,但却忽略了流量的突发性传统模型的缺点实际的数据包和大部分连接的到达是相关联的,并不35流量模型的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展泊松模型马尔科夫模型回归模型重尾分布的ON/OFF模型M/G/∞排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期70年代-1994年1994年-2004年2004年泊松回归引发的争论至今流量模型的发展历程传统模型自相似模型流量模型的新发展36自相似（长相关）模型构造建模（物理模型），利用已知的传输知识解释所观察到的数据特征：（重尾分布的）ON/OFF模型M/G/∞排队模型行为建模（统计模型），用数据拟合方法模拟所测真实数据的变化趋势：FBM/FGN模型FARIMA模型基于小波的模型自相似（长相关）模型构造建模（物理模型），利用已知的传输知识37M/G/∞排队模型M：顾客到达时间间隔，呈指数分布（改进后为泊松分布）G：顾客的服务时间，服从帕累托Pareto分布(重尾分布)∞：服务器数量，无限大适用于视频流量模型M/G/∞排队模型M：顾客到达时间间隔，呈指数分布（改进后为38M/G/∞排队模型优点排队系统的角度解释网络流量产生自相似的原因适合于分析自相似网络流量输入时的排队性能缺点假设服务器一直处于忙碌中，对网络流量的突发性描述方面存在不足M/G/∞排队模型优点排队系统的角度解释网络流量产生自相似的39最早由B.Mandelbrot和J.M.Berger两人于上世纪六十年代在有酬更新过程（rewardrenewalprocess）的基础之上构造出来，随后Taqqu和Levy扩展了该模型的构造方法。实质：将大量的ON/OFF数据源生成的流量叠加在一起ON/OFF模型参考文献：基于时间相关的网络流量建模与预测研究_高波最早由B.Mandelbrot和J.M.Berg40ON/OFF模型ON/OFF模型41ON/OFF模型ON/OFF模型：每个发送源都有两个周期交替的ON和OFF状态，即发送数据状态和不发送数据状态：发送数据包的速率ON/OFF模型ON/OFF模型：42重尾分布重尾分布：一种比正态分布还要广泛的的随机变量分布，体现在少量个体做出大量贡献Pareto法则（80/20法则）：最重要的通常只占其中一小部分直观特征：大头短+小尾长。重尾分布重尾分布：一种比正态分布还要广泛的的随机变量分布，体43帕累托分布（Pareto）在重尾分布当中，Pareto分布是相对简单的一种分布，令参数a>0，k>0，则Pareto分布概率密度函数f(x)是如下描述的分段函数帕累托分布（Pareto）在重尾分布当中，Pareto分布44结论：当多个独立同分布的ON/OFF数据源流量叠加时，如果ON状态或者OFF状态的持续时间服从重尾分布，那么叠加流量将具有自相似性[39]帕累托分布（Pareto）帕累托分布（Pareto）45重尾分布的ON/OFF模型优点可以解释产生自相似的部分原因，有助于深入地了解自相似的本质缺点各个源端必须是独立同分布的,且输出速率为常数与实际网络业务不符，适用范围受限重尾分布的ON/OFF模型优点可以解释产生自相似的部分原因，46C，即Convergence，表示趋同性网络趋同性说明：以往的ON/OFF模型中对于各个ON/OFF源之间独立同分布的假设变得不切实际，导致ON/OFF模型生成流量的合成流量的自相关函数并不满足实际网络流量的长相关特性C-ON/OFF模型C，即Convergence，表示趋同性C-ON/OFF模型471、根据Internet中广泛存在的趋同性改进现有的ON/OFF模型，使各源之间具有一定的相关性，讨论各源之间相关性与合成流量长相关性的关系2、建立基于ON/OFF模型的具有趋同性的新网络流量模型。3、使用归一化子协方差函数和Hurst参数验证实验步骤1、根据Internet中广泛存在的趋同性改进现有实验步48假设ON/OFF模型中有N个ON/OFF源，每个ON/OFF源产生的流量分别是X1(m)、X2(m)、……、XN(m)，其中m为整数离散时间，m0。这N个源生成流量的合成流量X(m)为：设n为时间间隔，n为大于等于零的整数，那么，X(m)的自相关函数为：理论验证假设ON/OFF模型中有N个ON/OFF源，每个49N个独立同分布ON/OFF源的合成流量的自协方差函数与每个源流量自协方差函数的关系：其中c(n)是合成流量的自协方差函数，ci(n)是每个源流量的自协方差一系列数学推导N个独立同分布ON/OFF源的合成流量的自协方差函数与50V.Paxson等人[34]指出，ON周期或OFF周期的持续时间具有轻尾分布的ON/OFF模型在独立同分布条件下产生的合成流量是短相关流量结论1：当ON/OFF结构模型满足独立同分布、ON周期或OFF周期持续时间呈轻尾分布时，源产生的流量具有短相关性质结论1V.Paxson等人[34]指出，ON周期或OFF51各个源产生流量的自协方差函数与互协方差函数说明：由于各个源之间不独立，因此第二项必不为零结论2：单个流量之间的互协方差是否可加将直接决定聚合流量自协方差函数是否可加，即各源生成流量之间的互相关性的强弱决定了合成流量自协方差的可加性当On或者Off持续周期不独立各个源产生流量的自协方差函数与互协方差函数当On或者Off持52当ON/OFF结构模型满足独立同分布、ON周期或OFF周期持续时间呈轻尾分布时，源产生的流量具有短相关性质只要满足独立同重尾分布这个条件，无论单个流量还是合成流量都是长相关流量如果各源之间不独立，具有一定相关性，那么，对于重尾分布来说，合成流量必然长相关理论论证之结论当ON/OFF结构模型满足独立同分布、ON周期或OF53归一化自协方差函数，又称自相关系数Hurst参数估值两种验证方法归一化自协方差函数，又称自相关系数两种验证方法54实验条件控制轻尾分布重尾分布数据源独立独立，轻尾独立，重尾数据源不独立不独立，轻尾不独立，重尾实验条件控制轻尾分布重尾分布数据源独立独立，轻尾独立，重尾数55第一组：ON/OFF模型各源的ON、OFF状态周期均呈轻尾分布，且各源之间相互独立。第二组：ON/OFF模型各源的ON、OFF状态周期均呈轻尾分布（指数分布），但各源之间不独立，具有一定相关性第三组：ON/OFF模型各源的ON、OFF状态周期均呈重尾分布（选取Pareto分布作为重尾分布的代表），且各源之间相互独立第四组：ON/OFF模型各源的ON、OFF状态周期均呈重尾分布（Pareto分布），各源之间不独立，具有一定相关性实验条件设置第一组：ON/OFF模型各源的ON、OFF状态周期均呈56归一自协方差验证结论归一自协方差验证结论57Hurst参数估值验证结论Hurst参数估值验证结论58构造新模型C-On/off构造新模型C-On/off59条件设置 1）固定n，观察C-ON/OFF模型生成流量的归一化自协方差随N值的变化情况； 2）固定N，观察C-ON/OFF模型生成流量的归一化自协方差随n值的变化情况。使用C-on/off模型测试条件设置使用C-on/off模型测试60实验结果（n固定）实验结果（n固定）61实验结果（N固定）实验结果（N固定）62Hurst验证新模型Hurst验证新模型63Hurst验证新模型Hurst验证新模型64首先通过理论分析证明了如下结论：在经典ON/OFF模型的基础上加入各ON/OFF源之间的相关性，可以在ON周期和OFF周期持续时间分布为轻尾分布的条件下产生长相关性质的流量然后对上述结论进行了仿真验证，仿真结果表明：

在ON/OFF模型各源之间增加相关性之后，即使ON/OFF模型的ON周期和OFF周期持续时间呈轻尾分布，合成流量依然具有长相关性；若ON周期和OFF周期持续时间呈重尾分布，那么各源之间的相关性将加剧合成流量的自相似程度，表现为Hurst参数值的增加C-on/off结论首先通过理论分析证明了如下结论：在经典ON/OFF模型的基65流量模型的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展泊松模型马尔科夫模型回归模型重尾分布的ON/OFF模型M/G/∞排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期70年代-1994年1994年-2004年2004年泊松回归引发的争论至今流量模型的发展历程传统模型自相似模型流量模型的新发展662004年,Karagiannis等人通过分析Tier1ISP的骨干链路流量发现,目前高带宽和高聚合的链路流量在极小尺度下近似泊松过程,从而引发了人们对网络流量特征及建模的新思索和争论之所以这样划分,并不表示近时期的流量模型不具有自相似的特征,主要是为了更清晰地了解近些年网络流量模型的发展情况流量建模新发展2004年,Karagiannis等人通过分析Tier67近年其他模型的发展流量预测模型基于神经网络的模型混沌理论模型模糊理论模型混合模型多分形模型近年其他模型的发展流量预测模型68展望流量模型的发展目前的网络模型基本都基于流量时间序列的自相似特性，未来是否还会有别的特性发现？目前的流量均基于时间特性，是否将来会考虑空间特性？网络流量的小尺度行为的研究新的物理模型的发展模型的简单和精确性发展展望流量模型的发展目前的网络模型基本都基于流量时间序列的自相69（1）节点1：为整个校区的网络出口处，是整个校区的流量总和，具有最高汇聚度（2）节点2：

为汇聚层中一个子网络结构的总流量，该子网络节点的总流量是3个子网络中流量最小的（3）节点3：

为汇聚层中一个子网络结构的总流量，该子网络节点的流量是3个子网络中流量最大的（4）节点4：为最下层路由器连接的交换机的流量总和实例分析：校园网[7]（1）节点1：为整个校区的网络出口处，是整个校区的流量总和70采用被动测量技术，并对采集的报文抽样统计。运用Solarwinds软件对校园网流量信息进行抽样测量。根据每30min的时间间隔来完成对校园网流量数据信息的采集。校园网流量测量参考文献：校园网络流量分析与预测研究_张昕采用被动测量技术，并对采集的报文抽样统计。运用Solarwi71基于BP神经网络的流量预测BP神经网络算法的训练步骤如下：（1）样本分类。把样本分为训练样本和测试样本，训练样本用于训练网络，测试样本用于测试网络预测性能。（2）网络初始化。随机初始化BP神经网络的权值和阈值，设置网络学习速率α。（3）预测输出。把训练样本输入网络，计算网络预测输出并计算网络预测输出和期望输出的误差e。（4）权值修正。根据误差e修正网络权值和阈值，从而使网络预测值逼近期望值。（5）判断算法是否结束，如没有结束，返回步骤3，继续运行。sigmoid基于BP神经网络的流量预测BP神经网络算法的训练步骤如下：72基于BP神经网络的流量预测学习速率α取0.1基于BP神经网络的流量预测学习速率α取0.173基于BP神经网络的流量预测在网络训练达到50次时训练的均方误差为0.108142，在训练达到500次时均方误差为0.106294，实际上，当训练达到220次时均方误差基本没有变化，说明此时训练次数的增加并不能改善网络流量的预测性能。基于BP神经网络的流量预测在网络训练达到50次时训练的均74基于小波神经网络的流量预测模型将小波分析和神经网络直接结合，把神经网络隐含层的传输函数用小波函数代替，大多数前向多层神经网络都是基于Sigmoid函数的基函数网络，用这种网络作函数逼近时，由于Sigmoid函数自身的局限性使得其是一种次优网络。把神经网络隐含层的传输函数用小波函数代替，这样的结合从本质上改变了预测模型的结构，在不影响预测精度的前提下，缩短了模型的训练时间，提高了训练的速度,