网络流量模型及分析(最终思路)课件

1、1网络流量模型及分析我们的工作网络流量相关概念网络流量的采集网络流量模型实例分析1234网络流量概念分类测量网络流量的特点自相似性长相关性周期性、突发性、混沌性网络流量相关概念网络流量-概念网络流量就是网络上传输的数据量 单位时间内通过网络设备或者传输介质的信息量报文数数据包数字节数网络流量-分类Packet-level的流量分类关注数据包（packet）的特征及其到达过程Flow-level的流量分类由源IP地址、源端口、目的IP地址、目的端口、应用协议组成的五元组Stream-level的流量分类由源IP地址、目的IP地址、应用协议组成的三元组上述三种分类方法，流量的粒度由小到大递增。广泛

2、使用参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平网络流量-测量主动向目标链路或目标节点发送探测包测量延迟、带宽、丢包率被动接入网络的测量探针监测、记录网络上的数据情况主动测量会额外注入流量，被动测量涉及安全性与私密性问题主动测量确定网络整体性能，被动测量故障定位！理想的网络测量不影响数据包转发的速度完整的流量监控占用资源少不会泄露用户的隐私速度完整资源安全网络测量的意义Internet流量工程和网络行为学的研究的依据开发高性能网络设备和设计网络协议的理论基础开展Qos敏感应用提供Qos保证的前提条件诊断网络的运行状况，进行更好的管理保障网络安全，防范网络攻击运营商针对网络

3、流量进行业务上的收费网络流量的特点自相似性长相关性周期性突发性混沌性采集自台湾地区的台中教育大学网络主节点服务器Incming artides共计71天的每小时网络流量数据图自相似性局部结构与总体结构相比具有某种程度的一致性种类确定自相似性随机自相似性（网络流量）赫斯特指数（Hurst）确定自相似性示例自相似性-从分布的角度定义参考文献：基于时间相关的网络流量建模与预测研究_高波自相似性-赫斯特指数（Hurst）表征自相似特性的一个重要参数当0H0.5时，表示负相关，即不具备自相似性高低值交替的趋势持续一段时间（粗糙曲线）当H=0.5时，随机过程呈现为某种“随机游走”状态，即不同时间的状态转换

4、是互不相关的当0.5H0，k0，则 Pareto 分布概率密度函数 f(x)是如下描述的分段函数结论：当多个独立同分布的 ON/OFF 数据源流量叠加时，如果 ON 状态或者 OFF 状态的持续时间服从重尾分布，那么叠加流量将具有自相似性39帕累托分布（Pareto）重尾分布的ON/OFF模型优点可以解释产生自相似的部分原因，有助于深入地了解自相似的本质缺点各个源端必须是独立同分布的,且输出速率为常数与实际网络业务不符，适用范围受限C，即Convergence，表示趋同性网络趋同性说明：以往的 ON/OFF 模型中对于各个 ON/OFF 源之间独立同分布的假设变得不切实际，导致 ON/OFF

5、模型生成流量的合成流量的自相关函数并不满足实际网络流量的长相关特性C-ON/OFF模型1、根据 Internet 中广泛存在的趋同性改进现有的 ON/OFF 模型，使各源之间具有一定的相关性，讨论各源之间相关性与合成流量长相关性的关系2、建立基于 ON/OFF 模型的具有趋同性的新网络流量模型。3、使用归一化子协方差函数和Hurst参数验证实验步骤假设 ON/OFF 模型中有 N 个 ON/OFF 源，每个 ON/OFF 源产生的流量分别是 X1(m)、X2(m)、XN(m)，其中 m 为整数离散时间， m 0。这 N 个源生成流量的合成流量 X(m)为：设 n 为时间间隔，n 为大于等于零的

6、整数，那么，X(m)的自相关函数为：理论验证N 个独立同分布 ON/OFF 源的合成流量的自协方差函数与每个源流量自协方差函数的关系：其中c(n)是合成流量的自协方差函数，ci(n)是每个源流量的自协方差一系列数学推导V. Paxson 等人34指出，ON 周期或 OFF 周期的持续时间具有轻尾分布的 ON/OFF 模型在独立同分布条件下产生的合成流量是短相关流量结论1：当 ON/OFF 结构模型满足独立同分布、ON 周期或 OFF 周期持续时间呈轻尾分布时，源产生的流量具有短相关性质结论1各个源产生流量的自协方差函数与互协方差函数说明：由于各个源之间不独立，因此第二项必不为零结论2：单个流量

7、之间的互协方差是否可加将直接决定聚合流量自协方差函数是否可加，即各源生成流量之间的互相关性的强弱决定了合成流量自协方差的可加性当On或者Off持续周期不独立当 ON/OFF 结构模型满足独立同分布、ON 周期或 OFF 周期持续时间呈轻尾分布时，源产生的流量具有短相关性质只要满足独立同重尾分布这个条件，无论单个流量还是合成流量都是长相关流量如果各源之间不独立，具有一定相关性，那么，对于重尾分布来说，合成流量必然长相关理论论证之结论归一化自协方差函数，又称自相关系数Hurst参数估值两种验证方法实验条件控制轻尾分布重尾分布数据源独立独立，轻尾独立，重尾数据源不独立不独立，轻尾不独立，重尾第一组：

8、ON/OFF 模型各源的 ON、OFF 状态周期均呈轻尾分布，且各源之间相互独立。第二组：ON/OFF 模型各源的 ON、OFF 状态周期均呈轻尾分布（指数分布），但各源之间不独立，具有一定相关性第三组：ON/OFF 模型各源的 ON、OFF 状态周期均呈重尾分布（选取 Pareto 分布作为重尾分布的代表），且各源之间相互独立第四组：ON/OFF 模型各源的 ON、OFF 状态周期均呈重尾分布（Pareto 分布），各源之间不独立，具有一定相关性实验条件设置归一自协方差验证结论Hurst参数估值验证结论构造新模型C-On/off条件设置1） 固定 n，观察 C-ON/OFF 模型生成流量的归

9、一化自协方差随 N 值的变化情况；2） 固定 N，观察 C-ON/OFF 模型生成流量的归一化自协方差随 n 值的变化情况。使用C-on/off模型测试实验结果（n固定）实验结果（N固定）Hurst验证新模型Hurst验证新模型首先通过理论分析证明了如下结论：在经典ON/OFF 模型的基础上加入各 ON/OFF 源之间的相关性，可以在 ON 周期和OFF 周期持续时间分布为轻尾分布的条件下产生长相关性质的流量然后对上述结论进行了仿真验证，仿真结果表明：在 ON/OFF 模型各源之间增加相关性之后，即使 ON/OFF 模型的 ON 周期和 OFF 周期持续时间呈轻尾分布，合成流量依然具有长相关性

10、；若 ON 周期和 OFF 周期持续时间呈重尾分布，那么各源之间的相关性将加剧合成流量的自相似程度，表现为 Hurst 参数值的增加C-on/off结论流量模型的发展历程传统模型（短相关）自相似模型（长相关）流量模型的新发展 泊松模型 马尔科夫模型 回归模型重尾分布的ON/OFF模型M/G/排队模型FBM/FGN模型基于神经网络的模型多分形模型20时期70年代-1994年1994年-2004年2004 年泊松回归引发的争论至今2004 年,Karagiannis 等人通过分析Tier 1 ISP 的骨干链路流量发现,目前高带宽和高聚合的链路流量在极小尺度下近似泊松过程,从而引发了人们对网络流量

11、特征及建模的新思索和争论之所以这样划分,并不表示近时期的流量模型不具有自相似的特征,主要是为了更清晰地了解近些年网络流量模型的发展情况流量建模新发展近年其他模型的发展流量预测模型基于神经网络的模型混沌理论模型模糊理论模型混合模型多分形模型展望流量模型的发展目前的网络模型基本都基于流量时间序列的自相似特性，未来是否还会有别的特性发现？目前的流量均基于时间特性，是否将来会考虑空间特性？网络流量的小尺度行为的研究新的物理模型的发展模型的简单和精确性发展（1）节点1 ：为整个校区的网络出口处，是整个校区的流量总和，具有最高汇聚度（2）节点2： 为汇聚层中一个子网络结构的总流量，该子网络节点的总流量是3

12、 个子网络中流量最小的（3）节点3： 为汇聚层中一个子网络结构的总流量，该子网络节点的流量是3 个子网络中流量最大的（4）节点4 ：为最下层路由器连接的交换机的流量总和实例分析：校园网7采用被动测量技术，并对采集的报文抽样统计。运用Solarwinds软件对校园网流量信息进行抽样测量。根据每30min的时间间隔来完成对校园网流量数据信息的采集。校园网流量测量参考文献：校园网络流量分析与预测研究_张昕基于BP神经网络的流量预测BP 神经网络算法的训练步骤如下：（1）样本分类。把样本分为训练样本和测试样本，训练样本用于训练网络，测试样本用于测试网络预测性能。（2）网络初始化。随机初始化 BP 神经

13、网络的权值和阈值，设置网络学习速率 。（3）预测输出。把训练样本输入网络，计算网络预测输出并计算网络预测输出和期望输出的误差e。（4）权值修正。根据误差e修正网络权值和阈值，从而使网络预测值逼近期望值。（5）判断算法是否结束，如没有结束，返回步骤 3，继续运行。sigmoid基于BP神经网络的流量预测学习速率 取 0.1基于BP神经网络的流量预测在网络训练达到 50 次时训练的均方误差为 0.108142，在训练达到 500 次时均方误差为 0.106294，实际上，当训练达到 220 次时均方误差基本没有变化，说明此时训练次数的增加并不能改善网络流量的预测性能。基于小波神经网络的流量预测模型

14、将小波分析和神经网络直接结合，把神经网络隐含层的传输函数用小波函数代替，大多数前向多层神经网络都是基于 Sigmoid函数的基函数网络，用这种网络作函数逼近时，由于 Sigmoid 函数自身的局限性使得其是一种次优网络。把神经网络隐含层的传输函数用小波函数代替，这样的结合从本质上改变了预测模型的结构，在不影响预测精度的前提下，缩短了模型的训练时间，提高了训练的速度,克服了神经网络容易陷入局部次优的缺点，且算法易实现、易应用和易推广。Morlet 母小波基函数：基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型本节实验采用松散型小波神经网络模型进行流量预测

15、。首先运用小波对采集的数据流量序列进行小波分解，此处选择 haar 小波对流量进行 3 层小波分解基于小波神经网络的流量预测模型在本实验中采用的小波神经网络结构为 4-9-1。网络权值的初值是在参数初始化时随机得到。本实验对小波神经网络反复进行 500 次训练校园网网络流量分析流量分析步骤：选择一种方法采集流量选择一种或多种流量分析模型对采集到的流量的预处理划分训练集、测试集对元数据做必须的映射处理分解元数据，分面处理训练模型，分析并预测参考文献（1）基于时间相关的网络流量建模与预测研究高波Internet 流量模型分析与评述张宾, 杨家海, 吴建平自相似网络流量模型研究王晖，季振洲，朱素霞网络流量模型与流量预测技术研究张久坤校园网络流量分析与预测研究张昕网络流量分析关键技术研究任春梅校园网络流量自相似性分析与研究张浩参考文献（2）Wide Area Traffic: The Fail