系统辨识建模.doc

上海大学 2015 2016学年 冬 季学期研究生课程考试小论文格式课程名称： 系统建模与辨识 课程编号： 09SB59002 论文题目: 基于改进的BP神经网络模型的网络流量预测 研究生姓名: 李金田 学 号: 15721524 论文评语:成 绩: 任课教师: 张宪 评阅日期: 12 / 12基于改进的BP神经网络模型的网络流量预测15721524，李金田2016/3/4摘 要：随着无线通信技术的快速发展，互联网在人们的日常生活中占据了越来越重要的位置。网络中流量监控和预测对于研究网络拓扑结构有着重要的意义。本文参考BP算法，通过分析算法的优势和存在的一些问题，针对这些缺陷进行了改进。通过建立新的流量传输的传递函数，对比了经典的传递函数，并且在网络中进行了流量预测的实验和验证。新方法在试验中表现出了良好的实验性能，在网络流量预测中有很好的应用，可以作为网络流量预测的一个新方法和新思路，并且对研究网络拓扑结构有着重要的启发作用。网络流量预测在研究网络行为方面有着重要的作用。ARMA时间序列模型是比较常见的用于网络流量预测的模型。但是用在普通时间序列模型里面的一些参数很难估计，同时非固定的时间序列问题用ARMA模型很难解决。人工神经网络技术通过对历史数据的学习可能对大量数据的特征进行缓存记忆，对于解决大数据的复杂问题很合适。IP6 网络流量预测是非线性的，可以使用合适的神经网络模型进行计算。A Novel BP Neural Network Model for Traffic Prediction of The Next Generation Network.Abstract: With the rapid development of wireless communication technology, the internet occupy an important position in peoples daily life. Monitoring and predicting the traffic of the network is of great significant to study the topology of the network. According to the BP algorithm, this paper proposed an improved BP algorithm based on the analysis of the drawback of the algorithm. By establishing a new transfer function of the traffic transmission, we compare it with the previous transmission function. Then, the function is used to do experiments, found to be the better than before. This method can be used as a new way to predict the network traffic, which has important implications for the study of the network topology. Network traffic prediction is an important research aspect of network behavior. Conventionally, ARMA time sequence model is usually adopted in network traffic prediction. However, the parameters used in normal time sequence models are difficult to be estimated and the nonstationary time sequence problem cannot be processed using ARMA time sequence problem model. The neural network technique may memory large quantity of characteristics of data set by learning previous data, and is suitable for solving these problems with large complexity. IP6 network traffic prediction is just the problem with nonlinear feature and can be solved using appropriate neural network model.1. 引言人工神经网络是近年来的热点研究领域，涉及到电子科学与技术、信息与通信工程、计算机科学与技术、控制科学与技术等很多学科，其应用领域包括：建模、时间序列分析、模式识别和控制等，并在不断的拓展。神经网络的学习算法一直是人工神经网络理论研究和应用领域中一个重要的研究领域。神经网络的学习算法一直是人工神经网络理论研究和应用领域中的一个重要研究内容，尤其是对前馈神经网络学习算法的研究，至今没有一个十分理想的解决办法。其中BP神经网络在前馈神经网络学习算法中有着最广、最具有代表性。通过对BP神经网络算法较为深入的研究，提出了改进算法。随着IPV614的广泛应用，地址空间扩展到128位，网络结构变得越来越复杂。这就导致网络管理和运营出现了新的问题。网络流量通过建立网络流量模型，采用历史的数据可以预测网络中一段时间内的未来流量变化。一个好的模型不仅能够准确地反映历史数据的特性，并且能够预测未来一段时间内的网络流量。因此根据不同的网络特性，建立高效的网络流量模型对于网络流量的预测有着十分重要的意义。和IPV4相比，IPV6网络有很多的新特性，比如说：多媒体流量和IPV6拓扑结构下的大量的有规律的数据流。因此，进行IPV6结构下的网络流量预测需要建立新的模型，使流量预测更加准确。人工神经网络技术广泛的应用到IPV4中进行流量预测，但是这些传统的网络模型通常都是假设网络中流量是线性的，使用数组和线性递归技术描述系统。但是IPV6中的网络流量没有表现出明显的规律性，因为网络流量包含了很多的非线性因素。最近的研究研究表明，传统的时间序列模型，线性预测模型不能够解决复杂的非线性流量预测，在一定程度上影响了网络流量预测的结果。2. 研究背景2.1神经网络简介思维学普遍认为，人类大脑的思维分为抽象逻辑、形象逻辑和灵感思维三种基本方式。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。神经网络所能实现的行为很多，主要的研究工作集中在以下几个方面：（1） 生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物学科方面研究神经细胞、神经网络、神经系统的生物原型结构机器功能机理。（2） 建立理论模型。根据生物原型的研究，建立神经元，神经网络的理论模型。其中包括概念模型、知识模型、物理模型、数学模型等。（3） 网络模型与算法研究。在理论模型研究的基础上构造相关的神经网络模型，以实现计算机模拟，也包括网络学习算法的研究，这方面的工作也称之为技术模型研究。（4） 人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构造专家系统、制作机器人等等。人工神经网络（ANN）也称为神经网络（NN），是由大量处理单元广泛连接而成的网络，是对人脑的抽象，简化和模拟，反映出人脑的基本特性。与人脑的相似之处可概括为两个方面：（1）通过学习过程利用神经网络从外部环境中获取知识；（2）内部神经元用来存储获取的知识信息。人工神经网络15的研究从20世纪40年代初开始，至今已有半个多世纪的历史。它是由众多的神经元和可调节的连接权值连接而成，具有大规模并行处理，分布式信息存储、良好的自组织学习能力等特点。BP（Back Propagation）算法又称为误差反向传播算法，是人工神经网络中的一种监督式学习算法。BP神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元构成，具有很强的非线性映射能力，而且网络的中间层数，各层的处理单元数以及网络的学习系数等参数可以根据具体的情况而定，灵活性很大。在优化、信号处理、模式识别16、智能控制、故障诊断等许多领域都有着广泛的应用前景。人工神经网络是由大量的简单基本元件神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。前向人工神经网络的基本结构如下：图1. 人工神经元的基本结构模型人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。人工神经网络的特点：（1）人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。（2）泛化能力泛化能力指对没有训练过的样本，有很好的预测能力和控制能力。特别是，当存在一些有噪声的样本，网络具备很好的预测能力。(3)非线性映射能力当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。(4)高度并行性并行性具有一定的争议性。承认具有并行性理由：神经网络是根据人的大脑而抽象出来的数学模型，由于人可以同时做一些事，所以从功能的模拟角度上看，神经网络也应具备很强的并行性。多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，这些年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。在神经元特征的基础上，我们能够得到经典的神经元模型：图2. 神经元基本机构模型人工神经网络的发展过程并不是一帆风顺的，大致可分为以下几个阶段：1）1943年，MP模型被提出，从而给出了神经元的最基本模型及相应的工作方式。然后，神经生物学家D.Hebb发现，脑细胞之间的连通在参与某种活动时将被加强，从而给出了生理学与心理学之间的联系，被称之为Hebb学习规则。该规则至今仍然被许多神经网络的学习算法使用。在接下来F.Rosenblat提出了感知机模型，这是一个由线性阈值神经元组成的前馈神经网络模型。2）低潮时期；1969年，人工智能的创始人M.Minsky和S.Paper指出：单层Perceptron只能作线性化分，多层的Perceptron还没有可用的算法，因此认为Perception无实用价值。由于Minsky和Papert在人工智能领域的地位，在人工神经网络研究人员之间产生了极大的反响，神经网络研究由此陷入低潮。但是在这个时期，仍然也有一些新的网络模型被提出，比如说Hopfield神经网络。用运算放大器搭成的反馈神经网络中，借用Lyapunov能量函数的原理，给出了网络的稳定性判据，并为注明的组合优化问题旅行商问题提供了一个新的解决方案，该网络可用于联想存储、优化计算等领域。3）高潮时期；1985年，Rumehart等人提出了多层感知器的权值训练的误差反向传播学习算法（BP算法），从而解决了多层感知器的学习问题，自此引导了神经网络的复兴，神经网络的研究进入了一个崭新的阶段。2.2 BP神经网络的研究现状及应用检测大米中重金属的含量是农业生产管理部门和食物安全管理的重要工作。远程传感器能够提供一个高效，无损害的方法来检测农田中和土壤中的重金属含量。1提出了一个改进的BP神经网络算法，来预测大米中镉（Cd）的含量。该算法是在遗传算法和模拟退火算法的基础上提出来的。通过将提出的SA-GA-BP和BP神经网络算法进行对比，发现改进的算法更好。针对BP神经网络和改进的BP算法中学习效率低下，稳定性差，最优解容易陷入局部最优问题，2提出了一个改进的BP神经网络算法，用来设计学习效率和学习算法。通过使用拟牛顿算法代替梯度下降或者其他的学习算法，不仅能够避免局部最优问题，同时能够改善算法的学习速度。另一方面，学习因素的选择包括了两个重要的方面：专家意见和神经网络的最终输出。3详细介绍了BP神经网络模型和算法，指出了BP神经网络中局部最优和收敛速度慢等问题。通过对BP神经网络算法进行改进，解决了传统BP神经网络中出现的问题。4依据IPV6中每天的数据流的特征，提出了一个新的改进的传输函数，有更快的收敛速度和更高的峰值，同时峰值的区间也很大，从而对IPV6中的网络流量进行了有效的实验和验证，和IPV4中传统的传递函数仿真结果对比，发现新提出的传递函数有明显的优势。当今，全球的环境问题引起了越来越多的人们的关注。我们不仅要知道环境健康的重要性，同时也要知道人类活动对我们周围环境的影响。5把网络模型应用到这个问题上，这些模型能够很好的帮助人们，在已知数据的基础上，分析出哪些因素对地球环境有着重要的影响。为了预测未来的地球环境，我们首先引用了经典的BP神经网络算法，然后我们将算法进行了改进，获得了良好的性能。6在改进的BP神经网络算法的基础上，引进了多感知机制进行在线粮食中水分含量的检测。改进的算法能够帮助建立起多输入多输出模型，应用包含遗忘因子的梯度下降法，结合非线性映射能力和迭代学习能力，用更精确的取样进行神经网络算法的学习。最终水分检测系统模型在BP神经网络的基础上建立起来。在BP神经网络的有力的函数映射性能的帮助下，7 通过联合使用室内温度，室外活动和室内活动因素，出了一个BP神经网络实时检测系统，在家庭环境的预测上得到良好的应用。模型采用关联系数的大小来确定相对因素的权重。上面三种因素的关系才能够更加准确的确定下来，并且和传统的BP神经网络的算法进行了对比。时间序列预测是动态数据分析和处理，科学领域，经济领域，工程和其他应用方面有着重要的应用。8把人工神经网络和时间序列预测理论相互结合，在BP神经网络的模型上预测了特殊的时间需求，然后测试了BP神经网络时间序列预测模型以及其高效性和普遍性。为了解决短期能量负载预测的问题，9提出了一个自适应的粒子群算法来优化反向传播的神经网络模型（BP神经网络），成为PSO-BP模型，将粒子群算法和BP神经网络算法结合17，并且弥补了BP算法的不足，最终，从实验的结果来看，新算法具有良好的性能。建立一个准确的数学模型来描述交通事故是很重要的，但是由于不可控因素（比如：人类，车辆和环境）的影响，使得模型的建立很困难。为了获得一个更好的交通事故的评估，10提出了一个组合的灰色神经网络模型。通过不同的算法，使得交通事故的预测的准确性有了很好的提升。在应用神经网络进行识别的时候，BP算法往往容易陷入局部最优，并且收敛速度慢，同时粒子群算法拥有很好的全局搜索能力。11提出了一个新的算法，结合了保证瘦脸的粒子群算法和BP神经网络算法，对经典BP神经网络算法中收敛速度问题进行了优化，并且和BP算法和粒子群算法进行了对比。结果显示，新提出的算法是很好的。3. 经典的BP算法 3.1 经典的神经元模型根据上述的神经元的经典模型，我们可以得到神经元模型的数学表示形式：(1)(2)其中，X是输入集合，行向量是神经元j的链接权重，代表了神经元的输出。如果阈值代表的是第0个神经元的输入，那么，那么可以简写为：(3)3.2 经典BP神经网络模型及其算法如图1所示，BP神经网络模型有三个层次：输入层，隐含层，输出层。层与层之间相互紧密联系。考虑到P组的样本输入，那么输出层的误差定义为：(4)第j个输入表示为：(5) 那么输出的定义为：(6)误差信号的表示形式为：(7)我们假设函数是可微的，可以推出来：(8)其中，为第j个神经元的传输函数。(9)BP算法的步骤如下（假设有P个样本）：1） 初始化权重矩阵V,W；2） 输入，计算；3） 计算累积误差：(10)；4） 计算误差信号；5） 调整输出层和中间层的权重; 6） 返回到第2步，加入下一个输入样本，迭代知道P个样本都得到计算，然后到下一步；7） 如果累积误差小于事先确定的误差就停止，否则设定,返回到第2步；通常我们所用的函数是标准的S型函数，比如：(11)3.3 改进策略传统的BP算法存在以下的限制，由于实际问题很多是非线性的，局部最优的问题仍然存在，同时该算法的收敛速度慢。中间层的神经元的选择数目基本上都没有明确的理论依据，通常都是根据日常实验的经验。还有就是在对新样本就行学习操作的时候，算法就会很快忘掉过去使用的样本，同时每一个样本的特点被要求是相同的类似的才能够进行统一的处理。针对加快收敛速度这个策略，有以下集中算法：1） 改变学习速度；2） 动量法：依据误差估计把上次的调整权值计入到当前的权值调整计算中去；3） 寻找合适的传递函数其中，本文采取的是第3中方法，寻找合适的传递函数，加快收敛速度。在选择传输函数的时候，需要考虑到取值范围的变化，导数的变化范围。本文中函数的敏感范围是坐标原点附近的坐标。我们同事希望传递函数导数的曲线尽可能高，同时峰值区间尽可能广。标准的BP问题的输出范围是0到1，函数的导数是，变化范围是0到0.25。标准的S型函数的收敛速度很慢。为了加快收敛速度，我们选取的函数，倒数峰值尽可能大，变化范围大，比如：(12)通过对该函数进行单调性分析，我们可以看出该函数是单极的，独立变量的值是有界的。因此，我们引入了扩大了独立变量的范围。得到如下的公式：(13)对函数求一次和两次导数，得到：(14)(15)4. 单调性仿真及分析单调性分析可知，是一个单调递增函数，并且当的时候，当时，传递函数是一个凸函数，相反是一个凹函数。我们发现是函数的唯一拐点，根据BP算法的需求，该函数可以用来解决BP神经网络的非线性问题。函数的两端值分别是-1和+1。通过在matlab中进行仿真，我们将两个函数的响应曲线进行了对比图3. 标准的S型传递函数图4. 新提出的传递函数图5. 标准传递函数的导数图6. 改进的传递函数的导数曲线通过对比，我们发现新提出的函数增长速度更快，同时我们应该注意到新函数在拐点处有更快的变化率。虽然形状看起来是一样的，但是图形上的范围是不同的。本文通过对一个多输入单输出BP神经网络的仿真以及结果分析，得出来结论：新提出的传递函数在学习误差和预测结果上具有明显的优势。算法的具体情况如下：中间层4个节点，中间层5个节点，输出层一个节点。权值是随机选取的，通过不断的反向修正误差，不断学习，从而对层与层之间的权值进行不断修正，在学习结束的时候取得最优解。算法的实例见12.5. 总结5.1 工作总结本文旨在通过建立一个特殊的神经网络模型来对网络流量进行预测，和经典的BP算法进行比较之后发现，改进的BP神经网络算法具有明显的性能。对于经典的BP神经网络算法来说，大多数都不具备系统的学习能力，而且收敛速度慢。在分析了经典的BP算法存在的问题之后，我们针对这些问题提出了一个改进的BP神经网络算法，建立新的传递函数，新的传递函数是一个双极的函数。通过仿真，和经典的传递函数相比，新的算法具有更快的收敛速度，在拐点处有更加陡峭的峰值。在IPV6中进行网络流量预测的时候，和传统的算法想必，新算法有更好的收敛速度和更加准确的精密度。但是，由于数据样本空间不足，可能我们提出的新的改进算法不一定是最优的，需要更多的数据样本进行测试。同时隐含层的节点数目的选择同样没有理论依据，这仍然是一个经验性的选择。5.2 未来展望神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和应用前景13。主要领域有：语音识别、图像识别与理解、计算机视觉、智能机器人、鼓掌机器人、故障检测、实时语言翻译、企业管理、市场分析、决策优化、物资调运自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等。随着神经网络理论研究的深入以及网络计算能力的不断拓展，神经网络的应用领域将会不断拓展，应用水平将会不断提高，最终达到神经网络系统可用来帮助人们做事的目的，这也是神经网络最终的研究目标。神经网络研究在近十几年取得了引人注目的进展，从而机器了不同学科与领域的科学家的巨大热情和浓厚的兴趣。神经网络将使电子科学和信息科学产生革命性的变革。参考文献1 Jiale Jiang, et al., An improved BP neural network model for estimating Cd stress in rice using remote sensing data, IEEE Fuzzy Systems and Knowledge Discovery, Zhangjiajie, China, Aug. 2015: 859-863.2 N. Huang, et al., An improved BP Neural Network Model Based on Quasic-Newton Algorithm, IEEE Natural Computation, Tianjin, China, Aug. 2009: 352-356.3 T. Lian, et al., Modified BP neural network model is used for oddeven discrimination of integer number, IEEE Optoelectronics and Microelectronics, Harbin, China, Sept. 2013: 67-70.4 Z. Li, et al., A Novel BP Neural Network Model for Traffic Prediction of Next Generation Network, IEEE Natural Computation, Tianjin, China, Aug. 2009: 32-38.5 L. Xi-zhe, Based on BP neutal network model and system dynamics of the earths ecological system network modeling, IEEE Management Science and Engineering, Harbin, China, July 2013: 369-378.6 J. Jiang, et al., Model of Online Grain Moisture Test System Based on Improved BP Neural Network, IEEE Intelligent Computation Technology and Automation, Changsha, China, vol. (1) Oct. 2009: 79-82.7 Yong Cao, et al., The application of BP neural net real-time data forecasting model used in home environment, IEEE Cyber Te