基于PSO的BP神经网络训练方式

1、一种基于PSO的BP神经网络训练方式摘要基于粒子群优化的算法具有全局随机搜索最优解的特点。本文尝试把PSO算法和神经网络权值训练的经常使用算法BP算法结合起来进行数据的训练，实现对一组数据的训练，并对结果与BP算法的训练结果进行了对照，取得了较好的成效。关键词神经网络；反向传播算法；PSO算法；适应度函数人工神经网络是由人工神经元互连而成的网络,它从微观结构和功能上实现对人脑的抽象和简化，具有许多优势。对神经网络的权值系数的确信，传统上采纳反向传播算法(BP算法)。BP网络是一种多层前向反馈神经网络，BP算法是由两部份组成：信息的正向传递与误差的反向传播。在反向传播算法中，对权值的训练采纳的是

2、登山法(B|J：5算法)。这种方式在诸多领域取得了庞大的成功，可是它有可能陷入局部最小值，不能保证收敛到全局极小点。另外，反向传播算法训练次数多，收敛速度慢，使学习结果不能令人中意。粒子群优化算法(ParticleSwarmOptimizer,PSO)是一种进化计算技术(evolutionarycomputation)。源于对鸟群捕食的行为研究，PSO中，每一个优化问题的解都是搜索空间中的一只鸟，咱们称之为粒子。所有的粒子都有一个由被优化的函数决定的适应值(fitnessvalue),每一个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就跟随当前的最优粒子在解空间中搜索。若是用粒子群算法

3、对神经网络的权值进行训练，会取得较快的收敛速度，而且能够幸免局部最值得显现。研究说明PSO是一种很有潜力的神经网络算法。本文提出了一种基于PSO算法的BP网络学习算法，并通过实现对一组简单的向量进行训练对PSO-BP算法和BP算法进行了对照，实验结果说明PSO-BP算法适合训练BP网络，而且也有希望应用于其他种类的前向网络的训练。1PSO算法PSO中，每一个优化问题的解都是搜索空间中的一只鸟。咱们称之为“粒子”。所有的例子都有一个由被优化的函数决定的适应值(fitnessvalue),每一个粒子还有一个速度决定它们飞翔的方向和距离。然后粒子们就跟随当前的最优粒子在解空间中搜索。D维搜索空间中，

4、有m个粒子，其中第i个粒子的位置是，叫其速度为。将带入目标函数可计算出适应值。记第i个粒子搜索到的最优位置为，整个粒子群搜索到的最优位置为。离子状态更新操作为:其中，i=l,2-,m,d=L2，D；是非负常数,称为惯性因子。也能够随着迭代线性减小；学习因子，是非负常数；rl,r2是介于0,1之间的随机数；是常数。迭代中止条件一样选为最大迭代次数和粒子群迄今为止搜索到的最有位置知足适应阈值。2基于PSO的BP网络学习算法BP网络是一种多层结构的前向网络，其隐层神经元的激活函数为S型函数，而输出神经元的激活函数能够是S型函数，也能够实线性函数，典型的S型函数为:（3）其中：s为神经元的加权输入函数

5、。用PSO算法训练BP网络时，概念粒子群的位置向量的元素是BP网络的全部连接权和阈值。第一初始化位置向量，然后用PSO算法搜索最优位置，使如下均方误差指标（适应值）达到最小（4）其中，N是训练集的样本数；是第i个样本的第j个网络输出节点的理想输出值；是第i个样本的第j个网络输出节点的实际输出值;C是网络输出神经远的个数。基于PSO算法的BP网络学习算法流程如下：1）选定粒子数m；适应值阈值£；最大许诺迭代步数；、和；初始化X和V为（0,1）间的随机数。8） endfor9） fori=l:1:m10）按式（1）计算；按式（2）计算；11） endfor12） endwhile13）以

6、所得权值阈值为初始值用BP算法对网络进行训练上述流程中，1）到12）用标准PSO算法对权值和阈值进行训练，13）对PSO输出的权值和阈值作为初始值用BP算法训练网络（MATLAB中有集成的训练函数）。另外，其中是第I个粒子的位置；V二,其中是第I个粒子的速度；是m个粒子迄今搜索到的最优适应值，其对应的粒子位置矩阵是p=；是粒子群迄今搜索到的最优适应值，对应的最优粒子位置是，粒子数m选定为30个。3结果分析本实例中随机选取机输入和输出矩阵，如：p=00000;10001;01001;00100;00010;t=0000;1000;0100;0010;000lo由于P是五行的矩阵，因此网络输入层的

7、神经元个数为：5个，T为五行矩阵，故输出层神经元个数为：5个，隐含层神经元个数为：6个。第一观看一下PS0算法中的适应值（fitness）的转变进程，图1中,实线表示适应值的平均值，虚线表示是最优适应值。从图中能够看出适应值迅速的选择进程。图1fitness的转变进程曲线图2为用PS0-BP算法和BP算法在训练误差精度为的情形下的误差演化曲线：（a）为PSOBP算法训练误差演化曲线，所历时刻是。（b）为经常使用BP算法训练误差演化曲线，对权值的训练采纳的是梯度下降法，所历时刻是。从图中能够看到：PSOBP算法的迭代次数远远小于BP算法，而且训练时刻也缩短了。(a)(b)图2为了充分说明实验结果

8、，笔者做了多次反复实验，实验结果如下表：在训练误差精度为的情形下，十次实验中PSOBP算法的平均迭代次数远小于BP算法，收敛时刻较接近。算法次数BP算法PSOBP算法迭代次数收敛时刻迭代次数收敛时刻115877172683105179491741097809879132365682146931116188695307361415101227953平均值4结论本次实验中对BP算法和PSOBP算法进行了对如实验，实验结果证明：PSOBP算法优于BP算法。具体表此刻：学习算法的收敛速度有所提高；BP算法中的局部极小问题常令学习结果不中意，PSO的全局优化能力使问题取得解决。参考文献1Martin,Howard,Mark,著，戴葵，等译.神经网络设计.机械工业出版社，2002年9月2徐丽娜编著.神经网络操纵.电子工业出版社，2003年2月3高隽编著.人工神经网络原理及仿真实例.机械工业出版社，2003年8月4ZbigniewMichalewicz,David著，曹