BP神经网络收敛性问题的改进措施

第第页BP神经网络收敛性问题的改进措施

BP神经网络的改进方法及具体措施

第24卷第1期Vo124No1重庆交通学院学报

JOURNALOFCHONGQINGJIAOTONGUNIVERSITY

2023年2月Feb.,2023

BP神经网络收敛性问题的改进措施

贺清碧,周建丽

(重庆交通学院计算机及信息工程学院,重庆400074)

Ξ

BP神经网络的改进方法及具体措施

重庆交通学院学报第24卷144

llΣδW′jk(n0+1)=W′jk(n0)+ηjkx′j

p

pp

权和的结果使ΔWij(n0)减小,因而起到了稳定作用.

213变步长法

变步长法的基本思想为:先设一初始步长,若一次迭代后误差函数J增大,则将步长乘以小于1的常数,沿原来方向重新计算下一个迭代点;若一次迭代后误差函数J减少,则将步长乘以小于1的常数.

假设传统的BP算法权值修正公式为

0)

ΔW=Wij(n0+1)=Wij(n0)+η

9Wij(n0)

(1)

p=1

l

ll

Wjk(n0+1)=Wjk(n0)+ηΣδjkxj

p

pp

p=1

l

lBP算法特点就是在反向传播等效误差量δl

p

ppll

时,δl地位相似于正向传播中的输出yl,因此给计

算带来了很大方便.BP算法如下进行:

(1)正向传播,计算输出和总误差E;

pl(2)反向传播误差δWij;l,计算Δ

(3)修改权值Wij,然后回到(1)循环往复,直到

达到E的最小值点,实际计算中,常常给E规定一

个界限,当E达到这一界限时,计算便终止.

2BP网络存在的收敛性问题及几点

改进措施

BP算法是一种有效的学习算法,很实用,业控制如DC-DC变换器的智能控制、应用,很慢,.通常影响收敛速度的首先是误差函数,因为它是权重多维空间的超曲面,该曲面存在着许多大范围的“平坦区”,又存在着大量的局部极小的“沟谷”,从而影响收敛速度,甚至难于收敛.其次是神经元的传输函数引起的“假饱和现象”.另外收敛速度还与初始权值和传输函数的选择有关.针对这个问题,可以采用以下几点改进措施:

211改变误差函数

ppllδ由于等效误差分量δjk和ij的大小和正负的变化对收敛速度存在影响,因为BP网络是误差逆向传

ppplllδ播,δjk和δij两者比较,jk对收敛速度的影响更大,所以,我们可选取“信息熵”作为误差函数的定[6]义,

l

E总=ΣΣ[tlllogyll+(1-tll)δlog(1-l

该公式中学习步长η是一个固定值,若在0-1

内取值,算法将导致不收敛,若步长过小,收敛速度太慢,,,导致,在,学习步长是一个η(n0+1)=η(n0)-β(2)

J

式中,η(n0+1),η(n0)分别为学习步长修正后的值

和当前值,-β为步长增量;0β1为常量.

J

在学习过程中,逐步自动调节学习常数,每次对学习样本进行一次循环后,计算误差变化率:

J(n)-J(n-1)ΔJ

(3)=

JJ(n0)采用ΔJ/J作为步长修正依据是基于以下考虑:当ΔJ=J(n0)-J(n0-1)0,说明学习误差正在增大,输出值正大远离期望值,权值调整过大,需要减小ΔW.由公式(1),若减少η,ΔW也必然减少.而学习步长调整公式(2)中η确实是在减小,符合要求,能够加快学习收敛速度.反之,当ΔJ=J(n0)-J(n0-1)0,说明学习误差在减小,输出值正在靠近期望值,这时若增大ΔW则会加快误差减小,但是当误差J已经很小时则ΔJ变化很小,对ΔW的影响就很小,收敛速度很慢.但是ΔJ/J的变化要比ΔJ变化大得多,则对ΔW的影响就很大.由公式(3)减小了ΔJ/J也就增大了η,从而加快学习收敛速度.

214连接权重的选择

收敛速度还与初始权值的选择有关,为避免学习过程中的振荡,J.Caillon等人曾强调限制连接权重的范围,将权重初值限制在[-015,015]区间内随机选取.一般将连接权重初值限制在[-5,5],也可加速收敛.

215传输函数(激励函数)的选取

传输函数(激励函数)也是BP算法中影响收敛

pn-1

pppp

p=1l=0

l

l

y)],其中,δ=yll-tll.lpll

ppp

212加入动量项

为了使学习速率足够大,又不易产生振荡,根据Rumelhart的建议,在权值调整算式中,加入“动量

n0

k-1n-1

项”,即:Wij(n0)=-ηΣβ+β0

k=29Wij(k-1)ΔW(1)其中β为调节因子,这里0β1.该式的

意义在于:当本次9J(n0)/9Wij(n0)与前一次同符号时,其加权求和值增大,使ΔWij(n0)增大,从而在稳定时增加了W的学习速度;当9J(n0)/9Wij(n0)与前次符号相反时,说明有一定的振荡,此时指数加

BP神经网络的改进方法及具体措施

第2期贺清碧,等:BP神经网络收敛性问题的改进措施145的重要因素,传输函数的选取影响着BP算法的收敛速度,在BP算法中,传