前馈神经网络介绍02

1、k激活函数通常用于多层感知器的连续可导非线性激活函数的一个例子是Sigmoid非线性函数；有两种形式：1.logistic函数.如下定义申(v(n)=jj11+exp(-av(n)j(4.30)这里寿)是神经元j的诱导局部域。根据这种非线性，输出的范围是OWyjWl。对方程(4.30)取微分，我们得到aexp(-av(n)申(v(n)二j(4.31)jj1+exp(-av(n)2且y.(n)F(v.(n)。式(4.31)可以如下表示jjj叮(：(n)二ay(n)1-y/n)(4.32)因为神经元j位于输出层，所以yj(n)=oj(n)o因此可以将神经元j的局域梯度表示为6(n)二e(n)p(v

2、(n)(4.33)jjjj二ad(n)o(n)o(n)1-o(n)这里的Oj(n)是神经元j输出端的函数信号，而牛)是它的期望反应。对任意的一个隐层神经元，局域梯度表示为(4.34)6(n)=Q(v(n)工6(n)w(n)jjjkkjk二ay(n)1y(n)乙6(n)w(n)jjkkj2.双曲正切函数，表示为p(v(n)=atanh(bv(n),(a,b)0(4.35)这里a和b是常数。它对vn)的导数如下申(v(n)=absech2(bv(n)(4.36)jkj=ab(1-tanh2(bv(n)jb=a-y(n)a+y(n)ajj如果神经元j位于输出层，它的局域梯度是5(n)=e(n)申(v

3、(n)jjjjb(4.37)(4.38)=d(n)-o(n)a-o(n)a+o(n)ajjjj如果神经元j位于隐层，则5(n)=p(v(n)工5(n)w(n)jjjkkjkby=a-y(n)a+y(n)y5(n)w(n)ajjkkjk学习率我们使用的学习率参数n越小，网络中一次迭代的突触权值的变化量就越小，权空间的轨道就越光滑。另一方面，如果我们让n的值太大以加快学习率的话，结果就有可能使网络的突触权值的变化量不稳定。一个既要加快学习率又要保持稳定的简单模型要包括动量项，如下Aw(n)=aAw(n1)+耳5(n)y(n)(4.39)jijiji这里a是动量常数，通常是正数。解这个关于w/n)的

4、方程我们得到:(4.40)Aw(n)=一耳an-t8(t)y(t)jijit=0我们可知&.(n)等于j-dE(n)/dw(n)ji因此我们将方程(4.40)重写为Aw(n)二*an-t沱(t)(4.41)jdw(t)t=0ji在这个关系的基础上，做以下的观察：校正值w/n)代表指数加权的时间序列的和。欲使时间序列收敛，所以动量常数必须限制在这个范围内：OWla|F.(x),对所有j不等于k(4.55)kj将随机向量x分类为Ck。这里Fk(x)和F.(x)是向量值映射kkj函数的分量：F(x)=F(x),F2(x),M：x)T当后验概率分布互不相同时，以概率1存在唯一的最大输出值。决策法则的优

5、点是比“通常法则”提供了一个更明确的决策。这儿“通常法则”是指如果相应输出值比固定的阈值大(对logistic形式的激活函数常用0.5)，向量x是分配给特定的类，这会导致多类分配。在4.6节我们指出与式(4.30)的logistic函数相一致的二值目标值0,1常用一个小的进行扰动，这样可以在网络的训练中避免突触权值的饱和。作为这个扰动的结果，现在目标值是非二值的了，而且渐进估计Fk(x)不再精确是M类的一个后验概率p(Cjx)。相反p(Cjx)线性映射到,1，使得p(Ck|x)=0对应输出，而p(Ck|x)=1对应1。由于这个线性映射保持相对的序,它并不影响应用式(4.55)的决策规则的结果。一