人工神经网络-算法推导

人工神经网络人工神经网络

模仿人脑工作方式而设计的一种机器，它可以用电子或光电元件实现，也可用软件在常规计算机上仿真；或者说NN是一种具有大量连接的并行分布式处理器（但是该处理器与传统计算机的处理器相比，极为简单，只是周期性的接受信号及周期性的发送信号到其他处理器），它具有通过学习获取知识并解决问题的能力，且知识是分布存储在连接权（对应于生物神经元的突触）中，而不是向常规计算机那样按地址存在特定的存储单元中。

生物神经元的结构神经元的结构模型感知器根据网络结构，可以写出第i个输出神经元的输出，感知器中使用了符号阈值函数单元，因此使感知器能够将输入向量分为两个区域，则有

感知器学习规则学习规则是用来计算网络的新的权值和阈值的算法，感知器利用其学习规则来调整网络的权值和阈值，使该网络的输出最终达到目标的期望值。对于输入向量P，输出向量α，目标矢量为t的感知器，该感知器的学习误差为e，则e=t-α。此时感知器的权值与阈值修正公式为：感知器学习规则则更新的权值与阈值为:用矩阵来表示相应的权值与阈值更新公式:感知器神经网络的训练

神经网络在应用之前必须经过训练，由此决定网络的权值和阈值。感知器的训练过程为：对于给定的输入向量P，计算网络的实际输出为α，并于相应的目标向量t进行比较，用得到的误差e，根据学习规则进行权值和阈值的调整；重新计算网络在新权值作用下的输入，重复权值调整过程，直到网络的输出与目标值相等或者训练的次数达到预想设定的最大值时结束训练。

感知器学习规则对应于线性判别函数对线性可分问题，算法收敛，对线性不可分的数据，算法不收敛感知器的局限性

（1）由于感知器的激活函数是阈值函数，则感知器神经网络的输出只能取0或1。因此感知器只能适用于简单的分类问题。（2）感知器神经网络只能对线性可分的向量集合进行分类。理论上已经证明，只要输入向量是线性可分的，感知器在有限的时间内总能达到目标向量。但是如何确定输入向量是否线性可分，尤其当输入向量增多时，更难以确定。—般只有设置一定的循环次数，对网络进行训练而判定它是否能被线性可分。（3）当感知器神经网络的所有输入样本中存在奇异的样本，即该样本向量同其他所有的样本向量比较起来特别大或特别小时，网络训练花费的时间将很长。解决这种问题的方法可以采用标准化感知器学习规则。感知器计算说明例1：苹果和橘子的自动分类问题用一组传感器测量水果的三个特征：外形、质地和重量。如果水果基本上是圆形的，外形传感器输出为1，若水果接近于椭圆，外形传感器输出为0；如果水果表面光滑，质地传感器输出为1，若水果表面粗糙，质地传感器输出为0；如果水果重量超过1磅，重量传感器输出为1，若水果轻于1磅，重量传感器输出为0；神经网络的学习方法神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练学习方式：监督学习非监督学习再励学习学习规则(learningrule)：Hebb学习算法误差纠正学习算法竞争学习算法监督学习对训练样本集中的每一组输入能提供一组目标输出网络根据目标输出与实际输出的误差信号来调节网络参数教师神经网络比较环境实际输出输入期望输出误差信号p(n)t(n)a(n)e(n)学习

方法非监督学习与再励学习非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能神经网络环境输入神经网络环境输入输出评价信息学习

方法Hebb学习Hebb学习规则：Hebb学习规则的物理解释：输入输出同时兴奋时，相应的权值得到加强几乎所有的神经网络学习算法可看成Hebb学习规则的变形学习

常数学习

方法第八章人工神经网络18误差纠正学习对于输出层第k个神经元的

实际输出:

ak(n)

目标输出:

tk(n)

误差信号:

ek(n)=

tk(n)-

ak(n)

目标函数为基于误差信号ek(n)的函数，如误差平方和判据(sumsquarederror,SSE)，或均方误差判据(meansquarederror,MSE,即SSE对所有样本的期望)学习

方法SSEMSE误差纠正学习梯度下降法：对于感知器和线性网络：delta学习规则对于多层感知器网络：扩展的delta学习规则，bp算法学习

方法竞争学习输出神经元之间有侧向抑制性连接，较强单元获胜并抑制其他单元，独处激活状态（Winnertakesall,WTA）wkjkj学习

方法离散感知器Hebb规则δ规则Widrow-hoff规则LMS最小二乘法无导师，初值为0有导师，初值任意有导师，初值任意有导师，初值任意学习规则比较BP神经网络BP网络神经元分层排列，分别组成输入层、中间层（也叫隐含层，可以由若干层组成），和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层的顺序传播，最后在输出层得到输出。BP网络学习算法1.BP网络前向传播计