人工神经网络.ppt

人工神经网络,制作人：XXX,人工神经网络的研究背景,人工神经网络（ Artificial Neural Networks， 简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model）。人工神经网络是一个能够学习，能够总结归纳的系统，也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络是由多个神经元按层次结构串联起来的网络。,人工神经元模型,神经元(Neuron)是神经网络模型的基础构成单元，神经元之间相互连接，“兴奋”的神经元会向相连的神经元发送化学物质，从而改变相连神经元的电位;神经元电位如果超过指定阈值(Threshold )，就会被激活，进而向其他神经元发送化学物质。1943年，Mcculloch and Pitts将上述过程抽象为模型结构，称为“M-P神经元模型”( Mcculloch and Pitts, 1943 )。,输出端y,传输函数类型,Sigmoid函数（S型） 对数Sigmoid函数（左蓝线） 也可以使用饱和函数（右）阶跃函数（左虚线）,神经网络的类型,1.前馈神经网络 2.径向基神经网络 3.Hopfield网络 4.自组织网络,感知机,感知机( Perception)是最为基础的神经网络结构，共包含两层神经元。 感知机权重学习规则: 其中，x为输入参数，可表示回归关系中的自变量参数;Y为输出参数，可表示回归关系中的因变量参数;称为学习率(Learning Rate )。从上面式子看出，若(x, y)预测正确，即 =y，则感知机的权重不变，否则根据偏移程度进行权重调整。由于感知机只有输出层神经元具有激活函数处理能力，学习能力较为有限，要学习复杂问题，需采用多层神经元结构。,前馈型神经网络,前馈神经网络(Feed-forward Neural Networks, FNN )，也称为多层感知机(Multilayer Perceptron , MLP )。 把神经网络分成若干层，每一层上都有固定的神经元个数（神经网络的节点）,The (k+1)th Hidden layer Also output layer,三层网络,指包含一个隐含层，通常称为三层网络，又称为单隐含层网络。大量实践表明，单隐含层网络具有较好的非线性拟合能力，训练过程相对简单且稳定，应用范围较广。,BP算法,神经网络优化训练是指根据训练数据不断学习调整神经元权重和阈值的过程。多层网络的学习能力显著优于单层感知机，但需要更强大的训练学习算法。误差反向传播(Back-Propagation, BP)算法是当前最为常用的神经网络学习算法。 主要包括以下几个步骤: 1)输入层神经元接收数据，然后逐层传递信号，直至输出层生成结果; 2)根据输出层的误差反向传播至隐含层，隐含层根据误差调 整权重和阈值参数; 3)循环迭代前两步，直至达到某一指定条件(如:训练误差足够小)为止。,反馈型神经网络,每个节点都表示一个计算单元，同时接受外加输入和其它各节点的反馈输入，每个节点也都直