神经网络的基本原理

1、会计学1神经网络的基本原理神经网络的基本原理 本章主要从电生理学的角度介绍生物神经元的基本工作原理，以及它们之间的相互作用由此概述大脑的基本构造和它的信息处理特征并在上述的基础上研究生物神经元的数学模型及其学习法则。基本原理基本原理脑神经系统无论从构造和功能上来讲，脑神经系统无论从构造和功能上来讲，都称得上是一个非常复杂的巨系统。都称得上是一个非常复杂的巨系统。正常大脑的神经细胞正常大脑的神经细胞( (神经元神经元) )的数目的数目约在约在100100亿到亿到10001000亿个左右。亿个左右。基本原理图图2.1 2.1 神经元的构造神经元的构造基本原理基本原理基本原理图图2.2 2.2 细胞

2、膜等效电路细胞膜等效电路漏电流支路基本原理基本原理基本原理图图2.3 2.3 神经元的膜电位分布神经元的膜电位分布基本原理基本原理基本原理图图2.4 2.4 突触中的信号传递突触中的信号传递基本原理中枢神经的构造中枢神经的构造 基本原理人工神经网络模型人工神经网络模型jiwiuiiy1 (2.1) (2.2( ) ( )nijijijiiu tw xyf u t人工神经网络模型 是输入与输出之间的非线性函数，通常称为作用函数或阈值函数。在MP模型中， 是二值函数，其输出为0或1，分别代表神经元的抑制和兴奋状态。( ) if u( ) if uii u 0 u010( ( .3) 2if u图2

3、.7 阈值函数人工神经网络模型0jiw 0jiw 0jiw i人工神经网络模型图图2.8 2.8 形式神经元构成的神经网络形式神经元构成的神经网络人工神经网络模型式中式中 ， 为神经元在为神经元在t t时刻的平均输入和输出，时刻的平均输入和输出， 为平均膜电位，为平均膜电位， 为膜电位变化的时间常数，为膜电位变化的时间常数， 为静止膜电位。为静止膜电位。函数函数f f通常为通常为S S型的单调递增函数，其数学形式为型的单调递增函数，其数学形式为jxiyiu0u01 (2.4) (2.( )( )( )(5)niijijjiidu tu tw x tudtyf u t 1( )1uf ue人工神

4、经网络模型图图2.10(a) 2.10(a) 串行连接串行连接人工神经网络模型图图2.10(b) 2.10(b) 相互结合型连接相互结合型连接人工神经网络模型人工神经网络模型图图2.11(a) 2.11(a) 相互结合型神经网络相互结合型神经网络人工神经网络模型在相互结合型神经系统中在相互结合型神经系统中，一定存在着反馈环，在，一定存在着反馈环，在神经元的学习过程中，也神经元的学习过程中，也同样存在着反馈环同样存在着反馈环( (误差反误差反馈馈) )。因此，互相结合型神。因此，互相结合型神经网络是一种经网络是一种非线性动力非线性动力学系统学系统。图图2.11(b) 2.11(b) 层次型神经网

5、络层次型神经网络人工神经网络模型式中式中 是学习率，是学习率， 是教师信号或希望输出，是教师信号或希望输出， 是实际输出与希望输出之差，是实际输出与希望输出之差， 和和 取取1或或0的离散值。由于权值更新与的离散值。由于权值更新与 有关，所以也称有关，所以也称 学习规则学习规则。 idiiyjx1( )nijijijiiuw xyf uii1 u00 u0( )if u则学习规则为则学习规则为(1)( )()( )jijiiijjiijwtwtyd xwtx(2. 8)人工神经网络模型(1)( )jijiijwtwty x(2.9)与式与式(2.8)(2.8)不同的是，即无教师信号。所以在联想

6、不同的是，即无教师信号。所以在联想式学习中，权值变化仅是输入与输出同时兴奋的式学习中，权值变化仅是输入与输出同时兴奋的结果。由于联想发生在输入和输出之间，所以这结果。由于联想发生在输入和输出之间，所以这种联想被称为种联想被称为异联想异联想。人工神经网络模型人工神经网络模型1( )1exp(/)iiP lET(2. 10)式中，式中， 为系统对应状态的能量变化，为系统对应状态的能量变化，T T是绝对温度。是绝对温度。 E( )iP l人工神经网络模型人工神经网络模型人工神经网络模型内容和特点内容和特点内容和特点 本章主要从电生理学的角度介绍生物神经元的基本工作原理，以及它们之间的相互作用由此概述大脑的基本构造和它的信息处理特征并在上述的基础上研究生物神经元的数学模型及其学习法则。基本原理jiwiuiiy1 (2.1) (2.2( ) ( )nijijijiiu tw xyf u t人工神经网络模型图图2.8 2.8 形式神经元构成的神经网络形式神经元构成的神经网络人工神经网络模型式中式中 ， 为神经元在为神经元在t t时刻的平均输入和输出，时刻的平均输入和输出， 为平均膜电位，为平均膜电位， 为膜电位变化的时间常数，为膜电位变化的时间常数， 为静止膜电位。为静止膜电位。函数函数f f通常为通常为S S型的单调递增函数