神经网络基础知识课件

1、1 第二节第二节 神经网络基础知识神经网络基础知识 生物神经元 人工神经元模型 人工神经网络模型 2 神经生理学和神经解剖学的研究结果神经生理学和神经解剖学的研究结果 表明，神经元表明，神经元(Neuron)(Neuron)是脑组织的基本单是脑组织的基本单 元，是人脑信息处理系统的最小单元。元，是人脑信息处理系统的最小单元。 p 生物神经元生物神经元 p 生物神经网络生物神经网络 2.12.1人工神经网络的生物学基础人工神经网络的生物学基础 3 .1生物神经元生物神经元 生物神经元在结构上由生物神经元在结构上由: : 细胞体细胞体(Cell body)(Cell body)、

2、树突树突(Dendrite)(Dendrite)、 轴突轴突(Axon)(Axon)、 突触突触(Synapse) (Synapse) 四部分组成。用来完成四部分组成。用来完成 神经元间信息的接收、神经元间信息的接收、 传递和处理。传递和处理。 人工神经网络的生物学基础人工神经网络的生物学基础 4 人工神经网络的生物学基础人工神经网络的生物学基础 5 2.1.2 2.1.2 生物神经元的信息处理机理生物神经元的信息处理机理 二二 信信 息息 的的 传传 递递 与与 接接 收收 人工神经网络的生物学基础人工神经网络的生物学基础 6 2.1.3 2.1.3 生物神经网络生物神经网络 由多个生物神经

3、元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。 生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。 神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。 人工神经网络的生物学基础人工神经网络的生物学基础 7 2.22.2人工神经元模型人工神经元模型 8 .1神经元的建模神经元的建模

4、 神经元的人工模型神经元的人工模型 9 假设假设1 1：多输入单输出：多输入单输出 p 图(a) 表明，正如生物神经元有许多激励输入一表明，正如生物神经元有许多激励输入一 祥，人工神经元也应该有许祥，人工神经元也应该有许多的的输入信号，图中信号，图中 每个输入的大小用确定数值每个输入的大小用确定数值x xi i表示，它们同时输表示，它们同时输 入神经元入神经元j j，神经元的单输出用，神经元的单输出用o oj j表示。表示。 神经元的人工模型神经元的人工模型 10 假设假设2 2：输入类型：兴奋性和抑制性：输入类型：兴奋性和抑制性 p 生物神经元具有不同的突触性质和突触强度，其对输生物神经元具

5、有不同的突触性质和突触强度，其对输 入的影响是使有些输入在神经元产生脉冲输出过程中入的影响是使有些输入在神经元产生脉冲输出过程中 所起的作用比另外一些输入更为重要。所起的作用比另外一些输入更为重要。图图(b)(b)中对神经中对神经 元的每一个输入都有一个加权系数元的每一个输入都有一个加权系数w wij ij，称为权重值， ，称为权重值， 其正负模拟了生物神经元中突触的兴奋和抑制其正负模拟了生物神经元中突触的兴奋和抑制，其，其大 小则代表了突触的不同连接强度。则代表了突触的不同连接强度。 神经元的人工模型神经元的人工模型 11 假设假设3 3：空间整合特性和阈值特性：空间整合特性和阈值特性 p

6、作为作为ANNANN的基本处理单元，必须对全部输入信号进行整的基本处理单元，必须对全部输入信号进行整 合，以确定各类输入的作用总效果，图合，以确定各类输入的作用总效果，图(c)(c)表示组合输表示组合输 人信号的人信号的“总和值总和值”，相应于生物神经元的膜电位。，相应于生物神经元的膜电位。 神经元激活与否取决于某一阈值电平，即只有当其输神经元激活与否取决于某一阈值电平，即只有当其输 入总和超过阈值时入总和超过阈值时, , 神经元才被激活而发放脉冲神经元才被激活而发放脉冲, , 否否 则神经元不会产生输出信号。则神经元不会产生输出信号。 神经元的人工模型神经元的人工模型 12 神经元的输出神经

7、元的输出 p 图图(d) (d) 人工神经元的输出也同生物神经元一样仅有一人工神经元的输出也同生物神经元一样仅有一 个，如用个，如用o oj j表示神经元输出，则输出与输入之间的对表示神经元输出，则输出与输入之间的对 应关系可用图应关系可用图(d)(d)中的某种非线性函数来表示，这种函中的某种非线性函数来表示，这种函 数一般都是非线性的。数一般都是非线性的。 神经元的人工模型神经元的人工模型 13 神经元模型示意图神经元模型示意图 神经元的人工模型神经元的人工模型 14 2.2.2神经元的数学模型神经元的数学模型 ij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值；

8、的阈值； wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值； f ()神经元转移函数。神经元转移函数。 )()( j n 1i iijj Ttxwf1to (2. 2) 神经元的人工模型神经元的人工模型 (2. 1) 15 n 1i iijj txwttne)()( (2.3) netnetj j= =W Wj jT TX X W Wj j=(=(w1 w2 wn) )T T X= X=( (x1 x2 xn) )T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0 (2.4) .2神经元的数学模型神经元的数学模型 神经元的人工模

9、型神经元的人工模型 16 XW T j n 0i iijjjj xwnetTtne (2.5) oj=f(netj)=f (W Wj jT TX X) (2.6) .2神经元的数学模型神经元的数学模型 神经元的人工模型神经元的人工模型 17 .3神经元的转移函数神经元的转移函数 神经元各种不同数学模型的主要区神经元各种不同数学模型的主要区 别在于采用了不同的别在于采用了不同的转移函数转移函数，从而使，从而使 神经元具有不同的信息处理特性。最常神经元具有不同的信息处理特性。最常 用的转移函数有用的转移函数有4 4种形式。种形式。 神经元的人工模型神经元的人工模型

10、18 (1)阈值型转移函数阈值型转移函数 1 x0 f(x)= (2.7) 0 x0 f (x) 1.0 x 0 .3神经元的转移函数神经元的转移函数 神经元的人工模型神经元的人工模型 19 (2)非线性转移函数非线性转移函数 x e1 1 f(x) x x x e1 e1 1 e1 2 f(x) f (x) 1.0 0.5 x 0 f (x) 1.0 0 x -1.0 .3神经元的转移函数神经元的转移函数 神经元的人工模型神经元的人工模型 Log-sigmoid对数正切S型传递函数 tansigmoid双正切S型传递函数 20 2.32.3人工神经网络模型人工

11、神经网络模型 p 分类：分类： 按网络连接的拓扑结构分类 层次型结构层次型结构 互连型网络结构互连型网络结构 按网络内部的信息流向分类 前馈型网络前馈型网络 反馈型网络反馈型网络 人工神经网络模型人工神经网络模型 21 .1网络拓扑结构类型网络拓扑结构类型 ： p 层次型结构：将神经元按功能分成若干层，层次型结构：将神经元按功能分成若干层， 如输入层、中间层（隐层）和输出层，各如输入层、中间层（隐层）和输出层，各 层层顺序顺序相连。相连。 p 互连型网络结构：网络中互连型网络结构：网络中任意两个节点之任意两个节点之 间都可能存在连接间都可能存在连接路径路径. . 人工神经网络模

12、型人工神经网络模型 22 2.3.1网络拓扑结构类型网络拓扑结构类型 1. 单单 纯纯 型型 层层 次次 型型 结结 构构 2.32.3人工神经网络模型人工神经网络模型 人工神经网络模型人工神经网络模型 层次型结构：层次型结构： 23 2.2. 输输 出出 层层 到到 输输 入入 层层 有有 连连 接接 人工神经网络模型人工神经网络模型 .1网络拓扑结构类型网络拓扑结构类型 24 3.3. 层层 内内 有有 连连 接接 层层 次次 型型 结结 构构 .1网络拓扑结构类型网络拓扑结构类型 人工神经网络模型人工神经网络模型 25 1.全互连型结构全互连型结构 2.3

13、.12.3.1网络拓扑结构类型网络拓扑结构类型 人工神经网络模型人工神经网络模型 互连型网络结构：互连型网络结构： 26 2. 局局 部部 互互 连连 型型 网网 络络 结结 构构 .1网络拓扑结构类型网络拓扑结构类型 人工神经网络模型人工神经网络模型 27 前前 馈馈 型型 网网 络络 .2网络信息流向类型网络信息流向类型 人工神经网络模型人工神经网络模型 28 神经网络能够通过对样本的学习神经网络能够通过对样本的学习 训练，不断改变网络的连接权值以及训练，不断改变网络的连接权值以及 拓扑结构，以使网络的输出不断地接拓扑结构，以使网络的输出不断地接 近期望的输

14、出。这一过程称为神经网近期望的输出。这一过程称为神经网 络的学习或训练，其本质是可变权值络的学习或训练，其本质是可变权值 的动态调整。的动态调整。 2.42.4神经网络学习神经网络学习 神经网络学习神经网络学习 29 神经网络的学习类型：神经网络的学习类型： 有导师学习有导师学习(有监督学习有监督学习) 无导师学习无导师学习(无监督学习无监督学习) 死记式学习死记式学习 2.42.4神经网络学习神经网络学习 神经网络学习神经网络学习 p有关学习的研究在神经网络研究中具有重要地位。有关学习的研究在神经网络研究中具有重要地位。 p改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算改变权值的

15、规则称为学习规则或学习算法（亦称训练规则或训练算 法）。法）。 30 2.42.4神经网络学习神经网络学习 有导师学习有导师学习( (有监督学习有监督学习) ) p有导师学习也称为有监督学习，这种学习模式采用的是也称为有监督学习，这种学习模式采用的是 纠错规则纠错规则。在学习训练过程中需要不断给网络成对提供。在学习训练过程中需要不断给网络成对提供 一个输入模式和一个期望网络正确输出的模式，称为一个输入模式和一个期望网络正确输出的模式，称为 “教师信号教师信号”。将神经网络的实际输出同期望输出进行将神经网络的实际输出同期望输出进行 比较，当网络的输出与期望的教师信号不符时，根据差比较，当网络的输

16、出与期望的教师信号不符时，根据差 错的方向和大小按一定的规则调整权值。错的方向和大小按一定的规则调整权值。当网络对于各当网络对于各 种给定的输入均能产生所期望的输出时，即认为网络已种给定的输入均能产生所期望的输出时，即认为网络已 经在导师的训练下经在导师的训练下“学会学会”了训练数据集中包含的知识了训练数据集中包含的知识 和规则，可以用来进行工作了。和规则，可以用来进行工作了。 31 2.42.4神经网络学习神经网络学习 无导师学习无导师学习( (无监督学习无监督学习) ) 无导师学习也称为无监督学习，学习过程中，需要不也称为无监督学习，学习过程中，需要不 断给网络提供动态输入信息，断给网络提

17、供动态输入信息，网络能根据特有的内部结网络能根据特有的内部结 构和学习规则，在输入信息流中发现任何可能存在的模构和学习规则，在输入信息流中发现任何可能存在的模 式和规律，式和规律，同时能根据网络的功能和输入信息调整权值，同时能根据网络的功能和输入信息调整权值， 这个过程称为网络的自组织，其结果是使网络能对属于这个过程称为网络的自组织，其结果是使网络能对属于 同一类的模式进行同一类的模式进行自动分类自动分类。在这种学习模式中，网络。在这种学习模式中，网络 的权值调整不取决于外来教师信号的影响，可以认为网的权值调整不取决于外来教师信号的影响，可以认为网 络的学习评价标准隐含于网络的内部。络的学习评

18、价标准隐含于网络的内部。 32 学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况 ） w0j -1 w1j x1 X wij j oj xj xn wnj Wj r (Wj , X ，dj) 学习信号 X 生成器 dj )()()()(ttd,t,tr jjj XXWW )()()()()()(ttd ,t,trt1t jjjj XXWWW 神经网络学习神经网络学习 33 2.4神经网络学习神经网络学习 表2.1 常用学习规则一览表 权值调整 学习规则 向量式元素式 权 值 初始化 学习方式转移函数 HebbianXXWW)( T jj f i )(xfw T jij XW0无导师任意 P