第7-1章(简)(人工神经网络)

第7章计算智能

7.1人工神经网络7.2遗传算法7.3蚁群算法7.4专家系统17.1人工神经网络一、教学目的和要求了解神经网络的思想掌握神经网络的模型及算法流程会用神经网络求解简单的实际问题二、教学内容人工神经网络的生物学基础人工神经元人工神经网络基本模型人工神经网络求解TSP2三、教学重点：神经网络的基本模型及其算法流程。四、教学难点：实际问题建模。

五、教学方法：

精讲法六、课时安排：

理论学时为2学时。37.1人工神经网络(ANN)

人工神经网络（ArtificialNeuralNetwroks），就是基于模仿生物大脑的结构和功能，经过一定的抽象、简化与模拟的人工信息处理模型。人工神经网络在机器学习、模式识别、组合优化和决策判断等方面取得广泛应用，是传统计算机所难以达到的效果。

本节简介人工神经网络的基本模型、算法流程及其应用。通过学习，会用人工神经网络求解优化问题（如TSP）、模式识别（如手写汉字）。4本节主要内容

人工神经网络的生物学基础

人工神经元

人工神经网络基本模型

人工神经网络的应用5

人工神经网络系统源于人脑神经网络。了解人脑神经网络的组成和原理，有助于对人工神经网络的理解。

(1)人脑神经结构

1）1011-12个神经元/人脑

2）104个连接/神经元

3）神经元间传递信号

7.1.1人工神经网络的生物学基础61）神经元构成：细胞体：直径在5至100微米，含细胞核，细胞质和细胞膜；轴突：是细胞体伸出的最长一条分支(细胞的输出)；树突：是细胞体伸出的较短的树状分支(细胞的输入)；突触：是神经元之间连接的接口。（2）生物神经元72）神经元的工作机制

神经元与神经纤维构成的神经组织具有两种基本特性，即兴奋与传导。当神经元的某一部分受到某种刺激时，在受刺激的部位就产生兴奋。当这种兴奋达到一定程度（阈值）就会沿着神经元扩散开来，并在一定的条件下通过突触传达到相连的神经细胞。8（3）人脑的工作机制1）记忆生理机制研究结果表明，在脑细胞经受多次某个对象的刺激而保持连续兴奋状态时，只有当这种刺激达到一定强度(阀值)之后，脑细胞里才会留下痕迹。而且当这个对象刺激的频率提高，记忆更加牢固。2）信息传递突触是神经细胞间传递信息的结构，突触由三部分构成，即突触前，突触间隙和突触后。9突触前的活动不直接引起突触后成分的活动，突触的信息传递只能由突触前到突触后，不存在反向活动的机制。因此突触传递是单方向的。根据突触后电位的反应，将突触分为两种：兴奋性突触和抑制性突触。3）脑神经信息活动的特征巨量并行性。信息处理和存储单元结合在一起。自组织自学习功能。107.1.2人工神经元(1)人工神经元模型（MP模型）MP模型属于一种阈值元件模型，它是由美国McCulloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。11wij——代表神经元i与神经元j之间的连接强度（连接权）；Ui——代表神经元i的活跃值，即神经元状态；Vj——代表神经元j的输出，即是神经元i的一个输入；Θi——代表神经元i的阈值。如果把阈值θi看作为一个特殊的权值，则可改写：

其中，w0i＝-θi，v0＝1

中函数f表达神经元的输入输出特性，称激发函数。

12（2）常用激发函数①阶跃型②线性型激发函数

f(ui)=k*ui③S型激发函数13（3）学习规则

MP模型并没有给出一个学习算法来调整神经元之间的连接权。根据需要，调整神经元连接权，才能达到学习目的。Hebb学习规则就是一个常见学习算法。

Hebb学习规则:调整神经元连接权的变化wij的原则为：若第i和第j个神经元同时处于兴奋状态，则它们之间的连接应当加强，即：

Δwij＝αuivj这一规则与“条件反射”学说一致，并已得到神经细胞学说的证实。α是表示学习速率的比例常数。14Hebb学习规则的应用151617

图神经网络结构模型

分层前向网络反馈前向网络互连前向网络广泛互连网络7.1.3人工神经网络基本模型(1)人工神经网络结构18（2）反向传播神经网络—BP网络模型BP网络是反向传播(BackPropagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。BP网路需有教师训练。1)模型结构192）神经元的输入、输出203）输出函数分析214）2223

学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。(3)误差反传（BP）算法基本思想24基于BP算法的三层前馈网络模型(输入层、隐层和输出层)

2526学习算法网络误差与权值调整2728BP算法推导2930313233算法的程序实现34参考书：《人工神经网络理论、设计及应用》韩力群编35应用举例例：求解函数逼近问题．有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系P=-1:0.1:1T=[-0.96-0.577-0.0720.3770.6410.660.4610.134…