现代管理分析技术第五章 人工神经网络

现代管理分析技术第五章人工神经网络第一页，共六十三页，编辑于2023年，星期三22课程基本内容

介绍人工神经网络基本原理及BP网络模型

介绍人工神经网络在经济管理中典型案例

介绍MATLAB人工神经网络工具箱基本应用

第五章BP人工神经网络导论

第二页，共六十三页，编辑于2023年，星期三3第一节人工神经网络基本原理及BP模型

什么是人工神经网络所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。粗略地讲，大脑是由大量神经细胞（或神经元）组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。第三页，共六十三页，编辑于2023年，星期三4第一节人工神经网络基本原理及BP模型第四页，共六十三页，编辑于2023年，星期三5这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。第一节人工神经网络基本原理及BP模型第五页，共六十三页，编辑于2023年，星期三6美国神经网络学者Nielsen的定义人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。第一节人工神经网络基本原理及BP模型第六页，共六十三页，编辑于2023年，星期三7人工神经网络的两种操作过程训练学习训练时，外部输入作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。回忆操作对训练好的网络输入一个信息，网络可以正确回忆出相应输出，得到结果。第一节人工神经网络基本原理及BP模型第七页，共六十三页，编辑于2023年，星期三88人工神经网的基本概念人工神经元人工神经网络的拓扑特性存储与回忆人工神经网络的训练第一节人工神经网络基本原理及BP模型第八页，共六十三页，编辑于2023年，星期三99人工神经元

神经元是构成神经网络的最基本单元（构件），具有生物神经元的六个基本特性：

1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度可以随训练改变的；4）信号可以起刺激作用的，也可以起抑制作用的；5）神经元接受信号累积效果决定神经元的状态；6）每个神经元可以有一个“阈值”。第一节人工神经网络基本原理及BP模型第九页，共六十三页，编辑于2023年，星期三1010人工神经元的基本构成

输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入： net=∑xiwi向量形式： net=XWxnwn∑x1w1x2w2net=XW…第一节人工神经网络基本原理及BP模型第十页，共六十三页，编辑于2023年，星期三1111激活函数(ActivationFunction)执行对该神经元所获得的网络输入的变换，也可称为激励函数：o=f（net）

1、线性函数（LinerFunction）

f（net）=k*net+cnetooc第一节人工神经网络基本原理及BP模型第十一页，共六十三页，编辑于2023年，星期三12122、S形函数

f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。S形函数有较好的增益控制

第一节人工神经网络基本原理及BP模型第十二页，共六十三页，编辑于2023年，星期三1313a+bo(0,c)netac=a+b/2第一节人工神经网络基本原理及BP模型第十三页，共六十三页，编辑于2023年，星期三14143、双曲正切函数 第一节人工神经网络基本原理及BP模型第十四页，共六十三页，编辑于2023年，星期三1515S型函数的特点：可以把该型函数看作为处理单元定义了一

个非线性增益，增益的大小决定于曲线在给定s点的斜率。当s由负无穷增到0时，增益由0增至最大；当s由0增到正无穷时，增益又由最大返回到0。第一节人工神经网络基本原理及BP模型第十五页，共六十三页，编辑于2023年，星期三1616Grossberg在1973年发现，用该函数可使同一网络既能处理小信号，也能处理大信号。该函数的中间高增益区解决了处理小信号的问题；伸向两边的低增益区正好适合于处理大的激励信号；这种现象正像生物神经元在输入电平范围很大的情况下能正常工作一样。第一节人工神经网络基本原理及BP模型第十六页，共六十三页，编辑于2023年，星期三1717M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也称为处理单元（PE）

第一节人工神经网络基本原理及BP模型第十七页，共六十三页，编辑于2023年，星期三18人工神经网络的拓扑特性单个处理单元可以处理简单的图形检测功能，但更强的识别处理能力是来自多个结点“连成”的网络，即人工神经网络。这里的“连成”，是靠输入至结点或者结点至结点间的信号传输通路实现的，这一通路相当于生物神经系统中的轴突和突触，它们影响着输入信号。把这种传输通路称为“连接”，每一连接都具有一个加权值，称为“连接权”，反映连接的强度。第一节人工神经网络基本原理及BP模型第十八页，共六十三页，编辑于2023年，星期三1919连接的拓扑表示：

ANi wij ANj

用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度；用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。层次（又称为“级”）的划分，导致了神经元之间的三种不同的互连模式：第一节人工神经网络基本原理及BP模型第十九页，共六十三页，编辑于2023年，星期三20201、层（级）内联接层内联接又叫做区域内（Intra-field）联接或侧联接（Lateral）。用来加强和完成层内神经元之间的竞争2、

循环联接反馈信号。3、层（级）间联接

层间（Inter-field）联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递前馈信号反馈信号

第一节人工神经网络基本原理及BP模型第二十页，共六十三页，编辑于2023年，星期三2121单层网络最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。第一节人工神经网络基本原理及BP模型第二十一页，共六十三页，编辑于2023年，星期三2222输入信号表示为行向量：x=(x1,x2,…,xN)，其中每一分量通过加权连接到各结点。每一个结点均可产生一个加权和。输入和结点间采用全连接，并且都是前馈连接。（实际的人工神经网络和生物神经网络中有些连接可能不存在）第一节人工神经网络基本原理及BP模型第二十二页，共六十三页，编辑于2023年，星期三2323在这种单层网络中，可把各加权表示为加权矩阵W。矩阵的维数是Nxn，N是输入信号向量（也称输入图形）的分量数，n是该层内的结点数。由第三个输入连接到第二个结点的连接权表示为W32。第一节人工神经网络基本原理及BP模型第二十三页，共六十三页，编辑于2023年，星期三2424输入信号的加权和表示为：s是各结点加权和的行向量，s=(s1,s2,…,sn)。输出向量y=(y1,y2,…,yn)，其中yj=F(sj)。第一节人工神经网络基本原理及BP模型第二十四页，共六十三页，编辑于2023年，星期三2525W=（wij）输出层的第j个神经元的网络输入记为netj：

netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）第一节人工神经网络基本原理及BP模型第二十五页，共六十三页，编辑于2023年，星期三2626多级网输出层隐藏层输入层……………第一节人工神经网络基本原理及BP模型第二十六页，共六十三页，编辑于2023年，星期三2727层次划分

信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息输出层隐藏层输入层o1o2om…x1x2xn………………第一节人工神经网络基本原理及BP模型第二十七页，共六十三页，编辑于2023年，星期三2828第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号第一节人工神经网络基本原理及BP模型第二十八页，共六十三页，编辑于2023年，星期三29292929约定

:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)第一节人工神经网络基本原理及BP模型第二十九页，共六十三页，编辑于2023年，星期三303030多层网络小结多层网络中，接收输入信号的层称为输入层。它不计入网络层数，因为它只起着输入信号缓冲器的作用，没有处理功能。产生输出信号的层称为输出层。除此之外的中间层称为隐藏层（或隐蔽层），它不直接与外部环境打交道。隐藏层的层数可从零到若干层。实际情况中，层与层之间可能有部分连接的情况。第一节人工神经网络基本原理及BP模型第三十页，共六十三页，编辑于2023年，星期三313131存储和回忆存储就是将信息或图形存在某种存储器中，而回忆则是将已存储的信息按某种方式恢复出来。为了与人类大脑的功能类比，我们把这种信息的恢复称为回忆。第一节人工神经网络基本原理及BP模型第三十一页，共六十三页，编辑于2023年，星期三323232人工神经网络中存储图形的类型在计算机中，数据和信息是存放在存贮器中（RAM或ROM)，以8比特字节作为存储单位。在人工神经网络中，信息或图形不再限定为8比特，它是多维的二进制数据或连续信息。第一节人工神经网络基本原理及BP模型第三十二页，共六十三页，编辑于2023年，星期三333333人工神经网络中存储的两类图形空间图形的存储存储单个空间静态图像，如一幅画面。时空图形的存储存储一系列随时间变化的图像，比如电影。我们讨论的人工神经网络存储的图形大多是空间图形，因它是构成时空图形的基础。第一节人工神经网络基本原理及BP模型第三十三页，共六十三页，编辑于2023年，星期三343434回忆的概念联想的两种方式自联想：由本身的部分特征联想起整个事物的全部特征。他联想：由一件事情联想到另一件事情。在人工神经网络中，回忆操作也有两种联想变换自联想变换他联想变换第一节人工神经网络基本原理及BP模型第三十四页，共六十三页，编辑于2023年，星期三353535人工神经网络的训练（学习）人工神经网络的最主要特征之一是它可以学习。任何一个人工神经网络模型要实现某种功能的操作，就必须对它进行训练，让它学会要做的事情，并把这些知识记忆（存储）在网络的加权中。学习或训练的实质就是加权矩阵随外部激励（环境）做自适应的变化。第一节人工神经网络基本原理及BP模型第三十五页，共六十三页，编辑于2023年，星期三3636361962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程第一节人工神经网络基本原理及BP模型第三十六页，共六十三页，编辑于2023年，星期三373737

学习和训练的实质是变动加权值，因此很多文献中学习和训练的概念是混用的。严格来说，两者是有区别的，训练通常是指调整网络加权的操作动作和过程，这个过程对网络来讲就是学习。第一节人工神经网络基本原理及BP模型第三十七页，共六十三页，编辑于2023年，星期三383838人工神经网络被训练后，它每加入一组输入就会产生一组要求的输出。一组输入（或输出）就是所谓的向量或图形。在进行训练后，网络的各加权都收敛到一个确定值，以便每个输入向量都会产生一个要求的输出向量。调整加权所遵循的预定规则就是训练算法。有指导的训练无指导的训练第一节人工神经网络基本原理及BP模型第三十八页，共六十三页，编辑于2023年，星期三393939无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应。抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。无导师学习

第一节人工神经网络基本原理及BP模型第三十九页，共六十三页，编辑于2023年，星期三404040Hebb学习律、竞争与协同（CompetitiveandCooperative）学习、随机联接系统（RandomlyConnectedLearning）等。训练算法之一—Hebb算法当两个神经元同时处于激发状态时被加强，否则被减弱。数学表达式表示：Wij（t+1）=Wij（t）+ηyi（t）yj（t）第一节人工神经网络基本原理及BP模型第四十页，共六十三页，编辑于2023年，星期三414141其中，Wij(t)是第(t+1)次调节前从结点i到结点j的连接权值；Wij(t+1)是第(t+1)次调节后从结点i到结点j的连接权值；η为训练速率系数；yi为结点i的输出，并输入到结点j；yj为结点j的输出。第一节人工神经网络基本原理及BP模型第四十一页，共六十三页，编辑于2023年，星期三42训练算法之二—梯度下降算法这是要求的输出与实际输出之差最小。在该方法中，加权的修正量正比于误差对加权的一阶导数，表示如下：其中，E是描述误差的误差函数，Wij(n)是结点i到结点j的连接权，η为训练速率系数。该法收敛到稳定点较慢，但它是一种比较有效和普遍的训练算法。第一节人工神经网络基本原理及BP模型第四十二页，共六十三页，编辑于2023年，星期三43Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)算法J.McClellandDavidRumelhart

BP神经网络模型第一节人工神经网络基本原理及BP模型第四十三页，共六十三页，编辑于2023年，星期三44

BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。第一节人工神经网络基本原理及BP模型第四十四页，共六十三页，编辑于2023年，星期三BP神经网络模型三层BP网络第四十五页，共六十三页，编辑于2023年，星期三46激活函数

必须处处可导

一般都使用S型函数使用S型激活函数时BP网络输入与输出关系

输入

输出第一节人工神经网络基本原理及BP模型第四十六页，共六十三页，编辑于2023年，星期三47

输出的导数根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内.

第一节人工神经网络基本原理及BP模型第四十七页，共六十三页，编辑于2023年，星期三48第一节人工神经网络基本原理及BP模型第四十八页，共六十三页，编辑于2023年，星期三49第一节人工神经网络基本原理及BP模型学习的过程：

神经网络在外界输入样本的刺激下不断改变网络

的连接权值使网络的输出不断地接近期望输出。学习的本质：

对各连接权值的动态调整学习规则：

权值调整规则，即在学习过程中网络中各神经元

的连接权变化所依据的一定的调整规则。第四十九页，共六十三页，编辑于2023年，星期三50第一节人工神经网络基本原理及BP模型学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－各层单元的误差信号修正各单元权值第五十页，共六十三页，编辑于2023年，星期三51第一节人工神经网络基本原理及BP模型正向传播：输入样本－－输入层－－各隐层－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第五十一页，共六十三页，编辑于2023年，星期三52第一节人工神经网络基本原理及BP模型网络结构输入层有n个神经元，隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;第五十二页，共六十三页，编辑于2023年，星期三53第一节人工神经网络基本原理及BP模型输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：第五十三页，共六十三页，编辑于2023年，星期三54第一节人工神经网络基本原理及BP模型第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望

输出第五十四页，共六十三页，编辑于2023年，星期三55第一节人工神经网络基本原理及BP模型第三步，计算隐含层各神经元的输入和输出第五十五页，