神经网络理论在数学建模中的应用

1、华南农业大学数学建模专题讲座#华南农业大学数学建模专题讲座人工神经网络在数学建模中的应用华南农业大学理学院曾庆茂联系方法：(1) 手机2) 电话3) 电子由E箱:zengqingmao第一部分人工神经网络理论基础1. 什么是神经网络?人匚神经元网络，简称神经网络，是一种旨在模仿人脑结构及其功能的信息 处理系统，是由大帚的人工神经元按照一定的拓扑结构广泛互连形成的，并按照 一定的学习规则，通过对大量样本数据的学习和训练，把网络掌握的“知识”以 神经元之间的连接权值和阈值的形式储存下來，利用这些“知识”可以实现某种人 脑功能的推理机。2. 神经

2、网络的三个要素一个神经网络的特性和功能取决丁三个耍素：一是构成神经网络的基本单元 神经元：二是神经元Z间的连接方式神经网络的拓扑结构；三是用丁神 经网络学习和训练，修正神经元之间的连接权值和阈值的学习规则。2.1神经元神经元是构成神经网络的基本单位。在人工神经网络中，神经元常被称为“处 理单元”。有时从网络的观点出发把它称为“节点”。人工神经元是对生物神经元 的一种形式化描述，它对生物神经元的信息处理过程进行抽彖，并用数学语言予神经元的数学模型为:y,(t+i)= f仪)=H Vy/t)IL冋如果令y0 = -1 » W1O = ,则有-= yovvro ,上式可写为yx(t + l

3、)= f(x;)= fJ=°丿若令Wj =(%,%啤,r，x = y(j(t),yi(t),y2(t),九*，则上式可进一步写成x(t+i)=心) f(叫x)通过以上对人工神经元模型的分析，我们知道神经元中的激发函数决定了神 经元的特性。常用的转移函数有：(1) 阈值函数f(x) =x>0x<03华南农业大学数学建模专题讲座#华南农业大学数学建模专题讲座(2) 线性函数f(x) = kx ；(3) 对数Sigmoid函数f(x) = I7(4) 1E切 Sigmoid 西数f (x) = taiili(x)=1-严l+e"x(5) 高斯函数f(x) = e2.2

4、神经网络的拓扑结构单个的人工神经元的功能是简单的，只有通过一定的拓扑结构将大帚的人匸 神经元广泛连接起來，组成庞人的人匸神经网络，才能实现对复朵信息的处理与 存储，并表现岀各种优越的特性。根据神经元之间连接的拓扑结构上的不同，可 将神经网络结构分为两大类，即层次型结构和互连熨结构。(1)层次型拓扑结构层次型结构的神经网络将神经元按功能分为若干层，般有输入层、中间层 和输出层，各层顺序连接，如图2所示。输入层接受外部的输入信号，并由各输 入单元传递给H接相连的中间层各单元。中间层是网络的内部处理单元层，与外 部没有氏接连接。神经网络所具有的模式变换能力，如模式分类、模式完善、特 征提取等，主耍是

5、在中间层进行的。根据处理功能的不同，中间层可以有多层也 可以没有。由丁屮间层单元不何接与外部输入输出打交道，故常将神经网络的中 间层称为隐含层。输出层是网络输出运行结果并与显示设备或执行机构相连接的 部分。(2)互连型拓扑结构互连型结构的神经网络是指网络中任意两个单元之间都是可以相互连接的,如图3所示。例如,Hopfield网络、波尔茨曼机模型结构均属于此类型。图3耳连熨结构神径网络模型2.3神经网络的学习规则（算法）一般认为，生物神经网络的所有功能（包括记忆）都存储在神经元和它们之间 的联系当中。学习可以看成是神经元之间新连接的建立或对现有连接的修正。为 此，神经元按一定的拓扑结构连接成神经

6、网络后，还必须通过一定的学习规则或 算法，对神经元之间的连接权值和阈值进行修止和更新。神经网络的学习算法或规则有很多，根据一种广泛采用的分类方法，可将神 经网络的学习算法或规则分为三类：第一类是有导师学习，第二类是无导师学习， 第三类是死记式学习。有导师学习也称为有监骨学习，这种学习模式采用的是纠错规则。在学习训 练过程屮盂要不断给网络提供一个输入模式和一个期望网络正确输出的模式，称 为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与 期望的输出不符时，根据差错的方向和大小按一定的规则调格连接权值和阈值， 以使下一次网络的输岀更接近期望结果。对丁有导师学习，网络在能执行工作

7、任 务之前必须先学习，当网络对丁各种给定的输入均能产生所期望的输出时，即认 为网络己经在导师的训练下“学会” 了训练数据中包含的知识规则，可以用來匸 作。无导师学习也称为无监骨学习。在学习过程中，需箜不断地给网络提供动态 输入信息。网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可 能存在的模式和规律，同时能根据网络的功能和输入信息调穆连按权值，这个过 程称为网络的H组织，其结果是使网络能对屈丁同一类的模式进行H动分类。在 这种学习模式中，网络的权值调整不取决丁外來教师信号的影响，可以认为网络 的学习评价标准隐含F网络的内部。应该指出的是在有导师学习中，提供给神经网络学习的外部指导信

8、息越多， 神经网络学会并学握的知识越多，解决问题的能力也就越强。但是，有时神经网 络所解决的问题的先验信息很少，找至没有，这种情况下无导师学习就显得更有 实际意义了。死记式学习是指网络事先设计成能记忆特定的例子，以后当给定有关该例子 的输入信息时，例子便被回忆起來。死记式学习屮网络的权值一旦设计好了就不 再变动，因此学习是一次性的，而不是一个训练过程。常用的学习算法或规则有:(1) Hebbian学习规则;(2) 8 (Delta)学习规则：(3) Widrow-Hoff学习规则;(4)概率式学习;(5) Winner-Take-All(胜者为土)学习规则；(6) Outstar (外星)学习

9、规则等等。I详见参考文献1$2卬资料、3. 数学建模中常用的两种神经网络在数学建模中，常用的神经网络上耍有两种：一种是基丁误差反传算法的前 馈神经网络，即BP神经网络，主要用來实现非线性映射：另一种是IH组织神经 网络，主耍用來聚类和模式识别。3.1 BP神经网络及其MATLAB实现(参见艾献2复印资料)自組织神经网络及其MATLAB实现I参见文献2复印资料、第二部分 神经网络在数学建模中的应用举例1. BP神经网络在数学建模中的应用举例(电子电路的故障诊断问题)就电子电路系统的某一特定的元器件來说，当系统1E常I作时，其关键点的 电压应是稳定的；任工作环境温度一定的悄况下，其芯片温度值也是一

10、个稳定值。 当电路中的元器件发生故障时，这些元器件的关键点的电压将会偏离正常范I羽， 温度信号也会发生变化。因此 通过对电斥和温度信号的测试，可以对元器件是 否发生故障进行诊断。为此，我们选用探针和热像仪2个传感器來获取该电路中 3个元器件的故障特征：探针用來测电路中3个关键点的电床信号；热像仪用來 测试3个元器件的工作温度信号。假设我们通过试验已经获得多组试验数据，见下表：温度和电压测试数据序号电子电路中元器件的故障特征诊断结果电压温度Ai氏A3U155Tit2t319 004 017 81104111 3311.25100°10.516 5063511 0110 3011.210

11、10310.403.994.3211.1111 1010 5400146 652.057.5210.7011 6111.4510057 403.2567211 40108111.4501067 412.064 0311 6011 61107000175 0534527511 8112 6012 5510085 454 401 9012.3211 60124501095 443 551 8012.50124111.80001108503 6585011 8012 6612 55100119555.207 4012.4011 8512.55010129 563 655.5012.60124611.

12、74001137702.459 0512.3013 1213 12100148 654 077 7512.9012 2113 12010158702.606 5413.0012 911232001165 321.4569111 8312 7412.65100176302.3565212.6311 9312.66010186 321 605.2212.82126411.94001在上表中,Ui (i=l,2,3)分别表示3个元器件关键点的电压,1； (i=l,2,3)分别表示3个元器件的工作温度。在表格中的输入部分，前三列是在18次取样 试验中，传感器1 (探针)对3个元器件关键点所测得的电斥值

13、；后三列传感器 2(热像仪)对3个元器件所测得的工作温度值。最后一列是在18次取样实验中, 各元器件的故障设置情况，0表示元器件作|E常，1代表元器件出现故障，如 10 0表示笫1个元器件有故障，第2、3个元器件工作正常。试根据以上数据建立一个故障诊断模空，并利用这个模熨进行电子电路故障 诊断。(1) 问题的分析问题中给出了 18纽数据，每组数据给出了 6个故障特征信息，并给出了它 们所对应元器件的故障诊断情况。所以，本问题的实质是找出从故障特征信 息集介一元器件故障状态集介的映射关系，用数学表达式來表示就是要找到一个 对应法则f,使得：f : 口，5,5,!；,£,£）

14、T （A，A, A）显然，这是一个从6维空间到3维空间的映射关系，这种关系难以用数学公 式写出來。为此我们考虑用BP神经网络來实现这映射关系，即把这个故障 诊断问题的的数学模型建立成一个BP神经网络模吃，并利用这个建立好的神经 网络模型进行故障。(2) 模型的建立Kolmogorov理论指出：具有单个隐含层的BP神经网络可以映射所有举缕 函数，而具有双隐倉层的BP神经网络网可以映射任何函数(包拆不连续函数)。 在此，我们不淸楚所耍建立的映射关系是否连续，所以先考虑有单个隐含层的 BP神经网络，如果不能满足我们的要求，就考虑再加一个隐层。网络的输入是个6维向虽，即三个关键点的电压和三个元器件的工

15、作温度组 成的6维向量，因此输入层应设置6个神经元；输出是一个3维向量，即三个元 器件的故障情况组成的向量，故输出层应设置3个神经元。隐层的节点个数由文 献11给出的经验公式算出，应为：ill = >/iiT =6x3 = 4.2426 « 4这样便可以确定一个6-4-3的BP神经网络。为了实现网络输入和输出之间的非线性映射，隐层神经元的传递函数采用对 数Sigmoid怔数f(x) = 1/(1 + e_5C):输出层神经元的传递两数采用Purelin函数这样可以保证输出层的输出向量各分帚均为0 1中的数。通常，BP神经网络的权值和阈值是通过沿着网络谋差的负梯度方向进行调 节的

16、，最终使网络误差达到极小值或最小值，即在这一点误差梯度为零。限丁梯 度下降算法的固有缺陷，标准的BP学习算法通常具有收敛慢、易陷入局部极小 值等缺点。因此，出现了许多改进的算法。这些改进的BPff法，从改进途径上 可分为两大类：一类是采用启发式学习方法，如引入动量项因子的学习算法、变 学习速率学习算法、“弹性”学习算法等：另一类是采用更冇效的数值优化方法, 如共轨梯度学习算法、quasi-Newton算法以及Levenberg-Marqiiardt优化方法等。(在此我们用Levenberg-Marqiiaidt优化方法对BP神经网络的权值和阈值进行 训练)下而我们利用MATLAB匸具箱中的相关

17、旳数來建芷EP神经网络模型。基 本思路如下：第1步，定义EP网络输入向最组成的矩阵P和冃标输出向最组成的矩阵T。 P是一个6X18的矩阵,P中的其中的每一列表示2个传感器对电路中3个元器 件所提取的6个故障特征：T是一个3X18的矩阵，其中的每一列表示正确的故 障诊断决策，即对应兀器件的障碍状态。第2步，利用MAILAB中的newff函数构造原先设计好了的神经网络。代 码如下,net =newff (minmax(P), 4 3Xflogsig7purelin,ltrainlm,);第3步，设置好网络的训练参数，利用Min函数对网络进行训练。代码如下net.trainParam. show=5

18、0;net.traiiiParam.li.05;net.traiiiParain.mc=0.9; net.traiiiPaiam.epochs=5000;net.trainParam.goal=l e-3;net, tr=train (net, R1);接下來，我们考察按以上代码建立的BP神经网络是否满足粘度要求，即网 络输出和实际输出的误差是否满足椿度耍求，如果符介规定耍求的话，这个训练 好了的BP神经网络(用net表示),就是我们要建立的神经网络模型;否则,就 重新调幣网络的相关参数，fi至满足粘:度耍求。(3) 利用神经网络模型进行故障诊断神经网络模型建立了后，所学习到的不确定性推理知识

19、以连接权值和阈值的 形式储存在网络之中，利用这些权值和阈值可以实现故障特征信息集介一元器件 故障状态集合的映射关系。卜面，我们利用MATLAB來进行实例仿真。苗先，我们利用nmd函数生成一个随机矩阵R,作为故障特征矩阵P的噪声,R= （rand （size （P）-0.5）/10;其次，将随机噪声R加到故障特征P上,得到带有噪声的故障特征矩阵PP,PP=R+P;最后，利用sim 数，对带有噪声的故障特征矩阵进行故障诊断仿真，A=sim （net, PP）;很容易发现，利用已建立好的神经网络模型，可以对带有噪声的故障特征进 行故障诊断，正确率可达到了百分之九十以上，这说明网络有一定的容错性和鲁

20、棒性。为此，用神经网络对故障特征信息进行融介是有效的！”£盘MATLAB弦妙挥见M艾冲禅经网怡Matlab卷冷（电子电路故障诊昕问题）2. SOM网络在数学建模中的应用举例（土壤的分类问题）己知我国某地区的10个土壤样本，每个样本用7个理化指标表示其性状， 如下表，试建立一个数学模型，能正确地对这10组土壤样本进行分类，并能对 未知的土壤样本进行正确的旷I类。土壤样本及性状序号全氮（）全磷（）冇机质（）PH代换量根层厚（cm）密度（g/cn?）10 270 1426 465.535 8211. 030 1710 1153 466 333600. 7830.1140 1012 4364

21、26 5251. 1340 1730 1233 35.828.9651. 0950 1450 1313.28628.5251. 0360 1730.143455.833.4600. 9870.250.1775.517.242.5450. 9380 2370 1895 376 1329271. 00903190 2277 045.835 9241. 03100 1630 1243736230 6611. 28（1）问题的分析本问题给出了 10组土壤样本向量，每个样本中包括7个元素，要求建立相 关的数学模取，能正确地对这10组土壤样木进行分类，并利用这个模型能对未 知的土壤样本进行正确的归类。可见

22、，问题的实质是：通过对已知的10组样木所蕴含的分类知识进行学习， 提炼出某种分类观律，再利用这种分类规律对未知的土壤样本进行正确的归类。自组织神经网络是一类无教师学习的神经网络模型,它无需提供教师信号, 它斤接从所提供的样本内部学习分类知识，提炼出蕴涵在样木中的相关分类知 识，并将这些知识存储在网络的连接Z中，利用这些知识可以对未知的样本进行 正确的分类。为此，我们可以考虑用I组织神经网络來进行建模。(2) 模型的建立|'|组织神经网络有多种，我们这里采用门组织特征映射(SOM)网络來建 立相关模型。首先，I大1为共有10个土壤样本，每个样本有7个理化指标，所以输入向量 矩阵应为一个7

23、X10的矩阵；其次，利用函数newsom建立一个SOM网。代码为：net二newsom(minmax(P), 6 4):英中，P为输入向帚:，mimnax (P)指定输入向最元素的最大值和最小值，6 4 表示创建网络的竞争层为6X4的结构，网络的结构是可以调整的，此处的样本 量不是很大，所以选择这样的竟争层是合适的。然后利用函数train和仿真函数sim对网络进行训练和仿真。由丁训练步数 的大小影响看网络的聚类性能。这里设置训练步数为10、100和1000,分别观 察其分类性能。QCJKMOTLAB找Q多见 M 艾仔 禅&网榕Matlab毯妙(土壤的分类问題)对聚类结果进行分析可知，当训练步数为10时，样本序号为1、3、5、8 和9的分为一类；样本序号为2、4、6和10的分为一类：而序号为7的数据单 独成为一类。由此可见，网络已经对样本进行了初步的分类，这种分类虽然准确 但不够精确。当训练步数为100时，样本序号为1和9的样本分为一类；序号为2、4和 6的样木分为一类；序号为3和5的样本分为一类；序号为7的样木为一类：序 号为8的样本为一类；序号为10的样本为一类，这种分类结果更加细化了。当训练步数为1000时，每个样本都被划分为一类，这和实际情况是吻合的此时，如果再提高训练步数