数学建模神经网络算法

数学建模

经典算法神经网络与神经网络算法1整理ppt学习目标拓宽视野感受神经网络算法的应用背景能够用神经网络算法解决一些简单问题不探究详细的理论根底2整理ppt内容安排人工神经网络简介人工神经网络的根本功能人工神经网络的开展历史人工神经网络的生物学根底M-P模型前馈神经网络单层感知器多层感知器BP算法BP网络应用案例〔MATLAB计算〕3整理ppt1.人工神经网络简介生物神经网络人类的大脑大约有1.4×1011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络〔ArtificialNeuralNetwork，缩写ANN〕。对人类大脑系统的一阶特性的一种描述。〔生理角度的模拟〕4整理ppt根本原理存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚把输入与输出之间的未知过程看成是一个“网络〞，通过不断地给这个网络输入和相应的输出来“训练〞这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。5整理ppt严格定义——ANN最典型的定义由Simpson在1987年提出人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。ANN算法根据人的认识过程而开发出的一种算法6整理ppt2.人工神经网络的根本功能〔1〕联想记忆功能由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。联想记忆有两种根本形式自联想记忆异联想记忆7整理ppt自联想记忆网络中预先存储〔记忆)多种模式信息当输入某个已存储模式的局部信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息异联想记忆网络中预先存储了多个模式对每一对模式均由两局部组成，当输入某个模式对的一局部时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一局部8整理ppt不完整模式的自联想神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值9整理ppt2.人工神经网络的根本功能〔续〕〔2〕非线性映射功能10整理ppt非线性映射功能在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规那么由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。11整理ppt2.人工神经网络的根本功能〔续〕〔3〕分类与识别功能12整理ppt分类与识别功能神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚，异类别离的的识别与分类问题。但客观世界中许多事物〔例如，不同的图象、声音、文字等等〕在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。13整理ppt2.人工神经网络的根本功能〔续〕〔4〕优化计算功能14整理ppt优化计算功能优化计算是指在的约束条件下，寻找一组参数组合，使由该组合确定的目标函数到达最小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程到达稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络自动给出的。15整理ppt2.人工神经网络的根本功能〔续〕〔5〕知识处理功能16整理ppt知识处理功能知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规那么和判据。神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一步提升。17整理ppt神经网络的开展历程经过了4个阶段。〔1〕启蒙期〔1890-1969年〕1890年，W.James发表专著?心理学?，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型〔第一个神经网络模型〕。1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法那么。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型〔Perceptron〕。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规那么〔即δ学习规那么〕，并用电路进行了硬件设计。3.神经网络的开展历史18整理ppt3.神经网络的开展历史〔续〕〔2〕低潮期〔1969-1982〕受当时神经网络理论研究水平的限制，以及冯·诺依曼式计算机开展的冲击等因素的影响，神经网络的研究陷入低谷。在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。19整理ppt3.神经网络的开展历史〔续〕〔3〕复兴期〔1982-1986〕1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版?ParallelDistributedProcessing?一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍的神经网络。20整理ppt3.神经网络的开展历史〔续〕〔4〕新连接机制时期〔1986-现在〕神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络主要应用领域有模式识别与图象处理〔语音、指纹、故障检测和图象压缩等〕控制与优化预测与管理〔市场预测、风险分析〕等21整理ppt 神经生理学和神经解剖学的研究结果说明，神经元(Neuron)是脑组织的根本单元，是人脑信息处理系统的最小单元。4.人工神经网络的生物学根底22整理ppt神经元及其联接；神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度是可以随训练改变的；信号可以是起刺激作用的，也可以是起抑制作用的；一个神经元接受的信号的累积效果断定该神经元的状态；每个神经元可以有一个“阈值〞23整理ppt4.1生物神经元的信息处理机理〔1〕信息的产生

神经元间信息的产生、传递和处理是一种电化学活动。

神经元状态静息兴奋抑制

膜电位极化去极化超极化24整理ppt25整理ppt4.1生物神经元的信息处理机理〔续〕〔2〕信息的传递与接收26整理ppt4.1生物神经元的信息处理机理〔续〕〔3〕信息的整合空间整合同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和时间整合各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积27整理ppt4.2神经元的人工模型神经元及其突触是神经网络的根本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元(节点),从三个方面进行模拟:节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)决定人工神经网络整体性能的三大要素28整理ppt

神经元的建模(1)每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；(5)忽略时间整合作用；模型的六点假设：29整理ppt假设1：多输入单输出正如生物神经元有许多鼓励输入一样，人工神经元也应该有许多的输入信号图中，每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。30整理ppt假设2：输入类型——兴奋性和抑制性生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图中，对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小那么代表了突触的不同连接强度。31整理ppt假设3：空间整合特性和阈值特性作为ANN的根本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果图中，表示组合输入信号的“总和值〞，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否那么神经元不会产生输出信号。32整理ppt神经元的输出图中，人工神经元的输出也同生物神经元一样仅有一个如，用oj表示神经元输出，那么输出与输入之间的对应关系可用图中的某种非线性函数来表示。33整理ppt神经元模型示意图34整理ppt4.2.1人工神经元的数学模型人工神经元模拟生物神经元的一阶特性，具有生物神经元的六大特征一个人工神经元一般有多个输入和一个输出一个人工神经元有一个转移函数〔激发函数〕，不同的转移函数对应了不同的网络，也决定了网络的用途35整理ppt4.2.1人工神经元的数学模型τij——输入输出间的突触时延；

Tj——神经元j的阈值；

wij——神经元i到j的突触连接系数或称权重值；

f()——神经元转移函数。(4.1)36整理ppt为简单起见，将4.1上式中的突触时延取为单位时间，那么式(4.1)可写为4.2式。上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中输入xi的下标i=1,2,…,n，输出oj的下标j表达了神经元模型假定(1)中的“多输入单输出〞。权重值wij的正负表达了假定(2)中“突触的兴奋与抑制〞。Tj代表假定(3)中神经元的“阈值〞；“输入总和〞常称为神经元在t时刻的净输入，用下面的式子表示：(4.2)37整理ppt(4.3)

net’j=WjTX

Wj=(w1w2

…wn)TX=(x1x2

…xn)T令x0=-1，w0=Tj那么有-Tj=x0w0(4.4)4.2.1人工神经元的数学模型〔续〕38整理ppt4.2.1人工神经元的数学模型〔续〕net’j(t)表达了神经元j的空间整合特性而未考虑时间整合，当net’j-Tj>0时，神经元才能被激活。oj(t+1)与xI(t之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定(4)中的“突触延搁〞；wij与时间无关表达了假定(6)中神经元的“非时变〞。为简便起见，在后面用到式(2.3)时，常将其中的(t)省略。式(2.3)还可表示为权重向量Wj和输入向量X的点积WTX。其中Wj和X均为列向量，定义为Wj=(w1w2…wn〕T，X=(x1x2…xn)T如果令x0=-1，w0=Tj，那么有-Tj=x0w0，因此净输入与阈值之差可表达为:39整理ppt(4.5)oj=f(netj)=f(WjTX)(4.6)4.2.1人工神经元的数学模型〔续〕综合以上各式，神经元模型可简化为：40整理ppt人工神经元的转移函数神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。41整理ppt(1)阈值型转移函数 1x≥0 f(x)=(4.7)

0x＜0 人工神经元的转移函数单位阶跃函数，也称为硬限幅函数42整理ppt(2)非线性转移函数人工神经元的转移函数43整理ppt非线性转移函数为实数域R到[0.1]闭集的非减连续函数，代表了状态连续型神经元模型。非线性转移函数称为sigmoid，简称S型函数。特点是函数本身及其导数都是连续的，因而在处理上十分方便。

S型函数函数又分为单极性和双极性两种。44整理ppt(3)分段线性转移函数 0x≤0 f(x)= cx0＜

x≤xc(4.9) 1xc＜

x 人工神经元的转移函数神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性也称为伪线性函数45整理ppt(4)概率型转移函数温度参数人工神经元的转移函数采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为1或为0的概率。上式中，T称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼〔Boltzmann〕分布类似，因此这种神经元模型也称为热力学模型。46整理ppt4.2.2神经网络模型分多层，层数根据实际需求设定：输入层、隐含层、输出层层数越多越准确，计算时间越长人工神经元——图中的每个节点47整理ppt人工神经网络模型分类按网络连接的拓扑结构分类层次型结构互连型网络结构按网络内部的信息流向分类前馈型网络反响型网络48整理ppt〔一〕网络拓扑结构类型层次型结构将神经元按功能分成假设干层，如输入层、中间层〔隐层〕和输出层，各层顺序相连。互连型网络结构网络中任意两个节点之间都可能存在连接路径.49整理ppt层次型网络模型层次型结构的神经网络将神经元按功能分成假设干层，如输入层、中间层〔也称为隐层〕和输出层，各层顺序相连。输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层向外界输出信息处理结果。层次型网络结构有3种典型的结合方式。50整理ppt层次型模型(1)单纯型层次网络结构神经元分层排列，各层神经元接收前一层输入并输出到下一层；层内神经元自身以及神经元之间不存在连接通路。51整理ppt层次型模型〔2〕输出层到输入层有连接输入层神经元既可接收输入，也具有信息处理功能52整理ppt层次型模型〔3〕层内有连接层次型结构同一层内神经元有互连；特点是在同一层内引入神经元间的侧向作用，使得能同时激活的神经元个数可控，以实现各层神经元的自组织。53整理ppt互联型网络结构

网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种情况：(1)全互连型：网络中的每个节点均与所有其它节点连接54整理ppt互联型网络结构〔2〕局部互连型网络结构网络中的每个节点只与其邻近的节点有连接〔3〕稀疏连接型：网络中的节点只与少数相距较远的节点相连

55整理ppt说明：神经网络的分层结构与激发函数一起决定了神经网络的不同还可分为单级网多级网反响网循环网等56整理ppt简单单级网……x1x2…xno1o2omwnmw11w1mw2mwn1输出层输入层 57整理ppt简单单级网W=〔wij〕输出层的第j个神经元的网络输入记为netj：netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=〔net1，net2，…，netm〕NET=XWO=F〔NET〕58整理ppt单级横向反响网输出层x1o1w11w1mx2o2w2m………xnomwn1输入层 V59整理ppt单级横向反响网反响权值矩阵：V=〔vij〕神经元的网络输入：NET=XW+OV网络输出：O=F〔NET〕反响网中可以引入时间参数神经元的状态在主时钟的控制下同步变化NET〔t+1〕=X〔t〕W+O〔t〕V O(t+1)=F(NET(t+1))O〔0〕=060整理ppt多级网输出层隐藏层输入层o1o2om…x1x2xn………………61整理ppt层次划分信号只被允许从较低层流向较高层。层号确定层的上下：层号较小者，层次较低，层号较大者，层次较高。输入层：被记作第0层。该层负责接收来自网络外部的信息输出层隐藏层输入层o1o2om…x1x2xn………………多级网62整理ppt第j层：第j-1层的直接后继层〔j>0〕，它直接接受第j-1层的输出。输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号输出层隐藏层输入层o1o2om…x1x2xn………………多级网63整理ppt约定:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W〔j〕表示第j层矩阵。输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)多级网64整理ppt多级网——h层网络输出层隐藏层输入层o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)65整理ppt多级网非线性激活函数F(X)=kX+C每层的网络输出举例F1(XW(1))F3(F2(F1(XW(1))W(2))W(3))66整理ppt循环网x1o1输出层隐藏层输入层x2o2omxn…………………67整理ppt循环网

将输出信号反响到输入端输入的原始信号被逐步地“加强〞、被“修复〞符合大脑的短期记忆特征看到的东西不是一下子就从脑海里消失的网络的稳定性反响信号会引起网络输出的不断变化我们希望这种变化逐渐减小，并且最后能消失当变化最后消失时，网络到达了平衡状态。如果这种变化不能消失，那么称该网络是不稳定的。68整理ppt〔二〕网络信息流向类型前馈型网络前馈:网络信息处理的方向是从输入层到各隐层再到输出层逐层进行反响型网络在反响网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。69整理ppt〔二〕网络信息流向类型〔1〕前馈型网络前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名70整理ppt单纯前馈型〔上图〕从信息处理能力看，网络中的节点可分为两种一种是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出层节点。前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反响环路。因此这类网络很容易串联起来建立多层前馈网络。71整理ppt多层前馈网络可用一个有向无环路的图表示输入层常记为网络的第一层，第一个隐层记为网络的第二层，其余类推。所以，当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络〔输入层和输出层〕当提到具有单隐层的网络时，指的应是一个三层前馈网络72整理ppt〔二〕网络信息流向类型〔2〕反响型网络在反响网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出。73整理ppt单纯反响型网络单层全互连结构网络：是一种典型的反响型网络，可以用上图所示的完全的无向图表示。注意上面介绍的分类方法、结构形式和信息流向只是对目前常见的网络结构的概括和抽象。实际应用的神经网络可能同时兼有其中一种或几种形式。例如，从连接形式看，层次网络中可能出现局部的互连；从信息流向看，前馈网络中可能出现局部反响。74整理ppt4.2.3

神经网络学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。神经网络的学习方式是决定神经网络信息处理性能的第三大要素〔神经网络研究的重点〕。改变权值的规那么称为学习规那么或学习算法〔亦称训练规那么或训练算法〕。在单个处理单元层次，无论采用哪种学习规那么进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能〞特性，其中有意义的信息就分布地存储在调节后的权值矩阵中。75整理ppt4.2.3神经网络学习：分类有导师学习(有监督学习)这种学习模式采用的是纠错规那么。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号〞。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据过失的方向和大小按一定的规那么调整权值。当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会〞了训练数据集中包含的知识和规那么，可以用来进行工作了。76整理ppt无导师学习(无监督学习)学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规那么，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。77整理ppt死记式学习是指网络事先设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。78整理ppt学习的过程〔权值调整的一般情况〕79整理ppt4.2.3

神经网络学习80整理ppt5.M-P模型M-P〔McCulloch—Pitts〕模型，也称为处理单元〔PE〕x2w2

∑fo=f（net）xnwn…net=XWx1w1输入：X=〔x1，x2，…，xn〕联接权：W=〔w1，w2，…，wn〕T网络输入：net=∑xiwi=XW输出：o=f〔net〕81整理ppt6.前馈神经网络1958年，美国心理学家FrankRosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。82整理ppt6.1单层感知器单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的根底，而且较易学习和理解，适合于作为学习神经网络的起点。单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。83整理ppt感知器模型单层感知器

最早也是最简单的一种神经网络，它的神经元激发函数为阶跃函数，主要用于分类感知器神经元84整理pptj=1,2,…,m

感知器模型85整理ppt净输入：输出：感知器模型令x0=-1，w0=Tj那么有-Tj=x0w086整理ppt(1)设输入向量X=(x1,x2)T输出：那么由方程wijx1+w2jx2-Tj=0确定了二维平面上的一条分界线ojx1-1x2感知器的功能87整理ppt〔1〕输入是二维w1jx1+w2jx2–Tj=0 w1jx1=Tj-w2jx2 x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c

88整理ppt感知器的功能〔二维〕89整理ppt感知器的功能线上方的样本用*表示，它们使netj>0，从而使输出为1；线下方的样本用o表示，它们使netj<0，从而使输出为-1。由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，从而也确定了如何将输入样本分为两类。假设分界线的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界线也会随之改变，因此总可以将其调整到正确分类的位置。90整理ppt(2)设输入向量X=(x1,x2,x3)T输出：那么由方程wijx1+w2jx2+w3j–Tj=0确定了三维空间上的一个分界平面x2ojx1x3-1感知器的功能91整理ppt〔2〕输入是三维wijx1+w2jx2+w3j

x3–Tj=0

x1=a

x2+b

x3+c

92整理ppt感知器的功能线上方的样本用*表示，它们使netj>0，从而使输出为1；线下方的样本用o表示，它们使netj<0，从而使输出为-1。显然，由感知器权值和阈值确定的直线方程规定了分界平面在样本空间的位置，从而也确定了如何将输入样本分为两类。假设分界平面的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界平面也会随之改变，因此总可以将其调整到正确分类的位置。93整理ppt(3)设输入向量X=(x1，x2,…，xn)T那么由方程wijx1+w2jx2+…+wnj–Tj=0确定了n维空间上的一个分界平面(超平面〕，该平面可以将输入样本分为两类输出：wijx1+w2jx2+…+wnj

–Tj=0感知器的功能94整理ppt一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量〔包含了阈值〕中，由权向量确定的分类判决界面将输入模式分为两类。感知器的功能95整理ppt例一用感知器实现逻辑“与〞功能x1 x2 y0 0 00 1 01 0 01 1

1逻辑“与”真值表从真值表中可以看出，4个样本的输出有两种情况，一种使输出为0，另一种使输出为1，因此属于分类问题。96整理ppt例一用感知器实现逻辑“与〞功能感知器结构和训练结果wix1+w2x2-T=0

0.5x1+0.5x2-0.75=0用单计算节点感知器实现，用感知器学习规那么进行训练，得到的连接权值如右图97整理ppt例二用感知器实现逻辑“或〞功能x1 x2 y0 0 00 1 11 0 11 1 1逻辑“或”真值表98整理ppt例二用感知器实现逻辑“或〞功能感知器结构wix1+w2x2-T=0

x1+x2-0.5=099整理ppt思考并答复分界线的方程是什么？感知器的模型如何表示？图示？数学表达式？100整理ppt问题：能否用感知器实现“异或〞功能？“异或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0感知器的局限性4个样本也分为两类，但任何直线也不可能把两类样本分开；如果两类样本可以用直线、平面或超平面分开，称为线性可分，否那么为线性不可分；由感知器分类的几何意义可知，由于净输入为零确定的分类判决方程是线性方程，因而它只能解决线性可分问题而不可能解决线性不可分问题。由此可知，单计算层感知器的局限性是仅对线性可分问题具有分类能力。101整理ppt感知器的学习关键问题就是求102整理ppt感知器的学习算法Perceptron(感知器)学习规那么式中，当实际输出与期望值相同时，权值不需要调整。感知器学习规那么代表一种有导师学习。103整理ppt感知器学习规那么的训练步骤：(1)对各权值w0j(0),w1j(0),…,wnj(0)，j=1,2,…,m〔m为计算层的节点数〕赋予较小的非零随机数；(2)输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,…,xnp)，dp为期望的输出向量〔教师信号〕，上标p代表样本对的模式序号，设样本集中的样本总数为P，那么p=1,2,…,P；感知器的学习算法104整理ppt感知器学习规那么的训练步骤：(3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,j=1,2,…,m,其中η为学习率，用于控制调整速度，太大会影响训练的稳定性，太小那么使训练的收敛速度变慢，一般取0＜η≤1；(5)返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。感知器的学习算法105整理ppt感知器的学习规那么的训练步骤〔1〕权值初始化〔2〕输入样本对〔3〕计算输出〔4〕根据感知器学习规那么调整权值〔5〕返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。106整理ppt例三单计算节点感知器，3个输入。给定3对训练样本对如下：X1=(-1，1，-2，0)T

d1=

1 X2=(-1，0，1.5，-0.5)T

d2=

1X3=(-1，-1，1，0.5)T

d3=1设初始权向量W(0)=(0.5,1,-1,0)T，η=0.1。注意：输入向量中第一个分量x0恒等于-1，权向量中第一个分量为阈值试根据以上学习规那么训练该感知器。感知器的学习算法107整理ppt解：第一步输入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T感知器的学习算法108整理ppt第二步输入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。感知器的学习算法109整理ppt第三步输入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

O3(2)=sgn(-2.1=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，继续训练直到dp-op=0，p=1,2,3。感知器的学习算法110整理ppt单层感知器的局限性问题：能否用感知器解决如下问题？111整理ppt单层感知器的局限性无法解决“异或〞问题只能解决线性可分问题“异或”的真值表x1 x2 y 0 0 0 0 1 1 1 0 1

1 1 0112整理ppt6.2多层感知器：提出单计算层感知器具有局限性：只能解决线性可分问题，而大量的分类问题是线性不可分的。解决的有效方法在输入层与输出层之间引入隐层作为输入模式的“内部表示〞，将单计算层感知器变成多〔计算〕层感知器。采用非线性连续函数作为转移函数，使区域边界线的根本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。113整理ppt双层感知器“异或”问题分类例四用两计算层感知器解决“异或〞问题。“异或”的真值表x1x2 y1y2o

00 11001 10 110 01 111 110多层感知器具有单隐层的感知器，其中隐层的两个节点相当于两个独立的符号单元〔单计算节点感知器〕两个符号单元可分别在x1、x2平面上确定两条分界直线S1和S2，从而构成上图所示的开放式凸域114整理ppt通过适当调整两条直线的位置，可使两类线性不可分样本分别位于该开放式凸域内部和外部。对隐节点1来说，直线S1下面的样本使其输出为y1=1，而直线上面的样本使其输出为y1=0；对隐节点2来说，直线S2上面的样本使其输出为y2=1，而直线下面的样本使其输出为y2=0。115整理ppt当输入样本为o类时，其位置处于开放式凸域内部，即同时处在直线S1下方和直线S2上方。根据以上分析，应有y1=1，y2=1。当输入样本为*类时，其位置处于开放式凸域外部，即或者同时处在两直线S1、S2上方，使y1=0，y2=1；或者同时处在两直线S1、S2下方，使y1=1，y2=0。输出层节点以隐层两节点的输出y1、y2作为输入，其结构也相当于一个符号单元。如果经过训练，使其具有逻辑“与非〞功能，那么异或问题即可得到解决。根据“与非〞逻辑，当隐节点输出为y1=1，y2=1时，该节点输出为o=0；当隐节点输出为y1=1，y2=0时，或y1=0，y2=1时，该节点输出为o=1。116整理ppt对于一般形式的单隐层感知器，当输入样本为二维向量时，隐层中的每个节点确定了二维平面上的一条分界直线。多条直线经输出节点组合后会构成各种形状的凸域〔所谓凸域是指其边界上任意两点之连线均在域内〕。通过训练调整凸域的形状，可将两类线性不可分样本分为域内和域外。输出层节点负责将域内外的两类样本进行分类。单隐层节点数量增加可以使多边形凸域的边数增加，从而在输出层构建出任意形状的凸域。如果在此根底上再增加第二个隐层，那么该层的每个节点确定一个凸域，各种凸域经输出层节点组合后成为任意形状。117整理ppt如图，由凸域组合成任意形状后，意味着双隐层的分类能力比单隐层大大提高。分类问题越复杂，不同类别样本在样本空间的布局越趋于犬牙交错，因而隐层需要的神经元节点数也越多。Kolmogorov理论指出：双隐层感知器足以解决任何复杂的分类问题。该结论已经过严格的数学证明。118整理ppt具有不同隐层数的感知器的分类能力比照119整理ppt说明为便于直观描述感知器分类能力，在上述分析中，将转移函数限定为符号函数或单位阶跃函数。实际上，提高感知器分类能力的另一个途径是，采用非线性连续函数作为神经元节点的转移函数。这样做的好处是能使区域边界线的根本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线120整理ppt连续多输出感知器训练算法1.用适当的小伪随机数初始化权矩阵W；2.初置精度控制参数ε，学习率α，精度控制变量d=ε+1；3．Whiled≥εdo3.1d=0；3.2for每个样本〔X，Y〕do 3.2.1输入X；//(x1，x2，…，xn) 3.2.2求O=F〔XW〕； 3.2.3修改权矩阵W： fori=1ton，j=1tomdo wij=wij+α(yj-oj)xi；//yj与oj之间的差异对wij的影响 3.2.4累积误差 forj=1tomdo d=d+(yj-oj)2121整理ppt7.BP算法提高网络性能〔如分类能力〕的有效途径包含隐层的多层前馈网络长期以来没有提出解决权值调整问题的有效算法。非线性连续转移函数BP(ErrorBackProragation，BP)算法1986年，Rumelhart和McCelland领导的科学家小组?ParallelDistributedProcessing?一书应用对象：多层前馈网络具有非线性连续转移函数122整理ppt〔1〕基于BP算法的多层前馈网络模型误差反传〔BP〕算法123整理ppt模型的数学表达输入向量：

X=(x1,x2,…,xi,…,xn)T隐层输出向量：

Y=(y1,y2,…,yj,…,ym)T输出层输出向量：

O=(o1,o2,…,ok,…,ol)T期望输出向量：d=(d1,d2,…,dk,…,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl)各个变量之间如何建立联系，来描述整个网络？124整理ppt输出层：k=1,2,…,l(3.4.1)k=1,2,…,l(3.4.2)隐层：j=1,2,…,m(3.4.3)j=1,2,…,m

(3.4.4)基于BP算法的多层前馈网络模型125整理ppt双极性Sigmoid函数：单极性Sigmoid函数：基于BP算法的多层前馈网络模型126整理ppt一、网络误差与权值调整输出误差E定义：将以上误差定义式展开至隐层：BP学习算法127整理ppt一、网络误差与权值调整〔续〕进一步展开至输入层：3.4.2BP学习算法由上式可以看出，网络输入误差是各层权值wjk、vij的函数，因此调整权值可改变误差E。128整理pptj=0,1,2,…,m;k=1,2,…,li=0,1,2,…,n;j=1,2,…,m式中负号表示梯度下降，常数η∈(0,1)表示比例系数，在训练中反映学习速率。在全部推导过程中，对输出层有j=0,1,2,…,m;k=1,2,…,l对隐层有i=0,1,2,…,n;j=1,2,…,m3.4.2BP学习算法调整权值的原那么显然是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比129整理ppt二、BP算法推导对于输出层，有对隐层，有对输出层和隐层各定义一个误差信号，令

3.4.2BP学习算法130整理ppt综上，可将权值调整式改写为同理，隐层的权值调整式可改写为可以看出，只要计算出误差信号

o和

y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号

o和

y

。131整理ppt对于输出层，

o可展开为对于隐层，

y可展开为下面求网络误差对各层输出的偏导。132整理ppt对于输出层，利用式对于隐层，利用式可得：可得：133整理ppt将以上结果代入，并应用式得到：134整理ppt将上述结果代入，得到三层前馈网的BP学习算法权值调整计算公式为：可以看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，即：学习率η、本层输出的误差信号δ、本层输入信号Y(或X)输出层误差信号与网络的期望输出和实际输出之差有关，直接反映了输出误差各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。135整理ppt136整理pptBP网络〔BackpropagationNetwork〕拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………………增加隐藏层数和隐藏层神经元个数不一定总能提高网络精度和表达能力，所以，BP网一般都选用二级网络137整理pptBP网络神经元神经元的网络输入：

neti=x1w1i+x2w2i+…+xnwni神经元的输出：138整理pptBP网络的应用BP网络的用途十分广泛，可用于以下方面：函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别：用一个特定的输出矢量将它与输入矢量联系起来分类：把输入矢量以所定义的适宜方式进行分类数据压缩：减少输出矢量维数以便于传输或存储139整理pptBP算法的根本思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元——各层单元的误差信号修正各单元权值140整理pptBP算法的学习过程正向传播：输入样本——输入层——各隐层——输出层判断是否转入反向传播阶段：假设输出层的实际输出与期望的输出〔教师信号〕不符误差反传误差以某种形式在各层表示——修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止141整理ppt训练过程

样本：(输入向量，理想输出向量)权初始化1、向前传播阶段：〔1〕从样本集中取一个样本(Xp，Yp)，将Xp输入网络；〔2〕计算相应的实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))142整理ppt训练过程

2、向后传播阶段——误差传播阶段：〔1〕计算实际输出Op与相应的理想输出Yp的差〔2〕按极小化误差的方式调整权矩阵〔3〕网络关于第p个样本的误差测度：〔4〕网络关于整个样本集的误差测度：143整理ppt误差传播

1、输出层权的调整wpq=wpq+∆wpq∆wpq=αδqop =αfn′(netq)(yq-oq)op

=αoq(1-oq)(yq-oq)op

wpqANpANq第L-1层第L层∆wpq144整理ppt误差传播2、隐藏层权的调整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2层第k层第k-1层……145整理ppt误差传播δpk-1的值和δ1k，δ2k，…，δmk有关不妨认为δpk-1通过权wp1对δ1k做出奉献，通过权wp2对δ2k做出奉献，……，通过权wpm对δmk做出奉献。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)vhp=vhp+∆vhp∆vhp=αδpk-1ohk-2=αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-22、隐藏层权的调整146整理ppt根本BP算法样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}根本思想：逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，…，W(L)各做一次调整，重复这个循环，直到∑Ep<ε。用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程147整理ppt根本BP算法1fork=1toLdo 1.1初始化W(k)；2初始化精度控制参数ε；3E=ε+1;4whileE>εdo 4.1E=0; 4.2对S中的每一个样本〔Xp,Yp〕： 4.2.1计算出Xp对应的实际输出Op； 4.2.2计算出Ep； 4.2.3E=E+Ep； 4.2.4根据相应式子调整W(L)； 4.2.5k=L-1；

4.2.6whilek≠0do

根据相应式子调整W(k)；

k=k-14.3E=E/2.0148整理pptBP算法的程序实现(1)初始化；

(4)计算各层误差信号；

(5)调整各层权值；

(6)检查是否对所有样本完成一次轮训；

(7)检查网络总误差是否到达精度要求。(2)输入训练样本对X

Xp、d

dp，计算各层输出；(3)计算网络输出误差；149整理pptBP算法的程序实现然后根据总误差计算各层的误差信号并调整权值。另一种方法是在所有样本输入之后，计算网络的总误差：150整理ppt多层前馈网的主要能力(1)非线性映射能力

多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。151整理ppt多层前馈网的主要能力(2)泛化能力

当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。(3)容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。152整理ppt误差曲面与BP算法的局限性误差函数的可调整参数的个数nw等于各层权值数加上阈值数，即：误差E是nw+1维空间中一个形状极为复杂的曲面该曲面上的每个点的“高度〞对应于一个误差值，每个点的坐标向量对应着nw个权值，因此称这样的空间为误差的权空间。153整理ppt误差曲面的分布——BP算法的局限性曲面的分布特点——算法的局限性(1)存在平坦区域——误差下降缓慢，影响收敛速度(2)存在多个极小点——易陷入局部最小点

154整理ppt曲面分布特点1：存在平坦区域平坦：误差的梯度变化小〔接近于零〕155整理ppt存在平坦区域的原因分析

接近于零的情况分析造成平坦区的原因：各节点的净输入过大对应着误差的某个谷点

平坦区

156整理ppt曲面分布特点2：存在多个极小点误差梯度为零多数极小点都是局部极小，即使是全局极小往往也不是唯一的。单权值双权值157整理ppt曲面分布特点2：存在多个极小点BP算法以误差梯度下降为权值调整原那么误差曲面的这一特点使之无法区分极小点的性质导致的结果：因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。158整理ppt标准BP算法的改进误差曲面的形状——固有的算法的作用是什么？调整权值，找到最优点那么如何更好地调整权值？利用算法使得权值在更新的过程中，‘走’适宜的路径，比方跳出平坦区来提高收敛速度，跳出局部最小点等等如何操作？需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。159整理ppt标准的BP算法内在的缺陷：易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法， 下面仅介绍其中3种较常用的方法。160整理ppt标准BP算法的改进改进1：增加动量项改进2：自适应调节学习率改进3：引入陡度因子161整理ppt改进1：增加动量项提出的原因：标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向从而常使训练过程发生振荡，收敛缓慢。方法：α为动量系数，一般有α∈(0，1)162整理ppt改进1：增加动量项实质：从前一次权值调整量中取出一局部迭加到本次权值调整量中作用：动量项反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。163整理ppt改进2：自适应调节学习率提出的原因：标准BP算法中，学习率η也称为步长，确定一个从始至终都适宜的最正确学习率很难。平坦区域内，η太小会使训练次数增加；在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“坑凹〞处，使训练出现振荡，反而使迭代次数增加。164整理ppt改进2：自适应调节学习率根本思想：自适应改变学习率，使其根据环境变化增大或减小。根本方法：设一初始学习率，假设经过一批次权值调整后使总误差↑，那么本次调整无效，且=β(β<1)；假设经过一批次权值调整后使总误差↓，那么本次调整有效，且=θ(θ>1)。165整理ppt改进3：引入陡度因子提出的原因：误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。根本思想：如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。166整理ppt改进3：引入陡度因子根本方法：在原转移函数中引入一个陡度因子λ当发现ΔE接近零而d-o仍较大时，可判断已进入平坦区，此时令λ>1；当退出平坦区后，再令λ=1。167整理ppt改进3：引入陡度因子作用分析：λ>1：net坐标压缩了λ倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的net退出饱和值。λ=1：转移函数恢复原状，对绝对值较小的net具有较高的灵敏度。应用结果说明该方法对于提高BP算法的收敛速度十分有效。168整理ppt总结基于BP算法的多层前馈网络模型BP算法的实现根本思想推导过程程序实现BP学习算法的功能BP学习算法的局限性BP学习算法的改进169整理ppt8.BP网络设计一、训练样本集的准备1.输入输出量的选择2.输入量的提取与表示3.输出量的表示二、输入输出数据的归一化三、网络训练与测试170整理ppt一、训练样本集的准备输出量的选择输出量:代表系统要实现的功能目标系统的性能指标分类问题的类别归属非线性函数的函数值输入量的选择输入量选择的两条根本原那么必须选择那些对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小1.输出、输入量的选择171整理ppt1.输出、输入量的选择输入输出量的性质从输入、输出量的性质来看，可分为两类数值变量语言变量。数值变量的值是数值确定的连续量或离散量。语言变量是用自然语言表示的概念，其“语言值〞是用自然语言表示的事物的各种属性。中选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。172整理ppt2.输入量的提取与表示XC=(111100111)T

XI=(010010010)T

XT=(111010010)T(1)文字符号输入173整理ppt〔2〕曲线输入p=1,2,…,P174整理ppt〔3〕函数自变量输入一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。〔4〕图象输入在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的奉献进行筛选，这种特征提取属于图象处理的范畴。175整理ppt3.输出量的表示(1)“n中取1〞表示法“n中取1〞是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取1，其余n-1个分量全取0。例如，用0001、0010、0100和1000可分别表示优、良、中、差4个类别。(2)“n-1〞表示法如果用n-1个全为0的输出向量表示某个类别，那么可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。(3)数值表示法

对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。176整理ppt二、输入输出数据的归一化

归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在[0，1]或[-1，1]区间内。归一化的原因：网络的各个输入数据常常具有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位；BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；Sigmoid转移函数的输出在0-1或-1-1之间。教师信号如不进行归一化处理，势必使数值大的输出分量绝对误差大，数值小的输出分量绝对误差小。177整理ppt归一化的方法将输入输出数据变换为[0，1]区间的值常用以下变换式其中，xI代表输入或输出数据，xmin代表数据变化的最小值，xman代表数据的最大值。将输入输出数据变换为[-1，1]区间的值常用以下变换式其中，xmid代表数据变化范围的中间值。178整理ppt三、网络训练与测试网络的性能好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。179整理ppt在隐节点数一定的情况下，为获得好的泛化能力，存在着一个最正确训练次数。180整理ppt9.人工神经网络应用案例1981年生物学家格假设根〔W．Grogan〕和维什〔W．Wirth〕发现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：翼长触角长类别

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼长触角长类别1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af181整理ppt蚊子的分类

的两类蚊子的数据如表1：翼长触角长类别目标值1.781.14Apf0.91.961.18Apf0.91.861.20Apf0.91.721.24Af0.92.001.26Apf0.92.001.28Apf0.91.961.30Apf0.91.741.36Af0.1翼长触角长类别目标值

1.641.38Af0.11.821.38Af0.11.901.38Af0.11.701.40Af0.11.821.48Af0.11.821.54Af0.12.081.56Af0.1182整理ppt输入数据有15个，即,p=1,…,15;j=1,2;对应15个输出。建模：〔输入层，中间层，输出层，每层的元素应取多少个？〕建立神经网络183整理ppt规定目标为：当t(1)=0.9时表示属于Apf类，t(2)=0.1表示属于Af类。设两个权重系数矩阵为：为阈值

其中184整理ppt分析如下：

为第一层的输出，同时作为第二层的输入。其中，为阈值，为激励函数若令（作为一固定输入）（阈值作为固定输入神经元相应的权系数）185整理ppt则有：

取激励函数为=则同样，取186整理ppt〔1〕随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句：令p=0具体算法如下：=rand(2,3);=rand(1,3);(2)根据输入数据利用公式算出网络的输出=187整理ppt取〔3〕计算因为

所以

〔4〕取〔或其他正数，可调整大小〕188整理ppt(5)计算

和

j=1,2,3,i=1,2,3,计算

j=1,2,3j=1,2,3189整理ppt(6)p=p+1，转〔2〕注：仅计算一圈〔p=1，2，…，15〕是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。最后结果是：190整理ppt即网络模型的解为：=191整理ppt9.神经网络案例—工地施工平安预测192整理ppt运用MATLAB计算神经网络工具箱提供了建立神经网络的专用函数newff()该函数的调用方法为net＝newff(PR，[S1S2…SN]，{TF1TF2…TFN}，BTF，BLF，PF)net——存放所建立的网络属性和网络参数PR——输入向量的取值范围；Si——第i层的神经元个数，总共N层；Tfi——第i层的传递函数，缺省值为“tansig〞；BTF——BP网络的训练函数，缺省值为“trainlm