多层感知器的灵敏度分析

1、C INESE .COMPUTERS 第24卷第9期2001年9月计算机学报VOl.24NO.9Sept.2001多层感知器的灵敏度分析孙学全(哈尔滨工业大学管理学院冯英浚哈尔滨150001D哈尔滨150001D(哈尔滨工业大学计算机科学与工程系摘要灵敏度分析对于神经网络结构设计具有指导意义.已有的灵敏度分析方法往往针对特定的激活函数 并-Ax且对网络输入和权值扰动有严格的限制.该文采用另一种以-Ax型激活函数的倾斜度作为参数的函数形式逼近1+e激活函数 得到了一类神经元的统一的灵敏度解析表达式和网络灵敏度计算算法.该方法取消了对输入和权值扰动的限制 可以研究激活函数倾斜度对网络灵敏度的影响.

2、计算机模拟试验证明了此方法的正确性 并且提出了网络结构设计的几条准则.关键词灵敏度分析 多层感知器 激活函数中图法分类号:TP18SensitivityAnalysisofMultilayerPerceptronSUNXue-OuanFENGYing- un(DepaltmentofcomputelSczenceancengzneelzng HalznlnstztuteoftechnoZogy Halzn150001D(SchooZofManagement HalznlnstztuteoftechnoZogy Halzn150001DAbstractSenSitiVityanalySiSiSa

3、fundamentaliSSueinthereSearchOfneuralnetWOrkS andprOVideStheOreticalinStructiOnfOrneuralnetWOrkdeSign.TheeXiStingapprOacheStOtheSenSitiVityanalySiSOfMultilayerPerceptrOnuSuallyaimatthenetWOrkWithaSpecificactiVatiOnfunctiOn andimpOSetOOSeVerelimitatiOnSOnbOthnetWOrkinputandWeightperturbatiOnS.SOtheSe

4、nSitiVityanalySiSOfMultilayerPerceptrOniSreStrictedWithinnarrOWapplicatiOnrange.InthiSpaper thecOmmOncharacteriStic i.e. theObliguity iSeXtractedfrOmtheSigmOidal-AxandanOtherfunctiOnWiththeObliguitycharacteriSticactiVatiOnfunctiOnSWiththefOrm1+e-AxiSadOptedtOapprOXimatetheSigmOidalactiVatiOnfunctiOn

5、.TheapprOXimatiOnfunctiOnhaSthefOrmcOnVenientfOrthecOmputatiOnOfSenSitiVityWithOutintrOducingadditiOnallimitatiOnS anditiSuSedtOdeducetheSenSitiVityeXpreSSiOnOfMultilayerPerceptrOninSteadOftheactiVatiOnfunctiOn.BaSedOntheStOchaSticmOdelOfMultilayerPerceptrOn auniVerSalanalyticeXpreSSiOnOfSenSitiVity

6、fOraSingleneurOnWithaclaSSOfSigmOidalactiVatiOnfunctiOnSiSderiVed.ThenWepreSentabOttOm-upalgOrithmtOcalculatetheSenSitiVityOftheWhOleMultilayerPerceptrOnlayerbylayer.EXcepttheapprOXimatiOnOftheactiVatiOnfunctiOn theSenSitiVityeXpreSSiOniSderiVedeXactly.SOthereiSnOneedfOruStOreStricttheinputandWeight

7、perturbatiOnStObeVerySmallinOurSenSitiVityanalySiSmethOd.BecauSetheObliguityOftheSigmOidalactiVatiOnfunctiOniSaparameterOftheapprOXimatiOnfunctiOn theeffectOftheObliguityOftheactiVatiOnfunctiOnOnthenetWOrkSenSitiVitycanbeanalyzed.ThereSultOfcOmputerSimulatiOnShOWSthatOurtheOreticalreSultmatcheStheeX

8、perimentreSultclOSely.ThiSalSOindicateSthe收稿日期:2000-02-25;修改稿收到日期:2000-10-20.本课题得到国家自然科学基金(69974013D资助.孙学全 男 1972年生 博士研究生 主要从事神经网络模式识别小波理论等研究.冯英浚 男 1940年生 教授 博士生导师 主要从事神经网络运筹学等研究.计算机学报2001年cOrrectnessOfOursensitivityanalysisapprOach.Finally,theeffectsOfnetwOrkparametersOnthenetwOrksensitivityareinve

9、stigated;andtheparametersincludetheinputperturbatiOn,theweightperturbatiOn,thenumberOflayer,thenumberOfneurOnperlayerandtheObliguityOfactivatiOnfunctiOn.SOmerulesfOrthearchitecturedesignOfMultilayerPerceptrOnarecOncluded.KeyWordssensitivityanalysis,multilayerperceptrOn,activatiOnfunctiOn机变量的概率分布,只需要

10、知道它们的一些数字特l引言神经网络的灵敏度分析(sensitivityanalysis)研究的是当网络的参数有一定扰动时,网络输出扰动的变化.这对于神经网络的结构设计硬件实现学习算法的选择和泛化性能的研究具有指导性的作用.多层感知器(MultilayerPerceptrOn,MLP),特别是具有SigmOid型激活函数的多层感知器是现在应用最广泛的一类神经网络,本文的研究正是基于这种网络.对多层感知器灵敏度的研究始于30年前.Off于1962年在他的论文1中用N维几何方法研究了Adaline的灵敏度.他假定Adaline的输入在N维超球面上服从均匀分布,从而证明了由权值误差所造成的输出误差的概

11、率等于由原始决策平面和扰动后的决策平面所夹的球面区域的面积跟整个超球面面积的比值.1965年,GlanZ2简化了这一结果,得到输出误差的概率等于原始权向量与扰动后权向量的夹角除以T.Winter3将GlanZ的结果推广到了Madaline.1990年StevensOn4,5细化了Winter的结果,描述了权值扰动对Madaline的影响.1995年Pich 6采用随机模型给出了具有阈值型某些SigmOid型和线性激活函数的多层感知器的灵敏度分析方法.1997年,Yang7等针对阈值型多层感知器,将输入和输入扰动权值和权值扰动之间的相关性引入了灵敏度分析.到目前为止,很多研究工作还停留在对阈值型

12、多层感知器的灵敏度分析上.神经网络灵敏度分析的一个很重要的应用就是指导神经网络的结构设计.一个典型的例子就是神经网络的硬件实现.在大多数情况下,硬件结构的设计是为了实现不同的神经网络,也就是说神经网络的输入和权并不是固定的,因此人们关心的并不是单个已经确定的神经网络,而是由不同神经网络构成的一个网络集合6,8.基于此,本文采用了Pich 的随机模型,采用此模型的优点是人们不必关心随征即可;另一个优点是采用随机模型可以研究多种激活函数MLP的灵敏度8,而不是只局限于阈值型MLP.Pich 在文献6中为人们提供了一个分析MLP灵敏度的理论模型,但他的计算方法具有自身的局限性:(1)对于具有不同激活

13、函数的MLP,需要单独推导灵敏度公式,没有一个统一的解析表达式;(2)该方法只对输入和权值的扰动充分小的时候适用,这大大限制了它的适用范围.针对以上存在的两个问题,本文采用了函数逼近方法来计算MLP的灵敏度.首先用另外一族函数gA(x)来逼近一类SigmOid型激活函数-Xxg(x)=1-e-Xx,其中A为g( )的倾斜度因子.对于不同的激活函数g( ),存在一个实数A与之对应,使得gA( )在L2范数意义下逼近g( ),然后用逼近函数gA( )作为激活函数来参与网络灵敏度的计算.这样就得到适合于一类SigmOid型激活函数神经元的灵敏度公式,进一步可以分析激活函数对网络灵敏度的影响.因为除了

14、这一近似和神经元个数充分多的假设外,其余的过程都是精确的推导,没有引入别的近似,所以该方法取消了对输入和权值扰动充分小的限制.本文首先给出了多层感知器的随机模型,并给出了绝对灵敏度和相对灵敏度的定义.然后采用函数逼近方法推导了单个神经元的灵敏度公式,这是神经网络灵敏度分析的核心.根据多层感知器的前馈特性,用前一层神经元的输出作为下一层神经元的输入,一层一层递推下去,就得到了整个网络灵敏度的计算方法.最后通过实验验证了本文方法的正确性,并且分析了输入和权值扰动各层神经元个数网络层数及激活函数倾斜度对网络灵敏度的影响,提出了多层感知器结构设计的三个准则.9期孙学全等;多层感知器的灵敏度分析的是随机

15、变量与其均值的偏离程度,所以输出扰动2随机模型及灵敏度的定义的方差反映的是由输入和权值扰动造成的输出扰动的变化范围,因此本文采用输出扰动的方差来定义灵敏度.因为整个MLP网络的灵敏度基于单个神经元的灵敏度,需要首先给出单个神经元灵敏度的定义.定义1.假定X与AX为某神经元的输入及输入扰动向量,W与AW为权值及权值扰动向量,因为本文的工作是基于Pich 的随机模型,所以本节首先引入这一模型的数学表达.然后,给出了单个神经元绝对灵敏度和相对灵敏度的定义,在此基础之上,定义了整个MLP的绝对灵敏度和相对灵敏度.首先,引入一些符号定义;网络各层用O到L来表示,第O层为输入层,第L层为输出层;第Z层的节

16、点数用NZ表示;IZz,AIZz(z=1,2, ,NZ;Z=1,2, ,NZ)为第Z层的第z个输入和输入扰动,Iz=I1z,AIz=AI1z(z=1,2, ,NO)为网络的输入和输入扰动,ZZ z,AZZz(=1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)为网络的权值和权值扰动;NZz为第Z层第z个神经元的输出,ANZz为由输入和权值扰动造成的该单元的输出误差;函数g(-)表示激活函数,函数gA(-)表示g(-)的逼近函数;D表示方差.Pich 的随机模型用数学语言来描述,可以归结成以下几条;(1)Iz(z=1,2, ,NO)为独立同分布的随机变量,均值/I=O,方差为2I;

17、(2)ZZ z(=1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)为独立同分布的随机变量,均值/Z=O,方差为 2Z;(3)AIz(z=1,2, ,NO)为独立同分布的随机变量,均值/AX=O,方差为 2AI;(4)AZZ z(=1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)为独立同分布的随机变量,均值/AZ=O,方差为 2AZ;(5)Iz(z=1,2, ,NO)和ZZ z( =1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)相互独立;(6)AIz(z=1,2, ,NO)和AZZ z( =1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2,

18、 ,L)相互独立;(7)Iz(z=1,2, ,NO)和AZZ z(=1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)相互独立;(8)Iz(z=1,2, ,NO)和AIz(z=1,2, ,NO)相互独立;(9)ZZ z(=1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)和AIz(z=1,2, ,NO)相互独立;(1O)ZZ z( =1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)和AZZz( =1,2, ,NZ;z=1,2, ,NZ 1;Z=1,2, ,L)相互独立.以上的随机模型把MLP的各个输入和输入扰动权值及权值扰动分别看作是独立同分布的随即

19、变量,并且它们之间是相互独立的.这是本文计算MLP灵敏度的理论模型.基于这一模型,对于每一个神经元,由输入和权值扰动造成的输出扰动的均值为O.由于方差反映则该神经元的绝对灵敏度为S=D(g(W-AW) (X-AX) g(W X).定义2.神经元的相对灵敏度为Rel.S=D(g(W-X).接着给出整个MLP网络灵敏度的定义.定义3.MLP的绝对灵敏度为MLP中输出层神经元的绝对灵敏度.定义4.MLP的相对灵敏度为MLP中输出层神经元的相对灵敏度.当网络的输出误差相同时,可能存在这样两种情况,网络的实际输出很小,也可能很大,此时绝对灵敏度并不能反映出这一差异,而相对灵敏度则有此功能,因此引入了相对

20、灵敏度的概念.另外,根据随机模型,处于同一层上的各神经元的灵敏度相同,因此某一层的灵敏度是指这一层上任一神经元的灵敏度.函数逼近方法Sigmoid函数是MLP中经常采用的激活函数,本文仅考虑型如g(I)= AI1-e AI的一类Sigmoid型激活函数.现阶段神经网络灵敏度的研究主要集中在对网络输出扰动的变化趋势上,目前还没有精确的计算结果,都需要在推导过程中采用近似3 6,8.本文采用了函数逼近方法对激活函数进行逼近.函数逼近方法基于以下三方面的考虑;(1)避免如文献6,8中因采用逼近而造成缩小适用范围的限制;(2)灵敏度公式推导方便;(3)能得到具有一类激活函数的MLP灵敏度的统一的解析表

21、达式,从而可以研究激活函数对MLP灵敏度的影响.为此,选择函数gA(I)来逼近Sigmoid函数g(I),gA(I)的形式如下;_AI1_ +_gA(I)=gA(I)+gA(I)=<Z_AIL _1Z计算机学报Z001年I 0I<0(1)单个神经元的灵敏度公式其中_AI 1_ +gA(I)=<L0ZI 0I<0(Z)0 I 0g_(I)=<(3)AZ_AIL _1 I<0参数为正实数称之为陡峭因子因为它反因为MLP为前馈型神经网络 前一层的输出作为下一层的输入 信号沿各层依次前馈 因此采用自底至上(bottom-up)的方法 依次计算各层神经元的灵敏度.首先

22、需要计算单个神经元的灵敏度.第Z层第j个神经元的输出为NZ_1yZj=g wZjz IZz(6)A 映了gA(I)的陡峭程度 A越大则激活函数越陡峭.用gA(I)来逼近g(I) 就是要寻找合适的陡峭因子A 使得gA(I)和g(I)的距离最小.这个问题可归结为如下优化问题minA因为(4)gA(I)和g(I)都为奇函数 上式可以转化为minA(5)g(I)=tanh(I)为经常使用的一个Sigmoid型激活函数 通过上述方法 得到其逼近函数的陡峭因子A=1.783.逼近和被逼近函数的图像见图1.从以上分析可以看出;(1)对于每一个型如g(I)=_AI1+_AI的Sigmoid函数 都存在一个陡峭

23、因子A与之相对应 使得gA(I)在LZ范数意义下逼近g(I).在后面的灵敏度公式中 陡峭因子A就代表了激活函数.(Z)当陡峭因子A趋于+O时 代表了阈值型激活函数 因此可以把阈值型激活函数当作Sigmoid函数来统一处理.z=1由输入和权值扰动造成的输出误差为NZ_1NZ_1AyZj=g (wZjz+AwZjz) (IZz+AIZz) _g wZjz IZzz=1z=1NZ_1NZ_1=gwZjzIZz+z= (wZjzAIZz+AwZjz IZz+1z=1NAwZjzAIZz)(7)z=1定义如下符号Z_1_g wZjz IZzO=wOI(8)B=(9)S=NZ_1OwZjz IZz(10)

24、z=1NZ_1t=(wZjz AIZz+AwZjz IZz+AwZOB jz AIZz)z=1(11)根据中心极限定理 当NZ_1足够大时 S和t服从均值为0方差为1的正态分布 即SN(0 1) tN(0 1).在实际应用中 当NZ_1 10时 S和t即可近似服从N(0 1)9.根据PiGh 的随机模型 S和t之间的相关系数P=0.S与t的联合概率分布函数为f(S t)=ZT_Z(SZ+tZ)(1Z)现在 式(6)和(7)变为yZj=g(OS)(13)AyZj=g(OS+OBt)_g(OS)(14)先计算yZj的均值和方差 可得E(yZj)=0(15)+OZD(yZj)=gZ(OS) _Z(1

25、6)_OdS因为gZ(OS)=gZ(_OS) 式(16)变为+OD(yZj)=ZZgZ(OS)_ZdS(17)用gA(I)来代替g(I) 得到+OD(yZZZZj) Z(1_A OS)Z_ZdS9期孙学全等:多层感知器的灵敏度分析=1-+(18)(19)输出误差的方差为+>+>ZZ-(S+z)eZCSCzZT再计算Aylj的均值和方差.令h(S,z)=g(US+UBz)-g(US),则它满足h(S,z)=-h(-S,-z),并且,f(S,z)满足f(S,z)=f(-S,-z),可以得到lD(Ayljj) )=E(AyD(Ayj)=l(g(US+UBz)-g(US)Z->-&g

26、t;(Z0)用gA(I)逼近g(I),可以推导得到+>+>+>+>->->->->ZZ-(S+z)ZZ(g(US+UBz)-g(US)eCSCzAA(g(US+UBz)-g(US)f(S,z)ZT=0=+-B-B+arctgB-T+-(ZZ(AUB+ZAU+1)tgarctg+arctgB-AUarctg-ZZZZ(AUB+ZAU+1)tg-AUZarctgarctgZZZ(Z1)根据定义1和Z,第l层神经元的绝对灵敏度为Sl=D(Aylj)相对灵敏度为ljRel.S=(Z3)D(ylj)通过分析式(18),(Z1),(ZZ)和(Z3),可以得到

27、以下l当输入和权值的相对误差逐步增大时,本文的结果是S和Rel.S趋于Z,而Pich 的结果没有上限.从实际情况来分析,采用阈值型神经元时,神经元输出误差的方差上限为Z,因此S和Rel.S的上限为Z,与本文的结果吻合,这从一个方面证明了本文的方法的适用范围更广,并且是正确的.(ZZ)结论:(1)因为在公式推导过程中除了要求Nl-1充分大和用gA(I)逼近g(I)外,没有别的近似,因此这里没有IozAI<<1且IozAz<<16的oIoz限制.这表明本文的方法适用范围更广.(Z)从单个神经元的灵敏度公式中,不仅可以研究输入和权值扰动对灵敏度的影响,而且还可以分析激活函数的

28、影响,因为灵敏度公式中含有反映激活函数的陡峭因子.(3)当陡峭因子A趋于+>时,实际上得到的是阈值型神经元的灵敏度公式,通过式(ZZ)和(Z3),可以 得到S=Rel.S=arctg,TPich 在文献6中得到的结果为Rel.S=MLP的灵敏度计算方法因为采用自底至上的方法来计算整个MLP的灵敏度,前一层的输出和输出误差作为下一层的输入和输入误差,因此可以采用迭代方法来计算各层的灵敏度.计算MLP灵敏度的迭代算法如下:Z(1)给出输入和权值的方差oZI,oz,输入和权值的相对以及网络层数误差L;Z,oIoZz(Z)令l=1;(3)通过式(ZZ)和(Z3)计算第l层任一神经元(记为神经元j

29、)的绝对灵敏度和相对灵敏度Sl和Rel.Sl;(4)如果l=L,则计算结束,此时,MLP的绝对和相对LjL灵敏度为S=SL=D(AyL.若j),Rel.S=Rel.S=LD(yj)ZlZll<L,令oI=D(yz),oAI=D(Ayj),l=l+1,转步骤(3).ZZT可以看到,当输入和权值的相对误差ZZAz比较小,即AI且<1<<1时,这两个结果基本Z<oIoZz相同,但二者的相对误差比较大时,结果就不同了.i实验及分析本节首先采用模拟实验来验证灵敏度公式的正计算机学报2001年确性 然后分析了输入相对误差权值相对误差各层神经元数目网络层数及激活函数对灵敏度的影

30、响.三层MLP(包括输入层)是应用最广泛的一种MLP 因此采用这种MLP来检验本文的灵敏度公式.网络的激活函数采用g(x)=tanh(x) 对应的陡峭因子A=1.783.分析各层神经元个数都为30的三层MLP(包括输入层).网络的输入和各层的权值看作是-1 1上均匀分布的随机变量 因此输入和权值的方差为O2x=O2z=4/12.权值用步长g来量化 这样权值误差的方差为O2Az=g2/12.应用式(22) (23)及第5节中的算法 可以得到当量化步长g变化时 各层神经元绝对灵敏度平方根见图2中的实线 这些曲线即为理论曲线.对于每一层 选取9个实验点来表示2到10比特量化 即g=1/22-1 1/

31、210-1 此时 网络的输入 权值和权值扰动按实验中的要求随机产生 每一个实验点的结果都由10000次随机模拟实验产生 模拟实验的结果见图2中的数据点.图2中坐标为对数坐标.实验结果显示本文的理论结果跟模拟实验结果基本吻合从而验证了本文的灵敏度公式的正确性.下面 分析各种因素对神经网络灵敏度的影响.首先 分析神经元对输入的灵敏度.假设激活函数为g(x)=tanh(x) 该神经元有30个输入 输入和权值的方差均为1 权值没有误差 输入相对误差2O2从x0变化到1 根据式(22)和(23)得到神经元对输入的绝对灵敏度和相对灵敏度的变化曲线(见图3).可以看到随着误差的增大 神经元对网络输入的绝对和

32、相对灵敏度也增大.同样 研究神经元对权值的灵敏度.此时输入误差为20 权值相对误差AzO2从0变化到1 由式z(22)和(23)得到的灵敏度变化曲线见图4.可见随着权值扰动的增加 神经元对权值的灵敏度也跟着增大.从图3和图4中还可以看到 神经元对输入和权值的灵敏度是相同的 这与实际情况相吻合 因为神经元的总输入为输入和权值的内积二者是可交换的.根据灵敏度公式 还可以研究激活函数对神经元灵敏度的影响.令神经元的输入个数为30 输入和权值的方差为1 输入和权值扰动的方差为0.01让陡峭因子A从0.1变化到100 实际上是从变化缓慢的激活函数一直到陡变的阈值型激活函数 根据式(22)和(23)得到的

33、灵敏度曲线见图5.从中可以看出灵敏度随着A的增大而增大 当A增大到一定程度以后 即激活函数接近阈值函数时 灵敏度基本保持不变.与输入神经元个数的影响相似 激活函数对灵敏度的影响比输入和权值扰动的影响小.9期孙学全等:多层感知器的灵敏度分析7接着 分析各层神经元个数对神经网络灵敏度的影响.对于一个三层MLP(包括输入层D 假设输入和权值的方差均为1 输入和权值扰动的方差为0.01 当输入层和隐层神经元个数分别从1变化到80时 MLP灵敏度的变化见图6.当各层神经元个数比较少时 MLP的绝对和相对灵敏度以很快的速度增加 而当各层神经元个数增大到一定程度时 MLP的灵敏度变化很小 基本保持不变.并且

34、可以发现 靠近输出层上的神经元个数对MLP灵敏度的影响比前面层上神经元个数的影响大.最后分析一下MLP层数对网络灵敏度的影响.考虑各层神经元个数都为30的11层MLP(包括输入层D.网络的输入和各层的权值看作是-1 1上均匀分布的随机变量 因此输入和权值的Z方差为OZI=OZ=4/1Z.假定输入扰动的相对误差ZZAIAZ分别取值为当权值扰动的相对误差Z=001.OIOZZ001 004 009 016 0Z5时 得到各层神经元的绝对灵敏度与层索引Z的变化曲线(第0层为输入Z层除外D见图7.从图7可以看出不管AZ大还是小 OZZ网络的绝对灵敏度都随着层数的增加而增加 网络的层数比较小时 灵敏度增

35、加很快 当层数比较大时 则灵敏度增加缓慢并且稳定在一定的数值上.还可以看出 当AZ大时 灵敏度也比较大 这说明对一OZZZ计算机学报2001年个网络,如果要求其灵敏度限制在某一数值之内,当o2Az比较小时,网络的层数有比较多的选择,反之网o2z络层数选择的余地很小.根据以上各种因素对MLP灵敏度影响的分析,可以得到以下结论,(1)网络对输入和权值的灵敏度随着输入和权22Ax值相对误差和Az的增大而显著增大.到了MLP结构设计的几条准则,(1)每一层神经元的个数应该尽可能的小,特别是靠近输出层上的神经元个数应该小.(2)应尽量选用陡峭因子比较小的激活函数,但从网络训练的角度来说这样的激活函数可能

36、使网络收敛速度减慢,应根据实际情况折衷选择.(3)当输入和权值的误差比较小时,神经网络的层数可以比较多,反之,应尽量选择层数比较少的o2xo2z(2)每一层输入神经元个数的增加,也会引起网络灵敏度的增加,但当其数目增加到一定程度时,网络灵敏度基本保持不变,并且靠近输出层上的神经元个数对MLP灵敏度的影响比前面层上神经元个数的影响大.(3)不同的网络激活函数也影响网络的灵敏度,激活函数的陡峭因子越小,则网络灵敏度越小,因此当采用阈值型激活函数时,网络的灵敏度比较大.(4)网络层数的增加,会导致网络灵敏度的增加,当层数很多时,网络的灵敏度基本保持不变.另外,当限定网络的灵敏度来确定网络的层数时,权

37、值的相对误差也是一个很重要的因素,权值的相对误差小时,网络的层数可以有很多选择,反之网络层数的选择范围变小.这也适用于输入的相对误差.7结论本文以随机模型为基础,采用函数逼近方法推导了适用于一类Sigmoid型激活函数神经元的统一的灵敏度解析表达式,并给出了MLP灵敏度的计算方法.通过实验分析了输入和权值相对误差各层神经元个数激活函数倾斜因子及神经元层数对神经元和网络灵敏度的影响,从灵敏度分析的角度得神经网络.参考文献1offME.LearningphenomenainnetWorksofadaptivesWitchingcircuitsPhDdissertation.Stanford,CA,

38、StanfordUniversity,19622GlanZF .StatisticalextrapolationincertainadaptivepatternrecognitionsystemsPhDdissertation.Stanford,CA,StanfordUniversity,19653WinterRG.MadalineruleI,AneWmethodfortrainingnetWorksofAdalinesPhDdissertation.Stanford,CA,StanfordUniversity,19894StevensonM.SensitivityofMadalinestoW

39、eighterrorsPhDdissertation.Stanford,CA,StanfordUniversity,19905StevensonM,WinterRG,WidroWB.SensitivityoffeedforWardneuralnetWorkstoWeighterrors.IEEETransNeuralNetWorks,1990,1(1),71-806Pich SW.TheselectionofWeightaccuraciesforMadalines.IEEETransNeuralNetWorks,1995,6(2),432-4457YangLiang-Tuetal.Robust

40、nessanalysisoffeedforWardneuralnetWorkscomposedofthresholdneurons.In,ProcIEEEInternationalConferenceonIntelligentProcessingSystems,Beijing,1997.502-5068Pich SW.SelectionofWeightaccuraciesforneuralnetWorksPhDdissertation.Stanford,CA,StanfordUniversity,19929BishopCM.NeuralNetWorksforPatternRecognition

41、.NeWYork,OxfordUniversityPress,1995多层感知器的灵敏度分析作者：作者单位：刊名：英文刊名：年，卷(期)：被引用次数：孙学全， 冯英浚哈尔滨工业大学计算机科学与工程系,哈尔滨工业大学管理学院,计算机学报CHINESE JOURNAL OF COMPUTERS2001,24(9)5次1.Hoff M E Learning phenomena in networks of adaptive switching circuits 19622.Glanz F H Statistical extrapolation in certain adaptive pattern recognition systems 19653.Winter R G Madaline rule :A new method for training networks of Adalines 19894.Stevenson M Sensitivity of Madalines to weight errors 19905.Stevenson M;Winter R G;Widrow B Sensitivity of feedforwa