第五讲 人工神经网络评价方法

1、主要内容主要内容 1. 人工神经网络基础知识人工神经网络基础知识 2. BP网络及网络及BP算法算法 3. 实例演示实例演示 2一、人工神经网络的概念一、人工神经网络的概念人工神经网络是一个人工神经网络是一个并行、分布处理结构并行、分布处理结构，它由处理单元它由处理单元及连接的无向信号通道互联而成。这些处理单元具有局部及连接的无向信号通道互联而成。这些处理单元具有局部内存，并可以完成局部操作。内存，并可以完成局部操作。每一个处理单元有一个单一的输出联接，这个输出可以根每一个处理单元有一个单一的输出联接，这个输出可以根据需要被分成希望个数的许多并行联接，且这些并行联接据需要被分成希望个数的许多并

2、行联接，且这些并行联接的输出相同的信号及相应的处理单元的信号，的输出相同的信号及相应的处理单元的信号，信号的大小信号的大小不因分支的多少而变化。不因分支的多少而变化。处理单元的处理单元的输出信号可以是任何需要的数学模型输出信号可以是任何需要的数学模型，每个处每个处理单元中进行的操作必须是完全局部的理单元中进行的操作必须是完全局部的。也就是说，它必。也就是说，它必须仅仅依赖于经过输入连接到达处理单元的所有输入信号须仅仅依赖于经过输入连接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。的当前值和存储在处理单元局部内存中的值。3人工神经网络的八个要素人工神经网络的八个要素一组处理单

3、元一组处理单元处理单元的激活状态处理单元的激活状态 输出函数输出函数 联接模式联接模式传递规则传递规则激活规则激活规则学习规则学习规则样本集合样本集合 4模型图模型图5w1iw2iwniNeti=xjwjiai=Fi(ai,neti)oi=f(ai)人工神经元人工神经元基本构成基本构成 对每一个神经元来说都会接受一组输入信号，每个输入对每一个神经元来说都会接受一组输入信号，每个输入信号都对应一个权，所有输入的加权和决定该神经元的激信号都对应一个权，所有输入的加权和决定该神经元的激活状态。活状态。设：（设：（1，x2，xn）输入向量）输入向量W=(w1，)联接权向量联接权向量 neti=xiwi

4、网络输入网络输入net=XW6激活函数激活函数希望人工神经元有一个更一般的变换函数，用来执行希望人工神经元有一个更一般的变换函数，用来执行该神经元所获得的网络输入的变换，这就是激活函数。该神经元所获得的网络输入的变换，这就是激活函数。o=f(net)几种典型的激活函数：几种典型的激活函数：7几种典型的激活函数几种典型的激活函数1.线性函数：线性函数：2.非线性斜面函数：非线性斜面函数： net - net netcnetknetf)(netknetf)(8)(netf几种典型的激活函数4.S型函数 其中，当a=0，b=1时为函数最简单形式，饱和值为：0，1)exp(1)(netdbanetf9

5、联接模式联接模式层内联接：层内联接： 本层内的神经元到本层内的神经元的联接，用来本层内的神经元到本层内的神经元的联接，用来加强和完成层内神经元的竞争。加强和完成层内神经元的竞争。循环联接：循环联接： 神经元到自身的联接神经元到自身的联接层间联接：层间联接： 不同层间中的神经元的联接，实现信号的传递不同层间中的神经元的联接，实现信号的传递10分层结构单级网简单单级网： 下面以简单单级网为例，说明神经网络的分层结构，其余形式据此可理解。网络输入向量：（1，x2，xn）网络输出向量：O（o1，o2，on） 输入层的神经元不对信号做任何处理，只起到扇出作用11简单单级网的网络图12x1x2xn.输入层

6、输出层o1o2on简单单级网简单单级网权矩阵：权矩阵：W=(wij)输出层第输出层第j个元素的网络输入为个元素的网络输入为netjnetj=x1w1j+x2w2j+.+xnwnjNET=(net1, net2,., netm)NET=XWO=F(NET)13分层结构单级横向反馈网多极网层次划分非线性激活函数循环网14人工神经网络的训练人工神经网络的训练训练：将由样本向量构成的样本集合输入训练：将由样本向量构成的样本集合输入到人工神经网络的过程中，按照一定方式到人工神经网络的过程中，按照一定方式调整神经元之间的联接权，使得网络在接调整神经元之间的联接权，使得网络在接受输入时可以给出适当的输出。受

7、输入时可以给出适当的输出。15无导师学习无导师学习 不需要目标，训练集中只含有输入向量，不需要目标，训练集中只含有输入向量，训练算法致力于修改权矩阵，使网络对相训练算法致力于修改权矩阵，使网络对相似输入可以给出相似的输出似输入可以给出相似的输出。16有导师学习有导师学习在训练中，要求用户在给出输入向量的同时，给在训练中，要求用户在给出输入向量的同时，给出对应的输出向量，二者构成一个训练对。出对应的输出向量，二者构成一个训练对。主要步骤：主要步骤：从样本集合中取一个样本从样本集合中取一个样本(Ai,Bi)计算出实际输出计算出实际输出O求求D=Bi-O根据根据D调整权矩阵调整权矩阵W每个样本重复这

8、个过程，直到误差不超过规定范围每个样本重复这个过程，直到误差不超过规定范围17Delta规则18)()()()()() 1()()()() 1(toytotWtWtWtWtotoytWtWiijijijijijijijiijij异或问题异或运算 x=y 其他10, yxg19BP算法算法基本概念基本概念 BP算法：算法： 在于利用输出层的误差来估计输出层的直接前导层的在于利用输出层的误差来估计输出层的直接前导层的误差，再用这一误差估计更前一层的误差，这就形成误差，再用这一误差估计更前一层的误差，这就形成了将输出端表现出的误差沿着与输入信号传送的方向了将输出端表现出的误差沿着与输入信号传送的方向

9、逐级向网络的输入端传递的过程。逐级向网络的输入端传递的过程。 BP网络：网络： 使用使用BP算法进行学习的多级非循环网络。算法进行学习的多级非循环网络。20利用利用BP网络进行评价的优点网络进行评价的优点21它主要根据所提供的数据它主要根据所提供的数据,通过学习和训练通过学习和训练,找出输入与找出输入与输出之间的内在联系输出之间的内在联系,从而求取问题的解。而不是依据从而求取问题的解。而不是依据对问题的经验知识和规则对问题的经验知识和规则,因而具有自适应功能因而具有自适应功能,这对于这对于弱化权重确定中人为的因素是十分有益的。弱化权重确定中人为的因素是十分有益的。能够处理那些有噪声或不完全的数

10、据能够处理那些有噪声或不完全的数据,具有泛化功能和具有泛化功能和很强的容错能力。很强的容错能力。由于实际综合评估往往是非常复杂的由于实际综合评估往往是非常复杂的,各个因素之间互各个因素之间互相影响相影响,呈现出复杂的非线性关系呈现出复杂的非线性关系,人工神经网络为处理人工神经网络为处理这类非线性问题提供了强有力的工具这类非线性问题提供了强有力的工具基本基本BP算法算法神经元神经元激活函数激活函数网络输入：网络输入：netj=x1w1+x2w2+.+xnwn 输出输出net=0时，时，o取值取值0.5，net落在落在(-0.6,0.6)之间，之间，o的变化率较大，收敛的变化率较大，收敛比较快，应

11、把比较快，应把net控制在这个范围内。控制在这个范围内。)1 ()(11)(oonetfenetfonet22网络的拓扑结构输入向量、输出向量的维数及隐藏层层数，隐藏层神经元数由问题决定。多数情况下，BP网络选用二级网络训练过程向前传播阶段:从样本集中取一个样本(Xp,Yp),将Xp输入网络；计算相应的实际输出Op向后传播阶段：计算实际输出与相应的理想输出的差；按最小化误差的方式调整权矩阵23误差传播分析输出层权的调整pqqqqpqqqqnqqqnqooyoowoonetfoynetf)(1 ()1 ()()(qqpqpqpqpqowwww24隐藏层权的调整25wp1,1kwp2,2kwpm,

12、mkANq第k层 第k-1层第k-2层ANhANpvhp, pk-1隐藏层权的调整2221111221111).)(1 ().)(pkmkpmkpkppkpkhpmkpmkpkppkpkowwwoovwwwnepf26基本BP算法for h=1 to M do 初始化初始化W(h);初始化精度控制参数初始化精度控制参数E= +1While E doE=0;对对S中的每一个样本中的每一个样本(Xp, Yp):计算出计算出Xp对应得的实际对应得的实际输出输出Op;计算出计算出Ep;E=E+Ep;调整调整W(M);h=M-1;while h0 do调整调整W(h);h=h-1E=E/2.027BP学

13、习算法 基本思路：按照Delta规则，对各层权进行调整，从而使精度要求满足Ep 其中，Ep满足公式：2121)(mjpjpjpoyE28几个问题的讨论几个问题的讨论收敛速度问题收敛速度问题局部极小点问题局部极小点问题网络瘫痪问题网络瘫痪问题稳定性问题稳定性问题步长问题步长问题29基于神经网络的企业效绩综合评价iimMiiXXXY2 . 00 . 130建立系统的评价指标体系：然后才能采用适当的方法建立系统的评价指标体系：然后才能采用适当的方法进行评价。根据评价的全面性和可比性原则进行评价。根据评价的全面性和可比性原则,企业效绩企业效绩主要从财务效益状况、资产营运状况、偿债能力状况主要从财务效益

14、状况、资产营运状况、偿债能力状况以及发展能力状况以及发展能力状况4个方面来全面综合考核企业绩效个方面来全面综合考核企业绩效评价值和综合评价得分的获得方法：参照财政部颁布评价值和综合评价得分的获得方法：参照财政部颁布的大型普通机械制造业各指标的最优和较差标准值。的大型普通机械制造业各指标的最优和较差标准值。各评价指标的标准值的计算：各评价指标的标准值的计算：指标体系的构成 财务效益状况财务效益状况净资产收益率总资产收益率资本保值增值率成本费用利润率 资产运营状况资产运营状况总资产周转率流动资产周转率存货周转率应收账款周转率 偿债能力状况偿债能力状况资产负债率产权比率速动比率现金流动负债比率 发展能力状况发展能力状况销售增长率资本积累率总资产增长率固定资产成新率3132评价结果分析评价结果分析33 应用网络通过对本企业历史数据的训练应用网络通过