神经网络算法及模型

1、神经网络算法及模型思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和 灵感（顿悟）思维三种基本方式。人工神经网络就是模拟人思维的第二种方式。 这是一个非线性动力学系统， 其特 色在于信息的分布式存储和并行协同处理。 虽然单个神经元的结构极其简单， 功 能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 神经网络的研究内容相当广泛， 反映了多学科交叉技术领域的特点。 主要的研究 工作集中在以下几个方面：（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学 方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。（2）建立理论模型。根

2、据生物原型的研究， 建立神经元、神经网络的理论模型。 其中包括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究。 在理论模型研究的基础上构作具体的神经网络模型， 以实现计算机模拟或准备制作硬件， 包括网络学习算法的研究。 这方面的工作也 称为技术模型研究。（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经 网络组成实际的应用系统， 例如， 完成某种信号处理或模式识别的功能、 构作专 家系统、制成机器人等等。纵观当代新兴科学技术的发展历史， 人类在征服宇宙空间、 基本粒子， 生命起源 等科学技术领域的进程中历经了崎岖不平的道路。 我们也会看到， 探索人脑

3、功能 和神经网络的研究将伴随着重重困难的克服而日新月异。神经网络和粗集理论是智能信息处理的两种重要的方法 , 其任务是从大量观察和 实验数据中获取知识、 表达知识和推理决策规则。 粗集理论是基于不可分辩性思 想和知识简化方法 , 从数据中推理逻辑规则 , 适合于数据简化、数据相关性查找、 发现数据模式、 从数据中提取规则等。 神经网络是利用非线性映射的思想和并行 处理方法 , 用神经网络本身的结构表达输入与输出关联知识的隐函数编码 , 具有 较强的并行处理、逼近和分类能力。在处理不准确、不完整的知识方面, 粗集理论和神经网络都显示出较强的适应能力 ,然而两者处理信息的方法是不同的 , 粗 集方

4、法模拟人类的抽象逻辑思维 , 神经网络方法模拟形象直觉思维 ,具有很强的 互补性。首先,通过粗集理论方法减少信息表达的属性数量 ,去掉冗余信息 ,使训练集简化 , 减少神经网络系统的复杂性和训练时间 ; 其次利用神经网络优良的并行处理、逼 近和分类能力来处理风险预警这类非线性问题 ,具有较强的容错能力 ; 再次, 粗集 理论在简化知识的同时 , 很容易推理出决策规则 , 因而可以作为后续使用中的信 息识别规则,将粗集得到的结果与神经网络得到的结果相比较 ,以便相互验证 ;最 后,粗集理论的方法和结果简单易懂 ,而且以规则的形式给出 , 通过与神经网络结 合,使神经网络也具有一定的解释能力。 因

5、此, 粗集理论与神经网络融合方法具有 许多优点 , 非常适合处理诸如企业战略风险预警这类非结构化、非线性的复杂问 题。关于输入的问题 - 输入模块 这一阶段包括初始指标体系确定， 根据所确定的指标体系而形成的数据采集系统 及数据预处理。企业战略风险的初始评价指标如下： 企业外部因素：政治环境 （ 法律法规及其稳定性 ） ，经济环境（社会总体收入水平， 物价水平，经济增长率），产业结构（进入产业障碍，竞争对手数量及集中程度） ， 市场环境（市场大小） 。企业内部因素：企业盈利能力（销售利润率，企业利润增长率） ，产品竞争能力 （产品销售率，市场占有率） ，技术开发能力（技术开发费比率，企业专业技

6、术 人才比重），资金筹措能力（融资率） , 企业职工凝聚力（企业员工流动率） ，管 理人才资源，信息资源；战略本身的风险因素 （战略目标， 战略重点，战略措施， 战略方针）。本文所建立的预警指标系统是针对普遍意义上的企业， 当该指标系统运用于实际 企业时，需要对具体指标进行适当的增加或减少。 因为各个企业有其具体的战略 目标、经营活动等特性。计算处理模块。这一模块主要包括粗集处理部分和神经网络处理部分。 粗集处理阶段。 根据粗集的简化规则及决策规则对数据进行约简， 构造神经网络 的初始结构，便于神经网络的训练。企业战略风险分析需要解决的问题是在保证对战略风险状态评价一致的情况下 , 选择最少的

7、特征集 , 以便减少属性维数、降低计算工作量和减少不确定因素的影 响, 粗集理论中的属性约简算法可以很好地解决这个问题。然后是输出模块 该模块是对将发生的战略风险问题发出警报。 按照战略风险大小强弱程度的不同， 可将其分为三个层次。 第一层次是轻微战略 风险，是损失较小、 后果不甚明显， 对企业的战略管理活动不构成重要影响的各 类风险。这类风险一般情况下无碍大局， 仅对企业形成局部和微小的伤害。 第二 层次是一般战略风险，是损失适中、后果明显但不构成致命性威胁的各类风险。 这类风险的直接后果使企业遭受一定损失， 并对其战略管理的某些方面带来较大 的不利影响或留有一定后遗症。 第三层次是致命性战

8、略风险， 指损失较大， 后果 严重的风险。这类风险的直接后果往往会威胁企业的生存， 导致重大损失， 使之 一时不能恢复或遭受破产。 在实际操作中， 每个企业应根据具体的状况， 将这三 个层次以具体的数值表现出来。两个重要的神经网络算法模型：人工神经网络模型示例：1设计信息处理单元连接的方式 按照信息处理单元的连接方式，神经网络可以分为多种类型。这里 介绍按照结点有无反馈划分的两种典型的网络结构：（1）前馈网络网络可以分为几个层。各层按信号传输先后顺序依次排列，第 i 层 的神经元只接受第 i-1 层神经元给出的信号。各神经元之间没有反馈。输入 层结点与输出层结点称为“可见层” ，其他中间层则称

9、为“隐层” 。（2）反馈网络网络分层，某些结点除了接受外加输入以外， 还要接受其他结点的反馈， 或者是自身的反馈。当然，除了这种划分方式，还有按照层数划分为单层网络与多层网络， 按照输入数据的特点划分为离散网络和连续网络等。不同的网络在性能和效率上会有很大的差异，一般来说，跨层连接的结 点越多，网络越是可靠；层数越多，网络的效率越低；反馈越多，网络的学 习能力越强；结点个数越多，网络的记忆能力就越好。因此往往要根据实际 应用设计网络的连接。在这里，我们不难得出一个结论：信息处理单元连接 的方式的设计是人工神经网络算法设计的一个重要方面。目前研究得相对成熟的是BP误差反传神经网络，Hopfiel

10、d反馈神经网 络，BAM双向联想记忆神经网络，CMAC、脑神经网络，RBF径向基函数神经 网络，SOM自组织特征映射神经网络，CPN寸偶传播神经网络，ART自适应谐 振理论，量子神经网络。有兴趣的读者可参照相关资料。2 设计学习算法 在人工智能领域，人工神经网络是模拟人脑的模式匹配的主要手段。根 据常识我们很容易理解，人脑要对某个模式得到正确匹配，需要大量的训练 和纠正。训练越多，纠正越多，匹配就越准确。人工神经网络也是如此，要 通过大量的学习才能投入正确使用，在使用中又不断地自我学习。这里摘抄 一段来自百度网站的例子，虽然并不够权威，但能够很简单地说明问题。现以人工神经网络对手写“ A”、“

11、B”两个字母的识别为例进行说明，规 定当“A”输入网络时，应该输出“ 1”，而当输入为“ B'时，输出为“ 0”。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过 网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各 连接权值赋予（0，1）区间内的随机值，将“ A”所对应的图象模式输入给网 络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络 的输出。在此情况下，网络输出为“ 1”和“ 0”的概率各为 50%，也就是说 是完全随机的。这时如果输出为“ 1” （结果正确） ，则使连接权值增大，以 便使网络再次遇到“ A”模式输入时，仍然能作出正确的判

12、断。如果输出为“ 0” （即结果错误 ） ，则把网络连接权值朝着减、综合输入 加权值的方向调整，其目的在于使网络下次再遇到“ A”模式输入时，减小 犯同样错误的可能性。 如此操作调整，当给网络轮番输入若干个手写字母 “A”、 “ B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率 将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两 个模式分布地记忆在网络的各个连接权值上。 当网络再次遇到其中任何一个 模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经 元个数越多，则它能记忆、识别的模式也就越多。这个例子引出了一个“学习算法” 。学习算法的设计是人工

13、神经网络算法设 计的另外一个重要的方面。学习算法设计得好，网络的学习能力就越强，容 错能力也越强。经典的学习算法有Hebb规则，误差修正法学习规则，胜者为王学习规 则，有兴趣的读者可参照相关资料。3 设计功能函数信息处理单元的功能是人工神经网络算法设计的又一重要方面， 一般以功能 函数的形式给出(及模型中的 F 函数)。功能函数的设计直接影响到网络的 功能。常见的功能函数有：1) 简单线性函数神经元功能函数F连续取值，输入X由连接矩阵W加权产生输出。F(X)=X2) 对称硬限幅函数F(X)=SGN(X-E).此函数只有二值，大于阀值输出+1,小于阀值输出-1。3) 正线性函数F(X)=0 if

14、 X<0;F(X)=X if X>=0。另外还有硬限幅函数，线性函数，饱和线性函数，对称饱和线性函数，淡极性S形函数，双曲正切S形函数，竞争函数等。综上，设计信息处理单元的连接方式，设计网络学习算法，设计信息处理单 元的功能，是人工神经网络算法设计的三个基本的方面。具体的算法细则应 该根据网络的性能，功能，应用场合等设计。BP神经网络模型示例：BP 网络模型处理信息的基本原理是：输入信号 Xi 通过中间节点(隐层点) 作用于输出节点，经过非线形变换，产生输出信号 Yk,网络训练的每个样本包 括输入向量X和期望输出量t，网络输出值丫与期望输出值t之间的偏差，通过 调整输入节点与隐层节

15、点的联接强度取值 Wij 和隐层节点与输出节点之间的联 接强度 Tjk 以及阈值， 使误差沿梯度方向下降， 经过反复学习训练， 确定与最小 误差相对应的网络参数(权值和阈值) ，训练即告停止。此时经过训练的神经网 络即能对类似样本的输入信息， 自行处理输出误差最小的经过非线形转换的信息。 BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。(1) 节点输出模型隐节点输出模型：Oj=f(刀Wij x Xi-q j) (1) 输出节点输出模型：Yk=f(刀Tjk x Oj-q k) (2) f- 非线形作用函数； q - 神经单元阈值。图1典型BP网络结构模型(2) 作用函数模

16、型作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数， 一般取 为(0,1) 内连续取值 Sigmoid 函数：f(x)=1/(1+e-x)(3)(3) 误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：Ep=1/2xE (tpi-Opi)2(4)tpi- i 节点的期望输出值； Opi-i 节点计算输出值。( 4)自学习模型神经网络的学习过程， 即连接下层节点和上层节点之间的权重拒阵 Wij 的设定 和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为 Wij( n+1)= h x i x Oj+axA W

17、ij(n)(5)h -学习因子；i-输出节点i的计算误差；Oj-输出节点j的计算输出；a-动量 因子。2.3 BP 网络模型的缺陷分析及优化策略( 1 )学习因子 h 的优化采用变步长法根据输出误差大小自动调整学习因子， 来减少迭代次数和加快收敛 速度。h =h +a x(Ep(n)- Ep(n-1)/ Ep(n) a 为调整步长， 01 之间取值 (6)( 2)隐层节点数的优化 隐节点数的多少对网络性能的影响较大，当隐节点数太多时，会导致网络 学习时间过长，甚至不能收敛；而当隐节点数过小时，网络的容错能力差。利用 逐步回归分析法并进行参数的显著性检验来动态删除一些线形相关的隐节点， 节 点删

18、除标准： 当由该节点出发指向下一层节点的所有权值和阈值均落于死区(通常取± 0.1 、±0.05 等区间)之中，则该节点可删除。最佳隐节点数L 可参考下面公式计算：L=(m+n)1/2+c (7)m-输入节点数；n-输出节点数；c-介于110的常数。( 3)输入和输出神经元的确定利用多元回归分析法对神经网络的输入参数进行处理， 删除相关性强的输入参数， 来减少输入节点数。( 4)算法优化由于BP算法采用的是剃度下降法，因而易陷于局部最小并且训练时间较长。用 基于生物免疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法IGA 取代传统BP算法来克服此缺点。3.优化BP神经网

19、络在系统安全评价中的应用 系统安全评价包括系统固有危险性评价、系统安全管理现状评价和系统现 实危险性评价三方面内容。 其中固有危险性评价指标有物质火灾爆炸危险性、 工 艺危险性、设备装置危险性、环境危险性以及人的不可靠性。3.1基于优化BP神经网络的系统安全评价模型图-2基于优化BP神经网络的系统安全评价模型3.2 BP 神经网络在系统安全评价中的应用实现(1) 确定网络的拓扑结构，包括中间隐层的层数，输入层、输出层和隐层的节 点数。( 2)确定被评价系统的指标体系包括特征参数和状态参数 运用神经网络进行安全评价时， 首先必须确定评价系统的内部构成和外部环 境，确定能够正确反映被评价对象安全状态的主要特征参数 (输入节点数， 各节 点实际含义及其表达形式等) ，以及这些参数下系统的状态(输出节点数，各节 点实际含义及