BP神经网络与广义RBF神经网络在产品寿命分布模型识别中的应用研究

BP神经网络与广义RBF神经网络 在产品寿命分布模型识别中的应用研究 吴月明王益群李 莉 燕山大学,秦皇岛,066004 摘要:通过分析BP神经网络和广义径向基神经网络(RBF神经网络)的基本结构和算法, 建立了应用于机械产品的寿命分布类型智能识别的BP神经网络和RBF神经网络模型,通过 仿真实验对比分析了BP神经网络和RBF神经网络识别效能。结果表明,RBF神经网络参数 调整简单、 训练时间短,且逼近能力与BP神经网络相当,但是推广能力较差;BP神经网络收 敛缓慢、 训练时间长,但推广能力较强,更适合分布参数变化范围大的寿命分布模型的识别。 关键词:BP神经网络;径向基神经网络;可靠性;寿命分布模型 中图分类号: TP18 文章编号:1004132X(2006)20214005 Application Study on BP Network and Generalized RBF Network in Estimating Distribution Model of Mechanical Products Wu YuemingWang YiqunLi Li Yanshan University , Qinhuangdao , Hebei , 066004 Abstract :A method of estimating distribution model based on BP network and generalized RBF network was proposed , and a simulation example was presented. The results obtained from the simu2 lation indicate that the function approximation capability of BP network and generalized RBF network is almost equal. RBF network has a simple way to train the weights , so its convergence is prior to that of BP network. In the other hand , BP network needs smaller space occupation and its generalization a2 bility is better than that of RBF network when solving the same problem. Key words:BP network ;RBF network ;reliability ;life distribution 收稿日期:20060105 基金项目:国家自然科学基金资助项目(60474044) ;河北省自然 科学基金资助项目(E2004000221) 0 引言 在机械产品的可靠性研究中,用寿命分布来 描述产品可靠性是一种主要的数学方法。掌握产 品寿命分布规律,有利于改善和提高产品可靠性 和科学、 经济地制订产品维修策略。图分析法是 产品寿命分布类型识别的主要方法,利用该分析 法时,人的主观因素对分析结果影响严重,操作繁 琐。本文利用人工神经网络智能识别功能来识别 产品的寿命分布,克服了图分析法的不足。 常用的寿命分布类型主要有指数分布、 正态 分布、 对数正态分布和威布尔分布四种。其中指 数分布模型最简单、 最容易识别。因此,本文只针 对后三种分布形式建立基于反向传播(back propa2 gate ,BP)神经网络和径向基函数(radical basis function ,RBF)神经网络的智能识别模型,并通过仿 真实例对两者的识别效能进行对比和评价。 1 ANN基础理论分析与建模 1. 1 BP神经网络和RBF神经网络基础理论的 对比分析 BP神经网络和RBF神经网络均属于多层前 馈神经网络,只是BP神经网络权值的调整采用反 向传播学习算法,而RBF神经网络来源于多变量 插值的径向基函数方法。图1和图2分别是典型 的单隐层BP神经网络和两层的RBF神经网络。 图1BP神经网络结构示意图 图2RBF神经网络结构示意图 图1中, P为R维输入向量,WI为输入层和隐 层的权值矩阵,WL为隐层和输出层的权值矩阵, b1和b2分别为隐层和输出层的阈值矢量, n1和n2 分别为隐层和输出层的净输入, a1和a2分别为隐 0412 中国机械工程第17卷第20期2006年10月下半月 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 层和输出层的输出, y为网络的目标响应,隐层的 激活函数为tansig函数,输出层的激活函数为 purelin函数,“+” 表示加权和,隐层和输出层的 输入、 输出关系分别为 a1= tansig ( n1) = tansig (WIP + b1)(1) a2= purelin( n2) = purelin(WLa1+ b2)(2) 图2中,dist表示求输入矢量P和权值矢 量WIi(权值矩阵WI的分量)的距离,一般为欧几 里德距离,隐层的激活函数为钟形高斯函数,输出 层的激活函数为purelin线性函数。RBF神经网 络隐层和输出层的输入、 输出关系分别为 a1= radbas( n1) = radbas(WIi-Pb1i)(3) a2= purelin(WLa1+ b2)(4) 比较式(1)和式(3 ) , 可以看出RBF隐层的净 输入为输入矢量P和权值矢量WIi之间的距离乘 以阈值b1i,这与BP神经网络的加权和净输入是 完全不同的。 BP神经网络和RBF神经网络的相异之处除 了两者隐层激活函数的不同外,还有它们的学习 参数不同。BP神经网络采用的是广义的W - H学 习规则,它按照式(5)和式(6)来修改各层神经元 的权值: W(k +1) = W(k) - 5Ek 5W(k) (5) b(k +1) = b(k) - 5Ek 5 b(k) (6) 式中,W(k +1)、W(k)为k +1、k时刻的权值; b(k +1)、 b(k) 为k +1、k时刻的阈值; Ek为误差函数;为学习 速率。 直至达到期望目标。 但在基于标准BP算法的改进 BP算法中,式(5)和式(6)的表达式稍有不同 1 。 RBF神经网络的学习过程实质上是对以下 两组网络参数的学习:隐层节点中心、RBF的 宽度以及隐层节点数;隐层到输出层的连接权 值。 其中,隐层节点中心的选取方法很多,最常用 的有随机选取中心法、 自组织选取中心法和有监 督选取中心法,径向基函数的宽度和隐层节点数 一般由先验知识决定 2 。 隐层到输出层的连接权 值通常采用有监督的方法训练。 由上述分析可见,BP神经网络各层参数的调 整均为有监督学习,而RBF神经网络的第一层的 参数调整为自组织学习,第二层的参数调整为有监 督学习。 因此,RBF神经网络的学习过程较BP神经 网络要快捷得多。 1.2 BP神经网络和RBF神经网络建模 尽管神经网络的研究工作已经取得了很大的 成就,但是至今还没有一个通用的理论来指导网 络的设计。 在实际操作中,一般的做法是通过对不 同神经元数进行训练对比,然后本着尽可能地减 小系统规模,尽可能地缩短系统的学习时间和降 低系统的复杂性的原则,最终确定一个恰当的网 络模型3。 针对可靠性分布模式自动识别的神经网络的 设计和组织问题,可以从以下几个方面考虑:神经 网络样本数据的准备、 网络结构及传递函数的选 择、 网络的训练方式和网络性能测试。 训练样本数据的科学选择和合理表示是网络 设计与训练的基础。 因此,构建可靠性分布模式自 动识别模型首先需要根据概率分布的统计特征确 定分布模式的训练样本。 概率分布的统计特征包 括样本均值、 方差、 偏度、 峰度、 分位数和累计概率 等,但具体选择哪些特征作为分布模式的训练样 本,需根据识别模式的复杂程度而灵活选择。 网络的结构设计一般应从网络的层数、 每层 中的神经元个数、 初始值以及学习规则等方面来 进行考虑。 理论上早已证明,具有无限隐层节点, 且节点传输函数绝对可积的三层前馈网络,可以 实现任何非线性映射。 但是,为了避免过多的隐层 和隐层单元数导致网络陷入过度训练,所以,BP 神经网络的隐层数一般不超过3。RBF神经网络 只有一个隐含层,隐层单元数受网络预设的精度、 核函数的宽度等多种因素影响。 两种网络模型的 输入和输出层的单元数分别由输入样本的维数和 待识别的样本类型数确定。 对于一个给定的训练集,反向传播学习有两 种方式,即串行方式和集中方式。 但因为串行方式 的随机性质使要得到的算法收敛的理论条件变得 困难,而训练集中方式的使用可为梯度向量提供 一个精确的估计,所以采用集中方式较易收敛到 局部最小 4 。 网络性能的测试是网络设计必不可少的环 节。 一个规模和性能俱佳的神经网络模型往往不 是一次设计的结果,而是需要经过多次的网络性 能测试和相应的网络可调参数的修改,直至所建 立的模型的识别性能达到一定的精度要求。 2 实验仿真 2.1 仿真问题描述及建模 用MATLAB随机数发生器产生基于不同分 布参数的三种分布类型的28组随机数序列作为 初始样本数据,其中服从正态分布的10组,服从 威布尔分布的10组,服从对数正态分布的8组 5 。 然后,在众多的概率分布的统计特征中选取样本 1412 BP神经网络与广义RBF神经网络在产品寿命分布模型识别中的应用研究 吴月明王益群李 莉 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 偏度和10个分位数来构造自动识别模型的训练 样本集,并且为了减少样本统计特征绝对值对网 络逼近准确度的影响,对各子样的10个分位数值 进行了归一化处理。 部分学习样本数据见表1。 表 1中,N表示正态分布;L表示对数正态分布;W表 示两参数威布尔分布,它的分布密度定义式为 f (t) = abt b-1e- atb (t 0, a 0,b 0) 7 ,b为形状 参数, a与尺度参数的关系为a =1/ b。 表1可靠性分布模式自动识别学习样本 分布偏度 分位数 0.050.450.550.650.750.850.95 N(1.0,0.2)-0.01940.21300.25280.27310.28870.30440.31660.33200.35080.37430.4080 N(1.0,1.2)0.0359-0.2326-0.05120.04010.11550.17770.23460.29730.36440.46610.6351 N(1.0,3.5)-0.0846-0.4110-0.2200-0.1012-0.01280.07140.15710.22560.31660.43580.6336 L (1. 0 ,0.3)0. 7736 0. 17330.20990.23150. 25620. 27970. 30470. 32870. 36070. 40510. 4831 L (1. 0 ,1.1)6. 2906 0. 02030.03650.05470. 07820. 10240. 14140. 18850. 26220. 43950. 8131 W(1. 2 ,1. 0)1. 6291 0. 01970.06030.09320. 13210. 16820. 21600. 26930. 33770. 43590. 7199 W(2. 2 ,1. 0)0. 4840 0. 08680.14780.18760. 22510. 26230. 29440. 33030. 37650. 43180. 5403 W(3. 5 ,1. 0)- 0. 0144 0. 13830.19540.23100. 26350. 29290. 31980. 34310. 37170. 40680. 4588 将要建构的BP神经网络和RBF神经网络的 任务就是要通过学习给定的训练样本使其具有自 动识别正态分布、 威布尔分布和对数正态分布这 三种分布形式的能力。 当输入样本和输出响应确定以后,网络的输 入层和输出层的单元数也就随之确定了。 经过试 验,确定基于本仿真问题的BP神经网络和RBF 神经网络模型的结构分别为11-4-3和11-25 -3。 根据学习样本和待识别类型可以确定网络的 目标响应为 y = 110000 001100 000011 (7) 10108 2.2 仿真过程的实现 本文采用MATLAB的神经网络工具箱进行 仿真,此软件功能强大,适用于各专业领域的研究 人员。 具体的仿真步骤如下: (1)确定学习样本和目标样本。 (2)建立BP神经网络和RBF神经网络模型, 包括设定各可调参数。 可利用文献6中的 new f f函数建立三层BP神经网络,利用new rb函 数建立广义径向基网络,且两者的误差精度均设 定为01008。 (3)训练网络直到其达到预定误差精度。 本 仿真实验均采用批处理方式,训练函数均采用 train函数。 实验结果显示:训练BP神经网络达到 预定误差精度需要2147步,耗时将近2min;而 RBF神经网络只需要不到40min就可在24步时 达到预定精度。 (4)针对表2所示的训练样本和非训练样本 数据组(表2中,各分布函数参数的取值范围同表 1 ) , 分别采用sim函数进行仿真,检测各网络模型 的逼近能力和推广能力。 值得注意的是,测试样本 均需经过与学习样本同样的特征提取过程。 表2测试样本数据分布模型列表 序号数据分布类型分布函数参数 15正态分布 (2.0,0.6) ; (4.0,5.0) ; (6.0,18.0 ) ; (8.0,40.0) ; (10.0,70.0 ) ; 610威布尔分布 (1.4,2.0) ; (1.7,4.0) ; (2.3,6.0 ) ; (3.8,8.0) ; (4.8,10.0 ) ; 1114对数正态分布 (2.0,0.2) ; (4.0,0.6) ; (6.0,1.0 ) ; (8.0,1.2) 2.3 仿真结果对比、 分析 本仿真实验的网络输出节点数与待分类的模 式样本类别数相等,且网络经训练后均达到预定 的精度要求,网络处于测试状态。 下面首先给出针 对训练样本的BP神经网络和广义RBF神经网络 的仿真结果,目的在于比较两者对于同一问题的 逼近能力;然后给出针对非训练样本分别通过两 种网络的仿真结果,旨在比较两者的推广能力。 最 后,本文通过判决曲线、 对比曲线、 判决置信方差、 对比置信方差、 识别率及平均识别率 7 等概念来 分别描述两种网络模型的识别性能。 这几个识别 统计量是神经网络模式识别中用来测试网络识别 性能的基本度量,具有一般性。 2.3.1 训练样本的仿真及其对比 图3和图4是训练样本分别通过BP神经网 络和RBF神经网络仿真后的识别结果。 其中曲线 1是判决曲线,理想的判决曲线轨迹为纵轴为1的 直线;曲线2是对比曲线,它的理想形状是纵轴为 0的直线。 如果某测试样本被正确识别,则其对应 的曲线1的输出大于曲线2的输出,反之,则曲线 1的输出小于曲线2的输出,并且同一横坐标的两 点的垂直距离越大表明此样本对应的模式的识别 结果置信度越高。 2412 中国机械工程第17卷第20期2006年10月下半月 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 图3训练样本的BP神经网络仿真 图4训练样本的RBF神经网络仿真 对比图3和图4,可以明显看出,图4中的判 决曲线比图3中的判决曲线更逼近于纵坐标为1 的直线,而且图4的对比曲线也比图3的更逼近 于纵坐标为0的直线,即对于同一问题,RBF神经 网络比BP神经网络有更好的逼近能力。 2.3.2 测试样本的仿真及对比 图5和图6分别是表2所列分布模式通过BP 神经网络和RBF神经网络后的仿真结果。 各图线 的意义同图3和图4。 由图5和图6可看出,图5中 判决曲线除第一点外,别的点集中在纵坐标为1 的直线附近,而图6的判决曲线起伏较大。 从对比 曲线看,图6的对比曲线亦波动较大,有3个点的 纵坐标都超过了015,而图5中的对比曲线波动仅 限于 012之间。 可见,BP神经网络对于概率分布 模式的识别具有较强的推广能力。 图5 非训练样本的BP神经网络仿真 2.3.3 网络模型识别性能指标统计量的对比 表3和表4分别列出了BP神经网络和RBF 神经网络基于非训练样本仿真数据的判决置信方 差1、 对比置信方差 2、 识别率P和平均识别率 ?P 共4种识别统计量的计算结果。 比较表3和表4可 图6 非训练样本的RBF神经网络仿真 以看出,表3中列出的判决置信方差和对比置信 方差较小,即BP神经网络对非训练样本的识别和 判决结果的置信度高;表3中的识别率和平均识 别率也高于表4,表明BP神经网络对于非训练样 本的推广性较好。 此结论与前面图5和图6所示 的结果是一致的。 表3BP神经网络仿真结果统计量表 分布类型12 P( %)?P( %) 正态分布0.18370.176480 威布尔分布0.01020.0094100 对数正态分布0.00760.0223100 92.86 表4 RBF神经网络仿真结果统计量表 分布类型12 P( %)?P( %) 正态分布0.20580.077280 威布尔分布0.05160.048080 对数正态分布0.24250.316975 78.57 3结论 可靠性分布模型的识别方法很多,本文研究 了基于BP神经网络和广义RBF神经网络的自 动识别方法,具有操作简单,智能识别的优点,通 过仿真实验对两种网络模型的分类能力、 推广能 力以及训练的难以程度进行了对比、 分析。结果 表明RBF神经网络训练速度快,逼近能力好,但 推广能力逊于BP神经网络。此研究结果为可靠 性分布模式的智能识别提供了理论依据。 参考文献: 1 周开利,康耀虹.神经网络模型及其MATLAB仿真 程序设计M.北京:清华大学出版社,2005. 2 韩力群.人工神经网络理论、 设计及应用M.北京: 化学工业出版社,2003. 3 Hagan M T ,Demuth H B ,Beale M. Neural Net2 work DesignM. New York:PWS Publishing Com2 pany ,2002. 4 谢庆生,尹健,罗延科.机械工程中的神经网络方法 M.北京:机械工业出版社,2003. 3412 BP神经网络与广义RBF神经网络在产品寿命分布模型识别中的应用研究 吴月明王益群李 莉 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. 5 李涛,贺勇军. Matlab工具箱应用指南 应用数 学篇M.北京:电子工业出版社,2000. 6 周开利,康耀虹.神经网路模型及其MATLAB仿真 程序设计M.北京:清华大学出版社,2005. 7 黄德双.神经网络模式识别系统理论M.电子工业 出版社,1996. (编辑 马尧发) 作者简介:吴月明,男,1959年生。燕山大学机械工程学院博士 后研究人员。研究方向为可修复系统可靠性。发表论文7篇。 王益群,男,1938年生。燕山大学机械工程学院教授、 博士研究 生导师。李 莉,女,1980年生。燕山大学机械工程学院硕士研 究生。 共享工作空间下的协作模型研究 黄国言 孙惠学 燕山大学,秦皇岛,066004 摘要:在分析多协作任务运行机制的基础上,提出一种基于共享工作空间的多任务、 多角 色协作模型,并对协作活动、 协作成员、 共享对象以及群体协作关系给出有效的描述,从而解决 了协作空间下组织机构管理层次上的协同问题。所提模型已在协同设计系统CoopCAD中得 到运用,具有一定的通用性,可以较好地满足协作应用系统的要求。 关键词:计算机支持的协同工作;多角色;多任务;协同设计 中图分类号: TP391 ; TP393 文章编号:1004132X(2006)20214404 Research on Cooperative Model Based on the Work Room Huang Guoyan Sun Huixue Yanshan University ,Qinhuangdao ,Hebei , 066004 Abstract :A cooperative model of multiplex tasks and roles for place - based CSCW application was introduced , and Activity ,Participant ,Shared Object and cooperative relation were described effec2 tively. So cooperative problem of management is settled. The model is implemented in a cooperative design system CoopCAD. Different cooperative systems ca