机械故障诊断学钟秉林神经网络诊断原理

机械故障诊断学钟秉林神经网络诊断原理第1页/共123页一、概述人工神经网络（ArtificialNeuralNetworks，简称ANN）,是近年来得到迅速发展的一个前沿课题。ANN是在现代神经生理学和心理学的研究基础上，模仿人的大脑神经元结构特性而建立的一种非线性动力学网络系统，它由大量的简单的非线性处理单元（类似人脑的神经元）高度并联、互联而成，具有对人脑某些基本特性简单的数学模拟能力。

2023/4/142神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。如汽车自驾系统、图像处理（人脸识别）、文字识别（手写识别）、语音识别、故障诊断等。第2页/共123页

与传统计算机的比较传统计算机神经网络设计算法和/或求解规则，编制软件

无需算法或求解规则，软件编制任务相对简单

指令串行执行

高度并行处理

不能解决形象思维问题，如感知、视觉等

易于实现感知和视觉等形象思维问题

脆弱鲁棒性(Robust)、容错性强，

自适应能力差

自适应性强

强有力的数字和逻辑运算能力，计算精度高

可以处理模糊的、概率的、含噪的或不相容的信息

2023/4/143第3页/共123页一、概述

目前，已经提出的神经网络模型大约有几十种，较为著名的有：贺浦费特模型----Hopfield多层感知器（MultiLayerPerceptron,MLP）模型----Rumelhart自适应共振理论（AdaptiveResonanceTheory,ART）

----Grossberg和Carpentent玻尔兹曼（Boltzmann）机----Hinton自组织特征映射（Self-RrganizingMap,SOM）模型---Kohonen双向联想记忆模型----Kosko2023/4/144第4页/共123页一、概述人工神经网络在故障诊断领域的应用主要集中在如下三个方面：一是从模式识别角度应用神经网络作为分类器进行故障诊断；二是从预测角度应用神经网络作为动态预测模型进行故障预测；三是从知识处理角度建立基于神经网络的诊断专家系统。2023/4/145本章首先介绍神经网络的基本原理，然后着重从第一方面出发介绍几类在故障诊断领域应用较为广泛的神经网络模型。第5页/共123页人工神经网络发展简史最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。一、概述2023/4/146第6页/共123页1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。

一、概述2023/4/147第7页/共123页1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。1986年，Rumelhart和Meclelland提出多层网络的误差反传(BackPropagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。一、概述自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。

2023/4/148第8页/共123页二、人工神经网络的拓扑结构及其学习规则1.生物神经元与人工神经元模型

生物神经元(NU)神经元是大脑处理信息的基本单元;人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络;神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干;主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。2023/4/149第9页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1410细胞体对这些输入信号进行整合并进行阈值处理；树突是树状的神经纤维接收网络，它将电信号传送到细胞体；轴突是单根长纤维，它把细胞体的输出信号导向其他神经元；一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触

[兴奋型、抑制型，膜外为正、膜内为负]神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。

第10页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1411生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。第11页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1412

突触的信息处理生物神经元传递信息的过程为多输入、单输出；神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。第12页/共123页

生物神经元的主要功能与特点

时空整合能力：对不同时间通过同一突触传入的神经冲动（激励），具有时间整合功能；对同一时间通过不同突触传入的神经冲动，具有空间整合功能。

兴奋与抑制状态：传入神经冲动的时空整合结果，使神经元膜电位升高，超过神经元动作电位的阀值(约40mV)时，神经元进入兴奋状态；传入神经冲动的是时空整合结果，使神经元膜电位低于电位阀值之下，神经元进入抑制状态。

脉冲与电位转换

突触延时和不应期：一般为0.3～lms

学习、遗忘和疲劳：存在学习、遗忘或疲劳（饱和）效应二、人工神经网络的拓扑结构及其学习规则2023/4/1413可塑性：突触传递信息的强度是可变的，即具有学习功能第13页/共123页

人工神经元二、人工神经网络的拓扑结构及其学习规则2023/4/1414

1943，神经生理学家McCulloch和数学家Pitts基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络，即所谓的McCulloch-Pitts模型，MP模型

。MP模型是世界上第一个神经计算模型，即人工神经系统。第14页/共123页令：X=(-1,x1,x2,…,xn)T

Wj=(j,wj1,wj2,wjn)T二、人工神经网络的拓扑结构及其学习规则2023/4/1415典型人工神经元结构：

作用函数：

求和操作：

图中∑表示求和，θj为阀值{x1,x2,…，xn}为输入，即其他神经元的轴突输出；n为输入数目；{ωj1，ωj2，…，ωjn}为其他n个神经元与神经元j的突触连接强度，通常称为权重，{ωji}可正可负，表示为兴奋型突触和抑制型突；f(.)通常为一非线性函数，称为神经的激活函数或转移函数；sj为神经元的求和输出，常称为神经元的激活水平，yj为输出。第15页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1416MP模型

f(x)是作用函数(ActivationFunction)，也称激发函数。MP神经元模型中的作用函数为单位阶跃函数：其表达式为：可知当神经元i的输入信号加权和超过阈值时，输出为“1”，即“兴奋”状态；反之输出为“0”，是“抑制”状态。第16页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1417例1

实现逻辑函数“与门”（ANDgate）运算。1—真，0—假第17页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1418第18页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1419常见的神经元激发函数MP神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。激发函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出

第19页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1420I对称型Sigmoid函数

或第20页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1421II非对称型Sigmoid函数或第21页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1422III对称型阶跃函数采用阶跃作用函数的神经元，称为阈值逻辑单元。第22页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1423IV线性函数

（1）线性作用函数：输出等于输入，即（2）饱和线性作用函数（3）对称饱和线性作用函数

第23页/共123页二、人工神经网络的拓扑结构及其学习规则2023/4/1424V高斯函数

反映出高斯函数的宽度第24页/共123页0xf(x)0xf(x)10xf(x)1-1二、人工神经网络的拓扑结构及其学习规则2023/4/1425第25页/共123页高斯函数型

双曲正切型

Sigmoid型

斜坡型

0xf(x)1-1-aa0.51f(x)0x1f(x)0x-1-50500.10.20.30.40.50.60.70.80.911x0cf(x)二、人工神经网络的拓扑结构及其学习规则2023/4/1426第26页/共123页2.人工神经网络的拓扑结构二、人工神经网络的拓扑结构及其学习规则2023/4/1427众所周知，神经网络强大的计算功能是通过神经元的互连而达到的。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有BP网络、Hopfield网络、CMAC小脑模型、ART自适应共振理论和Blotzman机网络等第27页/共123页

不含反馈的前向网络

2.人工神经网络的拓扑结构二、人工神经网络的拓扑结构及其学习规则2023/4/1428神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。感知器(Perceptron)、BP神经网络和径向基函数(RBF-RedialBasisFunction)神经网络都属于这种类型。

第28页/共123页

反馈网络全互连网络二、人工神经网络的拓扑结构及其学习规则2023/4/1429在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是单向的。Hopfield网络、Boltzman机网络属于这一类。

在无反馈的前向网络中，信号一旦通过某个神经元，过程就结束了。而在互连网络中，信号要在神经元之间反复往返传递，神经网络处在一种不断改变状态的动态之中。从某个初始状态开始，经过若干次的变化，才会到达某种平衡状态，根据神经网络的结构和神经元的特性，还有可能进入周期振荡或其它如浑沌等平衡状态。第29页/共123页状态反馈网络二、人工神经网络的拓扑结构及其学习规则2023/4/1430在前向神经网络中有的在同一层中的各神经元相互有连接,通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。(层内有互联的前向神经网络

)状态反馈网络第30页/共123页输出反馈网络

二、人工神经网络的拓扑结构及其学习规则2023/4/1431输出反馈网络

在层次网络结构中，只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种模式可用来存储某种模式序列，如神经认知机即属于此类，也可以用于动态时间序列过程的神经网络建模。(有反馈的前向神经网络)第31页/共123页3.人工神经网络的学习方式、规则及分类二、人工神经网络的拓扑结构及其学习规则2023/4/1432

神经网络的学习规则相关规则——Hebb学习规则（无指导学习）纠错规则——Delta(δ)学习规则（有指导学习）竞争学习规则（无指导学习）随机学习规则（有指导学习）强化学些规则（增强学习）神经网络的学习方式有监督（误差校正）学习方式无监督学习方式第32页/共123页3.人工神经网络的学习方式、规则及分类二、人工神经网络的拓扑结构及其学习规则2023/4/1433人工神经网络连接权值的确定通常有两种方法根据具体要求，直接计算，如Hopfield网络作优化计算；通过学习得到的。大多数人工神经网络都采用这种方法。学习是改变各神经元连接权值的有效方法，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力。学习方法是人工神经网络研究中的核心问题第33页/共123页3.人工神经网络的学习方式、规则及分类二、人工神经网络的拓扑结构及其学习规则2023/4/1434有监督学习方式特点：不能保证得到全局最优解；要求大量训练样本，收敛速度慢；对样本地表示次序变化比较敏感；

神经网络根据实际输出与期望输出的偏差，按照一定的准则调整各神经元连接的权系数，见下图。期望输出又称为导师信号，是评价学习的标准，故这种学习方式又称为有导师学习。神经网络的学习方式第34页/共123页3.人工神经网络的学习方式、规则及分类二、人工神经网络的拓扑结构及其学习规则2023/4/1435无监督学习方式神经网络的学习方式

无导师信号提供给网络，神经网络仅仅根据其输入调整连接权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类操作。

第35页/共123页

ANN的学习规则

相关规则仅依赖于连接间的激活水平改变权重，常用于自联想网络，执行特殊记忆状态的死记式学习。如Hebb规则3.人工神经网络的学习规则及分类二、人工神经网络的拓扑结构及其学习规则2023/4/1436第36页/共123页

纠错规则

依赖输出节点的外部反馈修正权重，等效于梯度下降法。如感知器学习规则：如果一节点的输出正确，权重不变；如果输出本应为零而为1，减小权重；如果本应为1而为0，增加权重；规则(最小均方LMS算法、Widrow-Haff算法)：

二、人工神经网络的拓扑结构及其学习规则2023/4/1437第37页/共123页广义规则(BP学习规则)：

竞争学习规则

类似于聚类分析算法，学习表现为自适应于输入空间的事件分布，如矢量量化(LearningVectorQuantization,简称

LVQ)算法、SOM算法、以及ART训练算法都利用了竞争学习规则。

二、人工神经网络的拓扑结构及其学习规则2023/4/1438第38页/共123页

随机学习规则

利用随机过程、概率统计和能量函数的关系来调节连接权。如模拟退火（Simulated

Annealing）算法。此外,基于生物进化规则的基因遗传（GeneticAlgorithmGA）算法在某种程度上也可视为一类随机学习算法。二、人工神经网络的拓扑结构及其学习规则2023/4/1439第39页/共123页

强化学习规则

通过网络输出的正误修正权重，又称有评判的学习，强化信号仅仅说明输出正确与否。包括非联想的增强学习、联想增强、自适应评判学习等。

二、人工神经网络的拓扑结构及其学习规则2023/4/1440第40页/共123页三类学习规则：

有指导学习

不仅需要学习用的输入事例（也称训练样本，通常为一矢量），同时还要求与之对应的表示所需期望输出的目标矢量。学习时，根据网络实际输出与目标输出间的误差改变权重。如纠错规则、随机学习规则。

二、人工神经网络的拓扑结构及其学习规则2023/4/1441第41页/共123页

无指导学习

不需要目标矢量，网络通过自身的“经历”来学会某种功能，学习在于调整权重以反映学习样本的分布。整个训练过程实质是抽取训练样本集的统计特性。如竞争学习规则。

增强学习不需要目标矢量，但要求提供外部的增强信号。

二、人工神经网络的拓扑结构及其学习规则2023/4/1442第42页/共123页

ANN的分类

按性能

连续型或离散型网络

确定性或随机性网络按结构

前向或反馈网络按学习方式

有指导（教师）、无指导或强化学习网络二、人工神经网络的拓扑结构及其学习规则2023/4/1443第43页/共123页1.感知器（Perceptron）

其中：X=(x0,x1,x2,…,xN)T，x0=-1Wk=(wk0,wk1,…,wkN)Twk0=k,为神经元k的阈值

三、多层前向神经网络模型及BP算法2023/4/1444第44页/共123页令Y=(y1,y2,…,yM)T，F()=(f1(),f2(),…,fM())T

则：Y=F(WX)三、多层前向神经网络模型及BP算法2023/4/1445第45页/共123页三、多层前向神经网络模型及BP算法2023/4/1446第46页/共123页多层感知器：其中：三、多层前向神经网络模型及BP算法2023/4/1447第47页/共123页H表示第层的隐节点数。H0=N

三、多层前向神经网络模型及BP算法2023/4/1448第48页/共123页感知器特点：

网络输出仅与输入及网络权矩阵有关，输出为输入的显式表达，由输入计算得到输出;

多层网络所有神经元的激活函数不能全部为线性函数，否则，多层网络等效于单层网络。

三、多层前向神经网络模型及BP算法2023/4/1449第49页/共123页感知器性能分析：单层感知器的分类特性输入矢量为两个分量(N=2)时，在几何上构成平面上的两维集，此时判决边界为直线：

wk1x1+wk2x2-k=0三、多层前向神经网络模型及BP算法2023/4/1450第50页/共123页N=3时，三维数据集，判决边界为一平面

N>3时，高维数据集，判决边界为一超平面

三、多层前向神经网络模型及BP算法2023/4/1451第51页/共123页

单层感知器表示能力三、多层前向神经网络模型及BP算法2023/4/1452第52页/共123页矛盾三、多层前向神经网络模型及BP算法2023/4/1453第53页/共123页单层感知器的单一超平面判决边界决定了其只适用于线性可分问题。

高维时，线性可分性通常无法判别，因此，单层感知器通常用于简单的分类问题。

三、多层前向神经网络模型及BP算法2023/4/1454第54页/共123页

多层感知器的分类特性三、多层前向神经网络模型及BP算法2023/4/1455第55页/共123页三、多层前向神经网络模型及BP算法2023/4/1456第56页/共123页三、多层前向神经网络模型及BP算法2023/4/1457

上表给出了利用硬限幅非线性函数(阶跃函数、符号函数)的一层、二层及三层网络的类区分功能，阴影部分表示类A的判定区。从表中可以看出：(1)无隐层网络仅能形成半平面决策区域；(2)单隐层网络可以形成开或闭的凸决策区域；(3)两个隐层的网络形成任意复杂形状的决策区域。因此，一般在应用中，网络不需要超过两个隐层。第57页/共123页感知器学习算法：

Hebb规则算法

适用于符号单元：

适用于符号或阈值单元：

（0，1）称为学习系数（率），用于控制权重修正速度。

三、多层前向神经网络模型及BP算法2023/4/1458第58页/共123页Hebb规则算法步骤：三、多层前向神经网络模型及BP算法2023/4/1459第59页/共123页三、多层前向神经网络模型及BP算法2023/4/1460第60页/共123页三、多层前向神经网络模型及BP算法2023/4/1461第61页/共123页Hebb规则de缺陷：

本质上不可能对隐层单元权重进行调节，因为隐单元的期望输出未知，因而不能应用于多层网络的学习；对非线性可分问题，算法不收敛。

三、多层前向神经网络模型及BP算法2023/4/1462第62页/共123页

规则算法

考虑线性激活函数情形。定义输出误差测度函数（目标函数、耗费函数）为学习的目的是通过调节权重W使得上述误差函数越小越好。

三、多层前向神经网络模型及BP算法2023/4/1463第63页/共123页根据梯度算法，权重W的修正量W正比于当前W上E的梯度：即：

其中k为输出节点k的误差。显然，上式与基于Hebb规则得到的权重修正公式相同。但是两者的原理是不同的，前者基于误差梯度，要求激活函数可微，能够应用于多层感知器情形。三、多层前向神经网络模型及BP算法2023/4/1464第64页/共123页上面权重修正公式也可表示为矩阵形式：非线性激活函数时：此时，三、多层前向神经网络模型及BP算法2023/4/1465线性激活函数第65页/共123页写成矩阵形式有：一般的连续可微激活函数有Sigmoid函数和双曲正切函数，即：三、多层前向神经网络模型及BP算法2023/4/1466第66页/共123页梯度算法(规则算法)的步骤与前面Hebb训练算法步骤类似，仅仅是误差表达式不同。算法特点：要求神经元激活函数可微，易于推广到非线性激活单元算法过程原理上永不停止,并逐渐接近最优解，即k不等于0。当误差函数存在多个局部极小点时，一般而言，梯度算法得不到全局最小解。

三、多层前向神经网络模型及BP算法2023/4/1467第67页/共123页2.BP网络模型(BackPropagation)

三、多层前向神经网络模型及BP算法2023/4/1468第68页/共123页一个具有任意的压缩(Squashing)型激活函数（如Sigmoid函数、双曲正切函数等）的单隐层前向网络，只要有充分多的隐层单元，就能够以任意的精度逼近任意一个有限维的波莱尔可测函数(Borelmeasurablefunction)，从而表明BP网络是一个通用的函数逼近器。

三、多层前向神经网络模型及BP算法2023/4/1469第69页/共123页考虑单样本学习的BP算法，定义网络的目标函数为：对单隐层网络，3.BP算法(误差反向传播:BackPropagation)三、多层前向神经网络模型及BP算法2023/4/1470第70页/共123页对于隐层至输出层权重W2：对于输入层至隐层权重W1：三、多层前向神经网络模型及BP算法2023/4/1471第71页/共123页三、多层前向神经网络模型及BP算法2023/4/1472第72页/共123页一般，对于多于一个隐层的BP网络，最后一隐层与输出层之间的权重修正公式仍与上面第一个公式相同，其它层间权重修正公式可统一表示为：上式中：三、多层前向神经网络模型及BP算法2023/4/1473第73页/共123页BP算法特点

将神经网络学习输入输出的映射问题转变为

非线性优化问题，使用最优化中的梯度下降算法，用迭代运算修正网络权重，实现网络输出与期望输出间的均方误差最小化。

算法由前向计算过程和误差反向传播过程组成。在前向计算过程中，每一层神经元的状态只影响下一层神经元的状态。若输出层得不到期望的输出，则转向反向传播，将误差信号延原来的连接通路返回，通过修改各层的权重，使得误差信号最小。三、多层前向神经网络模型及BP算法2023/4/1474第74页/共123页

权重修正量只与该权重联接的两个相关量（前一节点的输出；后一节点的误差）有关，使得BP算法易于并行实现。三、多层前向神经网络模型及BP算法2023/4/1475第75页/共123页BP网络的应用中的几个实际问题

样本集的产生包括原始数据的收集、数据分析、变量选择以及数据的预处理等。

确定模式变量（特征）

通过对原始数据的统计分析，检验输入间的相关性。对于具有很强相关性的输入仅取其中之一即可。

三、多层前向神经网络模型及BP算法2023/4/1476第76页/共123页

输入尺度变换（归一化）和预处理

尺度变换常常将输入变换到[-1，1]或[0，1]的范围。一方面，避免由于输入变量数值相差过大，导致训练的困难。另一方面，避Sigmoid函数陷入饱和。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。对数据的预处理包括检验其是否存在周期性、固定变化趋势或其它关系等。三、多层前向神经网络模型及BP算法2023/4/1477第77页/共123页

样本数量一般说来数据越多，学习和训练的结果越能正确反映输入输出关系。但太多的数据将增加收集、分析数据以及网络训练所付出的代价，而太少的数据则可能得不到正确的结果。事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。三、多层前向神经网络模型及BP算法2023/4/1478第78页/共123页影响数据多少的另一个因素是输入模式和输出结果的分布，对数据预先加以分类可以减少所需的数据数。相反，数据稀薄不均甚至互相覆盖则势必要增加数据量。

测试样本测试数据应是独立的数据集合。最简单的方法是：将收集到的可用数据随机地分成两部分，如其中三分之二用于网络的训练，另外三分之一用于将来的测试，随机选取的目的是为了尽量减小这两部分数据的相关性。

三、多层前向神经网络模型及BP算法2023/4/1479第79页/共123页

训练样本的完备性要求训练样本必须覆盖所有可能的输入和输出的映射区域，即要求训练样本集必须是完备的，否则，当BP网络进行决策时，对没有学习过的样本区域可能会给出完全错误的结果。

三、多层前向神经网络模型及BP算法2023/4/1480第80页/共123页

作为分类器时的输出表示

每个输出节点对应一种类别；通过编码（二进制）表示不同的类别；

训练和测试

BP网络解决问题的能力与训练次数不成正比。网络训练的目的在于找出蕴含在样本数据中的输入和输出间的本质联系，从而对未经训练的输入也能给出合适的输出，即具备泛化功能。

三、多层前向神经网络模型及BP算法2023/4/1481第81页/共123页均方误差训练次数训练数据测试数据

误差曲线的典型形状如上图，从误差曲线可见，测试数据均方误差并非单调减小，测试误差最小点所对应的训练次数即为适当的训练次数，若再训练即为“过度训练”（过拟合）。

三、多层前向神经网络模型及BP算法2023/4/1482第82页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1483

1.网络的权重具有关联性、网络本身的非线性特性，使得应用者很难理解每个权重的意义，并追踪检查基决策过程。这种无解释的推理结果往往难以让用户接受，并且缺少说服力。

2.若训练样本和测试样本两者都不能充分反映实际系统的行为，网络的可靠性仍然得不到保证；

3.对于一个实际系统，尤其是一个复杂系统，由于无法判断所给定的样本是否真正反映了系统具有代表性的行为，因此，也给BP网络的实际应用带来了限制。BP网络存在的问题：0引言第83页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1484正因为BP网络存在如上所述的诸多问题，为此许多研究者寻求了各种替代方案，其中最有效的解决方案之一就是径向基函数网络(RadialBasisFunction,RBF)。RBF网络起源于数值分析中的多变量插值的径向基函数方法。RBF网络能力与性质：同BP网络一样具有任意精度的泛函逼近能力；具有传统BP网络所不具备的最佳逼近特性，即它存在一个权重集合，其逼近效果在所有可能的权重集合中是最佳的。（学者季洛立Girori和朴基奥Poggio已证明）第84页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/14851RBF网络结构特性RBF网络结构如图所示，RBF网络通常是一种两层的前向网络，由图可见，RBF网络的结构与BP网络结构十分相似，但有着本质的区别：（1）RBF网络隐单元的激活函数为具有局部接受域性质的非线性函数，即仅当隐单元的输入落在输入空间中一个很小的制定区域中时，才会做出有意义的非零响应。而不是如同BP网络的激活函数一样在输入空间的无限大区域内非零。第85页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1486（2）在RBF网络中，输入层至隐层之间的所有权重固定为1，隐层RBF单元的中心及半径通常也预先确定，仅隐层至输出层之间的权重可调。

RBF网络的隐层执行一种固定不变的非线性变换，将输入空间Rn映射到新的隐层空间Rh，输出层在该新的空间中实现线性组合。显然由于输出单元的线性特性，其参数调节极为简单，且不存在局部极小问题；（3）RBF网络的局部接受特性使得其决策时隐含了距离的概念，即只有当输入接近RBF网络的接受域时，网络才会对之做出响应。这就避免了BP网络超平面分割所带来的任意划分特性。第86页/共123页

前向网络隐单元的激活函数通常为具有局部接受域的函数，即仅当输入落在输入空间中一个很小的指定区域中时，隐单元才作出有意义的非零响应。因此，RBF网络有时也称为局部接受域网络(LocalizedReceptiveFieldNetwork)。RBF网络最常用的非线性激活函数为高斯函数四、径向基函数(RBF)网络及其学习算法2023/4/1487结构特性第87页/共123页高斯激活函数

式中，φ

j为隐层第j个单元的输出；X=(x1,x2,…,xn)T;||·||表示矢量范数（距离），通常取为欧氏范数，即：四、径向基函数(RBF)网络及其学习算法2023/4/1488cj通常称为隐层单元的中心（第j个高斯单元的中心），也可视为隐单元的权向量。j为规一化参数，用于控制接受域的大小，称为半径。

第88页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1489由上式可知：当X=

cj

时，φ

j取得最大值1；而当X远离

cj时，φ

j取值逐渐减少，直至最后趋于0。

以一维情形为例，当X落在区间[cj-3j,cj+3j]之外时，j近似为0，即其接受域为区间[cj-3j,cj+3j]。第89页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1490

如图所示，为=0.8，c=[5,5]T二维情形。第90页/共123页显然，当x=cj时，j(x)取得最大值1，当x远离cj时，j(x)逐渐减小趋近于零。其接受域的大小近似为[c-3j,c+3j]，即j决定了接受域的大小。此外，j(x)关于中心径向对称。RBF网络的局部接受特性使得其决策时隐含了距离的概念，即只有当输入接近RBF网络的接受域时，网络才会对之作出响应。这就避免了BP网络超平面分割所带来的任意划分特性。

四、径向基函数(RBF)网络及其学习算法2023/4/1491第91页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1492

常用的其他类型RBF激活函数还有：薄板样条函数：多二次函数（multiquadricfunction）：逆多二次函数（inversemultiquadricfunction）：一般认为，RBF网络所采用的非线性激活函数形式对网络性能的影响并非至关重要，而关键因素是基函数中心的选取。第92页/共123页

在RBF网络中，输入层至输出层之间的所有权重固定为1，隐层RBF单元的中心及半径通常也预先确定，仅隐层至输出层之间的权重可调。RBF网络的隐层执行一种固定不变的非线性变换，将输入空间Rn映射到一个新的隐层空间Rh，输出层在该新的空间中实现线性组合。显然由于输出单元的线性特性，其参数调节极为简单，且不存在局

部极小问题。

四、径向基函数(RBF)网络及其学习算法2023/4/1493第93页/共123页RBF网络的数学模型2.RBF网络模型四、径向基函数(RBF)网络及其学习算法2023/4/1494写成矩阵形式：式中，X=（x1,x2,…,xn）T为输入矢量；

Y=（y1,y2,…,ym）T为输出矢量；

W=（W1,W2,…,Wm)T为隐层至输出层矩阵,Wk为输出层第k个单元的权矢量；

Φ=（

φ1(X),φ2(X）,…,φn(X)）T为隐层输出矢量。第94页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1495

规一化

规一化的RBF网络

除上述RBF网络结构模型外，在实际应用中还经常采用归一化的网络结构，如图所示：归一化表达式：第95页/共123页RBF网络的性能RBF网络与BP网络一样是一类通用的函数逼近器；

尽管RBF的激活函数可以多种多样，但可以证明，当应用指数函数作非线性项时，RBF网络拥有“最佳逼近”特性，即存在一个权重集合，其逼近效果在所有可能的权集合中是最佳的。这种最佳逼近特性，传统的BP网络是不具备的。

四、径向基函数(RBF)网络及其学习算法2023/4/1496第96页/共123页

RBF网络的K—均值聚类学习算法

RBF网络依然是典型的有指导学习网络，其学习包括两个步骤：1)确定每一个RBF单元的中心cj

和半径j

；2)调节权矩阵W。四、径向基函数(RBF)网络及其学习算法2023/4/14973.RBF网络学习算法第97页/共123页问题：在多变量插值的RBF方法中，中心Cj一般定位在所有输入的矢量点，这样有多少输入数据就有多少隐RBF单元，然而，由于数据的类聚性，导致许多RBF单元中心相距很近，出现许多冗余单元，造成了“过度拟合”，减低了网络的推广能力。四、径向基函数(RBF)网络及其学习算法2023/4/1498

中心cj的确定方法：目前通常先采用聚类分析技术，对输入数据进行预处理，找出有代表性的数据点（不一定位于原始数据点）作为RBF单元的中心，从而减少隐RBF单元的数目，减低网络的复杂性。第98页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/1499RBF网络学习常用的聚类分析技术是K-均值算法，其具体过程可描述为：第99页/共123页四、径向基函数(RBF)网络及其学习算法2023/4/14100第100页/共123页

半径j的确定半径j

决定了RBF单元接受域的大小，对网络的精度有极大的影响。半径选择的基本原则：使得所有RBF单元的接受域之和覆盖整个训练样本空间。如下图所示：

四、径向基函数(RBF)网络及其学习算法2023/4/14101第101页/共123页RBF网络接受域示意图(二维情形)四、径向基函数(RBF)网络及其学习算法2023/4/14102图中给出了RBF单元接受域的示意图，其中，“*”表示样本，Dj（j=1,2,…）表示第j个RBF单元的接受域。第102页/共123页通常应用K-均值聚类算法后，对每一个类中心Cj可以令相应的半径j等于其与属于该类的训练样本之间的平均距离，即：

四、径向基函数(RBF)网络及其学习算法2023/4/14103另一个选择j的方法是对每一个中心Cj求取它与其最邻近的N个近邻单元中心距离的平均值作为j的取值。研究表明，取N=1时，不仅可以简化计算，而且能满足大部分应用要求。第103页/共123页

调节权矩阵W

线性最小二乘法

四、径向基函数(RBF)网络及其学习算法2023/4/14104

在得到中心Cj和半径j后，就可以对RBF网络进行训练，调节权重W使得目标函数最小，一般调节权矩阵W的方法有两种：梯度法：第104页/共123页线性最小二乘法：由于RBF网络的输出与权重W为线性关系，因此可以采用一般的线性最小二乘法求得W。也就是令网络输出：

Y=W·=U则：

四、径向基函数(RBF)网络及其学习算法2023/4/14105存在的缺点：需要矩阵求逆运算，当矩阵T病态时，严重影响结果精度，因此在应用中大量采用另外一种权矩阵求解方法：第105页/共123页梯度法：利用梯度下降规则逐步迭代获得权重W，其迭代公式如下：特点：由于输出为线性单元，因而可以确保梯度算法收敛于全局最优解。四、径向基函数(RBF)网络及其学习算法2023/4/14106第106页/共123页

它是除了基于聚类技术的学习算法外的，另一种有效的学习算法。该方法：首先，选择充分多的实际输入数据点作为初始RBF中心，并根据所有RBF单元的接受域之和应当覆盖整个输入区域的原则，确定其半径，从而预先确定了每一个RBF的形式；然后，根据子集回归(Subsetregression)的观点，应用Gram-Schmidt正交化过程，从上述已确定的RBF中选择对网络性能影响相对较大的部分RBF构成最终的网络结构。四、径向基函数(RBF)网络及其学习算法2023/4/14107

正交最小二乘算法(OrthogonalLeastSquaresalgorithm，简称OLS)缺点：需要相当大数目的RBF才能取得较好的效果。第107页/共123页

模糊神经网络(FuzzyNeuralNetworks,简称FNN)，它是模糊系统和神经网络相结合的产物。因此，不仅具有神经网络数值计算的优势，而且具有模糊系统处理专家知识的能力，受到了广大研究者的重视。（模糊系统和神经网络的结合）根据侧重点不同，有如下几种方法：利用神经网络的自学习和函数逼近功能，提高模糊系统的自适应能力，改善模糊模型的精度。五、模糊神经网络原理1.一般概念2023/4/14108第108页/共123页

利用模糊系统来增强神经网络的信息处理能力。如:将传统的神经网络模糊化使之具备处理语义知识的能力。神经网络和模糊系统协同工作。如模糊—神经协作系统。应用模糊控制技术动态调整传统神经网络的学习参数以提高学习速度。五、模糊神经网络原理2023/4/14109第109页/共123页

模糊神经网络(FNN)的构造

传统神经网络的模糊化

保留原来神经网络的结构而将神经网络的处理单元进行模糊化处理，使之具备处理模糊信息的能力。包括2种：

模糊神经元网络：将原神经网络的所有神经元都进行模糊化处理，使之成为模糊神经元，再由模糊神经元根据原神经网络的结构构成网络；输入、输出模糊化：仅对原神经网络的输入和输出进行模糊化处理，即将原始的输入通过模糊化接口变换为模糊隶属数值进入原神经网络，而原神经网络的输出则被视为