模糊数学及其应用

模糊数学及其应用2023/8/221第1页，课件共24页，创作于2023年2月第五讲模糊神经网络与模糊专家系统（续）

2、

人工神经元的基本模型

对人类大脑中神经细胞的功能进行模拟的数学模型称为人工神经元。迄今为止，人们已提出了几百种人工神经元模型。其中，人们最早提出也是人们现在经常使用的人工神经元模型是M-P模型。见下图。

M-P模型是一种最基本的生物神经元简化的数学模型。经过不但改进后，它假定：1、每个神经元都是一个多输入单输出的信息处理基元；2、神经元的输入分兴奋性输入和抑制性输入两种类型；3、神经元的输出有门限特性，服从“全或无”定律。只有当输入总和超过其门限时，神经元才被激活，当输入总和未超过其门限时，神经元不会发生冲动；第2页，课件共24页，创作于2023年2月4、神经元的输入与输出之间有固定的时滞，时滞取决于突触延搁；5、神经元可具有时空整合特性和不应期；6、神经元本身是非时变的。在上述假定的基础上，用表示t时刻神经元i接受的神经元j的信息输入，表示t时刻神经元i的信息输出，则神经元i的状态可表示为式中：为输入输出间的固定时滞（突触时延）；为神经元i的阈值；为神经元j到神经元i的突触耦合系数（连接权值）；为神经元输出的特性函数。

第五讲模糊神经网络与模糊专家系统（续）第3页，课件共24页，创作于2023年2月尽管神经元模型种类繁多，还是可以用不同的方法将他们进行分类。例如，按神经元输入输出信息划分，可分为数字型和模拟型两类；按神经元状态变化的时间特性划分，可分为时间离散型和时间连续型两类。

对于时间离散型的神经元，通常用下式来描述其状态及其变化。

第五讲模糊神经网络与模糊专家系统（续）第4页，课件共24页，创作于2023年2月式中：为神经元间的输入输出变量；为神经元j到神经元i的连接权值；为两个由学习方法确定的非线性函数；为遗忘因子；为时间减低自适应增益系数；为神经元阈值；为神经元输出的特性函数。

对于时间连续型的神经元，其状态及其变化通常描述为式中：为神经元间的输入输出变量；为神经元阈值；为神经元输出的非线性特性函数；，为神经元的特性参数。

第五讲模糊神经网络与模糊专家系统（续）第5页，课件共24页，创作于2023年2月

人工神经元的主要用途是用来构造神经网络。在构造神经网络的过程中，常根据不同的要求选择不同类型的神经元。选用较多的神经元特性函数有

阶跃函数：分段线性函数：

（a、b为常数）

S型函数：

（c为常数）

恒等线性函数：

第五讲模糊神经网络与模糊专家系统（续）第6页，课件共24页，创作于2023年2月具有并行处理和信息分布式存储能力；具有容错性和稳健性；具有自学习能力；具有较强的非线性动态处理能力；人工神经网络的优点第7页，课件共24页，创作于2023年2月非线性连续型模型S型或P型激发函数，要掌握其应用范围，否则实际应用中可能出错。无论多大的输入，S型都将它压缩到(0,1)的范围内，而P型激发函数则将任意输入压缩到(-1,1)范围内。输入在[-1,1]之间时，输出才会具有一定差异，意即该激发函数仅在区间[-1,1]才具有敏感性，从而导致网络的映射能力弱。S型或P型神经元的局限性第8页，课件共24页，创作于2023年2月表达式：f(u)=a-2a/(1+exp(bu))；特点：它的敏感区间和输出范围都可由参数a、b来确定，可实现任意范围内的输入输出，拓展了这类神经元模型的应用领域，增强了网络的映射能力。一种新型神经元模型

第9页，课件共24页，创作于2023年2月解决方法：Hessian矩阵出现病态矩阵时，增大Hessian矩阵的主对角线元素；LM算法的搜索方向介于高斯–牛顿法和最速下降算法之间。LM算法的效率少数情况下比Gauss-Newton算法低，但其稳健性比Gauss-Newton算法好。LM算法的缺点是在运算过程中比其它算法要占用更多的计算机内存资源。Levenberg-Marquardt算法

第10页，课件共24页，创作于2023年2月BP算法与LM算法效果比较BP算法仿真y=sin(x)LM算法仿真y=sin(x)第11页，课件共24页，创作于2023年2月神经网络适用于内插问题，而不可用于外推，即神经网络只对学习范围内的数据具有识别能力，而对学习范围外的数据没有识别能力。神经网络用于预报的范围

第12页，课件共24页，创作于2023年2月神经网络LM算法预报应用实例L3H291测点观测值与预测值对比图L3H291测点预测误差图

（以效应量作自变量）第13页，课件共24页，创作于2023年2月神经网络拓扑结构的确定带有经验性，寻求最佳网络结构比较困难；神经网络结构的物理意义无法解释；激活函数的选取带有随意性；神经网络模型的局限性为了解决这些问题，下面介绍模糊神经网络。第14页，课件共24页，创作于2023年2月模糊神经网络实质上是将模糊逻辑和模糊推理功能与神经网络中的自学习、自适应功能结合为一体，成为一个具有学习、识别、联想、自适应和模糊信息处理等特性的系统。神经网络模拟了人脑的硬件（脑神经），而模糊技术部分模拟了人脑的软件（人脑的逻辑推理能力），所以它们的结合使得该系统同时具有神经网络的低层次的学习、计算能力和模糊系统的高层次的推理、决策能力。模糊神经网络

第15页，课件共24页，创作于2023年2月模糊神经网络的结构第16页，课件共24页，创作于2023年2月随着输入变量的增加，模糊规则数呈指数增长，例如每个输入取3个模糊值，n个输入将产生3n条规则。众多的模糊规则将严重影响网络的收敛速度，一个庞大的网络训练起来非常困难，从而限制了模糊神经网络应用于复杂的实际问题。这便是模糊规则的组合爆炸问题。模糊规则组合爆炸问题

第17页，课件共24页，创作于2023年2月减少模糊分割数；网络分解再组合；删除无关规则；模糊规则组合爆炸问题的解决方案

第18页，课件共24页，创作于2023年2月模糊神经网络的正向计算

模糊神经网络的正向计算首先是把各输入的清晰量经隶属函数转变成模糊量，经过各条模糊规则的推理，各条模糊规则均产生一个模糊输出，再采用一定的算法集中各条规则输出的模糊值，最后利用解模糊化的方法得到为清晰数值量的网络输出。第19页，课件共24页，创作于2023年2月试验表明，采用min或max操作会使大部分待调参数在迭代过程中得不到调整，从而使算法效率低下，映射精度难以提高。为了解决这个问题，宜采用sum替代min或max操作。prod操作可能会导致大部分第3层节点输出为0，不宜采用；而probor方法会导致算法的复杂化，亦不宜采用。规则适用度的计算第20页，课件共24页，创作于2023年2月网络的泛化能力，与网络学习训练终止时的学习次数或训练误差具有一定的关系。学习过程可以看作是曲线拟合的过程，泛化则相当于非线性内插。如果网络学习了过多的特殊样本，且过分追求训练集内的小误差，就会降低其泛化能力。泛化能力与训练次数的关系训练次数与评价指标的关系训练次数MAPEMSEMAE1000.68510.96470.72772000.57790.79630.62682500.55910.78330.61333000.55750.77540.60524000.59370.78940.61465000.58900.78300.6086第21页，课件共24页，创作于2023年2月相对于神经网络而言，模糊神经网络的拓扑结构是由输入和模糊规则确定的，具有明确的实际意义；模糊神经网络隶属度函数的选取也具有明确的意义，不存在类似于神经网络选取激活函数时无法解释且映射能力弱的问题。神经网络模拟了人脑的硬件，而模糊系统则模拟了人脑的软件(思维)，由两者结合产生的模糊神经