智能控制 第3版 PPT课件 第6章

《智能控制》2023年5月第六章神经元与神经网络主要内容神经网络的基本概念6.16.26.3前馈神经网络反馈神经网络6.4模糊神经网络6.5深度学习课程内容—神经网络的基本概念神经网络的基本概念神经元网络的研究已有30多年的历史：20世纪40年代初，心理学家Mcculloch和数学家Pitts提出了形式神经元的数学模型，并研究了基于神经元模型几个基本元件互相连接的潜在功能。1958年，Rosenblatt首先引入了感知器（Perceptron）概念并提出了构造感知器的结构。1969年，Minsky和Papert对感知器为代表的网络作了严格的数学分析，指出了几个模型的局限性。由于结论相当悲观，此后神经网络的研究在相当长时间内发展缓慢。20世纪70年代，Grossberg根据生物学和生理学的证明，他提出具有新特征的几种非线性动态系统的结构，使神经元网络的研究又有了突破性的进展。1986年，以Rumelthard和Mcclelland为首的PDP（ParalellDistributedProcessing）小组发表了一系列的研究结果和应用，神经网络的研究进入全盛时期。课程内容—神经网络的基本概念神经网络的重要特征和性质非线性：神经元网络在理论上可以趋近任何非线性函数，人工神经元网络比其他方法建模更经济。平行分布处理：神经元网络具有高度平行的结构，比常规方法有更大程度的容错能力。神经元网络的基本单元结构简单，并行连接的处理速度很快。硬件实现：它不仅可以平行实现，而且许多制造厂家已经用专用的VLSL硬件来制作神经元网络，网络能实现的规模也明显增大。学习和自适应性：利用系统过去的数据记录，可对网络进行训练。受适当训练的网络有能力泛化，也即当输入出现训练中未提供的数据时，网络也有能力进行辨识。神经元网络也可以在线训练。数据融合：网络可以同时对定性和定量的数据进行操作。在这方面，网络正好是传统工程系统（定量数据）和人工智能领域（符号数据）信息处理技术之间的桥梁。多变量系统：神经元网络自然地处理多输入信号并具有多输出，适合于多变量系统。课程内容—神经网络的基本概念神经元网络的基本结构图6-1表示了在中央神经系统中，典型神经细胞的主要元件，包括：细胞体、轴突、树突、突触、膜电位。图6-1神经元的构造

图6-2神经元模型

课程内容—神经网络的基本概念神经元网络的模型图6-3神经元模型框图从控制工程角度来看，为了采用控制领域中相同的符号和描述方法，可以把神经元网络改为图6-3所示形式。该模型由三部分组成：加权的加法器线性动态单输入单输出（SISO）系统静态非线性函数（1）可微和不可微（2）类脉冲和类阶跃（3）正函数和零均函数课程内容—神经网络的基本概念常用的非线性函数的数学表示及其形状:课程内容—神经网络的基本概念神经元的连结方式单层的静态网络：神经元的结合可以按一组代数方程来描述：

多层神经元网络：

动态网络：在网络中引入反馈，动态方程可以表示为

课程内容—前馈神经网络感知器感知器是美国心里学家Rosenblatt于1958年提出的，它是最基本的但具有学习功能的层状结构（Layednetwork）。最初的感知器由三层即S（Sensory）层、A（Association）层和R（Response）层组成。图6-4三层的感知器图6-5三层的感知器S层和A层之间的耦合是固定的，只有A层和R层（即输出层）只有一个输出节点的感知器，它相当于单个神经元，简化为如图6-5所示。Minsky和Papert曾对感知器的分类能力作了严格的评价，并指出了它的局限性，例如它连最常用的异或（XOR）逻辑运算都无法实现。课程内容—前馈神经网络感知器感知器权值的学习是通过给定的导前信号（即希望输出）按下式进行的

如果在感知器的A层和R层加上一层或多层隐单元，则构成的多层感知器具有很强的处理功能，事实上我们有以下的结论：定理6-1假定隐层的节点可以根据需要自由设置，那么三层（不包括S层）的阈值网络可以实现任意的二值逻辑函数。课程内容—前馈神经网络BP网络BP网络（BackPropagationNN）是一单向传播的度层前向网络，其结构如图6-6所示。

图6-6BP网络

课程内容—前馈神经网络GMDH网络GMDH（TheGroupMethodofDataHandling）模型是由Ivakhnenko（1971）为预报海洋河流中的鱼群而提出的模型。它成功地应用于非线性系统的建模和控制中，如超音速飞机的控制系统，电力系统的负荷预测等。又称多项式网络。图6-7GDMH的典型网络结构图6-8GMDH网络的处理单元图6-7所示的是一典型的GDMH网络，它由4个输入和单输出构成。输入层节点只是传递输入信号到中间隐层的节点，每一隐层节点和输出节点正好有两个输入，因此单输出节点的前一层肯定只有两个隐层节点。

课程内容—前馈神经网络RBF网络RBF（RadialBasisFunctiion）网络由三层组成，其结构如图6-10所示：图6-10RBF网络输入层节点：传递输入信号到隐层隐层节点（RBF节点）：由辐射状作用函数构成，最常用的时高斯核函数输出层节点：隐层节点输出的线性组合

与BP网络的区别：作用函数不同课程内容—反馈神经网络CG网络模型在反馈网络中，输入信号决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后的输出结果，由此可见，稳定性是反馈网络中最重要的问题之一。Cohen和Grossberg提出的反馈网络模型可用下述一组非线性微分方程描述

关于CG网络模型的稳定性，我们有以下的结果：

定理6-4的证明可通过Lyapunov函数来完成。课程内容—反馈神经网络盒中脑（BSB）模型BSB(Brain-State-in-a-Box)模型由下列离散方程描述对应的连续时间模型为

定义

课程内容—反馈神经网络Hopfield网络模型Hopfield提出的网络模型可用下列非线性微分方程描述，上述模型还可用一电路来表示（如图6-12所示）

图6-12Hopfield电路

定义Hopfield网络的能量函数为

（6-24）（6-25）课程内容—反馈神经网络Hopfield网络模型

对于理想放大器，等式（6-25）可简化为

或对应等式(6-24)的连续时间的Hopfield网络模型，离散的的Hopfield网络模型描述如下：

（6-30）对于网络的每个节点课程内容—反馈神经网络回归BP网络回归BP网络可由非线性动态方程描述

（6-33）

网络的权矩阵可通过一辅助网络来修正，即

（6-39）课程内容—反馈神经网络Boltzmann网络G.E.Hinton和T.J.Sejnowski借助统计物理学的方法，对具有对称权矩阵的随机网络引进了一般的学习方法。由于这种随机网络的状态服从于统计学的Boltzmann分布，故被称为Boltzmann机。

（6-40）网络由可见单元和隐单元构成，每个单元只取两种状态：+1和-1。输出值取+1的概率：输出值取-1的概率：

（6-41）

课程内容—反馈神经网络Boltzmann网络

（6-41）

采用梯度下降法得

权值修正方程为

课程内容—模糊神经网络模糊神经网络将模糊逻辑与神经网络适当地结合起来，吸取两者的长处，则可组成比单独的神经网络系统或单独的模糊系统性能更好的系统。神经网络模糊逻辑模糊神经网络不适于表达基于规则的知识训练时不能很好地利用经验知识适合于表达模糊或定性的知识缺乏自学习和自适应能力课程内容—模糊神经网络基于标准模型的模糊神经网络一种是模糊规则的后件为输出量的某一模糊集合，如NB，PB等。另一种是模糊规则的后件为输入语言变量的函数。图6-13基于标准模型的模糊系统原理结构图由于该方法是Takagi和Sugeno首先提出来的，因此通常称它为模糊系统的Takagi-Sugeno模型。模糊模型的表示主要有两种：模糊系统的标准模型

课程内容—模糊神经网络

输出量总的模糊集合为

若采用加权平均的清晰化方法，则可求得输出的清晰化量为

其中课程内容—模糊神经网络图6-14基于标准模型的模糊神经网络结构模糊神经网络结构如图6-14所示模糊神经网络的结构

课程内容—模糊神经网络学习算法

图6-15单个神经元结点的基本结构课程内容—模糊神经网络下面具体给出它的每一层的结点函数：第一层第二层第三层第四层第五层或者设取误差代价函数为

课程内容—模糊神经网络

最后可给出参数调整的学习算法

课程内容—模糊神经网络例6-1设有如下的二维非线性函数

图6-17模糊神经网络的误差学习曲线图6-18模糊神经网络输入输出的三维图形课程内容—模糊神经网络基于Takagi-Sugenno模型的模糊神经网络Takagi-Sugenno模型

模糊系统的输出量为每条规则的输出量的加权平均，即

课程内容—模糊神经网络模糊神经网络的结构该网络由前件网络和后件网络两部分组成，前件网络用来匹配模糊规则的前件，后件网络用来产生模糊规则的后件，如图6-18所示。图6-18基于Takagi-Sugeno模型的模糊神经网络结构

课程内容—模糊神经网络学习算法

图6-18基于Takagi-Sugeno模型的模糊神经网络简化结构课程内容—模糊神经网络

课程内容—深度学习深度学习源于人工神经网络的研究1943年，心理学家WarrenMcculloch和数理逻辑学家WalterPitts在合作的论文中提出并给出了人工神经网络的概念及人工神神经元的数学模型，从而开创了人类神经网络研究的时代。1957年，FrankRosenblatt在NewYorkTimes上发表文章“Electronic‘Brain’TeachesItself”，首次提出感知机（Perceptron）。1982年，美国加州理工学院的物理学家JamesL.McCelland研究小组发表的《并行分布处理》，重新激起了人们对ANN的研究兴趣。文中对反向传播算法进行了详尽的分析。2006年，加拿大多伦多大学教授GeoffreyHinton在世界顶级学术期刊“Science”上发表的一篇论文提出了深度学习以及深度神经网络模型训练方法的改进，打破了BP神经网络发展的瓶颈，揭开了深度学习的序幕。……课程内容—深度学习深度学习基本概念机器学习（MachineLearning）监督学习：分类，针对已有的训练样本；无监督学习：没有任何训练样本，需要直接对数据进行建模；半监督学习：训练的时候有一部分是有标签的而有一部分是没有的；强化学习：试错学习，智能体要以不断与环境进行交互，通过试错来获得最佳策略。表示学习（RepresentationLearning）表示学习希望能从数据中自动地学到从数据的原始形式到数据的表示之间的映射深度学习（DeepLearning）通过组合低层特征形成更加抽象的高层表示属性类别或特征课程内容—深度学习深度神经网络（DeepNeuralNetworks，DNN）深度神经网络目前的成功取决于三大推动因素，包括大数据、计算能力和算法创新。激活函数（Activationfunctions）是神经网络能解决非线性问题关键，具有代表性的激活函数有许多，如Sigmoid激活函数，tanh激活函数，ReLU激活函数等。迁移学习（transferlearning）和多任务学习（multi-tasklearning）旨在利用源任务数据辅助目标任务数据下的学习。迁移学习适用于源任务数据比目标任务数据多，并且源任务中学习得到的低层特征可以帮助目标任务的学习的情形。端到端学习（End-to-endLearning）旨在通过一个深度神经网络直接学习从数据的原始形式到数据的标记的映射。课程内容—深度学习深度学习基本模型图6-23DBN网络结构受限玻尔兹曼机是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM最初由发明者保罗·斯模棱斯基（PaulSmolensky）于1986年命名为簧风琴（Harmonium），但直到杰弗里·辛顿及其合作者发明快速学习算法后，受限玻尔兹曼机才变得知名。深度置信网络（DBN）基于RBM的DBN由多个RBM堆叠而成，其结构如图6-23所示。网络训练过程中分为两个阶段：预训练(Pretraining)和微调(Finetuning)：预训练阶段：从低层