神经网络控制论

第五章神经网络控制论2

引言1234

非线性动态系统的神经网络辨识5

神经网络控制的学习机制神经网络控制器的设计由于神经网络本质上是一个大规模并行分布处理的非线性动力学系统，并在更高层次上体现出一些人脑的智能行为，为智能控制提供了新途径。神经网络控制的优越性体现在：神经网络可以处理那些难以用模型或规则描述的过程或系统。神经网络采用并行分布式信息处理，具有很强的容错性。神经网络是本质的非线性系统。神经网络具有很强的信息综合能力。神经网络的硬件实现愈趋方便。一、引言神经网络控制器的分类根据神经网络在控制系统中的作用不同，又可分为两大类一是神经控制，它是以神经网络为基础而形成的独立智能控制系统二是混合神经网络控制，它代表着那些利用神经网络学习和优化能力来改善传统的控制方法一、引言神经网络控制器的典型分类导师指导下的控制器逆控制器自适应网络控制器前馈控制结构自适应评价网络混合控制系统一、引言导师指导下的控制器：神经网络控制结构的学习样本直接取自于专家的控制经验。一旦神经网络的训练达到了能够充分描述人的控制行为时，则网络训练结束一、引言逆控制器：如果一个动力学系统可以用一个逆动力学函数来表示，则采用简单的控制结构和方式是可能的一、引言模型参考自适应网络控制器：利用神经网络将线性系统经典的自适应控制设计理论和思想方法直接引到非线性系统自适应控制系统中来是可能的一、引言神经内模控制结构：系统的实际输出与模型M的输出信号差用于反馈的目的。这个反馈信号通过前向通道上的控制子系统G预处理。通常G是一个滤波器，用于提高系统的鲁棒性。系统模型M和控制器C可以由神经网络来实现一、引言前馈控制结构：通常单纯的求逆控制结构不能很好地起到抗干扰能力，因此结合反馈控制的思想组成前馈补偿器的网络控制结构一、引言自适应评价网络是由Barto,Sutten和Anderson在1983年提出来的。整个学习系统由一个相关的搜索单元和一个自适应评价单元组成，在这个算法中，相关搜索单元是作用网络。自适应评价单元为评价网络。它不需要控制系统数学模型，只是通过对某一指标准则J的处理和分析得到奖励或惩罚信号。一、引言神经网络的逼近能力首先要搞清楚到底什么样的被控系统可以用神经网络来描述。对于众多的神经网络类型来说，要得到一个统一的神经网络逼近理论是不现实的，况且，还有很多神经网络结构的逼近性问题至今尚未得到证明多层前向传播神经网络能够相当好地逼近许多实际问题中的非线性函数。这一节就要回答这个问题。一、引言神经网络的逼近能力含有两个隐含层的前向传播神经网络，且神经元激励函数为单调的S型函数，则此神经网络能够得到合适的逼近精度对于在紧凑集中的任何平方可积函数可以通过有限个隐含神经元组成的二层前向传播神经网络来逼近，并能达到任意逼近精度。考虑具有单个隐含层的前向传播神经网络，其输出属于集合：

其中：x表示n维输入矢量，=(1,xT)T;vj表示隐含层第j个神经元到输出层的权值；wj表示输入矢量到隐含层第j个神经元的权值矢量j=1,2,...,q；q为隐含层神经元个数；

Ψ(·)为隐含层神经元特性。一、引言神经网络的逼近能力定义5-1:S型函数如果函数Ψ(·)：R→［0，1］是非递减函数，且满足则称函数Ψ(·)为S型函数。定义5-2:距离函数ρ-给定的函数空间S，设f,g,h∈S。则距离函数ρ满足以下条件：

①.正定性ρ(f,g)≥0，且仅当f=g时等号成立；

②.对称性ρ(f,g)=ρ(g，f)；

③.三角不等式关系ρ(f,g)≤ρ(f,h)+ρ(h,g)。定义5-3:ρ-稠密-一个度量空间（X，ρ）中的子集S称为是在子集T上的ρ-稠密，只有当对于任意一个给定的ε>0，对所有的t∈T，存在一个s∈S，有ρ(s,t)<ε。一、引言神经网络的逼近能力定理5-1:若神经元的激励函数Ψ(·)是S-型连续函数。那么，Σ(Ψ)在C（U）中是ρ-稠密。这个定理说明，只要是有限空间中的连续函数g(x),总存在具有上述神经元特性Ψ(·)的三层网络Σ(Ψ)，使得其输出函数f(x)能够以任意精度逼近g(x)。对于非连续函数是否也有类似的神经网络来逼近它呢？如果能够实现这样的逼近，则非连续函数g(x)应该满足什么样的条件？Hornik等人在1989年发表论文中阐明了多层前向传播神经网络可以逼近任意连续函数或分段连续函数一、引言16

引言1234

非线性动态系统的神经网络辨识5

神经网络控制的学习机制神经网络控制器的设计系统建模是神经网络的最早应用。什么叫系统辨识？L.A.Zadch曾经下过这样的定义：“辨识是在输入和输出数据的基础上，从一组给定的模型中，确定一个与所测系统等价的模型”。使用非线性系统的输入输出数据来训练神经网络可认为是非线性函数的逼近问题。多层前向传播网络能够逼近任意L2非线性函数。二、非线性动态系统的神经网络辨识系统辨识的三要素：模型的选择输入信号的选择误差准则的选择二、非线性动态系统的神经网络辨识系统辨识的三要素：模型的选择神经网络用于系统辨识的实质就是选择适当的神经网络模型来逼近实际系统，即

为神经网络模型类，

∈

为一神经网络。考虑到多层前向传播网络具备良好的学习算法，本章我们选择多层前向传播网络为模型类

，

为一能充分逼近实际系统而又不过分复杂的多层网络。

二、非线性动态系统的神经网络辨识系统辨识的三要素：输入信号的选择从时域上来看，要求系统的动态过程在辨识时间内必须被输入信号持续激励，即输入信号必须充分激励系统的所有模态；从频域来看，要求输入信号的频谱必须足以覆盖系统的频谱二、非线性动态系统的神经网络辨识系统辨识的三要素：误差准则的选择误差准则是用来衡量模型接近实际系统的标准，它通常表示为一个误差的泛函二、非线性动态系统的神经网络辨识一旦三大要素确定以后，神经网络的辨识就归结为一个最优化问题。神经网络辨识具有以下五个特点。(1)不要求建立实际系统的辨识格式。(2)可以对本质非线性系统进行辨识，而且辨识是通过在网络外部拟合系统的输入/输出，网络内部隐含着系统的特性。因此这种辨识是由神经网络本身实现的，是非算法式的。(3)辨识的收敛速度不依赖于待辨识系统的维数，只与神经网络本身及其所采用的学习算法有关，传统的辨识方法随模型参数维数的增大而变得很复杂。(4)由于神经网络具有大量的连接，这些连接之间的权值在辨识中对应于模型参数，通过调节这些权值使网络输出逼近系统输出(5)神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以用于在线控制。二、非线性动态系统的神经网络辨识神经网络辨识模型的结构前向建模法逆模型法二、非线性动态系统的神经网络辨识前向建模法：利用神经网络来逼近非线性系统的前向动力学模型。yN(k+1)=f~(y(k),...,y(k-n+1),u(k),...,u(k-m+1))二、非线性动态系统的神经网络辨识逆模型法直接法：逆向建模是最直接的方法是将系统输出作为网络的输入，网络输出与其期望输出即系统的输入进行比较得到误差作为此神经网络训练的信号二、非线性动态系统的神经网络辨识逆模型法存在的问题学习过程不一定是目标最优的，可以采用下图所示的实用逆模型法一旦非线性系统对应关系不是一对一的，那么不准确的逆模型可能会被建立二、非线性动态系统的神经网络辨识非线性系统的前向建模辨识的两种结构并行结构串行结构串行结构收敛性较好二、非线性动态系统的神经网络辨识对于非线性系统：其中X(k)、U(k)、Y(k)分别为n维、p维、m维状态矢量序列神经网络系统辨识的基本思想是利用神经网络的非线性映射特性来逼近动态系统的非线性函数Φ和ψ。如下图所示。二、非线性动态系统的神经网络辨识设系统的输入空间为Ωu,输出空间为Ωg,实际系统可以表示为一个从输入空间到输出空间的算子P:Ωu→Ωg;给定一个模型类SM，设P∈SM，则辨识的目的就是确定一个SM的子集类

，使其中存在

，且P在给定的准则下，

为P的一个最佳逼近二、非线性动态系统的神经网络辨识讨论非线性动态系统的神经网络辨识的四种辨识模型IIIIIIIV其中f、g分别为非线性函数。[u(k),y(k)]表示在k时刻的输入-输出对二、非线性动态系统的神经网络辨识假定：(1)线性部分的阶次n、m已知；(2)系统是稳定的，即对于所有给定的有界输入其输出响应必定也是有界的。反映在模型Ⅰ上要求线性部分的特征多项式

的根应全部位于单位圆内。(3)系统是最小相位系统，反映在模型Ⅱ上要求

的零点全部位于单位圆内。(4){u(k-i),i=0,1,...}与{y(k-j),j=0,1,...}可以量测二、非线性动态系统的神经网络辨识神经网络的辨识途径有二种：线性部分的参数已知

可归结为带时滞的多层感知网络模型的学习问题，只是导师学习信号有所不同。线性部分的参数未知

可归结为带时滞的多层感知网络模型的学习和线性系统的参数估计问题。二、非线性动态系统的神经网络辨识对于模型I、II如果线性部分已知，系统实际输出与模型输出（神经网络输出与线性部分输出之和）的差可以用BP算法来训练神经网络模型二、非线性动态系统的神经网络辨识对于模型I、II，如果线性部分未知。采用改进的BP迭代学习算法二、非线性动态系统的神经网络辨识设线性部分的未知参数用矢量α表示，非线性部分的神经网络模型参数用W阵表示针对模型I二、非线性动态系统的神经网络辨识由于线性模型和非线性模型的期望输出Z(l+1)和tpj

在这里都是未知的，已知的只是两个模型的输出之和。而它们的期望值应该是系统在当前时刻k+1的实际输出矢量y(k+1)值。因此在实际对如上算法进行计算时可交替使用y(k+1)-y2(k+1)和y(k+1)-y1(k+1)去近似地代替Z(k+1)和tpj

在初始条件完全未知的情况下可以取：

其中ρ为比较大的数字。二、非线性动态系统的神经网络辨识举例5-1考虑以下模型：

y(k+1）=a·y(k)+b·y(k-1)+g(u)

其中a=0.3,b=0.6g(u)=u3+0.3u2-0.4u试辨识该系统二、非线性动态系统的神经网络辨识解：线性部分，采用递推最小二乘学习法非线性部分采用前向传播多层神经网络来逼近 选择神经网络结构为Π1,8,4,1,η=0.2，β=0

二、非线性动态系统的神经网络辨识为了验证辨识效果，采用校验输入信号：二、非线性动态系统的神经网络辨识对于模型Ⅲ，可以用一个NN来逼近，也可以用两个NN来逼近。下面考虑第二种情况：Nf

网络用来逼近可分离的非线性函数之一

f(·)Ng

网络用来逼近可分离的非线性函数之二

g(·)二、非线性动态系统的神经网络辨识选指标函数：根据BP算法的推导思路可得广义误差为：二、非线性动态系统的神经网络辨识神经网络系数更新公式为：在整个算法的计算过程中，交替使用网络的实际输出值opj1(L）和opj2(L），使得广义误差信号可以不断地进行计算和修正，直至最终收敛二、非线性动态系统的神经网络辨识43

引言1234

非线性动态系统的神经网络辨识5

神经网络控制的学习机制神经网络控制器的设计神经元控制器的目的在于如何设计一个有效的神经元网络去代替传统控制器的作用，使得系统的输出跟随系统的期望输出。为了达到这个目的，神经网络的学习方法就是寻找一种有效的途径进行网络连接权阵或网络结构的修改，从而使得网络控制器输出的控制信号能够保证系统输出跟随系统的期望输出。三、神经网络控制的学习机制学习机制分为：监督式学习（有导师指导下的控制网络学习）离线学习法在线学习法反馈误差学习法多网络学习法增强式学习（通过某一评价函数指定下的学习）三、神经网络控制的学习机制1、离线学习法适合静态环境，网络离线训练中选择的性能指标为u-uc的平方误差极小，这一指标并不能保证系统的最终性能yd-y的平方误差极小三、神经网络控制的学习机制2、在线学习法：

找出一个最优控制量u使得系统输出y趋于期望输出yd。权阵的调整应该使得yd-y的误差减少最快适合模型已知的动态环境三、神经网络控制的学习机制学习算法：采用最速下降法假设系统的Jacobian矩阵已知三、神经网络控制的学习机制3、反馈误差学习法适用于非线性系统线性绝对占优条件下的网络学习

三、神经网络控制的学习机制4、多神经网络学习法（两种）三、神经网络控制的学习机制增强式学习当某些被控系统的导师信号无法得到时，期望输出就没有了。增强型学习就是利用当前控制是否成功来决定下一次控制该如何走的学习方式。修正的办法是对某一成功的行为进行鼓励，而对不成功的行为进行惩罚。用神经网络来实现时，则可在权值空间进行调整。三、神经网络控制的学习机制52

引言1234

非线性动态系统的神经网络辨识5

神经网络控制的学习机制神经网络控制器的设计四、神经网络控制器的设计神经网络控制的设计方法有四种：直接逆模型控制法直接网络控制法多网络自学习控制法单一神经元控制1、直接逆模型控制法：

最直观的一种神经网络控制器实现方法，其基本思想就是假设被控系统可逆，通过离线建模得到系统的逆模型网络，然后用这一逆网络模型去直接控制被控对象训练结构示意图四、神经网络控制器的设计四、神经网络控制器的设计考虑如下单输入单输出系统：y(k+1)=f(y(k-1),...,y(k-n+1),u(k),...,u(k-m))y:系统的输出变量；u:系统的输入变量；n：系统的阶数；m：输入信号滞后阶f(·)：任意的线性或非线性函数如果已知系统阶次n、m，并假设系统可逆，则存在函数g(·)，有：u(k)=g(y(k+1),...,y(k-n+1),u(k-1),...,u(k-m))四、神经网络控制器的设计若能用一个多层前向传播神经网络来实现，则网络的输入输出关系为:uN=Π(x)式中：uN为神经网络的输出，它表示训练完成后神经网络产生的控制作用；

Π为神经网络的输入输出关系式，它用来逼近被控系统的逆模型函数g(·)；X为神经网络的输入矢量，X=[y(k+1),y(k),...,y(k-n+1),u(k-1),...,,u(k-m)]T将神经网络输入矢量X中的y(k+1)用期望系统输出值yd(k+1)去代替就可以通过神经网络Π产生期望的控制量u。即：X=[yd(k+1),y(k),...,y(k-n+1),u(k-1),...,u(k-m)]T直接网络控制法:直接逆模型控制法由于缺乏学习机制，且在控制器的设计中又没有考虑到系统本身的输入输出状态，因此，一旦系统运行的环境、参数发生变化时，这类控制器就无法适应了。直接网络控制法是在神经网络的输入端引入了系统的状态信号，并将学习机制实时在线地用于网络控制器的调整和改善四、神经网络控制器的设计以例子来说明设计方法：考虑被控系统假设动力学逆模型成立，即有

u(k)=g[y(k+1),y(k),y(k-1),y(k-1)