神经网络第三章 神经控制中的系统辨识课件

第3章神经控制中的系统辨识3.1系统辨识过程中神经网络的作用3.2非线性动态系统辨识3.3多层前向网络辨识中的快速算法3.4非线性模型的预报误差神经网络辨识3.5非线性系统逆模型的神经网络辨识3.6线性连续动态系统辨识的参数估计3.7利用神经网络联想功能的辨识系统3.7小结习题与思考题神经网络第三章神经控制中的系统辨识3.1辨识模型

辨识模型只是被测系统在一定环境下的近似描述，选择只能在以下情况中确定：

是选择静态模型，还是选择动态模型？

是选择参数模型，还是选择非参数模型？

必须考虑：1)模型的用途；(2)被测对象的精确度与复杂程度；(3)系统的控制方式，是自适应控制还是实时控制；(4)使用神经网络，可以选择三层网络通过仿真比对完成，当前神经网络理论尚未明确指出需要几个隐层节点数才能模拟出系统。神经网络第三章神经控制中的系统辨识一、使用参数模型辨识的方法

从输入输出数据中提取被测系统S的数学模型M，使下式成立：

‖Ym－Yo‖=‖M(u)－S(u)‖≤ε

式中Ym、Yo分别是系统输入u作用下模型和系统的输出。ε为预设的辨识精度。设e=Ym－Yo，则辨识准则二、使用非参数模型辨识的方法

无需事先确定模型的具体结构，只需要知道运行过程为线性。

这一类模型有阶跃响应、脉冲响应、频率特性神经网络第三章神经控制中的系统辨识三、人工神经网络用于系统辨识

用神经网络构成辨识模型，辨识方法就是用神经网络辨识模型逼近被测系统。用作辨识模型的神经网络通常有多层感知器、BP网络、Hopfield网络等。

四、辨识系统的输入和输出

被测系统与辨识模型使用相同的输入信号。输入信号满足条件

1、辨识时间内的输入信号必须持续激励，充分激励系统的所有模态，输入信号的频谱必须足够覆盖系统的频谱；

2、输入信号要求最优化。辨识系统常用的输入信号有伪随机序列或白噪声。

辨识系统的输出是系统的误差。在确定系统误差时，选择误差准则，用来衡量辨识模型接近被测系统的程度。神经网络第三章神经控制中的系统辨识四、误差准则函数的泛函表示

f(·)用得较多的是平方函数：

f［e(k)］=e2(k)e(k)是误差函数，定义区间为［0，M］，是辨识模型的输出与被测系统的输出之差。如果e(k)=0，则说明被测系统与辨识模型等价。神经网络第三章神经控制中的系统辨识

3.2系统辨识过程中神经网络的作用

3.2.1神经网络辨识原理

一、系统辨识

实质上是一个优化问题，优化准则依靠辨识目的、辨识算法的复杂程度进行选择。

二、辨识方法

基于算法的辨识方法，适用于线性系统；基于神经网络的辨识方法，适用于非线性系统。

1.基于算法的辨识方法

要求建立一个模型，该模型依赖于某个参数θ，把辨识转化成了对模型参数的估计。

1)最小二乘法

利用最小二乘法原理，通过极小化广义误差的二次方和函数来确定模型的参数。例如一个线性系统模型，在经过一系列的数学变换后转换成最小二乘格式：z(k)=hT(k)θ+e(k)神经网络第三章神经控制中的系统辨识hT(k)是系统的广义输入，内含原系统输入u(k)和原系统输出y(k)；e(k)是系统的广义噪声。

2)梯度校正法

沿着误差准则函数关于模型参数的负梯度方向，逐步修改模型的参数估计值，直到误差准则函数达到最小。

3)极大似然法

极大似然法通过极大化似然函数来确定模型参数。最小二乘法辨识系统神经网络第三章神经控制中的系统辨识2.基于神经网络的辨识方法

人工神经网络辨识那些非线性系统，不需预先知道被测系统的模型。

辨识并不在意神经网络以什么形式去逼近实际系统，只关心神经网络的输出与被辨识系统的输出相差多少，误差e(k)能否为0。从辨识的角度出发，只要e(k)小于某一个事先认可的值，对被辨识系统的辨识任务告一段落。神经网络第三章神经控制中的系统辨识3、神经网络的辨识方法的特点：

(1)辨识器由神经网络构成，被辨识对象允许是本质上不能线性化的非线性系统；

(2)辨识过程非算法式，由神经网络的训练来实施。辨识结果是网络外部特性拟合系统的输入输出特性，网络内部特性归纳隐藏在输入输出数据中；

(3)辨识之前无须对被辨识系统建模，神经网络辨识器的权值反映了被辨识对象的可调参数；

(4)辨识过程是否收敛以及收敛速度仅取决于神经网络的结构及其算法，与被辨识系统及其维数无关，有别于与模型参数的维数密切相关的传统算法；

(5)神经网络可用于在线控制；

(6)神经网络连接权的权值在辨识中对应于模型参数，只要调节这些参数，就能使网络输出逼近系统输出。神经网络第三章神经控制中的系统辨识3.2.2多层前向网络的辨识能力

1.三层前向网络的逼近能力

仅含一个隐层的三层前向网络可以逼近某个函数。设输入层有n个节点，能接纳n个输入xi(i=1，2，3，…，n)，隐层有q个节点vj(j=1，2，3，…，q)，输出层仅有一个节点。网络的输入矢量为X，输入层到隐层第j个神经元的连接权值矢量用Wj表示，网络的输出为单输出，用y表示。

σ(·)是隐层节点的作用函数。神经网络第三章神经控制中的系统辨识

给定函数空间S、映射p，若函数f，g，h∈S，且满足：

(1)p(f，g)≥0，且仅当f=g时取等号，具有正定性；

(2)p(f，g)=p(g，f)，具有对称性；

(3)三角不等式p(f，g)≤p(f，h)+p(h，g)成立。

(s，p)为赋范空间，映射p称为距离函数或范数。

如果U

Rn是n维单位立方体，C(U)是定义在U上的所有连续函数f(X)的集合，定义范数p=sup|f(X)|定理1

若神经元特性σ(t)是连续函数，且神经网络第三章神经控制中的系统辨识

函数f(x)不仅限于连续函数，f(x)是一个非连续函数时定理仍然成立，只要求f(x)在［－1，1］上有定义，且满足平方可积条件。利用傅里叶积分将f(x)展开成傅里叶级数——若干个连续函数之和，对每一连续函数，定理1均成立。设f(x)连续，且在连续点处，有限次级数和的三角级数形式为神经网络第三章神经控制中的系统辨识

问题推广到n维(n＞1)，定义矢量的绝对值为其各分量的最大绝对值，在单位空间中定义下列积分:其中将函数f(x)的集合记为L2(U)。定义范数则下列定理成立:

定理2

若神经元特性σ(t)是阈值特性，那么∑(σ)在L2(U)中是p稠密的，即对于f∈L2(U)及ε>0，g(X)，使得三层前向网络能以任意精度逼近任意连续函数、任意非连续函数及其各阶导数(如果存在导数)。这一性质能用于动态系统辨识，要求神经网络具备逼近各阶导数的能力。神经网络第三章神经控制中的系统辨识2.多层前向网络的基本结构

1）静态网络的典型例子就是BP网络，该网络的三个特征是多层次结构、S型神经元及反向传播算法(BackPropogation)。静态网络已在模式识别、系统识别、图像处理等方面受到较大的关注。2）动态多层前向网络回归网络是一种动态网络，它的结构特点存在反馈。神经网络第三章神经控制中的系统辨识或用一段时间内的均方误差值

T选用适宜的一个正整数，并要求输入模式为动态信号。设网络的全部可调参数(例如连接权值和阈值)的集合用Θ表示，网络的当前参数为θ，θ∈Θ，▽J为当前时刻指标函数的梯度，由BP算法知当前参数增量Δθ与梯度成正比：

Δθ=－η▽J比值η是学习速率或步长。神经网络第三章神经控制中的系统辨识

(1)图(a)，有式中，用W(z)表示一个动态系统，只需要用BP算法静态计算，就能得到当前时刻的。设网络期望输出为W(z)是一个特定的脉冲传递标量函数。选取多层网N的结构为四层：输入层1个节点，第一隐层20个节点，第二隐层10个节点，输出层1个节点。用多层网N逼近:神经网络第三章神经控制中的系统辨识逼近过程中W(z)可能有三种情况出现：第一种，取W(z)是纯滞后q步的线性系统，传递函数W(z)=z－q，计算并时延q步得当前值。如取q=5,训练指标用J1，η=0.1时训练50000步可得较好效果。训练指标用J2，η=0.2时训练50000步得相同结果。第二种，取W(z)是有限脉冲响应模型(FIRM)，传递函数W(z)=∑aiz－1，计算线性组合以前各时刻的值后可得。如设W(z)=0.1z－1+1.0z－2+0.5z－3神经网络第三章神经控制中的系统辨识训练指标用J2，每三步调整一次参数(T=3)，η=0.01时训练50000次后N与f基本相同。

第三种，取W(z)是稳定的有限传递函数，且能用参数模型描述，如描述模型用ARMA模型。取训练指标用J1，η=0.005时训练10万次，发现y与yq仍有差别。训练指标改用J2，η=0.005时训练10万次，取T=5，最终效果较好。

(2)对图(b)，多层前向网络的映射有两个，现分别确定。神经网络第三章神经控制中的系统辨识对于N1网络映射，用静态BP算法计算，其中θ是N1的参数。

对于N2网络映射，使用静态BP算法计算和，求得或写成其中，f［·］代表了非线性的关系，有此函数关系的非线性系统均可以用神经网络来逼近。尽管如此，也不能简单地认为：N1能训练成f［·］，N2能训练成g(u)。神经网络第三章神经控制中的系统辨识用例说明，设N1是结构为1×20×10×1的单输入单输出系统，取训练用的输入信号是分布在［－2，2］之间的随机信号。训练好以后，实际输出y与期望输出yq之间无多大的差别。神经网络第三章神经控制中的系统辨识

(3)图(c)，设和是当前点上取值的Jacobian矩阵矢量，它们能够在每一时刻求得，成为以下线性差分方程的系数矩阵矢量式中，是n维矢量，系统传递函数W(z)仅对其后的产生延时作用。如果离散系统通过零阶保持器采样，W(z)至少有一步时延效应，使得W(z)

总只包括当前时刻前的各值。按照差分方程能递推出各时刻的值。神经网络第三章神经控制中的系统辨识

(4)图(d)，N1的可用与图(c)相同的线性差分方程计算出来，N2则有仿真结果表明这种动态BP算法能使网络较好地跟踪期望输出。动态反向传播算法比静态反向传播算法复杂得多，导致这种算法存在诸多缺点，其中突出的有两个缺点：一个是必须假设系统可以分成线性系统和非线性系统；另一个是需要已知线性系统的传递函数。神经网络第三章神经控制中的系统辨识3.2.3辨识系统中的非线性模型

神经网络作系统辨识，主要用于非线性辨识和自适应。非线性系统在能控性、能观性、负反馈调节、状态观测器设计等方面，还没有成熟的做法，难度是非线性系统的辨识模型和控制模型不易选取。为此，用神经网络辨识非线性系统，必须作一些假设限制：

(1)被控对象具有能控能观性；

(2)对所有可能的输入控制量u，被控对象的输出y存在并有界；

(3)在辨识模型中的神经网络允许一个或几个，选用的结构同于被控对象；神经网络第三章神经控制中的系统辨识

(4)辨识模型的基本结构为包含神经网络的串—并联结构。

以上第(1)、(2)条限制是为了保证整个系统的稳定性及可辨性；第(3)条限制是为了方便选择模型，简化数学处理过程；第(4)条限制源于串—并联结构有以下优点：

①由于被控对象的输出y存在并有界，那么串—并联模型中所有用作辨识的信号均有界，使辨识模型易于稳定；

②串—并联模型无反馈网络，使从后向前的静态反向传播算法成为可能；

③当辨识误差足够小时，不使用串—并联结构，只使用并联结构也能有好的效果。神经网络第三章神经控制中的系统辨识在上述四种假设限制下，能够写出常用的一些非线性典型模型，现举例如下：

第一种，这种模型的输出—输入关系为n=2，m=0时的并联结构和串—并联结构如图4-6所示。第二种，第三种，神经网络第三章神经控制中的系统辨识并联及串—并联模型(a)n=2，m=0时的并联模型；(b)n=2，m=0时的串—并联模型第四种，

y(k+1)=f(y(k)，y(k－1)，…，y(k－n))，u(k)，u(k－1)，…，u(k－m)神经网络第三章神经控制中的系统辨识

3.3非线性动态系统辨识

3.3.1非线性动态系统的神经网络辨识

设非线性离散动态系统的状态方程为

X(k+1)=φ［X(k)，U(k)］

Y(k)=ψ［X(k)，U(k)］

式中，X，Y，U分别是系统的状态矩阵、输出矩阵和输入矩阵，并设

X(k)∈Rn，Y(k)∈Rp，U(k)∈Rm神经网络第三章神经控制中的系统辨识设状态方程描述的系统满足以下三个条件：

第一条，定义U的取值范围组成的集合为Ω

Rm，则

U∈Ω。若X(0)∈Rm，则对有限个M，系统是稳定的，表现为：‖X(M)‖+‖Y(M)‖<∞。

第二条，函数φ［·］和ψ［·］当Rn+m→Rn时连续且满足Lipschitz条件，系统解唯一。

由于神经网络用作非线性离散系统辨识模型时属静态网络，用作非线性离散系统的动态模型时还需要满足下一个条件。神经网络第三章神经控制中的系统辨识第三条，设任意连续函数f：C→Rp，其中C为闭集，

C

Rp，均存在网络参数W，使网络输出F(X，W)满足其中，ε是一个大于0的小正数。满足以上三个条件的神经网络非线性动态系统结构图如图4-7所示，用作系统辨识时有如下定理。

定理考虑到满足第三条的系统状态方程为神经网络第三章神经控制中的系统辨识对于X(0)=X0∈Rm，U∈Ω

Rm，Ω为闭集，对于每一ε＞0，必存在网络参数W，使得U∈Ω，都有满足上述第一条、第二条条件的系统充分接近输出，存在：

max‖y(k)－Y(k)‖<ε

证明过程从略。此定理说明用BP网络组成非线性动态系统时，按上图结构，能构成非线性离散动态系统的精确模型，且有唯一稳定解。神经网络第三章神经控制中的系统辨识图神经网络非线性动态系统结构图神经网络第三章神经控制中的系统辨识3.3.2单输入单输出非线性动态系统的BP网络辨识

选用BP网络辨识，网络的结构可选三层前向网络。其中输入层用u(k)作输入，神经元个数为n1，则

n1≥n+m+1

隐层的神经元个数假设为n2个，可取

n2＞n1

隐层神经元个数n2在4～20个范围内选取，通过仿真比较，选取性能好的那个值。

输出层神经元个数设为n3，大小等于被辨识系统的输出个数。神经网络第三章神经控制中的系统辨识现考虑一个单输入单输出非线性动态系统，设系统的输入及阶次分别为u(k)和m，输出及阶次分别为y(k)和p，系统方程为

Y(k+1)=f(y(k)，y(k－1)，…，u(k)，…，u(k－m+1))

单输入单输出的n1＝n3＝1。

BP网络的输入矢量可写成

x(k)=［x1(k)，x2(k)，…，xn1(k)］T

因m、p未知，可进行的几种组合，比较性能后选最优的一组。神经网络第三章神经控制中的系统辨识设输入层用“I”表示，隐层用“H”表示，输入层到隐层的连接权矩阵为［wji］，对应输入输出关系为Ij(k)=H［neti(k)］阈值对应的状态为x0=1。设输出层用“O”表示，从隐层到输出层的连接权矩阵为[Pi],相应输入输出关系为神经网络第三章神经控制中的系统辨识

阈值对应的状态为I0=1。

选用的性能指标为：学习规则采用广义δ规则，为加快收敛，δ规则带惯性项，格式如下：

Pi(k)=Pi(k+1)－Pi(k)=a1e(k)Ii(k)+a2ΔPi(k－1)Δwji(k)=a1e(k)ΔH［neti(k)］Pi(k)xi(k)+a2Δwji(k－1)

e(k)=y(k)－yq(k)

ΔH［neti(k)］=neti(k)(1－neti(k))神经网络第三章神经控制中的系统辨识式中，i=1，2，…，n2；j=1，2，…，n1，以下同。

基于BP网络的系统辨识分6步实施，各步如下。

(1)初始化连接权为小的随机值。

设Random(·)为［－1，+1］内均匀分布的随机函数，初始值

wji(0)=a·Random(·)∈［－0.1，0.1］

Pi(0)=a·Random(·)∈［－0.1，0.1］

(2)选择输入信号u(k)，候选的有阶跃、斜坡、正弦波、伪随机二进制序列(PRBS)等信号，只选一种加入系统。

(3)仿真计算y(k)。

(4)形成输入矢量X(k)，计算e(k)。神经网络第三章神经控制中的系统辨识

(5)计算ΔPi(k)、Δwji(k)。

(6)将u(k)、y(k)移位转入第二步继续。

如果是离线辨识，结束循环的判断条件为(预先选定ε为小的正数)

|e(k)|=|y(k)－yq(k)|<ε

例1

水轮发电机组模型BP网络辨识。本例选自参考文献［3］。

水轮发电机组在线辨识系统结构如图4-8所示。从结构图中看到，水轮发电机组模型的输入信号除正常PC调节器调节信号外，还叠加有一个二位式伪随机M序列信号PRES，由STD工控机参数在线辨识产生。神经网络第三章神经控制中的系统辨识神经网络第三章神经控制中的系统辨识辨识系统运行状态如下：水轮发电机组在三种典型工况下运行，分别是空载、带地区小负荷、并入大电网。机组工作于空载运行时，转换开关S接入“电气手动”时，水轮发电机组呈现开环调节系统运行。机组工作于带地区小负荷运行时，转换开关S接入“PC调节器”输出，整个系统是一个受命于给定值的负反馈调节系统，由于负载较轻，参数在线辨

识装置的输入基本上与“空载运行”相同。机组工作于“并入大电网”时，S仍拨在“PC调节器”输出位置上，负反馈调节继续有效，但辨识装置的输入却不同于“带地区小负荷运行”，由于机组的频率同于外电网的频率，辨识装置的输入为水轮机导叶开度和机组所带的外部有功负荷。对于混流式机组，在小波动工况下，转速v(s)对导叶开度k(s)的传递函数表示成神经网络第三章神经控制中的系统辨识式中，T、T0分别是机组及引水道的惯性时间常数，e0、e、a、b均是水轮机组的特性参数。

水轮发电机组启动后，先空载运行，随后切换到电气手动运行，频率基准50Hz，此时实际空载开度约20%。输入信号选用5级PRBS，单位游历Δt=4s，采样周期为0.4s，幅

值取导水机构接力器全行程的2%，记录1000次，用时6min40s，记录下三个完整的PRBS周期。数据处理时去掉稳态分量，得到机组频率的相对变化曲线，如图3-9(a)所示。神经网络第三章神经控制中的系统辨识使用三层BP神经网络辨识，网络结构选用3×2×1，学习率η=0.65，初始连接权在［0，1］间随机取值，用基本BP算法得到的BP输出如图b)所示，图(c)给出了实际

输出与BP网络输出之间的差别，从差别极微可以看到，BP网络能较理想辨识出水轮发电机组非线性动态模型。神经网络第三章神经控制中的系统辨识

3-9水轮发电机组的BP动态辨识曲线(a)实际机组频率输出变化；(b)BP网络辨识结果；(c)实际测出结果与BP辨识之差神经网络第三章神经控制中的系统辨识

例2

煤气加热炉的BP动态辨识。

煤气加热炉是典型的单输入单输出系统，输入u(t)是煤气流量，输出y(t)是排除烟道中CO2的浓度。输入输出的数据能够测得。模型的动态结构可以写成

Y(k)=f(y(k－1),y(k－2),y(k－3),u(k－3),…,u(k－7)+cq－1ω(k))

式中，取模型的阶次n=3，m=5，时滞d=2。c、q、ω是系统结构参数。

用来辨识的前向网络选用三层，输入层、隐层、输出层的神经元个数分别为n1=8、n2=7、n3=1。神经网络第三章神经控制中的系统辨识在进行训练前测得有289对{u(i)，y(i)}数据对，可选择其中200对训练隐层(如果隐层选取10个神经元，则可选用170对数据进行训练)。在训练前，所有数据对应进行正规化处理。

训练使用带修正项的BP算法，性能指标选择均方误差函数：两种不同模型训练后的辨识结果比较如表4-1所示。神经网络第三章神经控制中的系统辨识神经网络第三章神经控制中的系统辨识系统经过学习后，可将测量所得289对数据中的余下数据对与BP网络的输出进行比对，就可以测得使用BP网络的辨识准确程度。图4-10给出了BP网络辨识结果及预报曲

线，从图中观察到，预报时间较长，但预报的准确程度较为满意。

网络学习过程中均方误差(MSPE)变化曲线如图4-11所示。变化趋势显示出BP网络能够用于辨识，但与隐层神经元个数、输入输出阶次等有密切的关系。神经网络第三章神经控制中的系统辨识图BP网络辨识结果及预报(a)辨识结果；(b)预报神经网络第三章神经控制中的系统辨识图BP网络学习过程中的均方误差变化神经网络第三章神经控制中的系统辨识

例3

多输入多输出动态系统的BP网络动态辨识。

现以两输入两输出系统为例介绍，设系统为一线性系统，传递矩阵为其中，A(z－1)=1+0.883z－1+0.471z－2+0.083z－3B11(z－1)=3z－1－3.5z－2－1.5z－zB12(z－1)=z－1－0.167z－2－0.167z－3B21(z－1)=－4z－2－2z－3－z－4B22(z－1)=z－1－0.167z－2－0.083z－3－0.167z－4神经网络第三章神经控制中的系统辨识系统输入输出分别为这时网络输入量设为14，分别是n1=3，n2=3，m1=4，m2=4。y1(k)和y2(k)用两个神经网络学习：y1网络结构为9×10×1，y2网络结构为10×12×1，辨识信号为0～10间的均匀分布随机数，学习算法使用带惯性项的BP算法：神经网络第三章神经控制中的系统辨识式中，η、δ、α是相关系数，取η=0.9，δ由输出层或隐层选定，α=0.3；yq是网络的输出值，作用函数为取40个样本，两个网络分别学习8500次和8800次后的辨识结果如表4-2所示，表内数据已经经过转换转到区间(0，1)内取值。神经网络第三章神经控制中的系统辨识神经网络第三章神经控制中的系统辨识设u1=u2=0.5作为系统常值输入，系统的5组输出及测试网络后所得输出，列在表4-3中。最大相对误差(0.661－0.543)/0.661≈2.7%，表示神经网络辨识的精度相当高。

神经网络第三章神经控制中的系统辨识神经网络第三章神经控制中的系统辨识

3.4多层前向网络辨识中的快速算法

在多层神经网络极值训练中，BP算法存在收敛较慢及局部极小点问题。为此提出了多种修改算法，力图克服收敛较慢或避免陷入局部极小点。这些修正算法有增加惯性项、改变学习率或学习步长、引入高阶导数项等等。

本节讨论使用递推最小二乘法(RLS)学习训练神经网络的连接权系数，这种方法有较快的收敛速度。神经网络第三章神经控制中的系统辨识

1.神经元模型

考虑有M层的多层前向网络，输入层为1层，输出层为M层，其中的每个神经元均可表示成式中，n是第n层神经元个数，wij是第i个神经元到第j个神经元的连接权，f(·)是单调单值连接的S型函数，且神经网络第三章神经控制中的系统辨识每个神经元的输入输出关系可以分解成线性输入或非线性输出两部分，从线性输入到非线性输出之间存在一一对应的映射和逆映射关系。其中逆映射可将输出信息转换到输入

端，使用线性参数估计技术对神经网络的连续权进行训练，便于使用递推最小二乘法。神经网络第三章神经控制中的系统辨识

2.RLS训练算法

设输出层神经元的期望输入r(k)和期望输出d(k)之间有一定的关系：

d(k)=f［r(k)］

对d(k)的逆变换可写成

r(k)=f－1［d(k)］

式中，f－1(·)是f(·)的反函数。定义性能指标：神经网络第三章神经控制中的系统辨识式中，λ称为遗忘因子。神经元的输入输出重新写出如下：性能指标改写成考虑到神经网络第三章神经控制中的系统辨识令可得W的LS估计为

W(k)=［ΦT(k)Φ(k)］－1ΦT(k)R(k)相应的RLS估计为

WL(k)=WL－1(k)+ML－1(k)［rL(k)－XTL－1(k)WL－1(k－1)］式中，神经网络第三章神经控制中的系统辨识递推时取初值：

PL－1(0)=(103～106)I对于中间层每个神经元，定义其期望输入与期望输出满足

d(k)=f［r(k)］定义反传误差为

δit(k)=dit(k)－xit(k)=f[netit(k)][rit(k)－netit(k)]相应神经元期望输入为

Rit(k)=f－1［dit(k)］神经网络第三章神经控制中的系统辨识定义式中，λ(k)为非负遗忘因子。在t=L－1时，对第i个神经元，由于令反传误差

δL(k)=rL(k)－nL(k)及

δL－1(k)=δL(k)wiLf′[netiL(k)]有神经网络第三章神经控制中的系统辨识求解此式，可得神经元i的连接权系数RLS估计：

WL－1(k)=WL－1(k－1)+ΔWL－1由此类推直至t=1，可得RLS估计如下：

Wit(k)=Wit(k－1)+Mt－1(k)［rit(k)－netit(k)］由此可计算各神经元的输出。现举一个仿真实例，设非线性系统为式中，u(k)=sin(2π/250)。u(k)和y(k)是该系统的输入与输出，而该系统的结构未知。神经网络第三章神经控制中的系统辨识现在使用4层前向网络描述该非线性系统，4层的节点分别为5×20×10×1，输入层的输入矢量

X0T

(k)=［y(k－1),y(k－2),y(k－3),u(k－1),u(k－2)］

取初始值Pi(0)＝103I，λt=0.99，使用RLS估计，经过400步学习后均方误差收敛且小于0.075，学习时间小于31s。

图3-12和图3-13分别是RLS估计均方误差和BP算法均方误差,当比较两条曲线时,能够明显发现,RLS估计只要较少的学习步骤，例如400步便产生收敛，误差就能限制在一个事先确定的较小范围。而BP算法要想达到相同的目的，约需4000步费时4min13s(仿真结果)，收敛才能达到0.1。如果要想达到RLS估计的收敛值0.075，则还需要更长的时间。神经网络第三章神经控制中的系统辨识图3-12RLS算法估计均方误差神经网络第三章神经控制中的系统辨识图3-13BP算法估计均方误差神经网络第三章神经控制中的系统辨识用BP算法估计神经网络的连接权时，所用的算法为

wij(k)=wij(k－1)aδit(k)xji(k)

式中，δit是反传误差，a是学习步长。输出层的反传误差为

δL(k)=f［n(k)］［d(k)－x(k)］

中间层的反传误差为

δit(k)=f［n(k)］∑δjt(k)wji(k－1)

步长为

a(k)=amax+(amin－amax)e－λ神经网络第三章神经控制中的系统辨识3.5非线性模型的预报误差神经网络辨识

除RLS外，还有诸多提高收敛速度的算法，预报误差算法就是其中的一种。

3.5.1非动态模型建模

预报误差算法简称RPE算法，它具有预报精度高、收敛速度快等特点，同样该算法也能用于非动态模型的神经网络建模。

考虑图4-14的三层前向网络，设三层结构n1×n2×1，输入层有n1个神经元，隐层有n2个神经元，输出层仅一个节点。神经网络第三章神经控制中的系统辨识图3-14三层前向网络神经网络第三章神经控制中的系统辨识网络输入为xi，i=1，2，…，n1。网络的输出为y。zj和qj是隐层中第j个神经元的输出值和阈值，j=1，2，…，n2。Wkij表示第k－1层中第i个神经元，对第k层中的第j个神经元

的连接权。

隐含层中节点的作用函数取成S型函数：网络的输入输出关系为y(t)=∑WXX=g(∑WijXi+Qi)神经网络第三章神经控制中的系统辨识该网络能辨识的非线性系统具有如下的输出输入关系：

y(t)=f[y(t－1)，…，y(t－m)，x(t－1)，…，x(t－n)]+d(t)

其中，y(t)和x(t)是非线性系统的输出和输入；m与n分别是输出与输入的最大滞后；d(t)是影响该系统的非线性随机因素，如随机噪音；f(·)是非线性函数。

在三层前向网络中，设Q=[Q1，Q2，…，Qn]T是神经网络中待求的神经元阈值，n1+n2是待定的神经元个数。e(t)是实际输出与神经网络输出之差，又称为偏差。训练算法让Q1～Qn在一定的条件准则下得到确定值。神经网络第三章神经控制中的系统辨识

RPE算法是一种将预报误差极小化来估计参数的方法。算法中同样需要准则函数。这里不妨设准则函数为

式中，N是数据长度，e(t)是预报误差。有了准则函数，RPE算法便可沿着J的高斯—牛顿(Gauss-Newton)方向搜索，不断修正未知参数矢量，直至使J趋近于最小。神经网络第三章神经控制中的系统辨识3.5.2递推预报误差算法

递推预报误差算法的原则是先选定参数矢量的修正算式，再求对Q的一阶及二阶微分。设修正算式为

Q(t)=Q(t－1)+S(t)μ[Q(t－1)]

式中，μ(Q)就是高斯—牛顿搜索方向，可定义成

μ(Q)=－[H(Q)]－1▽J(Q)

其中，▽J(Q)是J(Q)关于Q的梯度，H(Q)是J(Q)的Hessian矩阵。▽J(Q)和H(Q)表示成它们分别是J(Q)对Q的一阶和二阶微分。神经网络第三章神经控制中的系统辨识

1.递推预报流程

递推预报误差算法如下式：

e(t)=y(t)－yq(t)式中，λ(t)是遗忘因子，对收敛速度有影响。改变的方法是迭代开始时取λ(t)＜1；t→∞时取λ(t)→1。或设置λ的初值，例如取λ(0)=0.95～0.99，而后有

λ(t)=λ(0)λ(t－1)+(1－λ(0))神经网络第三章神经控制中的系统辨识若将RPE用于三层前向神经网络，隐层取一层，相应的Ψ为n×1矩阵，矩阵中各元素为由此设计的RPE流程如下：

(1)用较小随机值初始化连接权值和阈值，得：

W(0)=aRandom(·)

Q(0)=bRandom(·)神经网络第三章神经控制中的系统辨识

(2)选P(0)为对角矩阵。

(3)按照网络输入分别计算隐层节点x1k及输出节点yq的值。

(4)形成Ψ阵并求预报误差e(t)、P(t)阵及参数序列Q(t)。

(5)重复以上(2)～(4)，直至收敛。

从以上的分析可以看到，RPE算法实际上是一种求高阶导数的学习算法。在计算H(Q)的逆矩阵上使用递推最小二乘法，与基本BP算法(仅利用一阶导数)相比，高阶导数的计算加快了收敛速度。神经网络第三章神经控制中的系统辨识

2.RPE算法的具体应用

例1

带电流内环和转速外环的PWM直流脉宽调速系统，具有如图4-15所示的系统结构。转速环处于外环，能有效克服环内出现的干扰以及外特性引起的速度变化。但电机

转速却会因电机运行工况、电源电压的波动或畸变、机械负荷的突然变化而发生改变，因此双环调速系统本身是一个非线性时变系统。另外，还有许多非线性因素也广为存在系统

中，如：时磁滞、齿轮间隙、库仑摩擦、调节器限幅、脉冲调制放大器和运算放大器饱和产生的非线性等。神经网络第三章神经控制中的系统辨识图43-15转速电流双闭环PWM调速系统神经网络第三章神经控制中的系统辨识在转速环基础上增加位置环，将构成位置伺服系统，该系统有一系列典型的非线性特征，这是PWM调制所产生的。为了动态辨识转速环，便于使用RPE算法，选用3×2×1的

神经网络结构。同时选择输入信号为2V±0.2V，其中2V是系统转速环给定值，对应需要恒定运转的速度，0.2V是迭加的幅值，用于考虑一定的波动允许范围。输入信号可用矢量表示成

X(t)=［u(t－1)，u(t－2)，y(t－1)］T

输出信号为测速发电机的输出电压。在用RPE算法训练900次后，神经网络预报输出及残余序列实测曲线如图3-16所示。实测阶跃响应拟合曲线如图3-17所示。神经网络第三章神经控制中的系统辨识图3-16神经网络预报输出及残余序列实测曲线神经网络第三章神经控制中的系统辨识图3-17实测阶跃拟合曲线神经网络第三章神经控制中的系统辨识对比拟合曲线可以看到，神经网络辨识PWM系统动态模型的效果令人满意。通常为了评价模型的拟合精度，常引入误差指数E，定义成式中，e(t)是偏差值，为系统实际输出与神经网络输出之差。改变隐层节点数目后，不同的E值如表4-4所示。输入矢量及输入节点不同时的E值如表4-5所示。神经网络第三章神经控制中的系统辨识神经网络第三章神经控制中的系统辨识由此可见，选择如此结构的神经网络模型较为合理，输入节点数及输入矢量的合理搭配在很大程度上能影响拟合精度。通常情况下合理选择隐层节点数量，适当增加输入节

点数量及延迟y(t)，对提高辨识精度较为有利。

例2

设SISO非线性模型为选用辨识的神经网络结构为2×1×1，输入信号为六级伪随机二进制序列PRBS，用u(t)表示，设输入矢量为

X(t)=［u(t－1)，y(t－1)］T神经网络第三章神经控制中的系统辨识参数矢量Θ(t)和Ψ分别为

Θ(t)=［θ1，θ2，θ3，θ4］T

Ψ=［ψ1，ψ2，ψ3，ψ4］T

递推1000次后得参数矢量Θ(t)=［0.4999，0.3999，0.09985，0.6000］T

，表示结果十分理想。如果改用BP算法，因学习率等一系列参数难于折中表示，得不到满意结果。神经网络第三章神经控制中的系统辨识

4.6非线性系统逆模型的神经网络辨识

无论是线性系统还是非线性系统，都存在一个可逆性问题。

在正常情况下，对系统进行分析的主要任务就是：系统在一个控制信号的作用下，将会产生什么样的输出，产生什么样的运动轨迹。例如一个系统可用以下方程表示出来：

y=f(u，x，T)神经网络第三章神经控制中的系统辨识其中，y是输出，u

是输入，x是状态变量，T是系统的控制作用。当输入一定、系统状态不变时，系统输出y应直接与控制作用T有关，式中的f(u，x，T)事实上是系统在外力作用下的非线性函数。

正常的系统分析过程是已知控制信号T(t)，确定其运动轨迹u(t)和x(t)。

已知系统的运动轨迹u(t)和x(t)，寻找控制信号T(t)，被称为系统分析的逆过程。系统分析过程与逆过程如图3-18所示。神经网络第三章神经控制中的系统辨识图3-18系统分析过程及逆过程(a)系统分析过程；(b)系统分析逆过程神经网络第三章神经控制中的系统辨识3.6.1系统分析逆过程的存在性

在一个控制系统中，如果已经知道了运动轨迹u(t)、x(t)，要想求出它的控制信号T(t)，首先必然要问：这个控制信号是否存在?系统是否可逆?

在求解系统运行的正向过程和逆向过程中，神经网络具有的独特的作用与功能，尤其是对于非线性系统。神经网络的学习方式有监督学习和非监督学习两种。监督学习中存在导师信号，导师信号的功能恰好是演示期望的运动轨迹，而不是起控制作用的，不是直接教会网络实施运动神经的控制。由此可见，在清晰明了的导师信号前，系统的运动轨迹也清晰可见，寻找相应的控制指令更加方便与直观。事实上，神经网络在获取了所期望的运动轨迹后，将产生相应的各种运动神经指令，传送给网络的各层以实现这个期望值，并由相应的感觉系统完成测量。神经网络第三章神经控制中的系统辨识在比较实际轨迹与期望运动轨迹的基础上，神经网络产生一个它们之间的差值。如果将这个差值作为导师信号完成对相应神经网络的训练，那就能从神经网络的输出中产生“控制信号”，从而实现系统分析的逆过程。

一个系统是否可逆，是否能用神经网络建立逆模型实现辨识，与系统自身的性质密切相关，与系统是否线性无关。线性系统的可逆性问题比非线性系统的可逆性问题要简单得多。

线性系统的可逆性问题实际上是一个能控性问题，凡具有能控性的系统，可逆性必存在，系统必然可逆。例如对单变量线性系统，可逆性十分清晰；对多变量线性系统，利用能控性判据也能得出可逆存在。神经网络第三章神经控制中的系统辨识非线性系统的可逆性问题则要复杂得多，目前尚无一个普遍适用的方法对应所有的非线性系统，既然无通用解法，只能遇到一个，辨识一个(非线性系统)。

现考察离散单输入单输出非线性系统，设该系统的输入和输出分别是

u(k)∈R，y(k)∈R

又设m≤i，系统的传输关系为

y(k+1)=f［y(k)，…，y(k－n)，u(k)，…，u(k－m)］

式中，f(·)是输出、输入之间的函数关系。系统可逆性有如下定义：

如果存在R(n+m+1)的子集A，且

[y(k)，…，y(k－n)，u(k－1)，…，u(k－m)]T∈A神经网络第三章神经控制中的系统辨识当任意一个u(k)=u′(k)时，必有

f［y(k)，…，y(k－n)，u(k－1)，…，u(k－m)］

≠f［y(k)，…，y(k－n)，u′(k－1)，…，u′(k－m)］

则称系统在点［y(k)，…，y(k－n)，u(k－1)，…，u(k－m)］

处是可逆的，否则称系统在该点处是奇异(即不可逆)的。

对于奇异系统，有

f［y，u］=f［y，u′］神经网络第三章神经控制中的系统辨识上述对系统可逆性的定义仅仅定义了系统在某些点上是可逆或奇异的。系统的奇异是一种极端情况，非线性系统在某一点上可逆并不等于说该系统就是一个可逆系统，这是

因为系统在某些点上是可逆的，但在另一些点上却是奇异的。介于可逆系统与奇异系统之间的系统是存在的，一个系统能够在某些点表现出存在两个不同的输入u(t)≠u′(t)，但能引起相同的输出，例如带滞环特性的阀门就有这种特征。

系统可逆性的充分条件由下述定理给出。神经网络第三章神经控制中的系统辨识

定理如果对于u(k)，f［y(k)，…，y(k－n)，u(k)，u(k－1)，…，u(k－m)］严格单调，那么系统在点[y(k)，…，y(k－n)，u(k－1)，…，u(k－m)]T处可逆。只有在所有点处可逆都成立，系统才是可逆系统。

定理的证明较为简单，由于系统严格单调，则

f(y，u)≠f(y，u′)

表明系统在该点处单调。

多值非线性系统不一定都是可逆系统。是否可逆就看它是否符合定理的三个条件。例如磁滞回线是否为可逆系统，可作如下分析：神经网络第三章神经控制中的系统辨识表面上看，磁滞的一个输入对应两个输出，每个输出可找到相应的两个控制信号，似乎磁滞回线不可逆。但是磁滞控制有一个特征，就是有向性，升磁和消磁经过的路径不同，如果是磁化过程，一个输入仅对应一个输出；反之，退磁过程是一个输入仅对应一个输出。必然能逆向辨识，由此可见磁滞回线是可逆系统，只是正向过程和逆向过程所走的路径不同罢了。

又如系统y=(u－1)u(u+1)就是一个不可逆系统，它不符合定理提出的三个条件，如y=0时，有1，0，－1三个解。神经网络第三章神经控制中的系统辨识3.6.2非线性系统的逆模型

非线性系统的逆模型研究包括逆系统建模及逆模型辨识两部分内容。逆系统建模的主要任务是对非线性系统的逆运行过程建立一个数学模型；逆模型辨识是对非线性系统的逆

运行进行辨认识别，看其与哪一种已知模型更接近。

神经网络辨识是逆模型建立和辨识的核心内容。本节所述逆模型的建立方法突出了神经网络的功能与作用。

非线性系统的逆模型建立方法有如下几种：直接逆系统建模、正—逆系统建模及逆—正系统建模。神经网络第三章神经控制中的系统辨识

1.非线性系统逆模型的直接建立

非线性系统逆模型的直接建立依靠直接逆系统建模法，该方法又称为泛化学习法。泛化学习的本意是网络训练所覆盖的范围要比未知的逆系统所可能涉及的范围大一些，这样

设置有利于获得更佳的逆动力学特性。

逆模型直接建立的结构框图如图4-19所示，系统的给定值为u，输出值为y，神经网络的训练信号取自一个误差值e，e是系统输入u和神经网络输出v之差：e=u－v。神经网络第三章神经控制中的系统辨识图3-19逆模型直接建立神经网络第三章神经控制中的系统辨识神经网络的输入信号为系统的输出信号y。训练方法是：把未知被控对象的输出y作为神经网络的输入，神经网络的输出v如果不等于系统的输入u，将产生偏差e对网络进行训练，直至v=u为止，或u－v小到一个允许的范围为止。

用于直接逆系统建模的网络较多，有BP网络、CMAC网络、多层感知器等。不同的网络结构有不同的优缺点，如BP网络，优点是训练简单、结构简练，不足之处是不能快

速进行，要想在线实时获取逆动力学模型，就有一定难度。神经网络第三章神经控制中的系统辨识

2.正—逆系统建模

非线性系统逆模型还可以依靠“正—逆系统建模”的方法获得，这种方法的要点是在非线性系统的正模型(未知对象的动力学模型)基础上，获得逆动力学模型，有三种方案值

得考虑。

(1)被控对象—逆模型建模，建模示意图如图4-20所示。

本方案中的神经网络作逆系统辨识用，它的输入是整个系统的输入给定值u，系统的实际输出是未知被控对象的输出y，神经网络的训练信号e取自二者之差：

e=y－u神经网络第三章神经控制中的系统辨识图3-20被控对象—逆模型建模神经网络第三章神经控制中的系统辨识这种建模方法存在一个严重的缺憾，那就是要求知道未知对象的模型，恰恰在系统中它又是未知的，解决这个问题的方法是将未知对象改用直接自适应控制器，避免可能出现

的致命差错。

(2)正模型—逆系统建模，建模示意图如图3-21所示。

本方案中的神经网络用于模拟被控对象的正模型(图4-21中的“正模型”)，在前馈通道上的神经网络用于辨识逆模型。神经网络的训练信号是两值之差，一个值u是神经网络的期望输入，另一个值v则是正模型的期望输出，

e=u－v神经网络第三章神经控制中的系统辨识图3-21正模型—逆系统建模神经网络第三章神经控制中的系统辨识误差e用来训练辨识逆模型的神经网络连接权值。

本方案的突出优点是正模型一旦建立便成为已知条件，未知被控对象的各种运算都能从正模型计算出来。方案的不足之处在于逆模型的精确程度依赖于正模型的精确程度，如

果正模型本身精度低、误差大，相应逆模型也不能正常反映被控对象的实际情况。产生这种状态的直接原因是被控对象不在逆系统的反馈回路中，这是系统结构造成的，没办法解决。

(3)被控对象—正模型—逆模型建模，建模示意图如图3-22所示。神经网络第三章神经控制中的系统辨识图3-22被控对象—正模型—逆模型建模神经网络第三章神经控制中的系统辨识本方案以直接建模为基础，神经网络作逆模型辨识用，它的训练信号来自于两值之差：一个值是它的期望输入u，另一个是被控对象的实际输出y，

e=u－y

在调节过程中，未知被控对象使用正模型神经网络代替。未知被控对象处在逆系统的反馈环中，通过正模型能反映出未知被控对象的真实情况，避免出现“正模型—逆系统建模”方案的弊病。神经网络第三章神经控制中的系统辨识本方案的第二个优点在于：如果正反模型都采用BP网络，则逆模型神经网络在误差回传时的最后一层误差，通过正模型神经网络的误差回传传递。既然正模型神经网络的功能仅仅只是回传误差，那么即便存在误差也无关紧要，仅影响收敛速度而不至于影响是否收敛。神经网络第三章神经控制中的系统辨识

3.逆—逆系统建模

这种建模方法使用两个逆系统模型，与未知被控对象一起构成训练回路。处于系统前馈通道上的神经网络，功能是一个控制器，控制未知被控对象，让被控对象产生相应的输出。逆—逆系统建模示意图如图4-23所示。神经网络第三章神经控制中的系统辨识图3-23逆—逆系统建模神经网络第三章神经控制中的系统辨识逆模型的输入信号e为神经网络控制器的输入u与未知被控对象的输出y之差：

e=u－y

如果神经网络控制器与未知被控对象的逆动力学特性不相等，则逆模型的输入不为0，神经网络控制器的训练将继续进行。只要系统中的逆模型是未知被控对象的另一个逆模型，就可以利用它来计算出未知被控对象应该具有的输入估计值。

当e为0或进入一个事先预定的小的正数时，连接权训练才可停止。

逆—逆系统建模中的“逆模型”可采用如下几种形式：神经网络第三章神经控制中的系统辨识第一种，未知被控对象的线性化逆动力学模型，可通过最小二乘法、相关分析法等传统辨识方法获得。既为线性模型，就比较容易从输出反推出输入，辨识准则为线性化的程度。

第二种，未知被控对象的非线性逆动力学模型，可通过机理分析未知被控对象的结构或实验获得，也可由神经网络直接辨识逆模型而获得。

第三种，神经网络控制器的复制模型，可通过神经网络控制器在训练以后获得，训练过程是控制器每学习完一步，就可以复制出完全相同的连接权。使用这种模型时要注意：神经网络控制器与逆模型在初始值、参数及结构等方面完全相同。神经网络第三章神经控制中的系统辨识本节介绍了非线性系统逆模型的三种建模方法，其中直接逆系统建模简单直观，但不易在线操作。另外两种方法将逆模型与神经网络控制器联系在一起，成为系统闭环控制的一个组成部分。神经网络第三章神经控制中的系统辨识3.6.3基于多层感知器的逆模型辨识

采用多层感知器的非线性系统辨识，是直接逆系统建模的一个具体应用。在非线性系统的神经网络中使用多层感知器，是因为其具有学习速度快、计算工作量快等优点，这些优点是相对于BP网络而言的。

1.基本结构

做开关作用函数的单层感知器结构如图4-24所示。它的学习算法有以下几种。

(1)WidrowHoffδ学习规则:神经网络第三章神经控制中的系统辨识

(2)修正的δ学习规则:(3)高收敛阶δ学习规则：各种学习规则中都有X∈Rn，是输入矢量；W(k)∈Rm是连接权矢量，e(k)是期望输出与实际输出之差，α是学习率，sgnX是符号函数阵：

sgnX=［sgnx1，sgnx2，…，sgnxm］T式中，符号函数为神经网络第三章神经控制中的系统辨识图3-24单层感知器开关结构示意图神经网络第三章神经控制中的系统辨识

2.高收敛阶δ学习规则

采用高收敛阶δ学习规则的单层感知器，在固定模式的训练误差e由下式决定：

e(k+1)=f[α，e(k)，e(k－1)]e(k)

按f(·)的取法，e(k)允许取超线性的1.618阶、2阶、3阶或更高阶次。

对于这一学习规则，证明如下。首先设单层感知器的输入/输出特性为

y(k)=∑wixi=WT(k)X

固定模式时有神经网络第三章神经控制中的系统辨识则

e(k+1)=f［α，e(k)，e(k－1)］e(k)若取

f［α，e(k)，e(k－1)］=αe(k－1)则

e(k+1)=αe(k－1)e(k)神经网络第三章神经控制中的系统辨识设误差初值为e(0)和e(1)，且e(0)，e(1)∈Δ={δ|αδ<1}，对任一k，都有

e(k+1)<αδ·δ<δ∈Δ

或

当k→∞时，e(k)→0，证明δ学习规则收敛。再看e(k+1)=αe(k－1)e(k)，若令神经网络第三章神经控制中的系统辨识该式满足差分方程:

z(k+1)=z(k)+z(k－1)

方程的两根为λ1=1.618及λ2=－1.618，因此有比较后得收敛阶λ1，为超线性的1.618阶。神经网络第三章神经控制中的系统辨识如果取f［α，e(k)，e(k－1)］=α2e(k)，则有

e(k+1)=［αe(k)］2

取α满足则e(k+1)具有2次收敛阶。对于3次或高次收敛阶，亦可采取同样的取法。神经网络第三章神经控制中的系统辨识

3.S型作用函数的使用

不用开关型作用函数，改用S型作用函数，多层感知器可采用BP算法，这是因为开关型作用函数不可微时，反传学习法将无法使用。

设三层感知器的结构如图4-25所示。

图中X、Y0分别是三层感知器的输入和输出，Y=、YH分别是输入层和隐层的输出，Z1和ZH分别是输入层和隐层在经过非线性开关函数后的输出。设三层结构为n1、nH和n0，连接权矩阵W1、WH、W0的维数分别为n1×n，nH×n，m×nH。神经网络第三章神经控制中的系统辨识图3-25三层感知器神经网络第三章神经控制中的系统辨识输入输出特性如下：

输入层：

隐层：

输出层：连接权训练用的误差矢量为E(k)=Yd－Y0(k)神经网络第三章神经控制中的系统辨识其中，Yd是神经网络的期望输出。连接权算法可表示成

W1(k+1)=W1(k)+U1(k)

WH(k+1)=WH(k)+UH(k)

W0(k+1)=W0(k)+U0(k)

算法收敛性可表达成U1、UH、U0，分别取值为神经网络第三章神经控制中的系统辨识U1、UH、U0统一称为连接权更新矩阵。误差矩阵E(k)满足差分方程：

E(k+1)=f［A，E(k)，E(k－1)］E(k)

式中，A，E(k)，E(k－1)均为对角矩阵：

A=diag{a1，a2，…，an}

E(k)=diag{e1(k)，e2(k)，…，en(k)}

当f(·)的取法不同时，E(k)收敛阶数随之不同，一般值有1.618、2、3或更高。

S型作用函数算法收敛性证明过程与S开关型函数算法收敛性证明过程相同。首先给E(k)一个能满足的关系式：神经网络第三章神经控制中的系统辨识又神经网络第三章神经控制中的系统辨识则将U0T(k)表达式代入并整理，得A，E(k)，E(k－1)均为对角矩阵时，矢量差分方程由几个差分方程组成，第i个方程为

ei(k+1)=f［ai，ei(k)，li(k－1)］ei(k)其中，i=1，2，…，n。当f(·)的取法不同时，E(k)的收敛阶数可分别为1.618、2、3或更高。神经网络第三章神经控制中的系统辨识

4.动态模拟型辨识

动态逆模型辨识结构图如图3-26所示。该系统由5部分组成：未知待辨识系统、感知器、学习算法、延时电路及误差产生环节。其中未知待辨识系统既容许线性系统，也容许非线性系统；感知器既可以是单层网，也可以是多层网；学习算法使用本节讨论过的算法。

学习过程就是感知器的训练过程，训练方法由以下几个因素描述：

(1)一个状态矢量W(k)，反映了网络层间的连接权；

(2)用h(·)定义的非线性映射单输出误差e(k)；神经网络第三章神经控制中的系统辨识图3-26动态逆模型辨识结构图神经网络第三章神经控制中的系统辨识

(3)一个非线性动态离散差分方程，其输入量为连接权值改变量。

用数学式表示成

W(k+1)=f［W(k)，U(k)］

e(k)=h［W(k)］

式中，连接权阵W(k)∈Rn，输入阵U(k)∈Rm，误差e(k)∈R。定义使误差为0的连接权阵W组成的集合为

h－1(0)={W∈Rn|e=h(W)=0}

h－1(0)的含义在于：如果存在一个控制规律U(k)，使得系统运动过程中对e(k)≠0满足关系式

|e(k+1)e(k)|<e2(k)神经网络第三章神经控制中的系统辨识则称在h－1(0)上存在一个拟滑动模型。无论单层感知器或多层感知器，只要学习率a选择恰当，总有|e(k+1)|<|e(k)|，因此有

|e(k+1)e(k)|<e2(k)

能够找到期望的连接权阵W，使神经网络实现期望的输入输出映射，学习算法必然收敛。

考察线性对象，状态方程为

x1′=－x2

x2′=－2x1－2