基于人工神经网络的系统辨识教程文件

1、基于人工神经网络的系统辨识Power Electronics & Electrical Drive Lab. HIT.2主要内容主要内容v 人工神经网络的概述人工神经网络的概述 人工神经元模型人工神经元模型 人工神经网络的结构人工神经网络的结构 人工神经网络的学习人工神经网络的学习 几种典型的人工神经网络几种典型的人工神经网络v 系统辨识概述系统辨识概述 系统辨识的基本概念系统辨识的基本概念 系统辨识的三要素系统辨识的三要素 系统辨识的基本过程系统辨识的基本过程v 基于神经网络的系统辨识技术基于神经网络的系统辨识技术 人工神经网络辨识的基本原理人工神经网络辨识的基本原理 飞行器系统气动

2、力参数辨识飞行器系统气动力参数辨识Power Electronics & Electrical Drive Lab. HIT.3Power Electronics & Electrical Drive Lab. HIT.4Power Electronics & Electrical Drive Lab. HIT.5Power Electronics & Electrical Drive Lab. HIT.6人工神经网络的概述人工神经网络的概述1.2 神经网络的结构神经网络的结构前馈型网络（前馈型网络（FNN）根据激活函数的不同，根据激活函数的不同，FNN又可又可

3、分为分为多种多种类型。如多层感知器类型。如多层感知器（MLP）、径向基网络（）、径向基网络（RBF）、）、小波网络（小波网络（WN）Power Electronics & Electrical Drive Lab. HIT.7人工神经网络的概述人工神经网络的概述反馈（递归）型网络反馈（递归）型网络全局反馈：全局反馈：Hopfield网络、网络、Elman网络网络局部反馈网络是在单个神经局部反馈网络是在单个神经元上进行反馈元上进行反馈，类型很多类型很多Power Electronics & Electrical Drive Lab. HIT.8人工神经网络的概述人工神经网络的概述

4、1.3 神经网络的学习神经网络的学习通过向环境学习获取知识并改进自身性能是神经网络的一个重要特通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点，在一般情况下，性能的改善是按某种规定的度量调节自身参数点，在一般情况下，性能的改善是按某种规定的度量调节自身参数（如权值）并随时间逐步达到的，学习方式（按环境所供信息的多（如权值）并随时间逐步达到的，学习方式（按环境所供信息的多少分）有以下三种：少分）有以下三种：有监督学习有监督学习无监督学习无监督学习1.强化学习强化学习学习算法：学习算法：学习规则（误差纠正规则）学习规则（误差纠正规则）Hebb学习规则学习规则1.竞争学习竞争学习2211

5、11()22NNiiiiiJtyePower Electronics & Electrical Drive Lab. HIT.9人工神经网络的概述人工神经网络的概述1.4 几种典型的人工神经网络几种典型的人工神经网络感知机神经网络感知机神经网络BP（Back Propagation）神经网络）神经网络径向基（径向基（Radial Basis Function, RBF）神经网络）神经网络竞争学习神经网络竞争学习神经网络Hopfield神经网络神经网络Boltzmann神经网络神经网络 Power Electronics & Electrical Drive Lab. HIT.1

6、0人工神经网络的概述人工神经网络的概述BP神经网络神经网络隐含层和输出层的激活函数采用对数隐含层和输出层的激活函数采用对数-S型激活函数型激活函数1( )1 exp()yg xxPower Electronics & Electrical Drive Lab. HIT.11人工神经网络的概述人工神经网络的概述隐含层的第隐含层的第i个神经元在样本个神经元在样本p作用下的输入为：作用下的输入为：11(1,2, )MMpppiijjiijjijjnetw ow xiq隐含层的第隐含层的第i个神经元的输出为：个神经元的输出为：()(1,2, )ppiiog netiq输出层第输出层第k个神经元

7、的总输入为：个神经元的总输入为：1(1,2, )qppkkiikinetw okL输出层的第输出层的第k个神经元的实际输出为：个神经元的实际输出为：()(1,2, )ppkkog netkLBP网络的前馈计算网络的前馈计算Power Electronics & Electrical Drive Lab. HIT.12人工神经网络的概述人工神经网络的概述BP网络权系数的调整规则网络权系数的调整规则对于每一样本对于每一样本p的输入模式对的二次型误差函数为：的输入模式对的二次型误差函数为：211()2LpppkkkJtoBP学习算法的学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值

8、使基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。网络总误差最小。学习过程按使误差函数学习过程按使误差函数Jp减小最快的方向调整加权系数直到获得满意的加权系减小最快的方向调整加权系数直到获得满意的加权系数为止。因此，权系数应按数为止。因此，权系数应按Jp函数梯度变化的反方向调整，使网络逐渐收敛。函数梯度变化的反方向调整，使网络逐渐收敛。(1)( )ppkikikiwkwko(1)( )ppijijijw kw ko(1)()pppppkkkkkooto1(1)()Lppppiiikkikoow输出层的神经元权系数修改公式：输出层的神经元权系数修改公式：隐含层的神经元权系数修改

9、公式：隐含层的神经元权系数修改公式：Power Electronics & Electrical Drive Lab. HIT.13人工神经网络的概述人工神经网络的概述BP网络学习算法的计算步骤网络学习算法的计算步骤初始化：置所有的加权系数为最小的随机数；初始化：置所有的加权系数为最小的随机数；提供训练集：给出输入向量提供训练集：给出输入向量p和期望的输出向量和期望的输出向量t。计算实际输出；计算实际输出；计算期望值与实际输出的误差；计算期望值与实际输出的误差；调整输出层的加权系数；调整输出层的加权系数；调整隐含层的加权系数；调整隐含层的加权系数；返回步骤（返回步骤（3），直到误差满足

10、要求为止。），直到误差满足要求为止。Power Electronics & Electrical Drive Lab. HIT.14系统辨识概述系统辨识概述2.1 系统辨识的基本概念系统辨识的基本概念 设有一离散时不变因果系统，它的输入和输出分别设有一离散时不变因果系统，它的输入和输出分别为为u(t)和和yp(t)，并设，并设u(t)是一致有界函数，那么辨识问题是一致有界函数，那么辨识问题可以描述为寻求一数学模型可以描述为寻求一数学模型, 使得模型的输出和被辨识系使得模型的输出和被辨识系统的输出尽量接近。统的输出尽量接近。Power Electronics & Electric

11、al Drive Lab. HIT.15系统辨识概述系统辨识概述2.2 系统辨识三要素系统辨识三要素辨识三要素和辨识要点辨识三要素和辨识要点输入输入/输出数据输出数据系统模型类型系统模型类型等价准则等价准则能够量测到的能够量测到的系统的系统的输入输入/输出数据输出数据所考虑的所考虑的系统的结构系统的结构给出辨识的给出辨识的优化目标优化目标输入信号的选择：输入信号的选择：必须能充分激励必须能充分激励系统的所有模态。系统的所有模态。模型的选择：模型的选择：兼顾精确性兼顾精确性和复杂性和复杂性最常用的误差最常用的误差准则是准则是误差平方和函数误差平方和函数Power Electronics &

12、; Electrical Drive Lab. HIT.16系统辨识概述系统辨识概述2.3 系统辨识的基本过程系统辨识的基本过程 选定和预测被辨识系统的数学模型类型选定和预测被辨识系统的数学模型类型试验设计：选择试验信号，记录输入试验设计：选择试验信号，记录输入/输出数据输出数据参数估计：选择估计方法，根据测量数据估计参数估计：选择估计方法，根据测量数据估计数学模型中的未知参数。数学模型中的未知参数。模型验证：验证所确定的模型是否模型验证：验证所确定的模型是否恰当地表示了系统恰当地表示了系统Power Electronics & Electrical Drive Lab. HIT.17

13、基于神经网络的系统辨识技术基于神经网络的系统辨识技术在正向建模问题中，神经网络与在正向建模问题中，神经网络与待辨识系统具有相同的输入，两待辨识系统具有相同的输入，两者的输出误差作为网络的训练信者的输出误差作为网络的训练信号，这是典型的有监督学习问题。号，这是典型的有监督学习问题。学习结束后，网络模型将具有与学习结束后，网络模型将具有与实际系统相同的输入输出特性。实际系统相同的输入输出特性。3.1 人工神经网络辨识的基本原理人工神经网络辨识的基本原理正向模型正向模型（1）正向模型）正向模型Power Electronics & Electrical Drive Lab. HIT.18基于

14、神经网络的系统辨识技术基于神经网络的系统辨识技术（2）逆向模型）逆向模型直接逆模型直接逆模型间接逆模型间接逆模型直接逆向模型是把系统输出作为网络输入直接逆向模型是把系统输出作为网络输入，用网络的输出与系统的输入作比较用网络的输出与系统的输入作比较,两者的误差作为网络的训练信号两者的误差作为网络的训练信号；而间接模型结构；而间接模型结构中有一个已知的系统正向模中有一个已知的系统正向模型型,同时将逆模型网络与系统串联同时将逆模型网络与系统串联，网络输入是系统的期望输出网络输入是系统的期望输出，训练信号为训练信号为系统的期望输出与其实际输出之差系统的期望输出与其实际输出之差，或者是与己知神经网络正向

15、模型的输出之或者是与己知神经网络正向模型的输出之差。差。Power Electronics & Electrical Drive Lab. HIT.19飞行器系统气动力参数辨识飞行器系统气动力参数辨识3.2 飞行器系统气动力参数辨识飞行器系统气动力参数辨识飞行器系统各主要符号及其含义飞行器系统各主要符号及其含义（6自由度）自由度）Power Electronics & Electrical Drive Lab. HIT.20飞行器系统气动力参数辨识飞行器系统气动力参数辨识滚转姿态（副翼）滚转姿态（副翼）Power Electronics & Electrical Dri

16、ve Lab. HIT.21飞行器系统气动力参数辨识飞行器系统气动力参数辨识俯仰（水平尾翼）俯仰（水平尾翼）Power Electronics & Electrical Drive Lab. HIT.22飞行器系统气动力参数辨识飞行器系统气动力参数辨识偏航（垂直尾翼）偏航（垂直尾翼）Power Electronics & Electrical Drive Lab. HIT.23飞行器系统气动力参数辨识飞行器系统气动力参数辨识假设：假设：飞行器具有对称平面飞行器具有对称平面;运动中对称平面处于铅垂位置运动中对称平面处于铅垂位置,且运动平面与飞机对称平面重合且运动平面与飞机对称平面

17、重合;飞行器进行定常直线运动。飞行器进行定常直线运动。线性小扰动方程可分为彼此独立的两组，即可在纵、横线性小扰动方程可分为彼此独立的两组，即可在纵、横两个方向上进行解耦。两个方向上进行解耦。注：系统方程见文档注：系统方程见文档Power Electronics & Electrical Drive Lab. HIT.24飞行器系统气动力参数辨识飞行器系统气动力参数辨识纵向系统仿真纵向系统仿真Power Electronics & Electrical Drive Lab. HIT.25飞行器系统气动力参数辨识飞行器系统气动力参数辨识通过通过MATLAB仿真得到纵向仿真得到纵向系

18、统输入如右系统输入如右(其中，左侧输入其中，左侧输入为宽度为为宽度为3秒的单秒的单位幅度脉冲；右侧位幅度脉冲；右侧输入为宽度为输入为宽度为1秒秒的单位幅度脉冲的单位幅度脉冲)Power Electronics & Electrical Drive Lab. HIT.26飞行器系统气动力参数辨识飞行器系统气动力参数辨识 利用神经网络的正向辨识模型，对飞行器系统在小扰利用神经网络的正向辨识模型，对飞行器系统在小扰动情况下的动态特性进行辨识。采用串并联辨识模型，通动情况下的动态特性进行辨识。采用串并联辨识模型，通过试验发现当输入、输出分别延时过试验发现当输入、输出分别延时5个单元时能得到好的辨个单元时能得到好的辨识结果。各神经网络辨识模型均