系统辨识基础

系统辨识基础第1页第四讲系统辨识基础一、 自校正控制与系统辨识1、自校正控制自校正控制是一类重要的自适应控制方案。自校正的概念最早是由Kalman在1958年首先提出的，主要用于信号去噪。而自校正控制是由瑞典学者阿斯特罗姆(K.J.Astrom)和威特马克(B.Wittenmark)在1973年首次提出的，并在工业上得到了广泛的应用。在自校正控制系统中，被控对象的参数被在线地辨识，然后经过控制器的在线设计过程，对控制器参数进行在线调整，使其始终能适应被控对象模型的变化。必须注意的是：自校正调节过程是一个迭代优化的过程，通过边辨识、边综合，使得控制器参数能够逐步趋向于最优值。自校正控制的实现需要满足以下假定：•被控对象的模型时变速度缓慢•被控对象可辨识•由控制器和被控对象构成的系统是稳定的因此，可认为在自校正调节过程中，被控对象的模型是不变的，在此条件下，自校正控制的过程为：(1)在t时刻根据u(t)和y(t)估计被控对象参数?()t0；(2)根据?()t0设计控制器参数?()ct0;(3)由?()ct0和r(t+1)，可计算出t+1时刻的控制量u(t+1);(4)根据t+1时刻的u(t+1)和y(t+1)再次估计被控对象参数?(1)t0+； (5)返回步骤2，继续进行递推，直至被控对象参数估计值?()t0收敛到其真值0。第2页2、系统辨识由自校正控制的原理可知，系统辨识是自校正控制的基础。系统辨识是根据一个系统的输入/输出数据建立系统最优数学模型的理论和方法，它不能确保获得系统“真实”的数学模型，但可以在输入/输出关系，也即系统动态响应的意义上获得一个与系统等价的最优的数学模型，而“最优”需要有确定的准则来评判。系统辨识的内容可以划分为以下三个层次：层次一：模型结构的选择层次二：系统阶次的确定层次三：系统参数的估计由于系统的输入/输出信息都只能依靠测量技术采集，而采集到的数据总是包含各种干扰因素的影响，所以系统辨识是一个“不确定”的过程，具有随机性特征，只能用统计方法来进行研究。3、分离性原理和确定性等价原理由于自校正控制中，只是用被控对象参数的估计值?e而不是真值e来进行控制器设计，由此带来的随机性使得自校正控制系统成为典型的“随机控制系统”。而对于随机控制系统，有两条重要的原理：（1）分离性原理所谓分离性原理，是指在随机控制系统的设计中，可以将随机部分和确定部分分离开来，单独进行处理。例如在自校正控制中，被控对象的参数估计是一个具有随机性的部分，而控制器的设计则是确定性的部分，如果这两部分任务可以分离进行，同时得到的控制器参数是最优的，则称自校正控制系统的设计过程是可分离的。遗憾的是，只有少量系统，例如采用线性二次型为控制器设计的性能指标的自校正控制系统，满足分离性原理。（2）确定性等价原理在分离性原理的基础上，需要有确定性等价原理才能实现自校正控制系统。确定性等价原理是指采用参数估计得到的被控对象参数?e,来设计出的控制器参数?ce,与用被控对象真实参数e来设计的控制器参数ce是完全等价的，都是使性能指标能取得最优值的最优控制律。即随机变量?e在控制器设计中的作用确定性地等价于对象真实参数eo同样的，确定性等价原理并未得到一般性的证明，目前只证明了对于白噪声、可叠加的测量噪声和具有线性二次型性能指标的自校正控制系统中，确定性等价原理成立。二、 随机过程基础第3页因为系统辨识是在采样系统输入/输出信息的基础上估测系统的模型，又因为系统输入/输出信息的采集值是具有随机性的序列，所以需要首先学习了解描述序列性的随机信号的随机过程的有关知识。1、随机变量及其分布(1)随机变量定义：设随机试验E的样本空间S二{e},若对每个试验结果e，都有确定的实数X(e)与之对应，则称实值变量X(e)为随机变量，简记为Xo随机变量就是定义在随机样本空间上的变量。(2)分布函数设X是随机变量，对于任意实数x，令(){}FxPXx=<则称()Fx为X的分布函数，即()Fx是X在区间(,]x-8内取值的概率o(3)概率密度函数设随机变量X的连续的分布函数为()Fx，若存在非负函数()fx,使得：()()xFxftdt-8=?则称()fX为X的概率密度函数。概率密度反映了X在某个区间内取值的概率大小，即{[,]}()bPXabfxdxe=?但()fx不一定存在。(4)常见概率分布(0-1)分布：{1},{0}(1)PXpPXp====-二项分布：{},1,0,1,kknknPXkCpqpqkn-==+==泊松分布：{},0,1,!kePXkknk入入-二二二均匀分布：1,(,)()0,(,)xabfxbaxab?e?指数分布：,0()0,0xexfxx入入-?>=?<?第4页正态分布：22()22(),(,)xfxNpopo--=记为2、随机变量的数字特征(1)数学期望离散随机变量：1()iiiEXxp+8==2连续随机变量：()()EXxfxdx+8-8=?数学期望是随机变量可取的各值的加权平均值，权值系数是各值的取值概率，也称为概率均值。(2)方差设随机变量X的数学期望是E(X)，若2[()]EXEX-存在，则称为X的方差，记为D(X)离散随机变量：21()[()]iiiDXxEXp+8==-2连续随机变量：2()[()]()DXxEXfxdx+8-8=-?也可用此公式计算方差：222()[()]()[()]DXEXEXEXEX=-=-方差是随机变量取值分布的分散程度的度量。(5)常见概率分布的数字特征(0-1)分布：(),()(1)EXpDXpp==-二项分布：(),()(1)EXnpDXnpp==-泊松分布：(),()EXDX入入二二均匀分布：2()(),()212abbaEXDX+-==指数分布：211(),()EXDX入入正态分布：2(),()EXDXg二二第5页3、随机过程及其数字特征(1)随机过程的概念定义：设有定义在样本空间S二｛e｝上的无穷多个随机变量序列，按参数C)tTee-8+8排列，称｛(),｝XttT丘为随机过程。t—般是时间，如不是时间，则称X(t)为随机函数；如t离散，则称为随机序列。例如：对—系列产品进行抽样检查，其合格性构成—个随机序列(随机函数)；江河的水位变化构成—个随机过程；对人每小时测—次体温，其值构成一个随机序列。对于每个时刻ItTG,对应的1()Xt是一个随机变量，称为随机过程X(t在1tt时刻的状态；当在一系列连续试验中x(t取得一系列具体值时，这些值构成一个仅依赖于t的确定性函数X(t)，称为随机过程x(t的一条样本函数，也称为样本曲线。若一个随机过程x(t中任意两个时刻12,ttT€,都有()Xt、2()Xt相互独立，则称X(t为独立随机过程。(2)随机过程的数字特征定义1：设{(),}Xt€是一个随机过程，对于任意给定的tT6,随机过程在该点的状态X(t的数学期望构成一个t的函数，称为X(t)的均值函数，记为m(t)对于连续的随机过程，均值函数()[()](；)mtEXtxfxtdx+8一8==?(；)fx是t时刻X(t的概论密度函数。定义2：设{(),}XttT6是一个随机过程，对于任意给定的6,随机过程在该点的状态X(t的方差构成一个t的函数，称为X(t的方差函数，记为D(t。对于连续的随机过程,方差函数22(){[()()]}[()()](;)DtEXtmtxtmtfxtdx+8一8=一=一?定义3：设{(),}XttT6是一个随机过程，对于任意给定的ttT61()Xt、2()Xt之间的协方差构成一个12,tt的函数，称为X(t的协方差函数,记为12(,)ttr。第6页对于连续的随机过程，协方差函数1212112211222121212(,)cov[(),()]{[()()][()()]}[()()][()()](,;,)ttXtXtEXtmtXtmtxtmtxtmtfxxttdxdx+8+8-8-8「二二__=__?其中21212(,;,)fxxtt是1()Xt、2()Xt的二维联合概论密度函数。协方差表示了两个随机变量之间的线性相关程度，当协方差为0时，两个随机变量不相关。独立的随机变量一定不相关，但不相关的随机变量不一定互相独立。方差函数是协方差函数的特例。定义4：设{(),}XttT丘是一个随机过程，对于任意给定的12,ttTe,1()Xt、2()Xt之间的自相关函数(简称为相关函数)是12,tt的函数，记为12(,)Rtt，定义为1212122121212(,)[()()]()()(,;,)RttEXtXtxtxtfxxttdxdx+8+8_8_8==?也可将相关函数表示为：C)[()()]RtEXtXttt=+o协方差函数、均值函数和相关函数之间有如下关系：12112212121212(,){[()()][()()]}[()()][()][()](,)()()ttEXtmtXtmtEXtXtEXtEXtRttmtmt「二--=-=-对于不相关的随机过程，有121212(,)(,)()()0ttRttmtmt「二-二即有1212(,)()()Rttmtmt=4、平稳过程及各态遍历性(1)矩的概念矩就是指随机变量的各种数字特征，其中()kEX称为随机变量X的k阶原点矩，{[()]}kEXEX-称为随机变量X的k阶中心矩。显然：数学期望是一阶原点矩，方差是二阶中心矩。如随机过程的均值函数和方差函数均存在，则称该过程为二阶矩过程。(2)平稳过程若随机过程X(t)有12121212(〃;〃)(〃;〃)nnnnFxxxtttFxxxtttttt二+++第7页即X(t)的有限维概率分布与t无关，则称X(t)为严平稳过程，简称平稳过程。若二阶矩过程X(t)有122121(,)()(),0[()],RttRttRttEXtmtt=-==->=即X(t)的均值为常数，相关函数仅与t有关，则称X(t)为宽平稳过程。平稳过程表示随机过程的概率分布情况和数字特征与所研究的时间点无关，因此可以从平稳过程中任取一段来进行研究和分析。注意：严平稳过程不一定是宽平稳过程，因为二阶矩不一定存在；宽平稳过程不一定是严平稳过程，因为其条件仅是严平稳过程的必要条件。(3)各态遍历性随机过程X(t)的数字特征，可以用n个样本函数12(),(),,()nxtxtxt去计算，例如求均值函数和相关函数，即112121211()[()]()1(,)[()()][()()]nkknkkkmtEXtxtnRttEXtXtxtxtn二二二u二违乂依据大数定律，当n-8时，就得到了准确的均值函数和相关函数，这称为随机过程的空间均值和空间相关函数。但有许多随机过程的样本函数是无法重复取得的，因此，只能从单个的样本函数去试求随机过程的数字特征。当随机过程X(t)不是平稳过程时，从单个的样本函数无法获得随机过程的数字特征。当随机过程X(t雇平稳过程时，其均值函数()mt是与t无关的常数m，相关函数12(,)Rtt是只与时间间隔t有关的函数()Rt如果有如下极限存在：1()lim()21()()lim()()2TTTTTTXtXtdtTXtXtXtXtdtTtt--8--8<>=<+>=+?则称其为随机过程X(t)的时间均值和时间相关函数，它们都是随机变量。如果随机过程X(t)的时间均值概率为1地等于空间均值，时间相关函数概率为1地等于空间相关函数，则称该随机过程具有各态遍历性。即(),(..)()()()(.)mXtasRXtXtastt=<>二<+>第8页a.s的意思是allmostsure，几乎可以确定。具有各态遍历性的随机过程，随时间的延续各种取值都可能取到，并且取值分布也几乎与单个时间点上的状态的取值分布一致，因此可以用一条或者几条样本曲线来计算随机过程的数字特征。5、随机过程的谱分解(1)平稳随机过程的谱分解设()Rn为平稳随机序列{(),0,12}Xkk二士士的相关函数，则可表示为：()()jnRnfedn3n33-二？称为()Rn的谱分解，其中()f3称()Xk的谱密度函数。设()Rt为平稳随机过程{(),}XttT丘的相关函数，则可表示为：()()jRfedT3T33+8_8=？称为()RT的谱分解，其中()f3称()Xt的谱密度函数。随机过程的谱分解是按谐波分量的频率将随机过程的功率进行分解发(傅立叶分解)，因此也称为功率谱。谱密度函数的计算方法为1()(),21()(),2jnnjfRnefRed3T33n3TTn+8_=_8+8__8I?随机序列随机过程白噪声若随机序列()Xk满足2,00,()0,0nmRnno?===?H?则称()Xk为白噪声。白噪声是平稳过程，同时具有各态遍历性，其谱密度函数为：21()(),22jnnfRne3ownwnnn+8-=-8=-<<I因此，白噪声的功率在各个频率上是均匀的，类似于“白光”，因此称为“白”噪声。白噪声是最理想的纯随机信号，也是考查系统干扰影响的基础。不符合白噪声特点的噪声称为有色噪声，它可以由白噪声的函数来表达。第9页三、 最小二乘法参数估计的原理1、离散系统的输入输出模型根据对系统辨识的分析，它是在测量得到的离散的系统输入输出数据的基础上来进行系统结构和参数辨识的，因此首先要研究离散系统的数学描述。设单输入单输出系统的差分方程为：101()(1)()()(1)()abnanbytaytaytnbutkbutkbutkn+—+-=-+—++—k是输出延时。设单位后移算子为1z-,即有1()(1)zytyt-=-则可令11101()1()aabbnnnnAzazazBzbbzbz---=+++=+++则单输入单输出系统的差分方程可表示为：()()()()AzytBzutk=-也可写为：()()()()BzytutkAz=-当系统受噪声干扰时，假定噪声源是白噪声，则可将噪声引起的输出扰动定义为：()()()()CztwtAzE二则含有单输入单输出系统的差分方程可表示为：()()()()()()()BzCzytutkwtAzAz=-+也可写为：()()()()()()AzytBzutkCzwt=-+其中()()Azyt表示输出y(t)的历史值对当前值的影响，称为自回归部分，AR()()Bzutk-表示输入u(t)对输出y(t)当前值的影响，称为受控部分，C第10页()()Czwt表示干扰对输出y(t)的影响，称为滑动平均部分，MA因此，上述模型称为：受控自回归滑动平均模型，CARMA其它的单输入单输出系统模型还有：()()()()()AzytBzutkwt=-+,受控自回归模型，CAR1()()()()()()AzytBzutkwtDz=-+，动态模型，DA对于多输入多输出时变离散系统，可用差分状态空间模型表示为：(1)()()()()()()()()()()xtAtxtBtutDtwtytCtxtwt+=++??=+?2、最小二乘法参数估计的原理设有一待辨识的系统模型为()yfxw=+xyw0和是可测量的输入输出数据是白噪声待辨识的参数为若有一系列输入输出的测量值112233,;,;,;;,nnyxyxyxyx则称能使准则函数21()[()]niiiJyfx9==-J取得最小值的参数估计值?e为最小二乘法参数估计，简记为LS估计。最小二乘法参数估计本质上是求测量点到估计模型的欧氏距离和最小的参数估计结果。3、参数估计的评价指标对于不同的参数估计算法，其估计结果的评价有以下常用指标：(1)无偏性设?e是参数9的估计值，若()E99=则称?9为参数9的无偏估计。无偏估计是参数估计的基本要求，即估计值以真值为中心波动，如果重复多次估计，则依据大数定律，估计值的均第11页值会趋近于真值。(2)均方误差设?9是参数9的估计值，均方误差定义为2??(,)[)]MSEE9999=-(均方误差反映了估计值波动的幅度大小。若?9是参数9的无偏估计，则均方误差就是估计值?9的方差；若?9不是参数9的无偏估计，则均方误差为2222222??(,)[)]{[()()]}{[()]}2{[()][()]}{[()]}{[()]}[()]??()[()]MSEEEEEEEEEEEEEEEDE99999999999999999999999=-=-+-=-+--+-=-+-=+-((3)收敛性如t—8时，有?limt99—8=,a.s.则称?e收敛于eo四、 基本最小二乘法参数估计1、系统模型设系统模型为CAR模型(受控自回归)，且无输出延时()()()()(),()AzytBzutwtwt=+是白噪声11101()1()aabbnnnnabAzazazBzbbzbznn---=+++=+++＞且也可将模型写为：()()()Tyttwt?e=+其中12012[,,,;,,,,]()[(1),(2),,();(),(1),(2),,()]abnnTabaaabbbbtytytytnututututne?== ，称为参数向量，称为信息向量2、辨识算法第12页在t时刻，有t个测量结果，表示为：tttyHwe=+其中[(1),(2),,()][(1),(2),,()][(1),(2),,()]TTTTTTtttyyyytHtwwwwt=== ，，设最小二乘准则函数为21()[()()]tTiJyii0?0==-2则参数估计值?e应能使该准则函数取得极小值。设()je在?e处可微，则()0Jeeee=?=?因为[()()]()()()2()tTiTttttTtttyiiJyHyHHyH00ee00ee?eeee0000=====?-?==--!所以有()0TtttHyH0-=即1??()TTttttTTttttHyHHHHHy00-==条件是TttHH非奇异，可以求逆。可以证明，当输入信号是是an阶持续激励信号，当t-8时，1abtnn>>++,TttHH非奇异。持续激励信号持续激励信号是指能够持续激励待辨识系统的动态特性，以获得充分的信息第13页来进行辨识的输入信号。对于无输出延时的受控自回归(CAR)模型，需要辨识的参数有1abnn++个，因此输入信号至少要包含12abnn++个线性无关的频率成份，才能够获得足够的数据进行辨识。白噪声和有色噪声都是持续激励信号，因此用白噪声作为输入来进行系统辨识是最理想的，但一般系统对白噪声都不能做出有效的响应，且白噪声也难以在物理上实现。1?()TTLSttttHHHy0-=就是基本最小二乘法参数估计公式，它是离线估计算法，需要一次采集足够多的输入输入信号，计算量比较大，并且需要对高阶矩阵进行求逆计算。3、估计质量评价(1)无偏性111111?()[()][()()][()][()][()][()]()0?(TTLSttttTTtttttTTttttTTttttttTTTTttttttttLSEEHHHyEHHHHwEHHHwEHHHwwHEHHHwEHHHEwE999999 ==+=+=+.•.==.•.=由白噪声构成，与之间线性不相关)所以，基本最小二乘法参数估计是无偏估计。(2)均方误差基本最小二乘法参数估计的均方误差为1111211??(,)()[()][][()][()]{[()]}[()()]LSLSTTttttTTttttTTttttTTttttTTTTttttttttMSEDDHHHwDDHHHwDHHHwEHHHwEHHHwwHHH09999 ==+=+===收敛性第14页1121121lim(,)lim[()()]lim()()lim()TTTTLSttttttttttTTTtttttttTtttMSEEHHHwwHHHHHHHHHHH99oo--f8—8——一8-—>8212121lim()..111?lim(,)lim()lim0?lim[()]0?lim,..TtttTLStttttLStLStHHRastMSEHHRtttEas99oo9999>8-->8>8>8>8>8====-==若存在则则有即可以证明，当输入信号是是an阶持续激励信号，1lim()..TtttHHRast>8=条件满足。五、 递推最小二乘法参数估计1、基本最小二乘法参数估计的问题•计算量大•需要求大型矩阵的逆•不能实现在线参数估计•不能无法预估所需的数据量2、最小二乘法参数估计递推公式递推最小二乘法利用逐渐采集到的输入输出数据来递推估计系统参数?e时刻的，即求取t时刻的参数估计值?()te与1t-时刻的参数估计值?(i)te-和t时刻的信息向量()tt?之间的关系。设11()()()tTTttiPtHHii??-===2贝则11()(1)()()TPtPttt??--=-+1?()TTttttHHHye-=第15页1111111?()()()[()()]()[(1)(1)()()]()[(1)(1)()()]?(){[()()()](1)()()}??(1)()()[()()(1)]TttTttTttTTtPtHyPtHytytPtPtPtHytytPtPtttytPtPtttttyttPttyttte??eeee .•.==+=—+=—+=—二-—即递推最小二乘法公式为：11()(1)()()[()()(1)]()(1)()()TTttPttytttPtPtttee??e??--?=-+--??=-+??其中(1)?()()(1)()()TtytttPtt00?---是上一时刻的参数估计值是利用上一时刻参数估计值得到的输出偏差为修正因子为避免矩阵求逆运算，可对以上递推最小二乘法参数估计进行进一步改进。111111111()()()[(1)()()](1)(1)()[()(1)()]()(1)TTTAbcAAbIcAbcAPtPtttPtPttItPtttPt-1()(1)()111[()(1)()]1()(1)()TTTtPttItPtttPtt-- ?•••+-二+-是维的标量(1)()()(1)()(1)1()(1)()(1)()[()](1)1()(1)()TTTTPtttPtPtPttPttPttItPttPtt-- •=--+--=--+-同时，有1()(1)()()()(1)()()(1)()1()(1)()()()()(1)()()()(1)()(1)1()(1)()(1)()1()(1)()TTTTTTTtPttttPtPttPtttPtttttPttttPttPttPttPtttPtt+---=-+-+---=-+--=+-设(1)()()1()(1)()TPttLttPtt-=+-则递推最小二乘法参数估计公式可写为第16页()(1)()[()()(1)](1)()()1()(1)()()[()()](1)TTT11LtytttPttLttPttPtILttPt99?9= -+-?=?+-?=--?3、递推最小二乘法参数估计的算法过程第一步：选取?(o)e和(o)p的初值,一般？(o)e取很小的实向量,(o)p取22610,10〜101aaa二为充分大的正数，一般取，t=1；第二步：增加一组测量数据，获得()Tt?;第三步：求()Lt;第四步：求?()t0，若满足精度要求??()(1)tt00£--＜，则停止递推；第五步：计算()Pt八加1,返回第二步。课后作业：设待辨识系统为1212134)()(23)()(),()zzytzzutwtwt ++=++(是白噪声在Matlab中编程，用伪随机序列作为持续激励的输入()ut产生信息向量，然后用递推最小二乘法对参数进行估计。六、 其它最小二乘法参数估计1、遗忘因子递推最小二乘法参数估计当采用递推最小二乘法时，已有的所有信息向量都会在递推过程中发挥作用，因此随着时间的推移，新采集到的信息向量对参数估计值的修正作用会逐渐减弱，称为“数据饱和”现象，也就是说递推算法的计算效率逐渐降低。当被辨识的系统参数缓慢时变时，递推最小二乘法参数估计不能很好地实现系统辨识。遗忘因子递推最小二乘法参数估计是在递推公式中加入遗忘因子，逐渐减小旧信息向量在参数估计中的权重，以加强新信息向量的作用，跟随系统参数的时变。令11()(1)()()TPtPttt入??--二-+，入为遗忘因子，一般取0.951入5＜。入越大，遗忘作用越小，参数估计的精度越高；入越小，遗忘作用越大，参数估计的跟踪能力越强。遗忘因子递推最小二乘法参数估计公式为第17页()(1)()[()()(1)](1)()()()(1)()1()[()()](1)TTTttLtytttPttLttPttPtILttPt99?9?AA?=-+--?-?=?+-?=--?2、增广最小二乘法参数估计(1)系统模型增广最小二乘法针对受控自回归滑动平均模型(CARMA),()()()()()()AzytBzutCzwt=+其中1110111()1()()1aabbccnnnnnnAzazazBzbbzbzCzczcz =+++=+++=+++令噪声干扰为()()()etCzwt=则待辨识系统模型为()()()()()AzytBzutet=+定义参数向量为：

1201212[,,,;,,,,][,,,],abcTTsnnnnaaabbbbccc00==,信息向量为：()[(1),(2),,();(),(1),(2),,()]()[(1),(2),,()]TsabTnctytytytnututututntwtwtwtn--，，则系统模型可写为：[]sttttnyHLw00??=+其中(1)(1)(1)(1)(2)(2)(2)(2)()()()()TTsnTTsnttttTTsnywywyHt====????????????????，，，(2)一次完成算法第18页由最小二乘法参数估计的原理可得，1TTTsttttttTTTtttttnHHHLHyLHLLL00-=但该