系统辨识第四章课件

系统辨识第四章系统辨识第四章系统辨识☆第一章模型方法与辨识☆第二章脉冲响应辨识

☆第三章最小二乘辨识☆第四章极大似然辨识☆第五章时间序列建模与随机逼近辨识☆第六章模型阶次的辨识☆第七章闭环系统辨识2系统辨识☆第一章模型方法与辨识2第四章极大似然辨识☆前言☆4-1极大似然原理☆4-2动态系统模型参数的极大似然估计☆4-3极大似然估计的一致性☆4-4预报误差参数辨识法3第四章极大似然辨识☆前言3第四章极大似然辨识极大似然法，是一种适用范围非常广泛的传统辨识方法，1906年，由R.A.Fisher提出。极大似然估计方法在随机系统参数估计、故障检测及容错控制等方面，有广泛应用。把这种经典的估计方法用于动态过程或动态系统辨识，可以获得良好的估计性质。极大似然法要求已知输出量的条件概率密度函数，建立随机观测数据与未知参数之间的概率特性和统计关系，通过使条件概率密度函数为极大的准则，求出未知参数的估计值。因而，极大似然辨识法是一种概率性的参数估计方法。4第四章极大似然辨识极大似然法，是§4-1极大似然原理一、似然函数5§4-1极大似然原理一、似然函数566可见，条件概率密度函数与似然函数有不同的物理含义，但其数学表达形式一致，即7可见，条件概率密度函数与似然函数有不同的物理88991010二、极大似然估计求法⒈极大似然估计定义11二、极大似然估计求法⒈极大似然估计定义11⒉似然方程与对数似然方程故可通过由于12⒉似然方程与对数似然方程故可通过由于121313⒊正态独立同分布随机过程均值与方差的极大似然估计14⒊正态独立同分布随机过程均值与方差的极大似然估计14取对数似然函数15取对数似然函数15用对数似然方程：令有16用对数似然方程：令有16令0因故得：17令0因故得：17求出18求出18验证：19验证：19例4-1〈解〉20例4-1〈解〉20相应的对数似然函数21相应的对数似然函数21且22且22例4-2〈解〉23例4-2〈解〉23相应的对数似然函数24相应的对数似然函数24§4-2动态系统模型参数的极大似然估计一、第1种模型噪声情况设动态系统差分方程为25§4-2动态系统模型参数的极大似然估计一、第1种模型噪声式中26式中262727⒈噪声的联合概率密度函数28⒈噪声的联合概率密度函数28⒉向量方程误差的似然函数则向量方程误差为（残差）29⒉向量方程误差的似然函数则向量方程误差为（残差）293030⒊输出观测向量的似然函数根据随机向量变换法则，可以导出31⒊输出观测向量的似然函数根据随机向量变换法则，可以导出31⒋模型参数的极大似然估计观测向量Y的对数似然函数为32⒋模型参数的极大似然估计观测向量Y的对数似然函数为32得：整理：33得：整理：333434⒌两点注意事项35⒌两点注意事项35二、第2种模型噪声情况设动态系统的差分方程为：36二、第2种模型噪声情况设动态系统的差分方程为：36因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是零均值正态分布噪声序列，但不再是无关序列。37因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是⒈噪声的统计特性⑴均值38⒈噪声的统计特性⑴均值38⑵方差阵⑶联合概率密度函数39⑵方差阵⑶联合概率密度函数39⒉观测向量的似然函数⒊模型参数的极大似然估计40⒉观测向量的似然函数⒊模型参数的极大似然估计40有表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫估计。41有表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫§4-3极大似然估计的一致性动态系统极大似然估计的一致性问题，经常转换为预报误差方程的预报误差估计的一致性问题。因为一大类含噪声的线性系统的差分方程或状态方程，可以转化为预报误差方程，而预报误差方程与似然函数之间可以建立起直接的联系，所得结果具有较宽的适用范围。根据输入和输出数据，可得相应集合42§4-3极大似然估计的一致性动态系统构造预报误差方程：因此，预报误差方程中的43构造预报误差方程：因此，预报误差方程中的43可见，预报误差方程代表一大类含噪声的线性动态系统。假设：44可见，预报误差方程代表一大类含噪声的线性动态系统。假设：44噪声的条件期望取性能指标为(残差平方和的均值)45噪声的条件期望取性能指标为(残差平方和的均值)454646下面给出简要证明。由预报误差模型，预报误差：由预报误差方程知：因而预报误差47下面给出简要证明。由预报误差模型，预报误差：由预报误差方程知式中48式中48(噪声方差)049(噪声方差)0495050于是有从而证明了预报误差估计和正态条件下的极大似然估计具有一致性，都是真实参数的一致估计。51于是有从而证明了预报误差估计和正态条件下的极大似然估计具有一§4-4预报误差参数辨识法极大似然法要求已知数据的概率分布，通常都假设数据服从正态(高斯)分布。然而，实际问题中的数据不一定都是正态分布的。当数据的概率分布不知道时，无法应用极大似然估计。预报误差参数辨识法不要求数据概率分布先验知识，是一种更加一般的参数辨识方法，也是极大似然估计的一种推广。业已证明，当数据的概率服从正态分布时，预报误差估计法等价于极大似然法（Goodwin澳大利亚教授,1977）.52§4-4预报误差参数辨识法极大似然法一、预报误差准则⒈预报误差模型53一、预报误差准则⒈预报误差模型53则预报误差模型：预报误差模型表明：k时刻的输出，可以用k时刻以前的数据来“预报”。54则预报误差模型：预报误差模型表明：k时刻的输这种预报，可使预报误差范数平方的条件期望最小，即显然，这种“最好”的输出预报，应是“最好”模型的输出。由最优控制理论知，“最好”输出预报，应是使某一个预报误差准则(即性能指标)为极小而获得。55这种预报，可使预报误差范数平方的条件期望最小，即⒉预报误差准则常用的误差准则有如下两种：56⒉预报误差准则常用的误差准则有如下两种：56而在多入-多出情况下57而在多入-多出情况下57二、预报误差法与极大似然法之间的关系⒈预报误差模型的似然函数应用Bayes公式，得条件概率密度函数58二、预报误差法与极大似然法之间的关系⒈预报误差模型的似然函数由预报误差模型59由预报误差模型59必有故60必有故60幅值相乘相角相加61幅值相乘相角相加61⒉预报误差协方差已知时的似然函数由似然函数62⒉预报误差协方差已知时的似然函数由似然函数6根据矩阵迹的运算性质：故已令有(样本协方差)63根据矩阵迹的运算性质：故已令有(样本协方差)63表明：64表明：64⒊预报误差协方差未知时的似然函数取负对数似然函数，有根据矩阵迹的微分运算法则：65⒊预报误差协方差未知时的似然函数取负对数似然函6666以代替，负对数似然函数为67以代替，负对数似然函数为67：当为正态分布不相关随机向量时，等价于取极小，又等价于第2种预报误差准则取极小。在这种意义下，极大似然法与预报误差法也是等价的。结论预报误差法与极大似然法等价。或者说，极大似然法是预报误差法的特例。在上式中,右端各项为正,必有：等价于.由于似然函数取极大,68：当为正态分布不相关随机向量时，等价于三、预报误差参数估计方法(Newton-Raphson法)⒈预报误差参数估计法实质由于预报误差准则或一般都是参数的非线性函数，故令极小化求的方法，归纳为极小化的最优化算法。若预报误差的协方差阵已知，则取作为预报误差准则，且取权阵；若未知，则应选为预报误差准则。69三、预报误差参数估计方法(Newton-Raphson法)⒈⒉预报误差准则极小化的最优化算法根据Newton——Raphson原理，的最优化算法归纳为如下迭代方程：式中：——第次迭代的参数估计值；——预报误差准则关于的梯度；70⒉预报误差准则极小化的最优化算法根据Newton——Raph——Hessian矩阵；——迭代步长，使显然，上述最优化算法的关键是：关于的梯度及Hessian矩阵的具体计算式；利用一维搜索法求，使。71——Hessian矩阵；——迭代步长，使显然，上述最优化⒊梯度与Hessian矩阵的计算设的协方差矩阵已知，即已知，取权阵，而(n为系统阶次)因而：由矩阵运算公式：72⒊梯度与Hessian矩阵的计算设的协方其中可得梯度向量的第i个元素为：(代入表达式)73其中可得梯度向量的第i个元素为：Hessian矩阵的第i行，第j列的元素为：代入表达式略去74Hessian矩阵的第i行，需要指出：计算Hessian矩阵元素时，忽略了e(k)关于的二阶导数，目的是简化Hessian矩阵计算，并可保证Hessian矩阵正定性。式中为的维数，即待辨识的参数个数，且

(预报误差模型)75需要指出：计算Hessian矩阵元素时，忽略了e(k)关于⒋Newton-Raphson法迭代计算步骤设置初始状态和步长，赋；计算和，76⒋Newton-Raphson法迭代计算步骤设置初始状态计算梯度和Hessian矩阵利用一维搜索法，求步长，使77计算梯度和Hessian矩阵计算给定迭代精度正小数，若则停止迭代；否则，赋，返回。78计算给定迭代精度正小数，若则停止迭代；否则，赋系统辨识第四章系统辨识第四章系统辨识☆第一章模型方法与辨识☆第二章脉冲响应辨识

☆第三章最小二乘辨识☆第四章极大似然辨识☆第五章时间序列建模与随机逼近辨识☆第六章模型阶次的辨识☆第七章闭环系统辨识80系统辨识☆第一章模型方法与辨识2第四章极大似然辨识☆前言☆4-1极大似然原理☆4-2动态系统模型参数的极大似然估计☆4-3极大似然估计的一致性☆4-4预报误差参数辨识法81第四章极大似然辨识☆前言3第四章极大似然辨识极大似然法，是一种适用范围非常广泛的传统辨识方法，1906年，由R.A.Fisher提出。极大似然估计方法在随机系统参数估计、故障检测及容错控制等方面，有广泛应用。把这种经典的估计方法用于动态过程或动态系统辨识，可以获得良好的估计性质。极大似然法要求已知输出量的条件概率密度函数，建立随机观测数据与未知参数之间的概率特性和统计关系，通过使条件概率密度函数为极大的准则，求出未知参数的估计值。因而，极大似然辨识法是一种概率性的参数估计方法。82第四章极大似然辨识极大似然法，是§4-1极大似然原理一、似然函数83§4-1极大似然原理一、似然函数5846可见，条件概率密度函数与似然函数有不同的物理含义，但其数学表达形式一致，即85可见，条件概率密度函数与似然函数有不同的物理8688798810二、极大似然估计求法⒈极大似然估计定义89二、极大似然估计求法⒈极大似然估计定义11⒉似然方程与对数似然方程故可通过由于90⒉似然方程与对数似然方程故可通过由于129113⒊正态独立同分布随机过程均值与方差的极大似然估计92⒊正态独立同分布随机过程均值与方差的极大似然估计14取对数似然函数93取对数似然函数15用对数似然方程：令有94用对数似然方程：令有16令0因故得：95令0因故得：17求出96求出18验证：97验证：19例4-1〈解〉98例4-1〈解〉20相应的对数似然函数99相应的对数似然函数21且100且22例4-2〈解〉101例4-2〈解〉23相应的对数似然函数102相应的对数似然函数24§4-2动态系统模型参数的极大似然估计一、第1种模型噪声情况设动态系统差分方程为103§4-2动态系统模型参数的极大似然估计一、第1种模型噪声式中104式中2610527⒈噪声的联合概率密度函数106⒈噪声的联合概率密度函数28⒉向量方程误差的似然函数则向量方程误差为（残差）107⒉向量方程误差的似然函数则向量方程误差为（残差）2910830⒊输出观测向量的似然函数根据随机向量变换法则，可以导出109⒊输出观测向量的似然函数根据随机向量变换法则，可以导出31⒋模型参数的极大似然估计观测向量Y的对数似然函数为110⒋模型参数的极大似然估计观测向量Y的对数似然函数为32得：整理：111得：整理：3311234⒌两点注意事项113⒌两点注意事项35二、第2种模型噪声情况设动态系统的差分方程为：114二、第2种模型噪声情况设动态系统的差分方程为：36因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是零均值正态分布噪声序列，但不再是无关序列。115因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是⒈噪声的统计特性⑴均值116⒈噪声的统计特性⑴均值38⑵方差阵⑶联合概率密度函数117⑵方差阵⑶联合概率密度函数39⒉观测向量的似然函数⒊模型参数的极大似然估计118⒉观测向量的似然函数⒊模型参数的极大似然估计40有表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫估计。119有表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫§4-3极大似然估计的一致性动态系统极大似然估计的一致性问题，经常转换为预报误差方程的预报误差估计的一致性问题。因为一大类含噪声的线性系统的差分方程或状态方程，可以转化为预报误差方程，而预报误差方程与似然函数之间可以建立起直接的联系，所得结果具有较宽的适用范围。根据输入和输出数据，可得相应集合120§4-3极大似然估计的一致性动态系统构造预报误差方程：因此，预报误差方程中的121构造预报误差方程：因此，预报误差方程中的43可见，预报误差方程代表一大类含噪声的线性动态系统。假设：122可见，预报误差方程代表一大类含噪声的线性动态系统。假设：44噪声的条件期望取性能指标为(残差平方和的均值)123噪声的条件期望取性能指标为(残差平方和的均值)4512446下面给出简要证明。由预报误差模型，预报误差：由预报误差方程知：因而预报误差125下面给出简要证明。由预报误差模型，预报误差：由预报误差方程知式中126式中48(噪声方差)0127(噪声方差)04912850于是有从而证明了预报误差估计和正态条件下的极大似然估计具有一致性，都是真实参数的一致估计。129于是有从而证明了预报误差估计和正态条件下的极大似然估计具有一§4-4预报误差参数辨识法极大似然法要求已知数据的概率分布，通常都假设数据服从正态(高斯)分布。然而，实际问题中的数据不一定都是正态分布的。当数据的概率分布不知道时，无法应用极大似然估计。预报误差参数辨识法不要求数据概率分布先验知识，是一种更加一般的参数辨识方法，也是极大似然估计的一种推广。业已证明，当数据的概率服从正态分布时，预报误差估计法等价于极大似然法（Goodwin澳大利亚教授,1977）.130§4-4预报误差参数辨识法极大似然法一、预报误差准则⒈预报误差模型131一、预报误差准则⒈预报误差模型53则预报误差模型：预报误差模型表明：k时刻的输出，可以用k时刻以前的数据来“预报”。132则预报误差模型：预报误差模型表明：k时刻的输这种预报，可使预报误差范数平方的条件期望最小，即显然，这种“最好”的输出预报，应是“最好”模型的输出。由最优控制理论知，“最好”输出预报，应是使某一个预报误差准则(即性能指标)为极小而获得。133这种预报，可使预报误差范数平方的条件期望最小，即⒉预报误差准则常用的误差准则有如下两种：134⒉预报误差准则常用的误差准则有如下两种：56而在多入-多出情况下135而在多入-多出情况下57二、预报误差法与极大似然法之间的关系⒈预报误差模型的似然函数应用Bayes公式，得条件概率密度函数136二、预报误差法与极大似然法之间的关系⒈预报误差模型的似然函数由预报误差模型137由预报误差模型59必有故138必有故60幅值相乘相角相加139幅值相乘相角相加61⒉预报误差协方差已知时的似然函数由似然函数140⒉预报误差协方差已知时的似然函数由似然函数6根据矩阵迹的运算性质：故已令有(样本协方差)141根据矩阵迹的运算性质：故已令有(样本协方差)63表明：142表明：64⒊预报误差协方差未知时的似然函数取负对数似然函数，有根据矩阵迹的微分运算法则：143⒊预报误差协方差未知时的似然函数取负对数似然函14466以代替，负对数似然函数为145以代替，负对数似然函数为67：当为正态分布不相关随机向量时，等价于取极小，又等价于第2种预报误差准则取极小。在这种意义下，极大似然法与预报误差法也是等价的。结论预报误差法与极大似然法等价。或者说，极大似然法是预报误差法的特例。在上式中,右端各项为正,必有：等价于.由于似然函数取极大,146：当为正态分布不相关随机向量时，等价于三、预报误差参数估计方法(Newton-Raphson法)⒈预报误差参数估计法实质由于预报误差准则或一般都是参数的非线性函数，故令极小化求的方法，归纳为极小化的最优化算法。若预报误差的协方差阵已知，则取作为预报误差准则，且取权阵；若未知，则应选为预报误差准则。147三、预报误差参数估计方法(Newton-Raphson法)⒈⒉预报误差准则极小化的最优化算法根据Newton——Raphson原理，的最优化算法归纳为如下迭代方程：式中：——第次迭代的参数估计值；——预报误差准则