数据处理与试验设计.ppt

1、经验模型用于拟合实验数据时，由于函数上的任意性，必然给经验模型的应用带来局限性。,3. 非线性模型参数估计方法,在化学工程的许多领域中，研究者总是希望对系统的物理和化学现象进行深入的研究，在认识了过程的本质以后，通过合理简化，应用化学工程的一般原理，结合具体对象，可以推导出能够描述各变量之间关系数学表达式，即机理性数学模型。,机理性数学模型在函数形式上常常不再是线性的代数模型，而是非线性的代数模型、常微分模型或积分模型。,模型的参数代表明确的物理含义。这些物理参数数值的大小和正负符号，可以反映过程机理的一部分性质，这些参数本身也有一定的应用价值。,机理模型中的回归参数与经验模型中的回归参数有明

2、显的不同,经验模型中的回归参数一般无明确的物理含义，本身不单独起作用。,机理模型中的回归参数有明显的物理含义,利用机理模型与实验数据拟合，可以求得过程真实参数的估计值。在得到模型参数的估计值以后，便可利用模型预计各种条件下的观察变量值。作为模型化工作，常常需要研究参数的灵敏度或利用参数值考察某些特定问题，等等，这时就不仅要知道参数的估计值，而且还要知道参数估计值的置信区间。,例如在放热固定床反应器设计中要考虑热稳定性问题，需要通过动力学模型建立，得到活化能E的参数估计值，估计T=E/RT2，此时就不仅需要知道活化能E的估计值，而且应进一步研究它的置信区间，以便取得一个满意的设计。,本章着重介绍

3、非线性代数模型和常微分模型参数的估计，以及参数估计值的置信区域的计算方法。,当所得的机理模型是线性代数模型时，则可用第二章经验模型的处理方法进行。然而大部分机理模型是非线性的，因此，在用最小二乘方法估计模型参数时，所得到的模型对参数的一阶偏导数等于零的方程组并不是线性代数方程组，不能得到解析解。,第一步，根据误差等实际情况制定待定参数具有某种最佳性质的目标函数。 第二步，求这类目标函数取得极值(极大值或极小值)时的待定参数值。由于模型参数含有特定的物理意义，所以还要求出参数的置信区域。,3.2 模型的通式,例如在等温的恒容间歇反应器中进行动力学实验，反应系统是反应级数为一级的串联反应。,3.2

4、.1 代数模型的通式,在化学工程领域，有相当大的一类数学模型是由常微分方程组所构成的，它们同时描述了多个变量随时间(自变量的通称)的变化关系。,3.2.2 微分模型,C6H5C2H5 C6H5C2H3+H2 C6H5C2H5 C6H6+ C2H4 C6H5C2H5 + H2 C6H5CH3+CH4,例如，乙苯(EB)脱氢反应动力学模型的建立，实验是在一等温管式反应器内进行。在不同的乙苯进料流速下，实验测定苯乙烯(Sty)、苯(BZ)、甲苯(Tol)的摩尔浓度乙苯脱氢在惰性组分水蒸气存在下有如下三个主要反应：,其动力学模型方程为：,在活塞流模型假设下，根据物料恒算，则：,又例如，在一恒温恒容间歇

5、反应器中进行下列反应：,其反应动力学方程为：,3.3 参数估计的目标函数,参数估计就是寻求目标函数 最优时的一组具有某种最佳性质的参数值。,(1 ) 最小二乘估计准则 (2) 最大似然估计准则,多变量最小二乘估计取观察变量各实验点的残差加权平方和作为目标函数。代数模型和常微分模型的残差定义为观察变量实验值与计算值之差，即：,3.3.1 最小二乘法,直观上即可以看出，当模型正确时，残差j的大小不仅依赖于参数 的值，而且还取决于观察变量实验值本身的误差。因此，当模型正确，并且参数也是模型的真值时，则残差等于实验误差。总之，最佳的一种参数估计值不仅应该使残差小，而且应该使残差的分布与实验误差的分布相

6、当。,多维观察变量的目标函数应该是残差的加权平方和最小：,在同时处理m维观察变量时，由于实验设备、测定仪器和方法的不同，各物理量的测定质量也不同，即各物理量测定值的随机误差的方差是不相等的。,引入加权矩阵,例如： 在反应器性能测定中，同时测定温度T和转化率x 如果 T=2OC，x=0.03，,目标函数的值主要受温度产生的残差的影响。转化率一项产生的残差对目标函数的影响很不显著，其结果必然造成转化率一项参数变化十分不敏感。为了解决这一问题，可以采取加权的方法，并使权的值与实验误差方差成反比。,上一章已证明，当观察变量y的测定值相互独立，无系统误差存在，而且当参数 在模型中以线性形式出现时，由最小

7、二乘估计准则求得的参数估计值具有良好的统计性质，即具有无偏性和有效性(无偏性是指参数估计值的数学期望值等于参数真值，有效性是指参数的最小二乘估计值的方差比其它一切估计值的方差都小)。按这种方法得到的参数估计值 的数学期望值等于参数真值，并且具有最大的精密度。,但是，当参数在模型中以非线性形式出现，模型经过线性变换而成为线性模型，此时用线性最小二乘估计准则得到的参数值不再具有这种性质。,当实验误差较小时，两者得到的参数估计值相近，但当实验误差较大时，变换前后所得到的参数估计值会有明显不同。j是服从正态分布的，而变换后的j不再是正态分布了。,最大似然估计法是一种比较有效的参数估计准则，它可以从理论

8、上说明参数估计值的意义是什么，通过推导也可以了解它与最小二乘法之间的关系。,3.3.2 最大似然估计法,单个实验观察变量y，其误差方差为2：,当模型正确时，观察变量y的数学期望 ，因而模型参数 可以看作随机变量yj概率分布中的参数。如果各次测定互相独立进行，并且各观察变量y围绕模型值作正态分布，则对应于一组观察值(yl，y2，yM)，可以把它们看作一个随机样本。这一随机样本各个量共同出现的联合概率密度函数是：,联合概率密度是它们各自的概率密度的乘积，L称作似然函数,当 值和i值已知时，可以通过似然函数L的计算知道不同的样本(yl，y2，yM) 和(yl，y2，yM)中哪个样本有较大的概率。 当

9、已知，而 未知时，由于观察变量yi具有正态分布，它出现在它的期望值 附近时的概率最大，因此，可以求实测样本的似然函数最大值时的参数值 作为参数的估计值。,也就是说，当参数 取 时，样本(yl，y2，yM)共同出现时的概率为最大，即似然函数最大。由这种方法得到的参数估计法称最大似然估计方法， 也叫做最大似然估计值。,数学上可以证明最大似然估计值具有有效性，尽管最大似然估计一般不是无偏的，但它仍然被认为是参数估计方法中较优惠的种方法。应用最大似然估计方法需要知道观察的概率密度函数的形式，通常可认为观察变量y是服从正态分布的。,最大似然估计法,最小二乘法,当用最大似然估计法估计参数时，只要观测变量的

10、误差分布形式确定后，分布函数中的参数期望值即 中的模型参数 和误差方差可以同时被估计，而且可以不通过重复实验求得误差方差。当观测变量服从正态分布时，最大似然估计和最小二乘估计方法都是指使各观测值同时出现的概率最大，因此，两个方法是一致的。而对线性模型，不论观测值 服从何种分布，由最小二乘估计法得到的参数具有良好的性质，即无偏性和有效性。,多元函数求极值问题,3.4 非线性代数模型的最小二乘估计方法,一元函数f(x)求得极小的,充分条件,必要条件,满足上式 的记作 *，是函数 的一驻点。 称为函数 的梯度向量，因此可以说极小点的必要条件是梯度向量 =0。,多元函数取得极小的必要条件是对各自变量的

11、一阶偏导数等于零，即：,多元函数取极小的充分条件是多元函数 的二阶偏导数矩阵(Hessian矩阵)正定,根据多元函数 的梯度向量 可得到驻点，但驻点并不是极小点。要证明 其是极小点，必须证明Hessian矩阵正定，但这是一个很麻烦的问题。实际上在参数估计问题中，目标函数都是特殊的平方和形式，如果驻点存在，则驻点便是一个极小点。,高斯-牛顿法：基本思想是把非线性模型在初值点附近进行Taylor一阶展开，使原非线性模型线性化。将线性化模型代入目标函数便成为线性最小二乘问题，存在解析解，求出近似的非线性模型的最小值作为下一次线性近似的出发点。如此采用同样方法逐次线性化迭代求解。,(i=1,2,3,p

12、，和均是一个很小的正数),或,注：如果函数与线性函数差别不大，则上述迭代过程容易收敛到参数的最小二乘解。但如果与线性函数相差相当大，且远离极小，则迭代过程往往不能收敛到它的最小二乘解。,非线性问题的难点，并不是需要大量的反复计算，而是迭代过程发散。即当初值选择得不好时，Taylor展开的高阶项不能忽略，因而线性近似完全失真，用上述方法得到的新值可能比原来的更远离极小值，而且越迭代越糟糕。,迭代的收敛与发散，关键在于初值。而对于不少问题，要选取一个较好的初值又是困难的。,为了放宽对初值的依赖程度，D. W. Marquardt提出了一个改进方案。当线性方程组的系数矩阵呈病态时，矩阵求逆发生困难时

13、或不能实现时，D.W.Marquardt提出在矩阵的对角元上加上一阻尼因子d，可以取得良好效果。其迭代公式如下：,阻尼因子d 在迭代过程中能自动调节，当沿着高斯-牛顿方向迭代时，即目标函数 时，d可以取零或者很小的值得。仅当 时，才选取较大的d值以保证矩阵正定，使目标函数值下降。,Marquardt方法又称阻尼最小二乘法，在几何上的意义就是加上阻尼因子d以后，使迭代方向在高斯-牛顿方向和-g方向找到一个新的下降方向,d,d=d1,d=d2,d=0,阻尼因子d的几何意义,两种方法对初值的要求,3.5 常微分模型参数估计方法,采用类似于非线性代数模型最小二乘法同样的办法，解决常微分模型的参数估值问

14、题。取常微分模型参数估值的目标函数为：,3.5.1 高斯-牛顿法,.2 2 拟线性化法,3.6 用最优化方法解决参数估计问题,当参数估计的目标函数确定后，求取参数估计值的问题便转化为求相应目标函数最小值的问题。,当模型中的参数以非线性形式出现，或模型本身是常微分方程组时，参数的最小二乘估计值无解析解。除了用非线性最小二乘法外，也以用最优化方法在电子计算机上实现。,最优化方法中的迭代思想为：,沿着一系列一目标函数下降的方向,进行一维搜索,、,(1) 目标函数的下降量充分小，即：,或,实际计算时不能求得真正的极小点 ，常常是计算到符合下列判别准则之一即停止迭代计算。判别准则如下：,(2) 参数的改

15、变量充分小，即 和的 距离充分小:,(3) 梯度充分接近于零，即：,概括下降算法为以下四步： (1)估计初值；(2)选择方向；(3)一维搜索；(4)检验结果,在初始点确定后，只要知道方向和步长，下一点的 值就可求得。有的方法中步长是任意给定的，有的则要求最优步长。当下降方向公式确定后，从 点出发，在 方向上求极小值 问题的迭代公式可写作：,在 方向上找极小点称一维搜索，式中t为一维搜索的步长。常用的一维搜索法有进退法、对分法、黄金分割法、二次插值法、三次插值法等。,采用不同的下降方向产生各种最优化方法。根据加速收敛的下降方向求取方法的不同，可将最优化方法分为二大类。,直接法：直接法常是直接通过

16、比较目标函数值的大小来决定下降方向，不需要计算方向导数。 导数法：导数法中的下降方向的选择与该点方向导数的信息有关。,这种区分并不是十分严格的，因为在导数法中用微商来代替导数的近似值，也可以看作可求导数的直接法。,3.6.1 最速下降法,从直观看，负梯度方向是一种理想的搜索方向，最速下降法是一种理想的最优化方法，但这仅是一种假象。仅仅是在初始 处才具有这种局部的最速下降性质，而对整个极小化过程来说，它却是以较慢的收敛速度进行的。,最速下降法收敛示意图,梯度法下降途径呈锯齿形前进，仅第一，二步较快，以后就很慢。当等高线为椭圆形时，长轴与短轴之间比较大，则收敛速度就更慢。因此，最速下降法常不单独使

17、用，而与其它方法结合，因对初始点要求不高，它可用于计算的前期，当接近极小点时，再用其它收敛速度较快的方法。另外，它也是其它方法的变种，与其它方法有着紧密的关系。,3.6.2 牛顿法,牛顿法基本思想是用一个二次函数去近似目标函数，然后求出这个二次函数的极小点，以它作为所求函数极小点 的近似值。,目标函数,二次连续可微,令,牛顿法迭代公式 ：,牛顿法的下降方向为,牛顿法的几何意义是，当Hessian矩阵正定时，二次函数的等高线是一族椭圆，其中心为二次函数的极小点。,牛顿法的几何意义,即作为 的近似值。,牛顿法的收敛速度在极小点附近时是很快的，而且它不要一维搜索，但缺点是要计算二阶导数矩阵(Hess

18、ian矩阵)，比较麻烦。另一严重缺点是，当目标函数形态明显偏离二次函数时，由于初值点远离极小点，往往Hessian矩阵可能不是正定的，迭代不能进行，或者迭代发散。所以，常有各种改进的牛顿方法。,3.6.3 单纯形法,单纯形法是直接搜索法的一种常用方法，它既不用导数，也不用以差商值近似导数的算法。它是通过直接比较目标函数的大小来确定下降方向的一种算法。,正规单纯形法,应用各种最优化方法进行参数估计时，不可能有某一方法对一切模型都是最好的。这里有各种算法对特定函数形式适应的问题，也有各算法编写过程中一些具体细节是否考虑周到的问题，以及具体运用中经验积累问题。尽管如此，对各种方法来说，仍存在一些共同

19、性的具体问题。,3.7 参数估计的几个具体问题,各种迭代法开始时都需要假设初始值，而S的最小值是否能找到又常取决于初值 的选取。因此，应尽可能使初值接近真值，这对能否收敛和收敛速度都有较大好处。关于初值 选取方法大约有下述几种:,3.7.1初值问题,(1) 对机理模型参数 ，通常有明确的物理含义，可利用已知的专业知识估计其数量级范围，然后根据实验值，从一些已知参数的范围估计另一些参数的范围。,n1、n2的范围在0-2之间； E在85210KJmol (2050Kcal/mol),(2) 利用传统的估计方法取得的参数作为初值，如把非线性模型线性化后，用线性最小二乘法的估计值作为参数的初值； (3

20、) 用对初值要求低的算法(如最速下降法)的初算结果作为另一算法的初值； (4) 对有界限的参数用稀疏格子法、随机分布法。计算“格栅”参数值的目标函数，利用其中最小目标函数值的格子点作为初值，此法仅仅对维数少的参数情况可采用。,3.7.2 有约束问题,机理模型的参数有明确的物理含义，数值在一定范围内变化，受到物理意义的约束。而上面介绍的最优化方法是无约束最优化方法。在许多情况下，如果参数初值接近于真值，用无约束最优化方法便可以得到接近真值的估计值。,3.7.2 有约束问题,加约束的方法简单的可采用逻辑运算。当某一k1超过约束边界，即令目标函数值是一个大数，例如：,使搜索方向改变。也可以采用罚函数

21、方法修正目标函数。例如，ki必须满足一约束条件，则引入一新的目标函数：,称为罚函数,如果参数在约束范围内搜索不到理想的最小S值，则可能是模型不正确或目标函数呈病态，则需采取其它措施。,目标函数 常可能存在多个极小值，求得的往往是局部最小值，而不是整体最小值，这是一个数学上至今未能很好解决的问题。一般采用多个初值进行计算，并比较各个极小值。但初值的选取总是有限的，所以，能得到的也只是较优的最小值。,3.7.3 多峰问题,而在具体的工程问题中，可应用有关专业知识或预实验探参数的数量级，然后在该范围内给出不同的参数初值，常常得到满意的参数估计值。,关于多峰问题，另一种方法是改变加权矩阵 ，即如果算法停止在局部极小，则 的改变有可能使最小点位置移动。至于是否能移向真正极小值，还取决于局部极小值处等值面的深度和曲率变化的大小。如果算法停止在整体最小，则 在发生变化后，极小点不会移动。,所谓目标函数病态是指参数在较大范围内变化，而目标函数值的变化却很小。,3.7.4 目标函数病态问题,目标函数S与参数k的关系,某种算法对某类计算误差特别敏感，此时则可以改变算法。也可能由于参数之间相关生严重，这就需要通过实验设计方法予以解决。Box等提出序贯实验设计方法，有目的地选择实验位置，从而改善参数估值的精