半参数回归模型虚拟1.doc

半参数模型解算的虚拟观测法 本项目由湖南省自然科学基金项目(02JJY2066)和湖南省科技计划项目联合资助(2004022200611)朱建军冯光财戴吾蛟中南大学信息物理工程学院摘要半参数模型中的非参数部分可以很好地描述测量数据处理规律不是十分明确的系统误差或模型误差，因而近年得到了测绘工作者的广泛重视。但目前半参数模型的各种解算方法主要还是沿用数学中提出的方法，例补偿最小二乘法，样条函数法，核光滑估计等，这些方法的特点是：所用的参数和语言都是纯数学的、相对抽象的，与具体应用中的实际意义关系不大，如何根据具体的问题确定方法中的有关量，没有成熟可靠的方法。本文首先介绍半参数回归中常用的补偿最小二乘法。然后基于先验信息，从纯测量学的观点讨论半参数模型的解算。即将对问题的先验信息转换成对问题的虚拟观测，用虚拟观测与原观测联合按常规的最小二乘方法求解。理论和实际都证明，该方法与最小二乘补偿法完全等价。从而在理论上得到一个重要的结论：半参数回归的补偿最小二乘法中的正则矩阵可由虚拟观测的观测方程系数确定，即，平滑因子可由观测方差与虚拟观测方差的方差比（权比）确定，而该方差比可以在计算中用方差分量估计的方法确定。由此将半参数回归的解算与传统的测量数据处理方法有机地结合起来了。实例的计算结果表明，本文提出的虚拟观测方法计算的结果一般要优于常规的补偿最小二乘结果，基本上可达到常规补偿最小二乘法在理论上的最优解。关键词：半参数模型，补偿最小二乘法，先验信息虚拟观测中国图书分类号：P207A quasi observation approach for semi-parameter regression Zhu Jianjun Feng Guangcai Dai wujaoSchool of info-physcs and Geomatics, Central South UniversityAbstractThe non-parameter in semi-parametric model can be used to describe the systemic error or model error in geodesy, so semi-parameter regression get a great attention in geodesy. However, all the methods to find solutions of the model are based on mathematics, some concepts in the methods are very abstract, especially some quantities are no relationship to practical situation. So it is very difficult to determine these quantities on practical situations. In this paper the method of penalized least squares(PLS) is introduced at first. And then, the solution of the model is studied on the view of geodesy. It is suggested that the prior information on the semi-parameters is transformed into quasi observations, and the quasi observations are adjusted then together with the real observations. The paper proves that the quasi observations method is equal to PLS. The regular matrix in PLS can be determined by coefficient matrix of the quasi observation equation, that is, , the smoothing parameter is equal to the ratio of the observation variance to the quasi observation variance. The example shows that the quasi observation method usually will be better than PLS. And it can get nearly the best theoretical result of PLS 1、引言半参数回归模型是20世纪80年才发展起来的一种重要的统计模型，这种模型的特点是既有参数分量又含有非参数分量，参数分量部分可以用来描述函数关系明确的那一部分，而非参数部分可以用来描述函数关系或规律不明确的那一部分1。在测量数据处理中，观测值与被观测的对象的函数关系往往非常明确，但测量的系统误差或模型误差往往则很难用函数来描述，如果把它归入随机误差部分，明显会丢失信息，影响数据处理的精度，但用上述模型中的非参数则可以很好地描述这一部分的信息，即可用上述模型中的参数部分描述观测值与被观测对象的明确函数关系，用非参数部分描述并不完全确定的模型误差或系统误差部分。因而半参数模型在近年得到了测绘工作者的广泛重视2-10。目前测绘界对半参数模型的研究主要集中在以下几个方面：一是用测量平差的语言和方式介绍半参数回归的有关方法及其处理模型误差和系统误差能力2-6，二是研究半参数回归模型与传统平差模型的关系7-8，三是研究有关的算法改进及统计性质9-10。半参数回归算法具有较好的处理系统误差和模型误差的能力这一点在多数文献中都进行了肯定，但目前的算法主要还是沿用数学中提出的算法，例补偿最小二乘法，样条函数法，核光滑估计等，这些方法的特点是：所用的参数和语言都是纯数学的、相对抽象的，与具体应用中的实际意义关系不大，例补偿最小二乘准则中的两个重要量：光滑因子和正则矩阵，偏核光滑估计中的光滑矩阵，这些量都是一些纯数学含义的量，他们在测量实际中的含义不是十分明确，因而不利于测量工作者的理解和使用，也不利于测量工作者针对测量的实际情况对半参数估计的有关理论和方法进行深入研究和扩充。本文将基于先验信息，从纯测量的观点来讨论半参数模型的解算，并由此得出了目前半参数模型解算方法中有关参数的测量学含义。2、半参数回归方法半参数模型可表示为13：(1)其中L表示n维的观测向量，X为u维的参数向量，B为系数矩阵，表示误差，S表示规律不十分明确，难以用简单的函数表示，但又不能归入误差项的非参数部分。半参数模型有两个特点(文献1P5)：一是S可以是任意的函数形式，可以包含任意多的参数；二是模型的目的主要在于估计参数，非参数S的引入主要是为了得到更准确的参数估计，S本身的大小和精度并不重要。很显然，对于测量数据处理，S可以描述模型误差或系统误差。如果把S简单地看作为参数，则上述问题变为具有n+u个未知数，只有n个观测的不定问题，如果不增加其它信息则不可能求解。目前半参数模型的解法主要是按两种思路进行设计的，一是对非参数S的函数空间施加一定的限制，一般是进行光滑性限制，由于S的函数形式可以任意，使用光滑性后则可以使用合理的参数逼近，将非参数部分参数化。这种类型的估计是以非参数分量参数化为特征，例，偏光滑样条估计，偏分块多项式估计等。另一种思路是分别对参数部分和非参数部分进行估计的两阶段估计方法。例可先假定参数已知，使用标准非参数方法估计非参数部分，然后去掉非参数部分，再使用标准的参数估计方法估计参数部分。由于篇幅所限，这里我们只简单介绍目前半参数模型求解中广泛应用的补偿最小二乘方法。将模型(1)改写成观测方程，有：（2）为了求得上述问题的解，可以增加对非参数S函数光滑性的限制，即要求： （3）其中：是刻划非参数函数光滑性的一个定量指标。 称为平滑因子，它起到在拟合度(VTPV)和光滑程度之间的平衡作用。在自然样条的概念下，上述准则等价于：（4）其中R称为正则矩阵，可由所采用的自然样条或其它方法事前确定。在准则（4）下可求得（2）式的补偿最小二乘解：（5）（6）补偿最小二乘法的关键是如何确定光滑因子和正则矩阵R。由于这两个量的测量学含义并不十分明确，针对各种实际测量工作应该如何确定这两个量目前还没有统一的解释。当L是一个观测序列时，如果认为相邻时刻的模型误差或系统误差相差不大，即Si与Si+1差别不大，文献2建议取：（7）其中（8）而可以根据交叉核实法在计算中确定(文献1P47)。3半参数模型的虚拟观测法对于先验信息“认为相邻时刻的模型误差或系统误差相差不大，即Si与Si+1差别不大”可以用虚拟观测：（9）表示。全体虚拟观测用误差方程形式可表示为：（10）即（11）其中l为虚拟观测向量，并且有l=0，v为虚拟观测残差向量，对比（10）（11）和（8）式可知，Al与式（8）中的G完全相同。对于上述先验信息下的虚拟观测，我们可以认为观测等权，但观测方差的大小未知，因而其虚拟观测权可表示为：（12）其中为观测方差与虚拟观测方差的方差比（权比）,虚拟观测与实际观测联合后的观测方程为：（13）在最小二乘准则：（14）下，可求得法方程为：（15）最后可求得：（16）这里（17）式（16）就是半参数模型的虚拟观测法的解。将l=0和代入（16）（17），再令就可得到与一般文献中补偿最小二乘法形式完全相同的解的表达式（5）（6）。虚拟观测的方差一般难以事前确定，可以按经典测量数据处理中的方差分量估计方法确定。实际计算中可以按进行初次计算，然后按方差分量估计方法确定方差比。考虑式l=0和，有（18）考虑虚拟观测的最小二乘准则可变为：可见最小二乘准则（14）与补偿最小二乘准则（4）等价，由此，从理论上可以得到一个重要的结论：半参数回归的补偿最小二乘算法等价于对半参数的虚拟观测法，其中补偿最小二乘准则中的正则矩阵实际就是对半参数进行的虚拟观测组成的法方程，即，平滑因子实际就是观测方差与虚拟观测方差的方差比（权比），即，完全可以用方差分量估计的方法确定。4算例为了使算例具有可比性和可重复性，本文选文献9使用的算例，即假定有一个线性模型：其中,， ,模型误差为,其中，,观测误差假定为，由计算机模拟给出。则观测向量由确定。由计算机产生一组模拟误差后，可由上式计算相应的模拟观测，产生一组模拟观测后我们进行两种计算：一是用常规的补偿最小二乘法，二是用本文所提出的虚拟观测法。用常规的补偿最小二乘法的关键是难以确定平滑参数。甚至没有评价平滑参数好坏的标准。对于该算例，文献2曾建议取0.05。为了求得平滑因子理论上的最好值，我们对每组观测计算1,2，20等20组解，然后取参数X的真值与估值的差的均方根（RMS）作为评价解理论上最好的评价指标（因实际工作中不可能知道解的真值）。在取得一组观测后，不考虑模型误差求得的最小二乘解为： 为了求得平滑因子理论上的最好值，用不同的平滑因子按补偿最小二乘法求解的结果如表1，按本文提出的虚拟观测法计算的结果列于表1最后一行，用虚拟观测法计算时，赫尔默特方差估计法确定虚拟观测方差，由此可确定方差比（平滑因子）。由表1可以看出，对于该算例的该组观测，采用补偿最小二乘时，理论上的最佳解为，理论上的最佳平滑因子为3，相应的解偏差为RMS0.0474。按本文提出的虚拟观测方法，求得的解为，平滑因子（方差比）为2.2，偏差为RMS0472。这里必须注意，我们在算例中能知道理论上的最优解是因为我们知道模拟参数实际的真值，在实际应用中，我们是不知道真值的，所以，用补偿最小二乘法时很难知道或评价哪一组解最优。这一计算结果表明：对于半参数模型，采用本文提出的虚拟观测方法计算的结果一般要优于常规的补偿最小二乘结果，并且，虚拟观测方法基本上可达到常规补偿最小二乘法在理论上的最优解。表1虚拟观测法与补偿最小二乘法的结果比较平滑参数及的估计值与真实值的偏差1RMS0.0882RMS0.0493RMS0.0474（最优）4RMS0.0565RMS0.0686RMS0.0827RMS0.0968RMS0.1109RMS0.12310RMS0.13611RMS0.148120.16113RMS0.17214RMS0.18415RMS0.19516RMS0.20517RMS0.21618RMS0.22619RMS0.23520RMS0.245半参数模型解算的虚拟观测法2.2RMS0.04725结论1）半参数模型可以通过对半参数的虚拟观测与原观测联合进行求解，半参数模型的补偿最小二乘法实际上与这种虚拟观测方法是等价的，其中补偿最小二乘法中的正则矩阵可由虚拟观测的观测方程系数确定，即，平滑因子可由观测方差与虚拟观测方差的方差比（权比）确定，而该方差比完全可以在计算中用方差分量估计的方法确定。2）本文提出的虚拟观测方法计算的结果一般要优于常规的补偿最小二乘结果（0.05时的结果），在本例多余观测数比较大的情况下（多余观测数接近100），