多元回归异方差模型方差的局部多项式估计ppt

1、目标：目标： 通过对异方差的多元局部多项式估计，改进多元线性异方差回归模型对参数估计的不精准性。本文利用局部多项式回归的非参数方法用于多元线性异方差模型中的方差进行两阶段估计，改进了传统的两阶段法，得到了估计的渐近正态性，并且使得估计的精度进一步提高。主要内容：主要内容： 局部多项式拟合理论 模型与方法 仿真模拟 结论局部多项式拟合理论局部多项式拟合理论 局部多项式拟合是一个用途广泛的非参数技术，它拥有多种好的统计特性令 是定义在 中的回归函数的 阶导数 ，局部多项式技术可非常方便地用来估计，包括回归函数 本身，由于回归函数的形式没有被指定，因而距离 远的数据点对 提供了很少的信息.因此，我们

2、只能使用 附近的局部数据点假定 在 处有 阶导数，由泰勒展开，对 局部领域的 ，我们有 mx()()ttttYm XXv mx0( )( )m xmx0 x0()m x0 x( )m x1p0 x0 xx 2000001000()( )()()()().2!()()()!pppm xm xm xm xxxxxmxxxOxxp在统计建模方面，对 周围的局部点，我们建模 为 参数 依赖于 ，故称为局部参数。显然局部参数 ，用局部数据拟合可极小化0 x( )m x00( )pjjjm xxx j0 x 0()/ !vvmxv20010pnjtjthttjYXxKXx其中 控制局部邻域大小的带宽 使用

3、矩阵记号来表示局部多项式回归更为方便用 表示相应于上式的设计矩阵： hX1010001,1ppnnX xX xXX xX x且令1,nYyY0p 则加权最小二乘估计问题能够写为： 其中 ， 是对角阵，它的第i个元素是 ，解向量为minTyXW yX0,TpW0hiKXx1TTX WXX Wy为了实现局部多项式估计，我们需要选择阶数 ，带宽 和核函数 .当然这些参数相互关联当 时，局部多项式拟合就变成全局多项式拟合，阶数 决定模型的复杂性。 phKh p 与参数模型不同，局部多项式估计拟合的复杂性是由带宽来控制的 通常是较小的，故而选择 的问题就变得不重要了如果目的是估计 ，则当 是奇数，局部多

4、项式拟合自动修正边界偏倚进一步，则当 是奇数，与 阶拟合相比较， 阶拟合包含了一个多余常数，但没有增加估计的 方差。不过这个参数创造了一个降低偏倚的机会，特别是在边界区域另一方方面，带宽 的选择在多项式拟合中起着重要作用太大的带宽引起过渡平滑，产生过大的建模偏倚，而太小的带宽会导致不足平滑，获得受干扰的估计。 ppvmpvpv1ppvmh模型与方法模型与方法 设因变量 与解释变量 之间满足如下回归模型： yx01 122iiimmiiiiyxxxfX1,2,in式中， 为观察值，记 12,1,2,iiimiy xxxin12,nyyyy01n112111222212111mmxnnmnxxxx

5、xxXxxx12n(1)则(1)式可简写为 xyX假定：（1）（2） 其中： 12,0,0,0;TTnEEEE22212,TnEdiag 2var,1,2, ;iiin(3) 非随机.这里 不全相等，即模型 (2) 存在异方差，此时参数 的广义最小二乘估计（GLE）为X22212,n111TTxxxXXXy(2)或者1221111nnTiiiiiiiix xx y 式中：121,1,2, .Tiiimixxxxin为了估计 ，考虑到 可以构造回归模型为 式中，是 与其期望的差.记模型(2)的普通最小二乘估计 由于OBL估计量 尽管无效，但仍是一致的，因此，相应的残差 2i22,iiE22,ii

6、iu0,1,2,iEuin iu2i1TTxxxOLE bXXXyb22TTiiiiexx b222TTiiiixbxb2i(3)1221111nnTiiiiiiiix xx y估计式为：(4)(5)从而近似地有可以将它看作把方差函数作为回归函数，而把OBL的残差平方作为因变量的回归模型.为了估计这一模型，通常文献中所采用的是参数估计的方法，即假定 ，其中的 形式已知， 为待估参数.讨论较多也较详细的是假定 和 等情况.这些模型的讨论，一方面要求模型分析着必须对问题的实际背景有较深 入的了解，如公司利润的方差常常与家庭收入呈正比；另一方面，方差函数形式的假 22,iiiev 0,1,2,iE

7、vin 2,Tiif cxf01,Tncc cc222,Ticx22exp,Tiicx(6)定在一定程度上是为了保证其非负性， 从而受较多人为因素影响。用非参数的局部多项式方法估计方差函数，设 为核函数，满足 以及 令自变量 ， 则 的领域处的阶泰勒展开式为： 式中， 和 分别为梯度算子和海赛算子； 把对称矩阵下三角部分按字典序排成列向量， 为用回归函数得出的 处的估计值 ； K ,K x dx 0 xK x dx 2x K x dx 12,1,2,TiiimiXxxxin12,TnXx xx12,TnXx xx12TTiiiifXfXfXXXXXfXXX 012TTTiiiXXvechXXX

8、X vech 0XfX1pnn为回归函数的 阶梯度系数。方差函数 局部 阶多项式估计即为使n 2xp 220121nTTTiiiiiiieXXvechXXXXK XXyy，达到最小解，其中 为待估参数， 为带宽， ，在这里 定义为记 为设计矩阵 01,Tp hiiiHiK XXyyKXX， iHK11iiHiHiiiKXXKHXXHxxX111222111TTTTxxTTnnnXXvechXXXXXXvechXXXXXXXvechXXXX(7)并记1212nHHxHnKXXKXXWKXX为权矩阵。在 可逆的条件下，易使式(7)达到最小的解为TxxxX W X2TTxxxxxxxxXW XXW

9、e式中： ,因此方差函数的估计 。再将上式得到 的估计 代 入（4）式，即可得到 的两阶段估计 。 222212,Tneeee 20 xx2i2i(8) 模模 拟拟 下面进行数值模拟仿真，本节中给出以下2个模型。考虑到线性模型应用于经济时的大量实际背景，设定了方差函数的如下2种形式。 模型1 设线性模型为 121.80.60.4,iiiiyxx1,2,in（9） 式中，iy12iixx、 1,2,in为观察值， 22212,TnEdiag，且 22212,n不全相等。假设误差项的方差函数 222exp( ()xxy。 阶段1：利用普通最小二乘法得到式(9)的2个参数的估计，并计算各残差的平方

10、222212,Tneeee，对模型 22,01,2,iiiiev E vin用局部多项式回归，图1为20n ，经400次模拟计算的结果，其中 2p ，核函数取为 2211,exp.exp2222xyK x yx y 的取值范围 x4,50.7nh ， ，选取 nh的准则是使近似ISE的平均达到最小，其中 25224ISExxdx图2为误差项的方差函数 222exp( ()xxy的图像.图3为误差项的方差函数和拟合函数画在同一个坐标系下的情况. -4-20246-505-0.500.51x轴y轴z轴图1 -4-20246-50500.20.40.60.81x轴y轴z轴图2 -4-20246-50

11、5-0.500.51x轴y轴z轴 图3 阶段2：将由阶段1得到的估计 2i代入式(4)得到 ，表1和图4、图5、图6是 20n 经400次模拟计算广义最小二乘估计 (GLE) 的 0， 1值以及 0， 1的渐近分布。 表表1模型模型1参数参数 0、 1、 2的两阶段估计的两阶段估计012012真实值1.811估计值1799961000041.000021.761.771.781.791.81.811.821.831.841.8505101520253035beta0频数0.9940.9960.99811.0021.0041.0061.0080510152025303540beta1频数0.99

12、50.996 0.9970.998 0.99911.001 1.0021.003 1.004 1.0050510152025303540beta2频数 图4 图5 图6 模型2：模型1中，误差项函数设为 222,50.50.4exp(/ 2)x yxyxy取 1.0nh ，参数估计的过程与计算同模型1。其中： 2p ， , x y的取值范围为 4,5，核函数仍取为 2211,exp.exp2222xyK x yx y， 20n ，共进行200 次模拟计算，图7显示了方差函数的估计 2x，图8、图9和图10显示了 0、 1和 2的渐近分布情况。然后，在上述模型的基础上，我们假定方差相同，用普通最

13、小二乘估计 ( OLE) 来估计， 并与广义最小二乘估计 ( GLE) 的估计值进行比较，图11、图12和图13显示了 0、 1和 2的普通最小二乘估计的渐近分布情况。表2列出了广义最小二乘估计 ( GLE) 和普通最小二乘估计 ( OLE) 的 0、 1和 2的估计。 -4-20246-5050246810 x轴y轴z轴11.21.41.61.822.22.42.605101520253035beta0频数0.70.80.911.11.21.31.405101520253035beta1频数0.70.80.911.11.21.31.405101520253035beta2频数图7 图8 图9

14、 图10表表2 2模型模型2 2中广义最小二乘估计中广义最小二乘估计 ( GLE) 和普通最小二乘估计和普通最小二乘估计 ( OLE) 的的 0、 1和和 2的估计的估计 真实值 1.8111800020.998960.999811.78920.97450.9897GLE估计值OLE估计值0120.811.21.41.61.822.22.42.6051015202530354045beta0频数0.70.80.911.11.21.31.4051015202530beta1频数图11 图12 0.70.80.911.11.21.31.405101520253035beta2频数图13 5、结论、

15、结论本文将局部多项式回归的非参数方法用于多元线性模型本文将局部多项式回归的非参数方法用于多元线性模型 中异方差的估计，中异方差的估计，采用非参数的方法估计随机项方差的模型，采用非参数的方法估计随机项方差的模型， 将得到的异方差估计代入广义最小二将得到的异方差估计代入广义最小二乘估计，从而使得到的估计具有良好的统计性质和更高的精度。乘估计，从而使得到的估计具有良好的统计性质和更高的精度。 参考文献：参考文献：1 Chen P, Suter D. A bilinear approach to the parameter estimationof a general heteroscedastic

16、linear system, with application to conic fitting. Journal of mathematical imaging and vision.2007, 28(3).2 Fan J. Design-adaptive nonparametric regressionJ.Journal of the American Statistical Association.1992.87:998-1004.3Amemiya T. A note on a heteroscedastic modelJ. Journal of Econometrics.1997.6:

17、365-370.4尹光霞尹光霞.多元线性回归模型中的异方差性问题多元线性回归模型中的异方差性问题. 湖北大学学报湖北大学学报(自然科学版自然科学版).Vol.25. No.2 Jun.2003. 5Jianqing Fan, Qiwei Yao.Nonlinear Time Series.Beijing: kexuechubanshe,2006.6 Hiroyuki Takeda, Sina Farsiu, Peyman Milanfar. Robust kernel regression for restoration and reconstruction of images form sp

18、arse noisy data. 7Su Liyun and Li Fenglan, Deconvolution of Defocused Image with Multivariate Local Polynomial Regression and Iterative Wiener Filtering inDWT domain, Mathematical Problems in Engineering, vol. 2010, Article ID 605214, 14 pages, 2010. ISSN: 1024-123X.8Su Liyun , Prediction of multivariate chaotic time series with local polynomial fitting, Computers & Mathematics with Applica