非参数统计模型

本文格式为Word版，下载可任意编辑——非参数统计模型非参数统计其次次作业——局部多项式回归与样条回归

习题一：

一、此题是研究加拿大工人收入状况，即年龄（age）和收入(income)的关系。

此次共调查了205个加拿大工人的年龄和收入，所有工人都是高中毕业。且此题设定因变量为log.income,协变量为age，运用统计方法来拟合log.income与age之间的函数关系。

二、模型的建立

1.估计方法的选取

拟合两个变量之间的函数关系，即因变量和协变量之间的关系，用回归估计的方法，回归估计包括参数回归估计和非参数回归估计。参数估计是先假定某种数学模型或已知总体的分布，例如总体听从正态分布，其中某些参数未知，如总体均值、方差等，然后利用样本去估计这些未知参数，常用的方法有极大似然估计，Ｂａｙｅｓ估计等，线性模型可以用最小二乘法估计。非参数估计是不假定具有某种特定的数学模型，或总体分布未知，直接利用样本去估计总体的数学模型，常用的方法有局部多项式回归方法和样条函数回归方法。

此题调查了205个加拿大工人的年龄和收入，但是加拿大工人年龄和收入的具体分布未知，即这两个变量所能建立的数学模型未知，而且由协变量和因变量所形成的散点图可以看出它不符合某种特定的已知模型，需要进一步研究，然后拟合它们之间的函数关系。因此此题选用非参数回归估计的方法，来拟合因变量和协变量之间的关系。

针对此问题分别采用非参数估计中的局部多项式回归和样条函数回归方法对log.income与age之间的函数关系进行估计。

２.局部多项式回归方法

局部多项式的思想是在某个点x附近，用一个多项式函数来迫近未知的光滑函数g(x)。选定局部邻域的大小h,对于任意给定某个点x0，在其小邻域内展开泰勒公式，用一个p阶多项式来局部迫近g(x)，然后再用极大似然估计。

（1）加拿大工人的收入（log.income）与年龄（age）之间的散点图如下所示：

注：以下所做的图中用X表示协变量年龄age，用Y表示因变量收入log.income

（2）用将X与Y排序的方法拟合的加拿大工人的收入（log.income）与年龄（age）之间函数关系如下图所示：

（3）用局部多项式回归方法拟合的加拿大工人的收入（log.income）与年龄（age）之间函数关系如下图所示：

（4）用cross-validation的方法选择最正确的smoothingparameter，图形如下：

由上图可以大约看出smoothingparameter的取值，使得函数CV.vec达到最小的h.vec取值是7，即最正确的smoothingparameter取值h=7。

（5）结果分析

对于最终用局部多项式回归方法拟合的收入（log.income）与年龄（age）之间函数关系图中，黑色线条表示的是将X与Y排序拟合的函数关系；红色线条

Locallinearestimate1表示的是用Epanechnikov核函数确定的smoothingparameter进行局部多项式回归得到的函数关系；蓝色线条表示用cross-validation方法确定的最正确smoothingparameter进行局部多项式回归得到的函数关系，显然蓝色线条对X与Y拟合的函数关系比较确凿。

3.样条函数回归方法

样条函数的思想是在区间[a,b]内等距离选取K个点作为节点，每两个相邻的节点区域内都是一个基函数，且每一个基函数都是分段函数，每一组基函数构成一个线性空间。在众多基函数选取中，B-样条基函数更稳定，应用更广泛。对于拟合的函数的光滑程度的控制，P-Spline函数方法更好。P-Spline函数方法用一些预先定义的节点来定义一组基函数，同时增加一个教训函数，来控制拟合函数的光滑程度。然后用一组B-样条基函数的线性组合来迫近f(x)，最终解最优函数。

（1）加拿大工人的收入（log.income）与年龄（age）之间的散点图如下所示：

（2）用penalized-splines方法拟合的加拿大工人的收入（log.income）与年龄（age）之间函数关系如下图所示：

（3）用generalizedcross-validation的方法选择最正确的smoothingparameter，图形如下：

由上图可以大约看出smoothingparameter的取值，最正确的smoothingparameter取值h=0.035。

（4）结果分析

上图中红色线条表示的是用generalizedcross-validation方法选择的最正确smoothingparameter进行penalized-splines回归得到的X与Y的函数关

系，显然此回归结果与局部多项式回归中蓝色线条所代表的拟合函数相像，而且都充分凸显了散点图中xobs与yobs函数关系的双峰效果，拟合程度较好。

习题二

一、此题是对ethanol数据集进行研究，因变量为NOx，协变量为E，运用统计

方法来拟合E与NOx之间的函数关系。

二、模型的建立

1.估计方法的选取

拟合两个变量之间的函数关系，即因变量和协变量之间的关系，用回归估计的方法，回归估计包括参数回归估计和非参数回归估计。参数估计是先假定某种数学模型或已知总体的分布，例如总体听从正态分布，其中某些参数未知，如总体均值、方差等，然后利用样本去估计这些未知参数，常用的方法有极大似然估计，Ｂａｙｅｓ估计等，线性模型可以用最小二乘法估计。非参数估计是不假定具有某种特定的数学模型，或总体分布未知，直接利用样本去估计数学模型，常用的方法有局部多项式回归方法，和样条函数回归方法。

此题是针对ethanol数据集进行研究，但是ethanol数据集的具体分布未知，而且由协变量和因变量所形成的散点图可以看出它不符合某种特定的已知模型，需要进一步研究，然后拟合它们之间的函数关系。因此此题选用非参数回归估计的方法，来拟合因变量和协变量之间的关系。

针对此问题分别采用非参数估计中的局部多项式回归和样条函数回归方法对NOx与E之间的函数关系进行估计。

1.局部多项式回归方法

注：以下所绘的图中用X表示协变E，用Y表示因变量NOx。

（1）ethanol数据集中NOx与E之间的函数关系散点图如下所示：

（2）用将X与Y排序的方法拟合协变量E与因变量NOx之间函数关系如下图所示：

（3）用局部多项式回归方法拟合的协变量E与因变量NOx之间函数关系，如下图所示：

（4）用cross-validation的方法选择最正确的smoothingparameter，图形如下：

由上图可以大约看出smoothingparameter的取值，使得函数CV.vec达到最小的h.vec取值是0.035，即最正确的smoothingparameter取值h=0.035。

（5）结果分析

对于最终用局部多项式回归方法拟合的协变量E与因变量NOx之间函数关系图中，黑色线条表示的是将X与Y排序拟合的函数关系；红色线条Locallinearestimate1表示的是用Epanechnikov核函数确定的smoothingparameter进行局部多项式回归得到的函数关系；蓝色线条表示用cross-validation方法确定最正确的smoothingparameter进行局部多项式回归得到的函数关系，显然蓝色线条对X与Y拟合的函数关系比较确凿。

2.样条函数回归方法

注：以下所绘的图中用xobs表示协变E，用yobs表示因变量NOx。

（1）ethanol数据集中NOx与E之间的函数关系散点图如下所示：

（2）用penalized-splines方法拟合的ethanol数据集中NOx与E之间的函数关系如下图所示：

（3）用generalizedcross-validation的方法选择最正确的smoothingparameter，图形如下：

由上图可以大约看出smoothingparameter的取值，使得函数GCV达到最小的横坐标取值是-6，即最正确的smoothingparameter取值h=-6。