非参数回归的介绍知识讲解

参数回归(huíguī)与非参数回归(huíguī)的优缺点比较：参数(cānshù)回归：非参数(cānshù)回归：优点：(1).模型形式简单明确，仅由一些参数表达(2).在经济中，模型的参数具有一般都具有明确的经济含义(3).当模型参数假设成立，统计推断的精度较高，能经受实际检验(4).模型能够进行外推运算(5).模型可以用于小样本的统计推断缺点：(1).回归函数的形式预先假定(2).模型限制较多：一般要求样本满足某种分布要求，随机误差满足

正态假设，解释变量间独立，解释变量与随机误差不相关，等(3)需要对模型的参数进行严格的检验推断，步骤较多(4).模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果

不好，需要修正或者甚至更换模型优点；(1)回归函数形式自由，受约束少，对数据的分布一般不做任何要求(2)适应能力强，稳健性高，回归模型完全由数据驱动(3)模型的精度高;(4)对于非线性、非齐次问题，有非常好的效果缺点：(1)不能进行外推运算,(2)估计的收敛速度慢(3)一般只有在大样本的情况下才能得到很好的效果，

而小样本的效果较差(4)高维诅咒,光滑参数的选取一般较复杂1第一页，共60页。非参数(cānshù)回归方法样条光滑(guānghuá)正交回归(huíguī)核回归：N-W估计、P-C估计、G-M估计局部多项式回归：线性、多项式光滑样条：光滑样条、B样条近邻回归：k-NN、k近邻核、对称近邻正交级数光滑稳健回归：LOWESS、L光滑、R光滑、M光滑局部回归Fourier级数光滑wavelet光滑处理高维的非参数方法：多元局部回归、薄片样条、

可加模型、投影寻踪、

回归树、张量积，等2第二页，共60页。核函数(hánshù)K：函数(hánshù)K(.)满足:常见(chánɡjiàn)的核函数：Boxcar核：Gaussian核：Epanechnikov核：tricube核：为示性函数(hánshù)3第三页，共60页。回归(huíguī)模型：(1)模型为随机(suíjī)设计模型,样本观测(Xi,Yi)~iid(2)模型(móxíng)为固定设计模型(móxíng)Xi为R中n个试验点列,i=1,2,…,nYi为固定Xi的n次独立观测，i=1,2,…,nm(x)为为一未知函数，用一些方法来拟合定义：线性光滑器(linearsmoother)4第四页，共60页。光滑参数(cānshù)的选取风险(fēngxiǎn)(均方误差)(meansquarederror,MSE)理想的情况是希望选择合适的光滑参数(cānshù)h，使得通过样本数据拟合的回归曲线能够最好的逼近真实的回归曲线(即达到风险最小)，这里真实回归函数m(x)一般是未知的。可能会想到用平均残差平方和来估计风险R(h)但是这并不是一个好的估计，会导致过拟合（欠光滑），原因在于两次利用了数据，一次估计函数，一次估计风险。我们选择的函数估计就是使得残差平方和达到最小，因此它倾向于低估了风险。是

的估计，h是光滑参数，称为带宽或窗宽5第五页，共60页。光滑(guānghuá)参数的选取缺一交叉验证(yànzhèng)方法(leave-one-outcrossvalidation,CV)这里是略去第i个数据点后得到(dédào)的函数估计交叉验证的直观意义：因此：6第六页，共60页。光滑(guānghuá)参数的选取定理：若那么缺一交叉(jiāochā)验证得分

能够写成：这里是光滑(guānghuá)矩阵L的第i个对角线元素广义交叉验证(generalizedcross-validation,GCV)其中：为有效自由度7第七页，共60页。光滑参数(cānshù)的选取其他(qítā)标准(1)直接插入法(DirectPlug-In,DPI)相关文献可以(kěyǐ)参考：

WolfgangHärdle(1994)，AppliedNonparametricRegression，BerlinJeffreyD.Hart(1997),NonparametricSmoothingandLack-of-FitTests，SpringerSeriesinStatistics李竹渝、鲁万波、龚金国(2007)，经济、金融计量学中的非参数估计技术，科学出版社，北京

吴喜之译(2008)，现代非参数统计，科学出版社，北京

(2)罚函数法(penalizingfunction)(3)单边交叉验证(OneSidedCrossValidation，OSCV)(4)拇指规则(RuleOfThumb)8第八页，共60页。1.核回归(huíguī)（核光滑）N-W估计是一种(yīzhǒnɡ)简单的加权平均估计，可以写成线性光滑器：局部(júbù)回归由Nadaraya(1964)和Watson(1964)分别提出，（1）N-W估计形式：其中：,为核函数，为带宽或窗宽9第九页，共60页。局部(júbù)回归（2）P-C-估计(gūjì)由PriestleyandChao(1972)提出(tíchū)，形式：写成线性光滑器的形式：在随机设计模型下，P-C估计可由x的密度估计：推导出来，相关文献可参考härdle(1994)和李竹渝等(2007)10第十页，共60页。局部(júbù)回归(3)G-M估计(gūjì)由GasserandMüller(1979)提出(tíchū)，形式如下:其中写成线性光滑器的形式:G-M估计是卷积形式的估计，P-C估计可看成G-M估计的近似:当K连续11第十一页，共60页。局部(júbù)回归核估计存在边界效应(xiàoyìng)，边界点的估计偏差较大,以N-W估计为例，如下图12第十二页，共60页。局部(júbù)回归一般(yībān)，核函数的选取并不是很重要，重要的是带宽的选取13第十三页，共60页。局部(júbù)回归一般，核函数(hánshù)的选取并不是很重要，重要的是带宽的选取14第十四页，共60页。局部(júbù)回归一般(yībān)，核函数的选取并不是很重要，重要的是带宽的选取可以(kěyǐ)看到：拟合曲线的光滑度受到光滑参数h变化的影响15第十五页，共60页。局部(júbù)回归核估计(gūjì)的渐近方差核渐近偏差核估计渐近偏差渐近方差N-W估计

G-M估计

其中，h为光滑(guānghuá)参数，f为X的密度函数，且16第十六页，共60页。局部(júbù)回归2.局部(júbù)多项式光滑多项式的回归(huíguī)模型其中可由最小二乘法估计,即局部多项式回归：对m(x)在u处进行p阶泰勒展开，略去p阶高阶无穷小量，得到m(x)在u处的一个p阶多项式近似，即此时，x应该靠近u，且17第十七页，共60页。局部(júbù)回归通过最小二乘来估计(gūjì)系数注意：是在x的一个邻域(línyù)内进行多项式估计，因此，最小二乘应该与x的邻域(línyù)有关局部加权平方和：使上述问题最小化，可以得到系数的局部多项式的最小二乘估计可以很容易得到，取p=0时为局部常数估计，即N-W核估计取p=1，为局部线性估计18第十八页，共60页。局部(júbù)回归写成矩阵(jǔzhèn)形式：使上式最小化，可以得到系数(xìshù)的估计其中19第十九页，共60页。局部(júbù)回归得到(dédào)加权最小二乘估计当p=1时（局部线性估计(gūjì)）的渐近偏差和渐近方差其中可以看到局部线性回归的渐近方差和N-W估计相同，而渐近偏差却比N-W回归小，说明局部线性多项式可以减少边界效应，局部线性估计由于N-W估计20第二十页，共60页。局部(júbù)回归局部多项式光滑可以很好的减少(jiǎnshǎo)边界效应21第二十一页，共60页。局部(júbù)回归检验函数(hánshù)(Doppler函数(hánshù))22第二十二页，共60页。局部(júbù)回归使用(shǐyòng)GCV选取最优带宽h=0.017，权函数为tricube核函数23第二十三页，共60页。局部(júbù)回归使用(shǐyòng)GCV选取最优带宽h=0.017，权函数为tricube核函数24第二十四页，共60页。局部(júbù)回归3.近邻(jìnlín)光滑(1)k-NN回归(huíguī)(k-nearestneighborregression)其中={i:xi是离x最近的k个观测值之一}K-NN估计的渐近偏差和渐近方差：对于随机设计模型，近邻估计写成线性光滑器的形式权函数：25第二十五页，共60页。局部(júbù)回归(1)k-NN回归(huíguī)(k-nearestneighborregression)26第二十六页，共60页。局部(júbù)回归(1)k-NN回归(huíguī)(k-nearestneighborregression)27第二十七页，共60页。局部(júbù)回归(2)k-近邻(jìnlín)核回归K近邻(jìnlín)核估计的权重其中R为xi中离x最近的第k个距离，K为核函数渐近偏差和渐近方差：28第二十八页，共60页。局部(júbù)回归(2)k-近邻(jìnlín)核回归29第二十九页，共60页。局部(júbù)回归(2)k-近邻(jìnlín)核回归30第三十页，共60页。局部(júbù)回归(3)对称(duìchèn)化近邻回归(SymmetrizedNearestNeighborEstimate)Yang(1981)，Stute(1984)研究(yánjiū)了这种估计其中权重写成线性光滑器这里的k(h)相当于nh,可以看出实质上相当于nh个Yi值加权平均31第三十一页，共60页。局部(júbù)回归4.稳健(wěnjiàn)光滑(1)局部(júbù)加权描点光滑(LocallyWeightedScatterplotSmoothing,LOWESS)Step1:在x的邻域内，用一个多项式进行拟合，求出系数{βj}其中Wki(x)为k-NN权Step2:根据残差计算尺度估计，定义稳健权重Step3:用新的权重

重复Step1、Step2，直到第N次结束32第三十二页，共60页。(1)局部(júbù)加权描点光滑(LOWESS)局部(júbù)回归33第三十三页，共60页。(1)局部(júbù)加权描点光滑(LOWESS)局部(júbù)回归34第三十四页，共60页。局部(júbù)回归(2)L-光滑(guānghuá)条件(tiáojiàn)L函数其中

为条件分位数函数特别：a)当

时b)当

时，为中位数光滑其中={i:xi是离x最近的k个观测值之一}35第三十五页，共60页。局部(júbù)回归(2)L-光滑(guānghuá)对于条件(tiáojiàn)L函数其中用

来估计F(y|x)得到L-估计36第三十六页，共60页。局部(júbù)回归(3)M-光滑(guānghuá)(局部)最小二乘方法得到的光滑(guānghuá)估计是通过考虑损失函数为二次函数得到的，现在考虑损失函数c较大时，为普通的二次损失函数，c较小(≈1倍或2倍观测误差的标准差)可以获得更多的稳健性37第三十七页，共60页。局部(júbù)回归M-样条(Cox,1983)核M-光滑(guānghuá)(kernelM-smoother)(Hubber,1979;Silverman,1985)38第三十八页，共60页。局部(júbù)回归(3)R-光滑(guānghuá)定义(dìngyì)得分函数其中J是定义在(0,1)上的非减函数，满足J(1-s)=J(s)用来估计F(y|x)，则

应该粗略地接近0对于

，则ChengandCheng(1986)提出的R-估计：39第三十九页，共60页。样条回归设m(x)在[a,b]连续(liánxù)可微，且二阶导数平方可积考查(kǎochá)形式其中(qízhōng)为粗糙惩罚1.光滑样条40第四十页，共60页。样条回归定义(dìngyì)一组样条基函数：注意，这里(zhèlǐ)样条基函数可以是其他样条基如:B样条基(吴喜之译(2008))样条41第四十一页，共60页。样条回归将前面(qiánmian)的优化问题写成矩阵形式：其中(qízhōng)上述(shàngshù)问题的最优解其中42第四十二页，共60页。样条回归下面(xiàmian)的图利用的是B样条基函数，43第四十三页，共60页。样条回归下面的图利用(lìyòng)的是B样条基函数，44第四十四页，共60页。样条回归下面的图利用(lìyòng)的是B样条基函数，45第四十五页，共60页。正交光滑(guānghuá)1.正交多项式回归(huíguī)回归(huíguī)函数其中是正交基函数，如Laguerre,Legendre正交多项式正交基满足系数系数估计如46第四十六页，共60页。正交光滑(guānghuá)回归函数(hánshù)估计写成线性光滑(guānghuá)器：47第四十七页，共60页。Legendre正交多项式正交光滑(guānghuá)48第四十八页，共60页。正交光滑(guānghuá)2.Fourier级数(jíshù)光滑在实际中，将无穷用有限值r替换，r称为截断点，相当于光滑(guānghuá)参数是正交cosine基空间系数系数的估计其中49第四十九页，共60页。正交光滑(guānghuá)m(x)的估计(gūjì)将代入，得其中(qízhōng)可以看到上面的估计与G-M估计有相同的表达形式，都为卷积形式，只是核函数不相同50第五十页，共60页。正交光滑(guānghuá)另外一种(yīzhǒnɡ)的Fourier估计一般(yībān)要求：同样可以写成卷积形式：其中关于权函数选取可以是满足前面条件任意的权函数51第五