非参数统计-一元非参数回归课件

第九章一元非参数回归第九章一元非参数回归一元非线性回归模型:给定一组观测值(xi,yi)，i=1,2,…,n概述可以采用多项式回归.一元非线性回归模型:概述可以采用多项式回归.概述概述9.1核回归光滑模型局部加权最小二乘估计:如果取核函数9.1核回归光滑模型局部加权最小二乘估计9.1核回归光滑模型利用核密度估计的基本思想，估计yi的权重。加权平均核hn小,yi的权重小,反之,则越大。9.1核回归光滑模型利用核密度估计的基本9.1核回归曲线Nadaraya-Watson核估计为：Gasser-Muller核估计为：9.1核回归曲线Nadaraya-Watson核估计为：9.1核回归曲线Nadaraya-Watson核估计为：以鲑鱼和鲈鱼为例，绘制核回归曲线如下。M1<-function(x,h){sum(y[1:260]*exp(-0.5*((xx[1:260]-x)/h)^2))/sum(exp(-0.5*((xx[1:260]-x)/h)^2))}x<-seq(min(xx),max(y),length=50),z=rep(0,50)for(iin1:50){z[i]<-M1(x[i],0.2)}plot(xx,y)lines(x,z)9.1核回归曲线Nadaraya-Watson核估计为：核回归估计范例

h=0.2h=0.8核回归估计范例h=0.2h=0.89.2局部线性回归主要避免边界估计不精确.在x的邻域用线性函数取代yi的平均.特别,如果K(.)是[-1,1]上的均匀分布,则9.2局部线性回归主要避免边界估计不精确.9.2局部多项式回归在局部线性函数回归的基础上确定β的矩阵表达式:9.2局部多项式回归在局部线性函数回归的基础上确定β的矩阵9.3Lowess稳健回归异常点可能导致线性回归模型最小二乘估计发生偏差,改进局部线性拟合方法来降低异常点对估计的影响.

基本思想:首先局部线性回归拟合,其次对权数进行平滑.算法步骤:9.3Lowess稳健回归异常点可能导致9.4k-近邻回归与k-近邻核密度估计类似，基本思想是用距离x最近的k个样本点处yi的值来估计当前点的取值,并确定权值.一.k-近邻估计特点：比核密度回归简单。9.4k-近邻回归与k-近邻核密度估计类9.4k-近邻回归

knearhg<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

knearhg<-sum(A[find.k,2])/kreturn(knearhg)}9.4k-近邻回归knearhg<-function9.4k-近邻回归k=3k=109.4k-近邻回归k=3k=109.4k-近邻回归二.k-近邻核估计9.4k-近邻回归二.k-近邻核估计9.4k-近邻回归knearm<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

R<-max((abs(x-A[find.k,1])))knearm<-sum(A[,2][1:260]*exp(-0.5*((A[,1][1:260]-x)/R)^2))/sum(exp(-0.5*((A[,1][1:260]-x)/R)^2))return(knearm)}9.4k-近邻回归knearm<-function(A,9.4k-近邻回归k=5k=29.4k-近邻回归k=5k=29.4k-近邻回归k=159.4k-近邻回归k=159.5正交序列回归前面讲的三种情况回归是局部的思想.预测只能是局部的,全局估计法效果比较好的是正交多项式回归.正交基的概念:9.5正交序列回归前面讲的三种情况回归是9.5正交序列回归回归模型近似为:进行最小二乘估计:9.5正交序列回归回归模型近似为:进行最小二乘估计:9.5正交序列回归区间[-1,1]上的Legendre多项式正交基:9.5正交序列回归区间[-1,1]上的Legendre多9.5正交序列回归例9.7对摩托车数据采用Legendre多项式正交基建立回归模型,效果图如下.注意:对解释变量施行变换:9.5正交序列回归例9.7对摩托车数据采用Leg9.5正交序列回归9.5正交序列回归第九章一元非参数回归第九章一元非参数回归一元非线性回归模型:给定一组观测值(xi,yi)，i=1,2,…,n概述可以采用多项式回归.一元非线性回归模型:概述可以采用多项式回归.概述概述9.1核回归光滑模型局部加权最小二乘估计:如果取核函数9.1核回归光滑模型局部加权最小二乘估计9.1核回归光滑模型利用核密度估计的基本思想，估计yi的权重。加权平均核hn小,yi的权重小,反之,则越大。9.1核回归光滑模型利用核密度估计的基本9.1核回归曲线Nadaraya-Watson核估计为：Gasser-Muller核估计为：9.1核回归曲线Nadaraya-Watson核估计为：9.1核回归曲线Nadaraya-Watson核估计为：以鲑鱼和鲈鱼为例，绘制核回归曲线如下。M1<-function(x,h){sum(y[1:260]*exp(-0.5*((xx[1:260]-x)/h)^2))/sum(exp(-0.5*((xx[1:260]-x)/h)^2))}x<-seq(min(xx),max(y),length=50),z=rep(0,50)for(iin1:50){z[i]<-M1(x[i],0.2)}plot(xx,y)lines(x,z)9.1核回归曲线Nadaraya-Watson核估计为：核回归估计范例

h=0.2h=0.8核回归估计范例h=0.2h=0.89.2局部线性回归主要避免边界估计不精确.在x的邻域用线性函数取代yi的平均.特别,如果K(.)是[-1,1]上的均匀分布,则9.2局部线性回归主要避免边界估计不精确.9.2局部多项式回归在局部线性函数回归的基础上确定β的矩阵表达式:9.2局部多项式回归在局部线性函数回归的基础上确定β的矩阵9.3Lowess稳健回归异常点可能导致线性回归模型最小二乘估计发生偏差,改进局部线性拟合方法来降低异常点对估计的影响.

基本思想:首先局部线性回归拟合,其次对权数进行平滑.算法步骤:9.3Lowess稳健回归异常点可能导致9.4k-近邻回归与k-近邻核密度估计类似，基本思想是用距离x最近的k个样本点处yi的值来估计当前点的取值,并确定权值.一.k-近邻估计特点：比核密度回归简单。9.4k-近邻回归与k-近邻核密度估计类9.4k-近邻回归

knearhg<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

knearhg<-sum(A[find.k,2])/kreturn(knearhg)}9.4k-近邻回归knearhg<-function9.4k-近邻回归k=3k=109.4k-近邻回归k=3k=109.4k-近邻回归二.k-近邻核估计9.4k-近邻回归二.k-近邻核估计9.4k-近邻回归knearm<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

R<-max((abs(x-A[find.k,1])))knearm<-sum(A[,2][1:260]*exp(-0.5*((A[,1][1:260]-x)/R)^2))/sum(exp(-0.5*((A[,1][1:260]-x)/R)^2))return(knearm)}9.4k-近邻回归knearm<-function(A,9.4k-近邻回归k=5k=29.4k-近邻回归k=5k=29.4k-近邻回归k=159.4k-近邻回归k=159.5正交序列回归前面讲的三种情况回归是局部的思想.预测只能是局部的,全局估计法效果比较好的是正交多项式回归.正交基的概念:9.5正交序列回归前面讲的三种情况回归是9.5正交序列回归回归模型近似为:进行最小二乘估计:9.5正交序列回