第十章非参数密度估计和回归

章非参数密度估计和非参数回归简介10.1非参数密度估计10.1.1一元密度估计10.1.2多元密度估计10.2非参数回归2021/5/9110.1非参数密度估计例10.1在美国黄石国家公园有一个间歇式的温泉,它的喷发间隔很有规律,大约66分钟喷发一次,实际上从33分钟到148分钟之间变化,水柱高度可达150英尺,由于其喷发保持较明显的规律性,人们称之为老忠实.问题:人们想知道间隔时间的密度函数.2021/5/922021/5/932021/5/94一元密度估计直方图记录了每个区间中点的个数或频率,但很难给出较为准确的密度估计.核密度估计:原理和直方图类似,计算某一点周围点的个数.若数据为,在任意一点x处的一种核密度估计为其中K(.)称为核函数,满足对称性及h称为带宽,一般,h越大,估计的密度函数就越光滑,但偏差可能较大,选择的原则是使得均方误差最小为宜.(交叉验证法,直接插入法)注:该估计利用数据点xi

到x的距离来决定xi

在估计点x的密度时所起的作用2021/5/952021/5/96局部多项式密度估计:目前最流行,效果很好的密度估计方法.对每一个点x拟合一个局部多项式来估计该点的密度.k近邻估计:无论欧氏距离多少,只要是x点的最近的k个点就可参与加权.一种具体的k近邻密度估计:令表示按升幂排列的x到所有n个样本点的欧氏距离.K的取值决定了估计密度曲线的光滑程度,k越大越光滑.与核估计结合起来定义广义的k近邻估计:2021/5/97多元密度估计

对于二元数据,可以画二维直方图.

假定x为d-维向量,则多元密度估计可以为其中2021/5/9810.2非参数回归

回归是指给了一组数据之后,希望找到一个X变量和Y变量的一个关系:主要目的是对m(x)进行估计.例10.2研究摩托车碰撞,变量times(X)为在模拟的和摩托车相撞之后的时间,变量accel(Y)是头部的加速度.问题:X和Y之间有何种函数关系?2021/5/99

回归实际上就是把原始数据点光滑化,线性回归是最光滑的,此外还可以用多项式或其它函数来拟合.

在非参数回归中,主要考虑的是局部加权回归方法,有核光滑,局部多项式回归,k-近邻光滑,样条光滑等2021/5/910滑动平均:最初等的平滑是三点滑动平均,把每一点的Y值用该点的和邻近两点的平均代替.平均的点数越多,就越光滑.核回归光滑:基本思路和三点平均是类似的,只不过作平均时是按照核函数进行加权平均.Nadaraya-Watson形式的核估计2021/5/911Gausser—Muller核估计:其中2021/5/912k-近邻光滑:令Jx表示和x最近的k个点的集合,此时其中局部多项式回归:假定在局部上,回归函数m(.)在x的邻域点z可以由Taylor展开来近似:2021/5/913需要估计出,再加权,这归结为所谓的局部的加权多项式回归,它要选择,使得下式最小记这样的对的估计为,由此得到的估计也就是说在每一点x的附近运用估计:当p=1时称为局部线性估计.局部多项式估计有很多优点:兼备有Nadaraya—Watson估计和Gausser---Muller估计二者的优点,而且在边沿附近的性质又优于这二者.2021/5/914Loess局部加权多项式回归最初由Cleveland提出,后又被Cleveland&Devlin及其他许多人发展.Loess方法和Lowess方法相近.

其主要思想为:在数据集合的每一点用低维多项式拟合数据点的一个子集,并估计该点附近自变量数据点所对应的因变量值,该多项式是用加权最小二乘法来拟合;离该点越远,权重越小,该点的回归函数值就是这个局部多项式来得到,而用于加权最小二乘回归的数据子集是由最近邻方法确定.

最大优点:不需要事先设定一个函数来对所有数据拟合一个模型.Loess很灵活,适用于很复杂的没有理论模型存在的情况.

数据越密集,Loess的结果越好.2021/5/915光滑样条:原理是调和拟合度和光滑程度.

选择的近似函数f(.)要使下式尽可能地小:

当(>0)大时,二阶导数要很小才行,这样就使得拟合很光滑,但第一项代表的偏差就可能很大.Friedman超光滑法:这种方法会使得带宽随着x变化.

对每个点有三个带宽来自动选取,,这依据该点每边的邻域中的点数而定,不用迭代,该方法是源于斯坦福大学的Friedman用Fortran程序来实现.2021/5/9162021/5/9172021/5/9182021/5/9192021/5/9202021/5/9212021/5/9222021/5/9232021/5/9242021/5/9252021/5/9262021/5/9272021/5/9282021/5/9292021/5/9302021/5/9312021/