中科院统计学课程

中科院统计学课程1第一页，共四十九页，编辑于2023年，星期四非参数回归参数回归（线性回归）时，假设r(x)

为线性的。当r(x)

不是x的线性函数时，基于最小二乘的回归效果不佳非参数回归：不对r(x)的形式做任何假定局部加权方法：用点x附近的Yi的加权平均表示r(x)第二页，共四十九页，编辑于2023年，星期四回忆：knn回归函数：Knn：用训练样本中最邻近x0的k个样本的均值估计条件期望其中

为x0的邻域，由训练样本中最邻近x0的k个点xi

定义第三页，共四十九页，编辑于2023年，星期四回忆：knn例：第四页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson邻域中点的权重不是等权重，而是每个样本的权重随其到目标点的距离平滑衰减其中参数h称为带宽(bandwidth)，核函数有时可写为：K可为任意平滑的函数，满足第五页，共四十九页，编辑于2023年，星期四常用核函数Epanechnikov核：使风险最小的核函数高斯核：三次方核：第六页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson回忆一下回归方程的定义：分别对用核密度估计，得到第七页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson证明：第八页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson证明（续）第九页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson这可以被看作是对y取一个加权平均，对x附近的值给予更高的权重：其中第十页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson将核回归估计写成如下形式：其中，第十一页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson类似核密度估计中求期望的展开，得到同理，其中第十二页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson最后，得到估计的风险为最佳带宽以的速率减少，在这种选择下风险以的速率减少，这是最佳收敛速率（同核密度估计）第十三页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson实际应用中，利用交叉验证对求最佳带宽h。交叉验证对风险的估计为实际上不必每次留下一个计算单独估计，可以写成以下形式第十四页，共四十九页，编辑于2023年，星期四例：Example20.23不同带宽下Nadaraya-Watson回归的结果第十五页，共四十九页，编辑于2023年，星期四核回归：Nadaraya-Watson模型类型：非参数损失：平方误差参数选择：留一交叉验证第十六页，共四十九页，编辑于2023年，星期四局部线性回归问题：加权核回归在训练数据中靠近边界的点的估计很差核在边界区域不对称，局部加权平均在边界区域上出现严重偏差局部线性回归局部线性回归：在每一个将要被预测的点x处解一个单独的加权最小二乘问题，找到使下述表达式最小的第十七页，共四十九页，编辑于2023年，星期四局部线性回归边界上的N-W核：核在边界不对称偏差大边界上的局部线性回归：将偏差降至一阶蓝色曲线：真实情况绿色曲线：估计值黄色区域：x0的局部区域第十八页，共四十九页，编辑于2023年，星期四核回归：局部线性回归则估计为：其中W(x)是一个的对角矩阵且第i个对角元素是估计在yi上是线性的，因为权重项wi(x)不涉及yi

，可被认为是等价核第十九页，共四十九页，编辑于2023年，星期四局部线性回归局部线性回归通过自动修改核，将偏差降至一阶由于,偏差

为第二十页，共四十九页，编辑于2023年，星期四局部线性回归边界上的局部等价核（绿色点）内部区域的局部等价核（绿色点）第二十一页，共四十九页，编辑于2023年，星期四局部多项式回归局部多项式回归：用d次多项式回归代替线性回归可以考虑任意阶的多项式，但有一个偏差和方差的折中通常认为：超过线性的话，会增大方差，但对偏差的减少不大，因为局部线性回归能处理大多数的边界偏差，第二十二页，共四十九页，编辑于2023年，星期四可变宽度核可变宽度核：如使每一个训练点的带宽与它的第k个近邻的距离成反比在实际应用中很好用，虽然尚未有理论支持怎样选择参数不会改变收敛速度，但在有限样本时表现更好注意：上述这些扩展（包括局部线性/局部多项式）都可应用到核密度估计中第二十三页，共四十九页，编辑于2023年，星期四核方法为什么要用核方法？得到更丰富的模型，但仍然采用同样的方法如岭回归方法核岭回归内容Kerneltrick再生Hilbert空间第二十四页，共四十九页，编辑于2023年，星期四线性模型线性模型：方便、应用广泛有很强的理论保证但还是有局限性可以通过扩展特征空间增强线性模型的表示能力如特征空间为R6而不是R2特该特征空间的线性预测器为第二十五页，共四十九页，编辑于2023年，星期四岭回归对给定的最小化正则化的残差则最优解为需O(p3)运算第二十六页，共四十九页，编辑于2023年，星期四对偶表示一种对偶表示为：其中需O(n3)运算第二十七页，共四十九页，编辑于2023年，星期四对偶岭回归为了预测一个新的点其中此时只需计算Gram矩阵G岭回归只需计算数据点的内积第二十八页，共四十九页，编辑于2023年，星期四特征空间中的线性回归基本思想：将数据映射到高维空间（特征空间）然后在高维空间中用线性方法嵌入式特征映射：第二十九页，共四十九页，编辑于2023年，星期四核函数则核函数为其中为将数据映射到高维空间的映射有许多可能的核函数最简单的为核第三十页，共四十九页，编辑于2023年，星期四特征空间中的岭回归为了预测一个新的点其中计算Gram矩阵G利用核函数计算内积第三十一页，共四十九页，编辑于2023年，星期四另一种对偶表示推导方式线性岭回归最小化：等价于满足约束则拉格朗日函数为第三十二页，共四十九页，编辑于2023年，星期四Wolfe对偶问题转化为其对偶问题：对L求偏导并置为0，得到第三十三页，共四十九页，编辑于2023年，星期四Wolfe对偶问题将和代入拉格朗日函数原目标函数转化为第三十四页，共四十九页，编辑于2023年，星期四最优解写成矩阵形式为：得到解：相应的回归方程为：点积第三十五页，共四十九页，编辑于2023年，星期四核化岭回归将点积换成核函数Kerneltrick就实现了对线性岭回归的核化，在空间统计学中称为Kriging算法。第三十六页，共四十九页，编辑于2023年，星期四核方法通过将输入空间映射到高维空间（特征空间），然后在高维空间中用线性方法高维：维数灾难通过核技巧，避免维数灾难第三十七页，共四十九页，编辑于2023年，星期四KernelTrick将问题变为其对偶问题：只需计算点积，与特征的维数无关，如在线性岭回归中，最大化下列目标函数在高维空间中的点积可写成核(kernel)的形式，如果选定核函数，这无需计算映射可以计算点积第三十八页，共四十九页，编辑于2023年，星期四KernelTrick总之，这些被称为核技巧(kerneltrick),寻找一个映射：

和一个学习方法，使得F的维数比X高,因此模型更丰富算法只需要计算点积存在一个核函数，使得在算法中任何出现项的地方，用代替亦称为原方法的核化(kernelizingtheoriginalmethod).点积核第三十九页，共四十九页，编辑于2023年，星期四什么样的函数可以作为核函数？Mercer’s定理给出了连续对称函数k可作为核函数的充要条件：半正定半正定核：对称：且对任意训练样本点和任意满足K被称为Gram矩阵或核矩阵。矩阵形式：第四十页，共四十九页，编辑于2023年，星期四半正定核的性质对称Cauchy-Schwarz不等式第四十一页，共四十九页，编辑于2023年，星期四Mercer’sTheorem当且仅当一个函数K满足半正定形式时，函数K可以写成其中

为特征映射：该核定义了一个函数集合，其中每个元素可以写成因此某些核对应无限个预测变量的变换Mercer核第四十二页，共四十九页，编辑于2023年，星期四RKHS：再生Hilbert空间

—ReproducingKernelHilbertSpaces为了证明上述定理，构造一个特殊的特征空间定义函数空间再生性质映射到一个函数空间有限、半正定第四十三页，共四十九页，编辑于2023年，星期四Mercer’sTheorem粗略地说，如果K对可积函数是正定的，即则对K存在对应的因此K是一个合适的核第四十四页，共四十九页，编辑于2023年，星期四Mercer核一些常用的核函数满足上述性质：对字符串、图等对象，也可以构造核函数高斯核：多项式核：sigmoid核：第四十五页，共四十九页，编辑于2023年，星期四