课程资源-基于实例学习

概储起来，从这些实例中泛化的工作被推必个新实例与以前的实例的关系，并据此把 机器学习-基于实例的学习作者 译者 概述假定实例可以表示成欧氏空间中的局 回归基于案例的推理工作延必须分类新的实例时间上地估计目标函数，而是针对每个待分类新 机器学习-基于实例的学习作者 译者 简基于实例的学习方法的学习过程只是简单地已知实例从器中取出，用来分类新的查询实例函数近许多技术不建立目标函数在整个实例空间上的近，只建立局部近，并将其用于与新实例邻近的实例复杂的局部近描述 机器学习-基于实例的学习作者 译者 简介当从器中检索相似的训练样例时，一般考虑实 机器学习-基于实例的学习作者 译者 简介局部回归法，这是一种建立目标函数的局部近的学习方法，被看作k-近邻算法的一般 机器学习-基于实例的学习作者 译者 k-近邻算 <a1(x),...,nd(x,x) r

ar(xj 机器学习-基于实例的学习作者 译者 k-近邻算法考虑离散目标函数f:表8- 将每个训练样例<x,f(x)>加入到列表给定一个要分类的查询实例示

fˆ(xq)argmax(v,f(xik k0a(a,b)0a 机器学习-基于实例的学习作者 译者 k-近邻算法 机器学习-基于实例的学习作者 译者 k-近邻算法近样例的平均值，而不是计算其中k普遍的值，为近f:RnR，计算式如kf(xifˆ(xq) k 机器学习-基于实例的学习作者 译者 距 最近邻算 f

)argmaxw(v,f(x

w k k

d(x,x

i d(xq,xi)2为0的情况，令这种情况下的f(xq)等于f(xi)，如果k也可以用类似的方式对实值目标函数进行距离，kwif(xikf(xq) k 机器学习-基于实例的学习作者 译者 距 最近邻算法 机器学习-基于实例的学习作者 译者 对k-近邻算法的说 机器学习-基于实例的学习作者 译者 对k-近邻算法的说明维度的解决方法：对属性，相当于按比例缩这个真实错误率可以使用交叉验证来估可以多次重复这个处理过程，使 因子的估计更加准 机器学习-基于实例的学习作者 译者 对k-近邻算法的说明 机器学习-基于实例的学习作者 译者 术语解来自统计模式识别领域的回归：近一个实数值的目标函数残差：f(xf 机器学习-基于实例的学习作者 译者 局 回x=xq 近目标函数 区域内为目标函数f建立明确的近 成对f的局部近绕xq的邻域内近目标函数 的近：每个训练样例的贡献由它与查询点间的距 得回归：表示近实数值函数的问 机器学习-基于实例的学习作者 译者 局 回归 建立一 fˆ计算fˆ(xq

删除

fˆ的描述 机器学习-基于实例的学习作者 译者 局 线性回使用如下形式的线性函数来近xq邻域的目标 的是目标函数的全局近，即E1(f(x)2wj(f(x)fˆ(x))aj

机器学习-基于实例的学习作者 译者 局 线性回归E(x)

(f(x)

每个训练样例，权值为关于相距xq距离的某个E(x)1(f(x)fˆ(x))2K(d(x,

综合1和E(x)

(f(x)fˆ(x))2K(d(x,

机器学习-基于实例的学习作者 译者 局 线性回归对应准则3wi K(d(xq,x))(f(x)fˆ(x))aj 机器学习-基于实例的学习作者 译者 局 回归的说数或二次函数来局部近目标函数，更 机器学习-基于实例的学习作者 译者 径向基函径向基函数是另一种实现函数近的方法，它与距离kk 1d2(xu,uK(d(x,x))e2u2003.12.u18 机器学习-基于实例的学习作者 译者 等讲者 径向基函数Hartmanetal.1990，式子8.8的函数形式能够以任意小的误差近任何函数，只要以上核的数量足 机器学习-基于实例的学习作者 译者 径向基函数为每一个训练样例<xf(xi)>分配一个核函数，中心点设为xi，所有函数的宽度可被赋予同样RBF网络学习目标函数的全局<xi,f(xi)>都只在xi的邻域内影响fˆ(xi)对于任意m个训练样例集合，合并m个核函数的权值fˆ(xi)f(xi) 机器学习-基于实例的学习作者 译者 径向基函数»把训练实例拟合到混合 机器学习-基于实例的学习作者 译者 径向基函数近RBF网络可以被看作目标函数的多个局部近RBF网络的一个优点是，与反向算法训练 机器学习-基于实例的学习作者 译者 基于案例的推 机器学习-基于实例的学习作者 译者 基于案例的推理 机器学习-基于实例的学习作者 译者 基于案例的推理条方 机器学习-基于实例的学习作者 译者 基于案例的推理为了合并案例中检索到的部分，可能需要从头 机器学习-基于实例的学习作者 译者 基于案例的推理 机器学习-基于实例的学习作者 译者 基于案例的推理CADET系统区别于k-近邻方法的一般特 机器学习-基于实例的学习作者 译者 对消极学习和积极学习的评 计算时间的差 对新查询的分类的差异（归纳偏置的差异消极方法在决定如何从训练数据D中泛化时考虑查询实例 观点：消极学习可以通过很多局部近的组合表示目标函数，积极学习必须在训练时提交单个的全局近 机器学习-基于实例的学习作者 译者 使用多个局部近的积极方法，可以产生与消极方法的局部近同样的效果吗？径向基函数RBF学习方法创建的局部近不能达到像消极 机器学习-基于实例的学习作者 译者 小对每个查询实例形成一个不同的目标函数局部近分类新实例的效难以选择用来检索相关实例的合适的距离度无关特征对距离度量的负作 机器学习-基于实例的学习作者 译者 小结局部回归法是k-近邻方法的推广，为每个查询实例建立一个明确的目标函数的局部近，近方法可2003.12.8机器-学Mitchell者陶值补充读Cover&Hart1967提出了早期的理论结Duda&Hart1973提供了一个很好的概Bishop1995讨论了k-近邻算法以及它与概率密度估计的关Atkesonetal.1997对局部