机器学习的常用方法

1、机器学习的常用方法，主要分为有监督学习(supervised learning)和无监督学习 (unsupervised learning) 0Supervised learning 有监督学习：监督学习，就是给定一定的训练样本(这个样本既有己知数据,也有数据相对应的结果), 利用这个样本进行训练得到一个模型(可以说就是一个函数)，在某个评价准则下得到最优 模型，然后利用这个模型，将所有的输入映射为相应的输出，之后对输出进行简单的判断从 而达到了分类(或者说回归)的问题。简单做一个区分，分类就是离散的数据，回归就是连 续的数据。数据类型(Y,X)，这两个随机变量的联合概率密度为P (YX) S

2、upervised learning是处理 条件概率密度P(Y|X),即给定X的条件下，建立与Y相应的模型f(x) Regression 回归Linear Regression modelY = No + iXi 十+ 8-Xp + e=xSewhere x = (1.，XP)T, E(时=0. Var(f) =最小二乘：使得残差平方和RSSillyr -xH2最小得到3 = 0丁乂)-成勺Variance of 8： Var(/3) = (X，X)-1a2The 95% confidence interval of is 腐土 1.96 * STD(j)估 = rss /nHo :冶=0 v

3、s Ha :角 # 0The t-statistics 3j/STD(/3j)岭回归：当变量x之间存在多重共线性时，帽子矩阵H就不好了，|X，X|= 0也不可逆了， 此时无偏的估计不一定是个好的估计，我们可以考虑有偏的估计，即岭估计In ridge regression, we minimize |y - X/3|2 + A|/3|2.The solution is - = (XrX + A/)1XTy.LASSO：相比岭估计，进一步加大了惩罚这种算法通过构造一个惩罚函数获得一个精炼的模型；通过最终确定一些指 标的系数为零，LASSO算法实现了指标集合精简的目的。这是一种处理具有复 共线性数据

4、的有偏估计。Lasso的基本思想是在回归系数的绝对值之和小于一个 常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0的回归 系数，得到解释力较强的模型。Classification 判别分析：判别分类要解决的问题是，在己知历史上用某些方法己把研究对象分成若干组的情况下，来 判定新的观测样品应归属的判别LDA线性判别:Logistic逻辑回归判别：处理类似y=0/l离散的情况 pi0.5,贝IJ判给yi=l的组CV交叉验证：特别重要！ ！交叉验证(Cross-validation)主要用于建模应用中，在给定的建模样本中，拿出大部分样 本进行建模型，留小部分样本用刚建立的模型进行预报

5、，并求这小部分样本的预报误差，记 录它们的平方加和。这个过程一直进行，直到所有的样本都被预报了一次而旦仅被预报一次。差不多就是用training set估模型，用testing set计算ErrT最后计算一下它的平均来 评估模型。用交叉验证的壁1是为了得到可靠稳定的模型。选择检验误差比较小的模型。常用: K-fold cross-validationK折交叉验证，初始采样分割成K个子样本，一个单独的子样本被保留作为验证模型 的数据，其他K-1个样本用来训练。交叉验证重复K次，每个子样本验证一次，平均K次 的结果或者使用其它结合方式，最终得到一个单一估测。Fivefold和tenfold用的比较

6、多。Leave-one-out cross-validation:只用1个样本做验证，其余n-1个做训练，但是无法计算 Err (expected test error )Model selection 选择CV (验证误差，最小的好)、Cp、AIC、BIC准则(注意Cp/AIC/BIC H能用于模型的选 择),小的好先模型选择，再对选择出来的模型进行评估Model assessment 评估验证误差test error,也可记为cvTest error检验误差ErrT=EL(Y.f(X)TErr = EEL(K/(,Y)|T = E(Errr)Spline Regression:A smoo

7、thing spline has a knot at each data point, but introduces a penalty for lack of smoothness.Thus,we consider the minimization of习贝一/()2 +入 jUdtGenerally, we use cubic splines. We split the interval into three equal parts and construct the regression between x,x2,x3, (x kl)3(x kl), (x k2)A3 (x k2)and

8、 y.Kernel regression:Kernel regression is a non-parametric technique in statistics to estimate the conditional expectation of a random variable. The objective is to find a non-linear relation between a pair of random variables X and Y.In any nonparametric regression, the conditional expectation of a

9、 variable Y relative to a variable X may be writtenE映Y| X) = m(X)wherem is an unknown function.Thus, to estimate m(x) at pointxO, we need to minimizen勿一 乂二幻气讯与一 a：。)7 = 1where境 is a kernel with a bandwidth h.Through calculation, we get3(o) = (XrWX)-xXrWywhereW = diag母(xl x0), xO)Spline Regression:考虑最小化立炕-海)2 +入/)2次8 1般我们用cubic splineso我们把区间分为三个部分，构造Kx/x2A2/xA3/(x-lkl)/(x-k2)A3(xk2)与y的回归。Kernel regression:kernel回归是一种非参方法估计一个随机变量的条件期望。目标是寻找到一对随机变量x和 y的非线性关系。在任何非参数回