从理论到应用浅谈lasso模型

1、本科生学年论文题目：从理论到应用一一浅谈IaSSO模型指导教师：学院：姓名：学号：班级：从理论到应用浅谈lasso模型【摘要】回归模型是我们在处理数据中常用的方法。其中，LaSSQ模型是一种适用于多重共线性问题，能够在参数估计的同时实现变量的选择的回归方法。本文从lasso模型的概念谈起，对其起源、思想、与岭回归的比较、通过Iar的算法实现等方面进行了探究。另外还使用R语言对简单案例进行Iasso模型的应用。最后简述了 Iasso模型的研究现状。【abstract RegreSSi On model is QUr GQm monly USed method in PrQGeSS ing dat

2、a. LaSSQ model is a kind Qf regressi On method for multiple Iin ear problems, WhiGh Can be USed to achieve Parameter estimatiQn and VariabIe SeIeGtiQn at the Same time. ThiS PaPer StartS from the COnGePt Qf the lasso model, including its Qrigin, ideas, and the GQmPariSOn Of ridge regression, through

3、 Iar algorithm implementation, etc. In addition, USing R Ianguage to solve a SimPIe CaSe through lasso. At last, the research StatUS Qf lasso model is in troduced.【关键词LaSSQ 岭回归 最小角回归 R语言【key WQrdS LaSSQ ridge regressi On Iar R Ian guage目录一、定义及基本信息 -2 -二、起源与原理 -2 -三、模型的思想 -2 -四、LaSSo与岭回归 -3 -1、岭回归的概念

4、 -3 -2、 Lasso与岭回归的比较 -3 -五、Lasso 的算法步骤 -4 -1、 lasso算法实现的背景 -4 -2、 最小角回归 -5 -3、用 Iar 实现 lasso - 5 -六、案例分析 -6 -1、 问题描述 -6 -2、 简单线性回归求解 -7 -3、利用IaSSo求解 -9 -七、应用与研究现状 -10 -八、参考资料 -11-、定义及基本信息LaSSo 模型是由Robert TibShirani 在 1996 年 JRSSB 上的一篇文章RegreSSionShri nkage and SeIeCtiO n Via the IaSSo所提出的一种能够实现指标集合精

5、简的估计方法。在参数估计的同时实现变量的选择(可以解决回归分析中的多重共线性问题)。全称：LeaSt Absolute Shrinkage and SeIeCtion OPeratOr读音：I? ' su:而不是' I? soRObert TibShirani 简介：生于1956年7月10日，担任斯坦福大学 the DePartments of StatiStiCS and HeaIth ReSearCh and Policy的教授。1985-1998 年担任多伦多大学的教授。他主要研究方向是致力于开发处理复杂数据的分析统计工具。Lasso模式是他最著名的贡献。同时在著名的 &

6、quot;Ge neralized AdditiVe Models", "An In troduction to the Bootstrap", and "The Eleme nts of StatiStiCaI Learni ng"三本书中都有他的编著。二、起源与原理在常规的回归分析中，假设我们有一组(xi, yi), i=1,2,.,N,其中Xi=(Xi1,.,x ip)T,yi是第i维观测值的回归量的数据。普通最小二乘(OLS)通过最小化残差平方和来进行估计。它对数据的分析不那么令人满意通常有两个原因。一是预测精度:OLS往往偏差较低但方

7、差大:预测精度有时可以用缩小或设置一些系数为0的方法来提高。通过这样做，我们牺牲一点偏差减少预测的方差值，因此可以提高整体预测准确性。第二个原因是可解释性的问题。在大 量的预测值中，我们通常想确定一个展现出最强影响的更小的子集。两个公认优秀的改善 OLS估计的方法是子集选择(SUbSet SeIeCtiOn )和岭回归(ridgeregressiOn )它们都有缺点。子集选择提供了可解释的模型但是可变性非常强，因为它是一 个离散的过程一一回归量要么保留要么从模型中去掉。小的数据变化就会使得模型的选择改变，这会降低预测准确度。岭回归是连续缩小参数的过程，因此更稳定：然而它不会使得任 何参数为0,

8、没办法得出简单的可解释的模型。Iasso 模型就此提出， The least absolute Shrinkage and SeIeCtiOn OPerator ,同时缩小(Shrinkage )和设置成参数为 0 ( SeIeCtiOn ),保持了子集选择和岭回归的良好特征。 2三、模型的思想Iasso是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于 0的回归系数，得到解释力较强的模型。给出一组测量数据 x, X2 .Xp以及测量结果y, Iasso符合线性模型yhat=b 0 + b 1 ×x+ b2 ×x2 + . b P

9、 ×xp它所使用的标准是：当 | bj Iv= S 时，使得 (y-yhat) 2 最小最初的和是根据观察数据集得来的。边界”是一个调谐参数。当S很大时，约束起不到作用，解决方案只是常见的多元线性最小二乘回归的关于y,x1,x2,xp的函数。然而当S变小时，解决方案就是缩小的版本最小二乘( least SqUareS )估计。通常一些系数bj为零。选择S就像选择一个回归模型的预报器的数值，交叉验证(CrOSS-VaIidatiOn)是估计S最佳值的一个好办法。3四、Lasso与岭回归1、岭回归的概念岭回归(ridge regression)是一种专用于共线性数据分析的有偏估计回归方法

10、，实质上是一种改良的最小二乘估计法， 通过放弃最小二乘法的无偏性，以损失部分信息、 降低精度为代价获得回归系数更为符合实际、 更可靠的回归方法，对病态数据的拟合要强于最小二乘法。它的数学表达式如下：即在回归系数的平方和小于一个常数的约束条件下，使残差平 方和最小化。鈔g = I2、Lasso与岭回归的比较F面是lasso写成相同形式的表达式。=纽IgmilL(工(ML V*Xj)2 + V* j LBj-j 丿ZP2argmiii c- 说)*t-1.j-(3t51)可以看出LaSSo与岭回归的区别就是约束条件不一样，一个是回归系数绝对值之和小于一个常数，一个是平方和小于一个常数。Lasso的

11、约束条件是线性的，而ridge是L2-norm。通过这幅图可以很明显的看出岭回归和IaSSo之间的差异。图中是两个变量回归的情况，等高线图表示的是残差平方和的等高线。残差在最小二乘估计处最小。阴影部分分别是岭回归和Iasso的限制区域。显然圆形为岭回归，菱形为Iasso的。这两种带有惩罚项的方法都是要找到第一个落到限制区域上的等高线的那个位置的坐标（即岭估计和Iasso估计）。因为菱形带尖角，所以更有可能使得某个变量的系数为0（即所找到的第一个点是菱形四个顶点之一）。当回归变量增多时，Iasso的尖角也会变得更多，从而增大更多系数变0的可能性。而光滑的高维球面的显然不可能有这样的概率。这也就是

12、说Iasso可以用于变量选择。这是Iasso相较于ridge有优势的一点。五、LaSSQ的算法步骤Lasso的算法实现与Iar（Ieast angle regression）有密不可分的关系。1、Iasso算法实现的背景TibShirani 在The SCience Of Bradley Efron这本书的序言里写道，”e Sat down andPretty much Single-handedly solved the problem. Along the way, he developed a new algorithm, 'ast angle regressiOn ',

13、which is interesting in its OWn right, and ShedS great StatiStiCaI inSight On the Lasso."大意是说：Efron 独自摆平了具有 Shrinkage 的 Gradient Boosting应用到线性回归中时与Lasso得到的Solution Path相似这个问题，与此同时发明了" LeaSt angle regression (LAR)”。Efron 结论是 Lasso 和 Boosting 的确有很紧密的数学联系，它们都可以通过修改LAR得到。现在，Lasso已经家喻户晓了，但是 Las

14、so出生后的头两年却很少有人问津。后来 TibShirani自己回忆时说，可能是由下面几个原因造成的：1.速度问题：当时计算机求解Lasso的速度太慢；2.理解问题：大家对 Lasso模型的性质理解不够(直到 Efron的LAR 出来后大家才搞明白)；3需求问题：当时还没有遇到太多高维数据分析的问题，对SParSity的需求似乎不足。42、最小角回归Efron 5提出最小角回归(LARS)方法，这种方法既可以进行变量选择，可以用来解决Lasso问题，并且可以提高计算效率。LARS算法的基本思想是：首先选择一个与因变量相关性最大的协变量，然后沿这个方向走一定长度，知道出现第二个协变量，这两个协变

15、量与残差的相关性相同，就沿着与这两个变量等角度的方向继续走，以此类推，选择出需要的协变量。LARS算法既不像向前法那样贪婪，选择一个变量后，走尽量长的长度来计算残差， 也不像分段法(StageWiSe),每步只走很短的距离。LARS方法具有很高的计算效率。3、用 lar 实现 lassoX的每一行代表一个样本，即：X(x1,X2,Xp)首先对数据进行预处理，使其去均值标准化。nnn2yi 0,Xij0 Xij 1, for j 1,2,., ni 1i 1i 1? ( ? ? )TC定义 (I, 2,，m)为当前拟合向量 ？的系数，则有my X?Xj?jj 1则Xi跟残差y ?的相关系数Ci:

16、C XT(Y y)冈U开始时，相关系数都为0,然后找出跟残差(此时即为 y)相关系数最大的变量，假设是Xj1，将其加入到活动集， 这时我们在Xj1的方向上找到一个最长的步长，使得出现下一个变量(假设是Xj2)跟残差的相关系数跟 Xj1到残差的相关系数相等，此时也把Xj2活动集里，LARS继续在跟前面2个变量等角度的方向上，找到第 3个变量Xj3使得该变量跟前面2个跟残差的相关系数相等，随后LARS继续找寻下一个变量。 具体算法步骤如下:(?当前最小角度方向，即角平分线方向残差跟变量的相关系数Y 当前拟合的Y值C 当前的最长步长0.For k 1,2,., P(找P个最优回归量)XT(Y C(C

17、,C2,., Cm)Tj : Cj max(?) C3)XA.Xj., j A1(k) XAWA (WA 8aGa 1aT 1aA(1aGa1a)1TT2 GA XaXa,1a (1,.,1)3aXT(ai , a2 ,，am)ifminj ACCjCCjaA ajaAaj% min j ACjWjC(k)C(k1) %(k) A%elseC(k) C(k 1) C (k)AU六、案例分析现在在R语言中包含了运用IaSSo的包。1、问题描述Y （卡/克）与水泥中的四我们考虑一个简单问题：假设某种水泥在凝固时放出的热量 种活血成分X1，X2，X3，X4有关，现测得13组数据，如下表所示，希望从中

18、选出主要的变量，建立Y与它们的线性回归方程。8序号123456X1711111711X2262956315255X36158869X4605220473322Y78.574.3104.387.695.9109.2序号78910111213271315447406668X317221842398X46442226341212Y102.772.593.1115.983.8113.3109.42、简单线性回归求解用R对数据做简单多元线性回归：(输入代码以文字显示，控制台的响应以图片显示)>cement <- data.frame(X1 = c(7, 1, 11,

19、 11,7, 11,3, 1,2, 21, 1, 11, 10),X2 = c(26, 29, 56, 31,52, 55, 71,31,54, 47, 40, 66, 68),X3 = c(6, 15, 8, 8, 6, 9, 17, 22, 18, 4, 23, 9, 8),X4 = c(60, 52, 20, 47, 33, 22, 6, 44, 22, 26, 34, 12, 12),Y = c(78.5, 74.3, 104.3, 87.6, 95.9, 109.2, 102.7, 72.5, 93.1, 115.9,83.8,113.3, 109.4)>ceme ntXlX2

20、X3X4Y二7256607fi.522IS5374,33115-S201" .34113184787.657E.2fi3395.91155g22105.2Ir3711?6102 JS13122礬12.55rA&4IS22m1021472fi115 9111402334E121165m工E113.313106SSIi103 >lm.sol<-lm(Y.,data=ceme nt)>summary(lm.sol)Call!data = CeTnen.tResiduals :HlrLIQ MedJ.an3QMaX-3.1f7S0 -l.*7O 0.2500 1.3

21、703 3.5PS4Coef±ieient:Eat 丄 TnaJt 电5td. Errart vain皀(Intercept)2.405470.07100.B910,3991Xl1.55110 74S2.0830.0705 ,X20.S1O20.72380.7050 5009XSQ1010.7570.135O-&5X4-0.14410 .709：-0.503O.S441Signif. codes: O '*tr O,OCH li*r 0014*f 0,05- ' . F O. 1 ' FReSidUal atdard enr: 2.446 CIrL S

22、 degrees Clf freedomaquazred : 0 . SSi 4 fidj us ted Raquared: G . 336F-SVatiSViC : 111,5 On 4 and 3 DFf p-ralu: 4,755e-07回归系F检可以看到虽然R2接近于1 ,拟合优度较理想，但是自变量的 P值均大于0.05 , 数没有通过显著性检验。利用简单线性回归得到回归方程中的X与Y的关系不明显。验的值也非常大，说明自变量的显著性较低，需要进行变量选择。利用Car包中的Vif ()函数查看各自变量间的共线情况>library(car)>vif(lm.sol)XlX：X3X

23、43S.9e21 25A.4231746,86339 2S2.512E从结果看，各自变量的 VIF值都超过10,存在多重共线性，其中， X2与X4的VlF值均超过200 。>plot(X2 X4, Col = "red", data = Cement)1020 3C 405060X4图中可以明显看出 X2与X4存在线性关系。3、利用lasso求解此时我们尝试用lars-lasso来求解这个方程。>library(lars)>x = as.matrix(ceme nt, 1:4)>y = as.matrix(ceme nt, 5)>(laa =

24、IarS(x, y, type = "lar")CaII:lrs (X = X t y = yf 匸ype = nlaxr)R-Mq竇冃=u;Q«Sequence Of ILAR ILclTeS:X4 XiX2X3VSr 123SteP1234可以看到IaSSo的变量选择依次是 X4，X1，X2，X3。>plot(laa)Rsaoiuaoo paMp嚳 LIESj1.Ibetalma?Clbetal可以看出各变量的系数的变化过程。>summary(laa)LRS LARCa.ll: IaZS=齐F y = y, VyPe = lrn)DERssCPD1

25、2715.762.9167122219.35361-9455117.55313.S050307 令73 O10i34547*3650000其中CP (衡量多重共线性，其值越小越好)可以看到在第3步以后CP值明显变小。说明lasso模型在实际应用中能够解决多重共线性的问题，有良好的应用。七、应用与研究现状全R加R EFgB刮亲源tsf 苧科I ja *烦啟:闻 枸墓畫SWWl區页蜃議*tts 机宝用 H(B的 心血豐靈躺stew】 *tvo f(Mn 自 E1(374)Sn ×七磁：¥苣理勺可持履展St - 苴黃互腳技市几剜Id *我们在知网中对lasso进行中文数据库的搜索

26、，结果见下图：可以看到该模型在计算机、医学、经济等各个领域均有应用。见微知著的可以下结论其运用十分广泛。在应用和拓展方面的研究也十分丰富。下表中列出了部分内容。TaiMe 1. A SlrIPIkng Of nerallztions of ha assMerhodCilImIVd IJl%nYUHB and I in (工On7町EIdStk IWtZoll and HiKie 2(W5)ae+a2 used Li*"Tibshn din r til. (0(15) .I.-JjAIhJIl.e 1. snZOU (2ftt t,1,j ifGniPhkal Ia »Yua

27、n Und Lin (2(M77b); FriCdTIIml Lt dZ ¢2007)IoSIik+AvllD li SdWhIlCivIdeI and I> (2007IninX-xmU) 讪 < Near i>tnciz&lin1 ibJL Pf at. (200>H T+*IlJf-Jfl- + AlIXltMfLtr s m1ctioCalIdCA BIKlTao2009; MaZUTlldardZ (2010)Iiiipi CSMLr c nvnlM> (20(M) CarKIeSInil()SUI)jed to y V iMUkiVa

28、riate IlXthCdSJoIIi tie Z ai. (2003 ; WlITin ¢1 ji. ¢201N Sprse principal CrImfitii iilysi1 hca Jiicrimjiani: h;Ily再i、Hnil LMnInIiC3 Cnrrda( lysj这些研究在数学层面考察了lasso产生最小预测误差模型的能力，并重新获得了真正的底层(稀疏)模型。重要的贡献者包括 Bickel, BUhImann, Candes, Donoho, Johnstone, MeinShaUSen,van de Geer, Wainwright and Yu.也证明了 lasso 可以揭示更多的传统技术，给向前逐步选择方法带来了新的理解。另一个例子是graphical lasso拟合的稀疏高斯图，将其