从理论到应用——浅谈lasso模型

1、本科生学年论文题目：从理论到应用一一浅谈lasso模型指导教师：学院：姓名：学号：班级：从理论到应用浅谈lasso模型【摘要】回归模型是我们在处理数据中常用的方法。其中，Lasso模型是一种适用于多重共线性问题，能够在参数估计的同时实现变量的选择的回归方法。本文从lasso模型的概念谈起，对其起源、思想、与岭回归的比较、通过lar的算法实现等方面进行了探究。另外还使用R语言对简单案例进行lasso模型的应用。最后简述了lasso模型的研究现状。【abstractRegressionmodelisourcommonlyusedmethodinprocessingdata.Lassomodelis

2、akindofregressionmethodformultiplelinearproblems,whichcanbeusedtoachieveparameterestimationandvariableselectionatthesametime.Thispaperstartsfromtheconceptofthelassomodel,includingitsorigin,ideas,andthecomparisonofridgeregression,throughlaralgorithmimplementation,etc.Inaddition,usingRlanguagetosolvea

3、simplecasethroughlasso.Atlast,theresearchstatusoflassomodelisintroduced.【关键词】Lasso岭回归最小角回归R语言【keywordsLassoridgeregressionlarRlanguage目录一、定义及基本信息-3-二、起源与原理-3-三、模型的思想-3-4、 Lasso与岭回归-4-1、 岭回归的概念-4-2、Lasso与岭回归的比较-4-5、 Lasso的算法步骤-5-1、lasso算法实现的背景-5-2、最小角回归-6-3、用lar实现lasso-6-六、案例分析-7-1、 问题描述-7-2、 简单线性回归求

4、解-8-3、利用lasso求解-10-七、应用与研究现状-11-八、参考资料-12-、定义及基本信息Lasso模型是由RobertTibshirani在1996年JRSSB上的一篇文章Regressionshrinkageandselectionviathelasso所提出的一种能够实现指标集合精简的估计方法。在参数估计的同时实现变量的选择(可以解决回归分析中的多重共线性问题)。全称：LeastAbsoluteShrinkageandSelectionOperator读音：l?'su:而不是'l?soRobertTibshirani简介：生于1956年7月10日，担任斯坦福大学

5、theDepartmentsofStatisticsandHealthResearchandPolicy的教授。1985-1998年担任多伦多大学的教授。他主要研究方向是致力于开发处理复杂数据的分析统计工具。Lasso模式是他最著名的贡献。同时在著名的"GeneralizedAdditiveModels","AnIntroductiontotheBootstrap",and"TheElementsofStatisticalLearning"三本书中都有他的编著。1二、起源与原理在常规的回归分析中，假设我们有一组(Xi,y。，i=1,2

6、,N,其中小仅小,Xip)T,yi是第i维观测值的回归量的数据。普通最小二乘(OLS)通过最小化残差平方和来进行估计。它对数据的分析不那么令人满意通常有两个原因。一是预测精度:OLS往往偏差较低但方差大:预测精度有时可以用缩小或设置一些系数为0的方法来提高。通过这样做，我们牺牲一点偏差减少预测的方差值，因此可以提高整体预测准确性。第二个原因是可解释性的问题。在大量的预测值中，我们通常想确定一个展现出最强影响的更小的子集。两个公认优秀的改善OLS估计的方法是子集选择(subsetselection)和岭回归(ridgeregression)它们都有缺点。子集选择提供了可解释的模型但是可变性非常强

7、，因为它是一个离散的过程一一回归量要么保留要么从模型中去掉。小的数据变化就会使得模型的选择改变，这会降低预测准确度。岭回归是连续缩小参数的过程，因此更稳定：然而它不会使得任何参数为0,没办法得出简单的可解释的模型。lasso模型就此提出,Theleastabsoluteshrinkageandselectionoperator,同时缩小(shrinkage)和设置成参数为0(selection)，保持了子集选择和岭回归的良好特征。2三、模型的思想lasso是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0的回归系数，得到解释力较强的模型。给出一组测

8、量数据X1,X2.Xp以及测量结果y,lasso符合线性模型yhat=b0+b1双1+b2双2+.bp双p它所使用的标准是：当汇|bj|<=s时，使得汇(y-yhat)2最小最初的和是根据观察数据集得来的。边界“s"是一个调谐参数。当s很大时，约束起不到作用，解决方案只是常见的多元线性最小二乘回归的关于y,x1,x2,xp的函数。然而当s变小时，解决方案就是缩小的版本最小二乘(leastsquares)估计。通常一些系数bj为零。选才ss就像选择一个回归模型的预报器的数值，交叉验证(cross-validation)是估计s最佳值的一个好办法。3四、Lasso与岭回归1、岭回归

9、的概念岭回归(ridgeregression)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。它的数学表达式如下：即在回归系数的平方和小于一个常数的约束条件下，使残差平方和最小化。NP28rtd呼=argniin£(仍-氏-，psubjecttoT氏乂(3.42)2、Lasso与岭回归的比较下面是lasso写成相同形式的表达式。可以看出Lasso与岭回归的区别就是约束条件不一样，一个是回归系数绝对值之和小于一个常数，一

10、个是平方和小于一个常数。Lasso的约束条件是线性的，而ridge是L2-norm。通过这幅图可以很明显的看出岭回归和lasso之间的差异。图中是两个变量回归的情况，等高线图表示的是残差平方和的等高线。残差在最小二乘估计处最小。阴影部分分别是岭回归和lasso的限制区域。显然圆形为岭回归，菱形为lasso的。这两种带有惩罚项的方法都是要找到第一个落到限制区域上的等高线的那个位置的坐标（即岭估计和lasso估计）。因为菱形带尖角，所以更有可能使得某个变量的系数为0（即所找到的第一个点是菱形四个顶点之一）。当回归变量增多时，lasso的尖角也会变得更多，从而增大更多系数变0的可能性。而光滑的高维球

11、面的显然不可能有这样的概率。这也就是说lasso可以用于变量选择。这是lasso相较于ridge有优势的一点。五、Lasso的算法步骤Lasso的算法实现与lar（leastangleregression）有密不可分的关系。1、lasso算法实现的背景Tibshirani在«TheScienceofBradleyEfron»这本书的序言里写道，"Hesatdownandprettymuchsingle-handedlysolvedtheproblem.Alongtheway,hedevelopedanewalgorithm,leastangleregression

12、"whichisinterestinginitsownright,andshedsgreatstatisticalinsightontheLasso.”大意是说：Efron独自摆平了具有Shrinkage的GradientBoosting应用到线性回归中时与Lasso得到的SolutionPath相似这个问题，与此同时发明了"Leastangleregression(LAR)"。Efron结论是Lasso和Boosting的确有很紧密的数学联系，它们都可以通过修改LAR得到。现在，Lasso已经家喻户晓了，但是Lasso出生后的头两年却很少有人问津。后来Tibsh

13、irani自己回忆时说，可能是由下面几个原因造成的：1.速度问题：当时计算机求解Lasso的速度太慢；2.理解问题：大家对Lasso模型的性质理解不够(直到Efron的LAR出来后大家才搞明白)；3.需求问题：当时还没有遇到太多高维数据分析的问题，对Sparsity的需求似乎不足。42、最小角回归Efron5提出最小角回归(LARS)方法，这种方法既可以进行变量选择，可以用来解决Lasso问题，并且可以提高计算效率。LARS算法的基本思想是：首先选择一个与因变量相关性最大的协变量，然后沿这个方向走一定长度，知道出现第二个协变量，这两个协变量与残差的相关性相同，就沿着与这两个变量等角度的方向继续

14、走，以此类推，选择出需要的协变量。LARS算法既不像向前法那样贪婪，选择一个变量后，走尽量长的长度来计算残差，也不像分段法(Stagewise),每步只走很短的距离。LARS方法具有很高的计算效率。63、用lar实现lassoX的每一行代表一个样本，即：X=(%,X2，,Xp)首先对数据进行预处理，使其去均值标准化。nnnZyi=0,£Xij=0Zx2=1,forj=1,2,n.i=1i=1i衽定义?=（?,?m）T为当前拟合向量?的系数，则有则Xi跟残差y?的相关系数G：6-xT(y-y)刚开始时，相关系数都为0,然后找出跟残差(此时即为y)相关系数最大的变量，假设是Xj1,将其加

15、入到活动集，这时我们在为1的方向上找到一个最长的步长，使得出现下一个变量(假设是Xj2)跟残差的相关系数跟Xj1到残差的相关系数相等，此时也把Xj2活动集里，LARS继续在跟前面2个变量等角度的方向上，找到第3个变量Xj3使得该变量跟前面2个跟残差的相关系数相等，随后LARS继续找寻下一个变量。7具体算法步骤如下：当前最小角度方向，即角平分线方向,一一当前拟合的y值?残差跟变量的相关系数？一一当前的最长步长?=0.Fork=12.,p(找p个最优回归量)1)2)3)4)5)6) )7) )?=XT(y-？=(&&.,?m)TA=j:«=max(?)=CXa=.Xj.,

16、jA1(K)=XaWa(WaaGA11aaAXlGA%)”Ga=xAXa,1a=(1,.,1)T)aA=X'=(a),也,.,am)IC-c?iC(?iII"i?=minc,r=mincjAaA-ajaAajjAWjifr?:r?(k)=?(kT),rL(k)A=A-jelse?(k)=?y(k-1)?中(k)A=A?六、案例分析现在在R语言中包含了运用lasso的包。Y（卡/克）与水泥中的四我们考虑一个简单问题：假设某种水泥在凝固时放出的热量种活血成分X1,X2,X3,X4有关，现测得13组数据，如下表所示，希望从中选出主要的变量，建立Y与它们的线性回归方程。8序号1234

17、56X1711111711X2262956315255X36158869X4605220473322Y78.574.3104.387.695.9109.2序号78910111213271315447406668X317221842398X46442226341212Y102.772.593.1115.983.8113.3109.42、简单线性回归求解用R对数据做简单多元线性回归：(输入代码以文字显示，控制台的响应以图片显示)>cement<-data.frame(X1=c(7,1,11,11,7,11,3,1,2,21,1,11,10),X2=c(26,2

18、9,56,31,52,55,71,31,54,47,40,66,68),X3=c(6,15,8,8,6,9,17,22,18,4,23,9,8),X4=c(60,52,20,47,33,22,6,44,22,26,34,12,12),Y=c(78.5,74.3,104.3,87.6,95.9,109.2,102.7,72.5,93.1,115.9,83.8,113.3,109.4)>cementXIX2K3K4Y1726£6073.52129155274-331153201QT.34113184787.6S7S263395.g51155g22109.2737117102.7Ou

19、131224472,59254IS2293.110214742S115.911140233483.8121156g12113.3131068s12109.4>lm.sol<-lm(Y.,data=cement)>summary(lm.sol)Call:lir.(formula=¥data.=ceir.ent;Residuals:MinIQMedian3QMax-3.175。-146709Q.25O81.37333.9254Coefficientb:Estirt-ateStd,Er：ortvalueFrOKI)(Intercept)62.405470,07100.39

20、10.3991XI1.55110.744B2.0B30.0708X20.510204723B0.7050.5009X30.10190.7S470.1350.S9S9K4-a.nei0,7091-0,203Q.SmSignir.codes:。,*'0.001*"0.01'*f0.05、'0.1''1Residualstandarderror:2.44onSdegreesoffreedoitMultipleR-squared:0,9624,AdjustedR-squared:0.9736F-sratistic:111.5on4and3DFfp-va

21、lue14»756e07可以看到虽然R2接近于1,拟合优度较理想，但是自变量的p值均大于0.05,回归系数没有通过显著性检验。利用简单线性回归得到回归方程中的X与Y的关系不明显。F检验的值也非常大，说明自变量的显著性较低，需要进行变量选择。利用car包中的vif()函数查看各自变量间的共线情况>library(car)>vif(lm.sol)XIX2X3X438.4962125.-4231746,368392B2,512SC从结果看，各自变量的VIF值都超过10,存在多重共线性，其中，X2与X4的VIF值均超过200。>plot(X2X4,col="red

22、",data=cement)osso寸102030405060X4图中可以明显看出X2与X4存在线性关系。3、利用lasso求解此时我们尝试用lars-lasso来求解这个方程。>library(lars)>x=as.matrix(cement,1:4)>y=as.matrix(cement,5)>(laa=lars(x,y,type="lar")Call:lars(x=x,y=yf=Klar*1)R-squared：0,982Se(iuenceofLARmoves:X4XIX2X3Var4123Step1234可以看到lasso的变量选择

23、依次是X4,X1,X2,X3。>plot(laa)LAR|beta|/max|beta|可以看出各变量的系数的变化过程。>summary(laa)LARS/LARCall:larsx-xfy=type-HlarK)DfRs5Cp012715.76442.9167122219,3S31,94S5231917.55313.50203447.973.01B44S47.865,0000其中Cp(衡量多重共线性，其值越小越好)可以看到在第3步以后cp值明显变小。说明lasso模型在实际应用中能够解决多重共线性的问题，有良好的应用。七、应用与研究现状喽索全宓-RK分鞋假：来源数据屋学科|发一年

24、息.究联作青机构富金j楚频E原麒武:彳苴机软件技计茸机底用S心血苣系鳗疾赛，题字电信技术门，自动化技术？生物学X宏酶济管理与可特球坛展|1，临庠医学金融外科学外国语言文字犯段资.互联网技术7椒k:二证券,访】A*我们在知网中对lasso进行中文数据库的搜索，结果见下图：可以看到该模型在计算机、医学、经济等各个领域均有应用。见微知著的可以下结论其运用十分广泛。在应用和拓展方面的研究也十分丰富。下表中列出了部分内容。Table1.AsamplingofgeneralizationsofthelassoDertiilGruupcdIn写写口ElaslicnetFusedki%看口AdaptivcGr

25、aphicallassoDuntzigselectorNear1)tonicregulaiizLihonMatrixcoiinpletioiiCompres?iiesensingMultivaiiatemethodsYuanand.in2007a)ZouandHastie(2005)I'ibshiaanelat.(2005)Zou(2006)YuanandLin(2007b1;FriedmanetaL(2007)CandesandTao(2007)TibdiiranieluL(2010)CanJesandTao(2009);Mazumderettil.(2010)ronnho12004

26、);CrudesJulliOei-!uL2003hWidenc-Jul.411羯打，词成Elhglik+A|£-lliEin3E如lx110K二办HU.|X-X|2+AIIXILmin(|"iJsubjecttoy=.Y.iSpao'scprincipalCDinpjniMllsanalysis,lineardifieriminantnnalysiandcanonicalctnctilhjnLLialysis这些研究在数学层面考察了lasso产生最小预测误差模型的能力，并重新获得了真正的底层(稀疏)模型。重要的贡献者包括Bickel,Buhlmann,Candes,Donoho,Johnstone,Meinshausen,vandeGeer,WainwrightandYu.也证明了lasso可以揭示更多的传统技术，给向前逐步选择方法带来了新的理解。另一个例子是grap