通过LASSO回归压缩和选择

1、通过LASSO回归压缩和选择Robert·Tibshirani加拿大多伦多大学【1994年1月收到，1995年1月修订】【摘要】本文提出一个线性模型估计的新方法。LASSO最小化残差平方和使得系数绝对值之和小于一个常数。由于此约束的性质倾向于产生一些为0的系数，从而给出了解释模型。我们的仿真研究表明，LASSO具有一些子集选择和岭回归的有利特性。它产生了例如子集选择的解释模型并展示了岭回归的稳定性。在最近的工作中关于多诺霍和约翰斯通的自适应函数估计也有一些有趣的关系。LASSO思想是相当广泛的并可用于各种统计模型：本文简要介绍了广义的回归模型和基于树的模型的扩展。关键词：二次规划；回

2、归；压缩；子集选择1.引言考虑通常的回归情况：已知数据其中和分别是观察数据的第个回归因子和响应量。通过最小化残差平方的误差得到普通最小二乘法(OLS)估计。数据分析师经常不满意OLS估计值有两个原因。第一是预测精度：OLS估计经常是低偏压高方差；预测精度有时可以通过压缩或设置一些系数为0进行改善。通过这样，牺牲一些偏压，减少预测值的方差，从而提高可以总体的预测精度。第二个原因是解释。拥有大量的经常想要决定更小子集的预测值，我们表现出强烈的影响。改进OLS估计的子集选择和岭回归这两种标准标准技术都有缺点。子集选择提供可解释模型，但是由于它是一个从模型中保留或删除的离散过程变量，它可能极其易变。数

3、据的一点更改可能导致选中非常不同的模型,这样可以减少其预测精度。岭回归是一个系数收缩的连续的过程，并且因此更加稳定：然而，它的任何系数都不为0，因此没有给出一个容易解释的模型。我们提出一个新技术，LASSO即最小绝对收缩和选择算子。它将一些系数收缩，其他的系数设置为0，从而试图保持子集选择和岭回归的良好特征。第2节给出LASSO的定义，看一些特殊情况。第3节给出真实数据示例，而在第4节我们讨论预测误差与LASSO收缩参数估计的方法。第5节简要介绍LASSO的贝叶斯模型。第6节描述LASSO算法。第7节描述仿真研究。第8、9节讨论广义回归模型的扩展和其他问题。一些关于soft threshold

4、ing和与LASSO的关系的结果在第10节中进行了讨论，第11节包括一些讨论和总结。2.LASSO方法2.1定义假设已知数据其中是预测变量，是响应变量。在一般的回归设置中，我们假设观测值独立或者对给定的，是条件独立的。假设是标准化的，那么,。令,LASSO估计的定义如下： (1)其中，调优参数 。现在对于所有，的解决方案是。我们可以假设不是一般性，因此省略。方程(1)的解决方案的计算是具有线性不等式约束的二次规划问题。在第6节，针对这个问题，我们描述了一些高效、稳定的算法。参数控制了应用于估计的收缩量。令为完全最小二乘估计，。将导致方案的收缩趋向于0，并且一些系数可能刚好等于0。例如，如果，效

5、果会大致类似于寻找大小为的最优特征子集。还要注意，设置的矩阵不一定需要满秩。在第4节，我们给出基于数据的估计的方法。LASSO的动机来自于布赖曼(1993)的一个提议。布赖曼的非负最小化。 (2)始于普通最小二乘估计，通过总和被限制的非负因素进行收缩。在广泛的仿真研究中，布赖曼显示，除非真正的模型中有许多小的非零系数，具有保持比子集选择更低的预测误差且与岭回归具有竞争力。的一个缺点是它的解决方案取决于标志和OLS估计量。在OLS表现不佳的过拟合或高度相关的设置中，可能会深受其害。相比之下，LASSO避免显示使用OLS估计。弗兰克和弗里德曼(1993)提出了使用绑定的参数范数，是一个大于等于0的

6、数；LASSO方法中。在第10节中简要讨论了这个问题。2.2正交设计深入了解收缩的性质可以从正交设计案例中进行收集。令为既定矩阵，元素为，假定,为单位矩阵。方程(1)的解很容易证明是 (3)其中，由决定。有趣的是，这与多诺霍和约翰斯通(1994)和多诺霍等人(1995)提出的软收缩建议具有相同的形式，应用于小波系数的函数估计。软收缩和最低范数惩罚的关系也由多诺霍等人(1992)在非负参数信号和图像恢复中指出。我们将在第10节进行详细的解释说明。在正交设计的情况下，大小为的最佳子集的选择减少到最大系数的绝对值，将其余的设置为0。对的一些选择相当于如果，设置；否则设置为0。岭回归使得下面式子最小或

7、者等价地，使得如下最小 (4)岭回归的解是：其中取决于或。估计是图1显示了这些函数的曲线。岭回归用一个常数因子衡量系数，然而LASSO通过常数因子转换，截断为0。函数与LASSO十分相近，都是系数愈大收缩愈小。我们的仿真程序显示，当设计不是正交时，与LASSO差异可能会很大。2.3LASSO几何从图1中很明显的看出为什么LASSO产生的系数经常是0。为什么这种情况会出现在一般（非正交）的设置中？并且为什么这种现象在岭回归中没有出现，其中岭回归使用的约束条件是而不是？图2提供了当时的试图。标准与加上一个常数相等。由图2(a)，函数的椭圆轮廓由全曲线显示出来；它们集中于OLS估计周围；约束区域是个

8、旋转的正方形。LASSO解决方案是首先轮廓触摸了广场，并且有时这也会发生在一个角落，该角落对应于系数为0的地方。图2(b)显示了岭回归的图像，没有有角的轮廓，因此很少有零解。这个图片中出现了一个有趣的问题：LASSO估计的符号可以与最小二乘估计不同吗？由于变量是标准化的，当时，主要的轮廓线轴线与坐标轴成，并且我们可以表明，轮廓必需与包含的正方形在同一个象限中。然而，当时，在数据上至少是中度相关，这不必是真的。图3在三维空间中进行举例。图3(b)中的视图证实：椭圆与约束区域在第八象限的接触与它中心所在的象限不同。图1. （a）子集选择，（b）岭回归，（c）LASSO和（d）garotte:，正交

9、设计情况下，系数压缩的形式；·········倾斜角为45°的线作为参考图2. （a）是LASSO的预估图像，（b）是岭回归的预估图像 图3. （a）不同于总体最小二乘估计LASSO估计落在第八区的例子；（b）俯视图然而，保留了每个的符号，LASSO可以改变符号。甚至在LASSO估计与有相同符号的矢量的情况下，中OLS估计得存在也会使结果不同。带有约束条件的模型可以表示成约束条件是，模型为。举例，如果且，效果将会横向拉伸图2(a)的正方形。结果，青睐于较大的和较小的。2.4关于两个预测的其他信息

10、假设，并且不失一般性，最小二乘估计都是正的。那么我们可以展示LASSO估计是图4. 对于两个预测值的例子，实线表示LASSO，虚线表示岭回归：曲线说明，作为LASSO或者岭回归参数的数据对是变化的；从底部的虚线开始并向上移动，相关系数是0,0.23,0.45,0.68和0.90 (5)其中选定使得。这个公式适用于时，并且及时预测值是相关的这个公式也是有效的。解得出 (6)相反，岭回归收缩的形式取决于预测值的相关性。图4给出了一个例子。在没有干扰的情况下，我们从模型中产生100个数据点。这里和是标准正常变量，两者的相关系数为。图4的曲线表明岭回归和LASSO估计得边界和是变化的。对的所有值，LA

11、SSO估计均遵循全曲线。岭回归估计（间断的曲线）取决于。当时，岭回归成比例收缩。然而，对于更大的值岭估计收缩变得不同并且边界降低是甚至可以增加一点。杰罗姆·弗里德曼指出，这是由于岭回归试图使系数等于他们最小平方范数的趋势。2.5标准误差由于LASSO估计是响应值的一个非线性、非可微函数，即使对应固定的，所以很难得到标准误差的一个准确估计。一种方法是通过自助法；要么可以固定，要么为每个样本对进行优化。固定类似于选择一个最佳子集，然后对每个子集使用最小二乘标准误差。一个近似封闭的形式估计可能通过把惩罚写成得到。因此，对于LASSO估计，我们可以通过形式的岭回归近似解决，其中是一个对角矩阵

12、，对角元素为，是的广义逆矩阵并且的选定使得成立。估计的协方差矩阵可以用以下近似 (7)其中是误差方差的一个估计值。这个公式的一个困难在于对的预测值给出了0的一个估计方差。这种近似也表明了计算LASSO估计本身的一个迭代岭回归的算法，但这是很低效的。然而，它对LASSO参数（第4节）的选择很有用。3.例子前列腺癌数据前列腺数据来自于斯塔米等人(1989)的一项研究，检查接受根治性前列腺切除术的人前列腺特异性抗原水平与临床措施的相关性。因素有：日志（癌症卷）（lcaval）、日志（前列腺重量）（lweight）、年龄、日志（良性前列腺增生）（lbph）、精囊入侵（svi）、日志（荚膜渗透）（lcp

13、）、格里森评分（gleason）和百分比格里森评分4或5（pgg45）。在第一个标准化预测因子后，我们找到适合日志（前列腺特异抗原）（lpsa）的线性模型。图5. 前列腺癌例子中，系数的LASSO压缩：每个曲线代表了一个系数（右边有标注），该曲线作为LASSO参数（没有将截距画出来）；虚线代表了的模型，该值是由广义交叉验证所得的最优值图5显示了作为一个绑定的标准函数的LASSO估计。请注意，随着趋于0，每个系数的绝对值也趋于0。在这个例子中，曲线单调且趋于0，但一般情况下不会总发生。单调性的缺乏是由岭回归与子集选择所共同承担，例如，大小为5的最优特征子集可能不包含大小为4的最优特征子集。垂直的

14、虚线是当时的模型，该值是由广义交叉验证所得的最优值。粗略地说，这与保持略低于预测值的一半相对应。表1显示了完全最小二乘法、最优子集和LASSO程序的结果。第7.1节会给出所使用的最佳子集的详细步骤。LASSO给出了癌症卷、前列腺重量和精囊入侵的非零系数；子集选择选择了同样的三个预测因子。请注意，子集选择所选择的预测因子的系数和得分往往比完整模型值大；这在呈正相关的预测中是常见的。然而，LASSO显示了相反的作用，因为它从完整的模型值中压缩系数的得分。倒数第二列的标准误差通过充分的最小二乘法残差的自助重采样进行估计。标准误差的计算是通过对原始数据集中的取最优值0.44计算得到。表2表1表2图6.

15、 在前列腺癌例子中，盒状图中给出了8个预测值LASSO系数估计的200个引导值 比较了岭估计近似公式(7)固定自助值和在自助法中对每个样本重新估计。除了零系数，岭估计公式给了一个自助值的一个相当好的近似。允许变化包含额外的变异来源，因此给出了一个较大的标准误差估计。图6显示固定估计值为0.44的LASSO估计的200自助复制的框块。估计系数为0的预测因子展示倾斜自助分布。中央百分之九十的时间间隔（自助分布的第五百分位和第九十五百分位）都包含零，癌症卷和精囊入侵这些例外。4.的误差预测与估计在本节中我们描述了LASSO参数的三种估计方法：交叉验证、广义交叉验证和分析风险的无偏估计。严格地说，前两

16、种方法适合于“X-random”情况，在这种情况下假设观测值来自于未知分布，第三种方法适用于“X-fixed”情况。然而，在现实中存在的问题往往不能明确的区分这两种情况，我们可能只需选择最有效的方法。假设其中，。估计的均方误差定义如下：固定，预期接管和的联合分布。类似的措施是的预测误差由下式给出 . (8)我们通过五倍交叉验证正如埃夫隆和Tibshirani(1993)所描述（例子）的估计LASSO步骤的预测误差。在归一化参数的条件下索引LASSO，并且预测误差是由从0到1的网格估计出来的。选择了产生的最低的估计值。报道了而不是方面的仿真结果。本文考虑到的线性模型，均方误差有很简单的形式其中是

17、的总体协方差矩阵。估计的第二种方法来自于LASSO估计的线性近似。我们把约束写成。这个约束就等价于在残差和或残差平方上增加一个拉格朗日惩罚，其中取决于。因此，我们可以把约束解决方案写成岭回归估计 (9)其中，表示广义逆矩阵。因此，在约束中适合的有效参数量可以用以下进行近似令为约束与约束的残差平方和，我们构建了广义交叉验证的方式统计 (10)最后，我们概述基于斯坦风险无偏估计的第三种方法。假设是一个多元正态随机向量，均值为，方差为单位矩阵。令为的一个估计值，并且，其中是一个从到（见斯坦（1981）的定义1）的一个基本可微函数。然后斯坦(1981)显示 (11)我们可以将这个结果应用于LASSO估

18、计(3)。用表示的估计标准误差，其中那么是大约独立的标准正态变量，并且从方程(11)中我们可以得到公式作为风险的近似无偏估计或均方误差，其中。多诺霍和约翰斯通（1994）在方程估计设置中给出了一个相似公式。因此，的一个估计可以由的最小化得到：从这我们可以得到LASSO参数的一个估计：尽管推导的前提是正交设计，在非正交设置的时候，我们也试图使用它。自从预测值标准化，的最优值大约是数据中整体信号信噪比的函数，并且它应该对的协方差相对不敏感。（相比之下，LASSO估计的形式对协方差敏感，我们需要适当地考虑它。）7.2节的仿真示例表明该方法给予了一个有用的估计。但是我们仅仅只能提供一个启发式的论点来支

19、持它。假设,令因为的列已经标准化，在形状上与不同但是有大致大小相同的边缘投影。因此的最优值应该在每个实例中相同。最后，注意到斯坦方法在的交叉验证估计具有显著的计算优势。在我们的实验中，我们优化LASSO参数的15个值的网格并且使用了五倍的交叉验证。结果，交叉验证方法要求第六节模型最优化步骤的75个应用而斯坦方法值要求一个。广义交叉验证方法的要求在这两个中间，要求每个网格点有一个优化过程的程序。5.LASSO贝叶斯估计LASSO约束相当于对残差平方和（见穆雷等人（1981），第五章）添加惩罚条件。现在，与双指数分布的（负）对数密度是成正比的。结果，我们可以得出在的独立双指数先验信息下LASSO估

20、计作为贝叶斯后验模型，其中图7显示了双指数密度（全曲线）和正常密度（虚线曲线）；后者是利用岭回归的隐式之前。注意，双指数密度如何提出将更多的质量接近0和尾巴。这反映了LASSO产生估计的更大趋势是很大或者是0。6.寻找LASSO解的算法我们固定。问题（1）可以表示成一个带有个不等式的最小二乘问题，对应于的个可能的不同的符号。罗森和汉森(1974)提供了程序,该程序解决了线性最小二乘问题，图7. 实线表示双指数密度，虚线表示标准密度；前者是LASSO使用的隐式先验信息；后者是表示岭回归使用的隐式先验信息使得一般线性不等式约束成立。其中是一个矩阵，对应于线性不等式约束的矢量。然而，对于我们的问题，

21、可能太庞大，这样直接应用此程序是不实际的。然而，通过顺序地引入不等式约束是可以解决问题的，即寻求一个满足所谓的库恩-塔克条件（劳森和汉森，1974）的可行的解决方案。下面我们大概的描述了程序。令，并令为形式的重数。那么对任意的，条件就等价于。对给定的，令以及。集合是平等集，与完全满足的约束相对应，而是松弛的集合，与相等不成立的约束相对应。用表示行为，的矩阵。令1是元素均为1的向量，向量的长度等于矩阵的行数。 下面的算法由，开始，是总体最小二乘估计。它解决了最小二乘问题使得成立，然后检查是否成立。如果成立，那么计算完成；如果不成立，将违反的约束添加到并继续该过程直到成立。这里是该算法的大致过程。

22、(a)首先，是总体最小二乘估计。(b)寻找使得最小，约束条件是。(c)当，(d)将增加到集合，其中。寻找使得最小，约束条件是。在有限的步骤里这个程序必定总是收敛的，因为每一步都有一个元素添加到集合中，并且这里一共有个元素。最后的迭代是最初问题的解决方案，因为库恩塔克条件在集合和上是满足收敛性的。表3此程序的修改是在（d）步骤中把不满足约束条件的元素从集合中删除。这样做虽然更加有效率，但尚不清楚如何建立其收敛性。事实上，如果很大，为了得到稍许安慰，当迭代次数达到时，算法必须停止。在实践中我们发现迭代平均次数要求在范围内，因此在实际目的上是可以接受的。针对这一问题，大卫盖伊提出了完全不同的算法。我

23、们把每一个写成，其中和都是非负的。然后我们解决带有和约束条件的最小二乘问题。以这种方式我们把原问题（个变量，个约束条件）转换为一个带有更多个变量（）和更少约束条件（）的一个新问题。可以看出新问题与原问题有相同的解决方案。可以应用标准的二次规划方法，该算法保证在步收敛。我们还没有广泛地比较这两种算法，但是在例子中发现第二种算法通常（不总是）比第一个算法略快些。7. 模拟7.1 大纲 在下面的例子中，我们将完全最小二乘估计与LASSO、非负、最佳子集选择、岭回归方法进行比较。我们用五倍的交叉验证来估计每个例子中的正则化参数。对于最佳子集选择，我们使用语言中的飞跃程序，用五倍交叉验证估计的最优子集的

24、大小。本程序在布雷曼博士和斯佩克特（1992）中进行了描述和研究，他们推荐在实际使用中用5倍或10倍交叉验证。出于完整性的考虑,以下是交叉验证过程的细节。每个尺寸的最佳子集是第一个发现的原始数据集：把它们称为（代表零模型；因为这个模型的拟合值为0。）由表示完整的训练集，由和，其中分别表示交叉验证集和测试集。表4对每个交叉验证倍数，为数据的每个尺寸找到最佳子集：将它们称为当用于测试数据时，令表示预测误差，并形成估计 （12） 我们寻找使最小的以及我们选择的模型为。这与估计固定模型的预测误差不同，然后选择带有最小预测误差的模型。后面的程序在张（1993）和邵（1992）进行了描述，并可能造成不一致

25、的模型选择，除非交叉验证测试集以一个适当的渐进速度增长。7.2. 示例1在这个例子中，我们模拟了50个数据集，由来自下面模型的20个观测数据组成其中，是标准正态变量。和的协方差，其中。我们设置，这给出了大约5.7的信号噪声比。表3给出了在这个模型中超过200个模拟的均方差误差。LASSO表现的最好，其次是和岭回归。利用广义交叉验证估计LASSO参数似乎是最佳的，通过我们的例子发现它们趋于一致。表5图8. 估计例1中的8个系数，包括截距：········，真实系数表6 子集选择挑选了大约正确的零系数（5）的数量，但如

26、图8所示的盒状图中遭受了太多的变异性。表4显示了LASSO（广义交叉验证）选择最常用的五个模型：虽然这次在正确的模型（1,2,5）中只有2.5%被选中，但是被选中的模型中有95.5%包含（1,2,5）。子集回归最常用的模型如表5所示。正确的模型被选中的概率更高（这次24%），但是子集选择也拟合不充分：这次被选中的模型中只有53.5%包含（1,2,5）。7.3. 示例2第二个例子与第一个例子相同，但是对和，；信号噪声比大约为1.8。表6的结果显示岭回归通过一个很好的边际达到最佳，LASSO是仅有的一个优于完全最小二乘估计的方法。7.4. 示例3在示例3中我们选择应该很好的适用于子集选择的设置。模

27、型与示例1中相同，但，所以信号噪声比大约是7。表7的结果显示和子集选择表现最好，后面即是LASSO。岭回归效果很差，并且均方误差比完全最小二乘估计更高。表7表87.5. 示例4在这个例子中，我们在一个更大的模型中检测LASSO的效果。我们模拟了50个数据集，每个数据集有100个观测值和40个变量（注意，当时最佳子集回归通常是被认为不切实际的）。我们定义预测值，其中和是独立的标准正态变量。这诱导了预测因子之间两两相关，并且相关系数为0.5。系数向量是在每个序列块中有10个重复。最后，我们定义，其中是标准正态。这产生了一个大约是9的信号噪声比。表8的结果显示岭回归的效果最好，LASSO（广义交叉验

28、证）第二。在每个由10个数字组成的四个序列块中，LASSO系数的平均值是0.50（0.06），0.92（0.07）,1.56（0.08）和2.33（0.09），尽管LASSO平均仅产生了14.4零系数，的平均值与真实的部分接近。8. 广义回归模型的应用LASSO可以应用于许多其他的模型：例如描述了在比例风险模型中的应用。在这里我们简要探讨广义回归模型的应用。考虑通过向量参数进行索引的任何模型，在这个模型中估计是通过函数的最大化实现的；这可能是一个对数似然函数或者配合一些其他的措施。为了应用LASSO，我们在约束条件下求的最大值。有可能要通过一般（非二次）编程程序实现最大化。相反，在这里我们考虑

29、的模型二次逼近，这导致了的计算要用到迭代加权最小二乘法。这样一种程序相当于一个牛顿拉夫逊算法。通过这种方法，我们可以通过LASSO算法的迭代应用加上一个循环解决带有约束条件的问题。一般来说，这个程序的收敛性不能保证，但在我们有限的经验中，它的效果都是相当好的。8.1逻辑回归为了说明我们将LASSO在二进制数据的逻辑回归上使用。我们使用脊柱后凸畸形数据，在黑斯蒂和（1990）第十章中有分析。响应变量是脊柱后凸畸形（0代表没有，1代表有）；预测值是年龄，是椎骨的数量水平以及是刚开始时的椎体水平。这里有83个观测数据。由于预测值的影响是非线性的，在集中每个变量后，我们将二次条件包括在内。最后，将数据

30、矩阵的列进行标准化处理。线性逻辑拟合模型是基于信息准则，向后逐步删除，舍弃部分，产生的模型是LASSO选择，给出下面的模型定义在的收敛性5次迭代就能得到。9. 一些进一步的扩展我们目前正在探索的LASSO理念的两个完全不同的应用程序。一个应用程序是基于树的模型，如勒布朗和报道（1994）。不是在分类中修剪一棵大树以及布雷曼博士等人（1984）的分类回归树方法，我们使用LASSO思想对它进行压缩。与本文很像，这涉及到一个约束最小二乘操作，在每个节点上参数为平均对比。约束的进一步设置需要确保压缩模型是一棵树。勒布朗和（1994）报道中的结果显示压缩程序相对修剪能够给出更加精确的树，同时还可以得出可

31、解释的子树。不同的应用程序是弗里德曼 (1991 年) 提出的多元自适应回归样。方法是一种自适应过程，通过个别变量的线性基函数的产品分段求和构建回归表面。算法建立了一个模型，包括基函数代表的主效应和高阶交互作用。给出了自适应选择的基地，拟合是这些基地上的一个简单的线性回归。那么应用于消除的向后逐步过程久变得不那么重要。 在特雷弗·黑斯蒂的持续工作中，为了动态地生长和修剪模型，我们正在开发一种特殊的LASSO类型的算法。希望这能产生更加精确的模型，该模型也是可以解释的。LASSO的思想还可以应用到病态的问题中，即该问题中的预测矩阵是非满秩的。为在通过小波函数估计中使

32、用LASSO类型的约束，陈和多诺霍（1994）报道了一些令人鼓舞的结果。10. 基于软阈值的结论考虑正交设计的特殊情况。LASSO估计有如下形式 （13）这是称为软阈值的估计，该估计是由多诺霍和约翰斯通（1994）提出来的；他们把这个估计应用到测量噪声函数小波变换的系数。然后他们回溯转换得到函数的光滑估计。多诺霍和约翰斯通证实了许多软阈值估计的最优结果，然后将这些结果转换成函数估计的最佳结果。这里我们的兴趣不在于函数估计，而在于系数本身。这里我们给出多诺霍和约翰斯通的一个结果。结果表明，软阈值估计（LASSO）渐进地与子集选择距离达到一个理想的子集选择器（使用实际性能参数信息）的效果一样的接近。假设其中并且既定矩阵为正交矩阵。然后有 （14）其中我们考虑在均方误差损失的情况下的估计，风险是考虑对角线性预测簇 （15）这个估计要么保持要么消除一个参数，即它的确是一个子集选择。现在如果我们用，我们将会招致一个的风险，以及如果我们用0的估计替换的话，会引发的风险。因此的最佳选择是即我们只保持真实系数大于噪声水平的预测值。把这些预测值的风险叫做：当然因为是未知的，估计值不能被构造出来。因此是一个我们希望得到的关于风险的较低的边界。多诺霍和约翰