高级计量经济分析及Stata应用 课件 第13章 lasso回归

Lasso回归上海师范大学商学院授课大纲13.1

lasso回归预测及模型选择13.2平方根回归13.3弹性网回归2025/4/142标题Lasso最初是“最小绝对收缩和选择算子”（leastabsoluteshrinkageandselectionoperator，LASSO）的首字母缩写。今天Lasso（套索）被认为是一个词，而不是首字母缩略词。Lasso是一种选择和拟合模型中出现的协变量的方法。lasso命令可以拟合线性、logit、probit和泊松模型。套索可以用于预测，用于模型选择，并作为估计法的一个组成部分来执行推论。套索、弹性网和平方根套索可以用于模型选择和预测。Stata软件的lasso、elasticnet和sqrtlasso命令实现了这些方法。套索和弹力网拟合连续、二进制和计数结果，而sqrtlasso拟合连续结果。2025/4/14413.1lasso回归预测及模型选择13.1.1lasso回归估计13.1.2

最优值的确定13.1.3惩罚和后选择系数13.1.4lasso回归预测及模型选择的命令与实例2025/4/14513.1.1lasso回归估计

lasso和elasticnet通过寻找惩罚目标函数的最小值来估计参数。lasso的惩罚目标函数为：

（13.1）其中N是观察次数；wi是观察水平权重；是截距，是1×p维的协变量向量；是1×p维的系数向量，是大于等于0的套索惩罚参数；kj是系数权重。2025/4/14613.1.1lasso回归估计对于线性回归、logit回归、probit回归或泊松模型，f（•）是似然贡献；当模型为线性回归时，

（13.2）当模型为logit回归时，（13.3）2025/4/14713.1.1lasso回归估计当模型为probit回归时，

（13.4）当模型为poisson时，

（13.5）如果指定了cluster（·）选项，则对数似然度计算为集群级别的对数似然度之和。2025/4/14813.1.1lasso回归估计带簇套索的惩罚目标函数为

（13.6）式中，是集群总数，Ti是集群i中的观测数量。对于集群i中的第t个观测，

是其观测水平权重，

是因变量，

是协变量。2025/4/14913.1.2最优值的确定要使用lasso，我们需要决定的哪个值最好。我们将选定的最优值表示为。为lasso选择的四种方法是交叉验证法（cross-validation，CV）、自适应套索、插件估计法和BIC。套索命令有四个不同选择的选项方法：selection(cv),selection(adaptive),selection(plugin),selection(bic),和selection(none)。2025/4/1410（1）selection(cv)有两种变体：一个是默认值，它最小化CV函数选择作为最优值；另一个是selection（cv，serule），它在较大方向上的最小值选择一个作为一个标准误差。2025/4/1411对应每个估计系数后，计算CV函数的值。

默认情况下，CV将数据随机分成10个折叠。（这是随机使用数字。）选择一个折叠，然后对于既定的，使用模型变量对其他九个折叠进行线性回归拟合。然后，利用这些新的系数估计和所选折叠的数据，计算出预测的均方误差（MSE）。这个过程是重复了另外九个折叠。然后对10个折叠的MSE进行平均，就得出CV函数的值。在输出端，CV函数被标记为CV平均预测误差。2025/4/1412（2）selection(adaptive)适合多个lasso，通常只有两个，每个lasso使用CV。这个选择是最后一个lasso选择的。（3）selection(plugin)根据迭代公式选择。它有两种变体：默认selection（plugin，heteroskedastic）和selection（plugin，homoskedastic）。它被用作实现推理模型的工具。它不打算用于预测。2025/4/1413（4）selection(bic)选择使BIC最小化的。通过最小化BIC选择的将选择一组接近真实集的协变量。（5）selection(none)是先不选择。之后，可以使用命令lassos-elect选择。2025/4/141413.1.3惩罚和后选择系数为了在套索后得到预测，我们使用预测，就像我们使用回归后预测一样。但是套索之后我们有两个选择。

套索之后，我们可以使用惩罚系数来计算预测，或者我们可以使用后选择系数。实际上，套索之后有三种类型的系数：标准化，惩罚，以及事后选择。2025/4/1415Lasso就是找到一个系数估计向量，以使给定取值时，函数：(13.11)最小化。2025/4/141613.1.4lasso回归预测及模型选择的命令与实例lasso回归预测及模型选择的命令为：

lassomodeldepvar[(alwaysvars)]othervars[if][in][weight][,options]model可以是线性、logit、probit或泊松模型之一。alwaysvars是始终包含在模型中的变量。othervars是lasso将选择包含在模型中或从模型中排除的变量。2025/4/141713.2平方根回归平方根套索（square-rootlasso，sqrtlasso）是套索的另一个版本。套索最小化的目标函数为:(13.12)而平方根套索最小化的目标函数为：(13.13)2025/4/141813.2平方根回归也就是说，sqrtlasso通过寻找惩罚目标函数的最小值来估计参数。惩罚目标函数为：

(13.14)式中，默认。其他符号含义同上。2025/4/141913.2平方根回归如果指定了选项cluster（），则带有簇的惩罚目标函数为：

(13.15)式中，是簇的总数，Ti是簇i中的观测数。对于第一类中的第t个观察值，wit是其观察水平权重，yit是因变量，而则是协变量。2025/4/1420平方根套索也可以单独用于预测或模型选择。为了与lasso保持一致，的默认选择方法是CV。要使用plugin估计法，要指定选项选择selection(plugin)。plugin估计法的计算式为：(13.16)式中，一般；N是样本量，是当变量xj的系数为0时，不移除变量xj的概率，p是模型中的候选协变量的数量，设。2025/4/1421平方根套索的Stata命令为：sqrtlassodepvar[(alwaysvars)]othervars[if][in][weight][,options]其中，alwaysvars是始终包含在模型中的变量。othervars是sqrtlasso将选择包含在模型中或从模型中排除的变量。2025/4/142213.3弹性网回归弹性网（Elasticnet）回归的惩罚目标函数为：(13.17)式中，是弹性净惩罚参数，只能在[0，1]中取值，默认取值为0.5,0.75和1。2025/4/142313.3弹性网回归具有簇的弹性网络的惩罚目标函数为：

(13.18)这里我们提供了岭回归的方法和公式，这是弹性网的一种特殊情况。与套索和弹性网不同，岭回归有一个可微的目标函数，并且目标函数最小化问题有一个封闭形式的解。非线性模型岭回归的解是通过迭代加权最小二乘法得到的。2025/4/142413.3弹性网回归通过极小化下面的目标函数，得到广义线性模型岭回归模型的参数估计值：(13.19)elasticnet选择协变量，并使用elasticnet拟合线性、逻辑、概率和泊松模型。elasticnet的结果可用于预测和模型选择。elasticnet保存但不显示估计系数。[LASSO]LASSOpostestimation中列出的pos