人工智能和机器学习之回归算法：弹性网络回归：岭回归与Lasso回归对比分析

人工智能和机器学习之回归算法：弹性网络回归：岭回归与Lasso回归对比分析1回归算法基础1.11什么是回归算法回归算法是机器学习中用于预测连续值输出的一类算法。在回归任务中，模型通过学习输入特征与输出值之间的关系，来预测新的输入数据对应的输出值。回归算法广泛应用于各种场景，如房价预测、股票价格预测、销售预测等。1.22回归算法的类型常见的回归算法包括：-线性回归：假设输出值与输入特征之间存在线性关系。-多项式回归：通过引入特征的高次项来拟合非线性关系。-岭回归：线性回归的一种变体，通过在损失函数中加入L2正则化项来防止过拟合。-Lasso回归：另一种线性回归变体，使用L1正则化来实现特征选择。-弹性网络回归：结合了L1和L2正则化，既防止过拟合又能进行特征选择。1.33损失函数与优化方法1.3.1损失函数损失函数用于衡量模型预测值与实际值之间的差距。常见的损失函数有：-均方误差（MSE）：预测值与实际值差的平方的平均值。-均方根误差（RMSE）：MSE的平方根，与MSE类似但更直观。-平均绝对误差（MAE）：预测值与实际值差的绝对值的平均值。1.3.2优化方法优化方法用于最小化损失函数，找到模型参数的最佳值。常用的方法有：-梯度下降：通过计算损失函数的梯度，逐步调整参数以减少损失。-随机梯度下降（SGD）：每次只使用一个样本或一小批样本更新参数，加快训练速度。-最小二乘法：直接求解损失函数的最小值，适用于线性模型。1.3.3示例：使用Python实现线性回归importnumpyasnp

fromsklearn.linear_modelimportLinearRegression

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#生成数据

np.random.seed(0)

X=2*np.random.rand(100,1)

y=4+3*X+np.random.randn(100,1)

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建线性回归模型

lin_reg=LinearRegression()

#训练模型

lin_reg.fit(X_train,y_train)

#预测

y_pred=lin_reg.predict(X_test)

#计算MSE

mse=mean_squared_error(y_test,y_pred)

print(f"MeanSquaredError:{mse}")在这个例子中，我们使用了numpy来生成数据，sklearn库中的LinearRegression类来实现线性回归模型，train_test_split函数来划分数据集，以及mean_squared_error函数来计算模型的均方误差。1.3.4示例：岭回归与Lasso回归的实现fromsklearn.linear_modelimportRidge,Lasso

#岭回归

ridge_reg=Ridge(alpha=1,solver="cholesky")

ridge_reg.fit(X_train,y_train)

y_pred_ridge=ridge_reg.predict(X_test)

#Lasso回归

lasso_reg=Lasso(alpha=0.1)

lasso_reg.fit(X_train,y_train)

y_pred_lasso=lasso_reg.predict(X_test)

#计算MSE

mse_ridge=mean_squared_error(y_test,y_pred_ridge)

mse_lasso=mean_squared_error(y_test,y_pred_lasso)

print(f"RidgeRegressionMSE:{mse_ridge}")

print(f"LassoRegressionMSE:{mse_lasso}")这里，我们使用了sklearn库中的Ridge和Lasso类来实现岭回归和Lasso回归。alpha参数控制正则化的强度，solver参数指定求解优化问题的方法。通过比较MSE，我们可以评估不同回归算法的性能。1.3.5弹性网络回归弹性网络回归结合了岭回归和Lasso回归的优点，通过调整L1和L2正则化项的权重，可以实现更灵活的特征选择和模型复杂度控制。fromsklearn.linear_modelimportElasticNet

#弹性网络回归

elastic_net=ElasticNet(alpha=0.1,l1_ratio=0.5)

elastic_net.fit(X_train,y_train)

y_pred_elastic=elastic_net.predict(X_test)

#计算MSE

mse_elastic=mean_squared_error(y_test,y_pred_elastic)

print(f"ElasticNetRegressionMSE:{mse_elastic}")在这个例子中，l1_ratio参数控制L1和L2正则化项的相对权重，当l1_ratio=0时，模型退化为岭回归；当l1_ratio=1时，模型退化为Lasso回归。通过这些示例，我们可以看到回归算法在预测连续值任务中的应用，以及如何通过正则化来控制模型复杂度，防止过拟合。1.4岭回归详解1.4.11岭回归的数学原理岭回归（RidgeRegression）是一种用于解决多重共线性问题的线性回归方法。在标准的线性回归模型中，我们试图找到一组权重向量β，使得预测值与实际值之间的平方误差最小。然而，当特征之间存在高度相关性时，即多重共线性，权重估计可能变得不稳定，导致模型泛化能力差。为了解决这个问题，岭回归引入了正则化项，通过在损失函数中加入权重的平方和的惩罚项，来限制权重的大小，从而提高模型的稳定性。假设我们有m个样本和n个特征，岭回归的目标函数可以表示为：min其中，λ是正则化参数，用于控制惩罚项的强度。当λ增大时，对权重的惩罚也增大，从而使得权重向量的值更小，模型更简单。1.4.22岭回归的实现过程岭回归的实现可以通过求解上述目标函数的最小值来完成。在Python中，我们可以使用scikit-learn库中的Ridge类来实现岭回归。下面是一个使用scikit-learn实现岭回归的例子：importnumpyasnp

fromsklearn.linear_modelimportRidge

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.datasetsimportload_boston

#加载波士顿房价数据集

boston=load_boston()

X=boston.data

y=boston.target

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建岭回归模型，设置正则化参数lambda=10

ridge=Ridge(alpha=10)

#训练模型

ridge.fit(X_train,y_train)

#预测测试集

y_pred=ridge.predict(X_test)

#输出模型的权重

print("模型权重:",ridge.coef_)

#输出模型的截距

print("模型截距:",ercept_)在这个例子中，我们使用了波士顿房价数据集，这是一个包含13个特征和506个样本的数据集。我们首先加载数据，然后将数据划分为训练集和测试集。接着，我们创建了一个岭回归模型，并设置了正则化参数λ=1.4.33岭回归的优缺点优点解决多重共线性问题：通过引入正则化项，岭回归可以有效地解决特征之间存在的多重共线性问题，提高模型的稳定性。减少过拟合：正则化项限制了权重的大小，从而减少了模型的复杂度，有助于防止过拟合。参数选择灵活：正则化参数λ的大小可以根据实际情况进行调整，以达到最佳的模型性能。缺点不进行特征选择：与Lasso回归不同，岭回归不会将特征的权重压缩到零，因此它不能进行特征选择，所有特征都会被保留。计算复杂度：当特征数量n非常大时，岭回归的计算复杂度可能会较高，因为它需要求解一个n×通过对比岭回归与Lasso回归，我们可以发现，岭回归在处理多重共线性和减少过拟合方面有其独特的优势，但在特征选择方面则不如Lasso回归。在实际应用中，选择哪种回归方法取决于具体问题的需求和数据的特性。1.5Lasso回归解析1.5.11Lasso回归的基本概念Lasso回归，全称为“LeastAbsoluteShrinkageandSelectionOperator”，是一种线性模型的回归分析方法，它通过在损失函数中加入L1正则化项来实现特征选择和参数估计。Lasso回归的核心在于它能够将一些不重要的特征的系数压缩至0，从而达到特征选择的目的，简化模型，提高模型的解释性和预测性能。原理Lasso回归的目标函数可以表示为：min其中，12ni=代码示例使用Python的sklearn库来实现Lasso回归：#导入必要的库

importnumpyasnp

fromsklearn.linear_modelimportLasso

fromsklearn.datasetsimportload_boston

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#加载数据集

boston=load_boston()

X=boston.data

y=boston.target

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建Lasso回归模型

lasso=Lasso(alpha=0.1)

#训练模型

lasso.fit(X_train,y_train)

#预测

y_pred=lasso.predict(X_test)

#计算MSE

mse=mean_squared_error(y_test,y_pred)

print("MeanSquaredError:",mse)

#查看特征系数

print("Coefficients:",lasso.coef_)1.5.22Lasso回归的特征选择能力Lasso回归的一个显著特点是它能够进行特征选择。在高维数据中，Lasso回归通过将部分特征的系数压缩至0，从而自动地选择出对预测目标有贡献的特征，去除那些不重要的特征，这在处理具有大量无关或冗余特征的数据集时非常有用。例子描述在上述代码示例中，通过查看lasso.coef_，我们可以发现某些特征的系数被压缩至0，这意味着这些特征在模型中被忽略，Lasso回归自动进行了特征选择。1.5.33Lasso回归的应用案例Lasso回归广泛应用于各种领域，包括但不限于基因表达数据的分析、金融市场的预测、以及图像处理中的特征提取。下面以一个简单的基因表达数据集为例，展示Lasso回归在特征选择中的应用。数据样例假设我们有一个基因表达数据集，其中包含100个样本和1000个基因的表达值，以及一个连续的疾病严重程度指标。代码示例#导入必要的库

importnumpyasnp

fromsklearn.linear_modelimportLasso

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#生成模拟数据

np.random.seed(0)

n_samples,n_features=100,1000

X=np.random.randn(n_samples,n_features)

y=np.random.randn(n_samples)

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建Lasso回归模型

lasso=Lasso(alpha=0.1)

#训练模型

lasso.fit(X_train,y_train)

#预测

y_pred=lasso.predict(X_test)

#计算MSE

mse=mean_squared_error(y_test,y_pred)

print("MeanSquaredError:",mse)

#查看特征系数

print("Numberoffeaturesused:",np.sum(lasso.coef_!=0))解释在这个例子中，我们使用了Lasso回归来分析基因表达数据与疾病严重程度之间的关系。通过设置正则化参数α，Lasso回归能够有效地选择出与疾病严重程度相关联的基因，从而减少模型的复杂度，提高预测的准确性。输出的Numberoffeaturesused表示被模型选中的特征数量，这直观地展示了Lasso回归的特征选择能力。2弹性网络回归介绍2.11弹性网络回归的定义弹性网络回归(ElasticNetRegression)是一种结合了岭回归和Lasso回归优点的线性回归模型。它通过引入两个正则化项，即L1和L2正则化，来解决高维数据中的变量选择和参数估计问题。弹性网络回归的目标函数可以表示为：min其中，λ控制正则化强度，α控制L1和L2正则化之间的平衡。当α=0时，模型退化为岭回归；当2.1.1示例代码假设我们有一组数据，其中包含多个特征和一个目标变量，我们将使用Python的sklearn库来实现弹性网络回归。importnumpyasnp

fromsklearn.linear_modelimportElasticNet

fromsklearn.datasetsimportmake_regression

fromsklearn.model_selectionimporttrain_test_split

#生成模拟数据

X,y=make_regression(n_samples=100,n_features=10,n_informative=5,random_state=42)

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建弹性网络回归模型

elastic_net=ElasticNet(alpha=0.1,l1_ratio=0.5)

#训练模型

elastic_net.fit(X_train,y_train)

#预测

y_pred=elastic_net.predict(X_test)

#输出模型系数

print("Modelcoefficients:",elastic_net.coef_)2.22弹性网络回归的参数调整在弹性网络回归中，有两个关键参数需要调整：λ（正则化强度）和α（L1和L2正则化之间的平衡）。调整这些参数可以影响模型的复杂性和特征选择。2.2.1示例代码使用GridSearchCV来寻找最佳的λ和α值。fromsklearn.model_selectionimportGridSearchCV

#定义参数网格

param_grid={'alpha':[0.001,0.01,0.1,1],'l1_ratio':[0.1,0.5,0.7,0.9,0.95,0.99,1]}

#创建网格搜索对象

grid_search=GridSearchCV(ElasticNet(),param_grid,cv=5)

#拟合数据

grid_search.fit(X_train,y_train)

#输出最佳参数

print("Bestparameters:",grid_search.best_params_)2.33弹性网络回归的适用场景弹性网络回归特别适用于以下场景：高维数据：特征数量远大于样本数量。特征相关性：当特征之间存在相关性时，Lasso回归可能选择其中一个特征而忽略其他相关特征，而弹性网络回归可以同时选择多个相关特征。特征选择：在需要进行特征选择的情况下，弹性网络回归可以同时进行参数估计和特征选择。2.3.1示例数据与代码假设我们有一组基因表达数据，其中包含数千个基因作为特征，以及一个连续的疾病严重程度作为目标变量。我们将使用弹性网络回归来识别与疾病严重程度最相关的基因。importpandasaspd

#加载基因表达数据

data=pd.read_csv('gene_expression.csv')

#假设数据中前1000列为基因表达特征，最后一列为疾病严重程度

X=data.iloc[:,:1000]

y=data.iloc[:,-1]

#划分数据集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建弹性网络回归模型

elastic_net=ElasticNet(alpha=0.1,l1_ratio=0.5)

#训练模型

elastic_net.fit(X_train,y_train)

#输出模型系数，以识别重要基因

important_genes=np.abs(elastic_net.coef_).argsort()[-10:][::-1]

print("Top10importantgenes:",X.columns[important_genes])通过上述代码，我们可以识别出与疾病严重程度最相关的前10个基因，这在生物信息学研究中非常有用。2.4岭回归与Lasso回归的对比2.4.11回归系数的处理方式岭回归和Lasso回归在处理回归系数时采用了不同的策略。岭回归通过添加一个正则化项来惩罚大的系数，从而避免模型过拟合。这个正则化项是所有系数平方的和乘以一个正则化参数λ。Lasso回归同样添加了正则化项，但使用的是系数绝对值的和，这不仅惩罚了大的系数，还可能导致某些系数被完全缩减至零，从而实现特征选择。示例代码：岭回归与Lasso回归系数处理importnumpyasnp

fromsklearn.linear_modelimportRidge,Lasso

fromsklearn.datasetsimportload_boston

#加载数据集

boston=load_boston()

X=boston.data

y=boston.target

#岭回归

ridge=Ridge(alpha=1.0)

ridge.fit(X,y)

ridge_coeffs=ridge.coef_

#Lasso回归

lasso=Lasso(alpha=0.1)

lasso.fit(X,y)

lasso_coeffs=lasso.coef_

#打印系数

print("RidgeCoefficients:",ridge_coeffs)

print("LassoCoefficients:",lasso_coeffs)2.4.22模型复杂度与过拟合问题过拟合是机器学习中常见的问题，模型在训练数据上表现过于优秀，以至于它学习了数据的噪声而不是潜在的模式。岭回归和Lasso回归通过引入正则化来控制模型复杂度，防止过拟合。岭回归通过增加系数的平方和来惩罚模型复杂度，而Lasso回归通过增加系数的绝对值和来惩罚模型复杂度。正则化参数λ的大小决定了惩罚的强度，λ越大，模型越简单，越不容易过拟合。示例代码：使用交叉验证选择正则化参数fromsklearn.model_selectionimportGridSearchCV

#岭回归交叉验证

ridge=Ridge()

ridge_params={'alpha':[0.1,1.0,10.0,100.0]}

ridge_cv=GridSearchCV(ridge,ridge_params,cv=5)

ridge_cv.fit(X,y)

print("BestRidgealpha:",ridge_cv.best_params_['alpha'])

#Lasso回归交叉验证

lasso=Lasso()

lasso_params={'alpha':[0.001,0.01,0.1,1.0]}

lasso_cv=GridSearchCV(lasso,lasso_params,cv=5)

lasso_cv.fit(X,y)

print("BestLassoalpha:",lasso_cv.best_params_['alpha'])2.4.33特征选择与系数收缩特征选择是机器学习中的一个重要步骤，它可以帮助模型专注于最重要的特征，从而提高模型的解释性和预测性能。Lasso回归通过将某些特征的系数缩减至零，自然地实现了特征选择。相比之下，岭回归不会将任何特征的系数缩减至零，而是均匀地收缩所有特征的系数，这有助于保持模型的稳定性，但不进行特征选择。示例代码：Lasso回归进行特征选择#使用Lasso回归进行特征选择

lasso=Lasso(alpha=0.1)

lasso.fit(X,y)

#打印非零系数的特征

selected_features=np.where(lasso.coef_!=0)[0]

print("SelectedFeatures:",selected_features)示例数据与解释在上述代码示例中，我们使用了波士顿房价数据集，这是一个常用的回归问题数据集。数据集包含13个特征，如犯罪率、住宅的平均房间数、城镇的可接近性等，以及目标变量——房价。通过岭回归和Lasso回归，我们可以观察到不同正则化方法对系数的影响。Lasso回归可能会将一些不重要的特征系数缩减至零，而岭回归则会均匀地收缩所有特征的系数，但不会将任何系数完全缩减至零。总结通过对比岭回归与Lasso回归，我们可以看到它们在处理回归系数、控制模型复杂度以及进行特征选择方面的不同策略。岭回归通过系数平方和的惩罚来保持模型的稳定性，而Lasso回归通过系数绝对值和的惩罚来实现特征选择。选择哪种方法取决于具体问题的需求，如是否需要进行特征选择，以及对模型复杂度和稳定性的偏好。在实际应用中，通过交叉验证选择合适的正则化参数是关键步骤，以确保模型既不过拟合也不欠拟合。2.5弹性网络回归的优势与局限2.5.11弹性网络回归的综合优势弹性网络回归(ElasticNetRegression)结合了岭回归(RidgeRegression)和Lasso回归的特性，旨在克服各自单独使用时的局限性。其主要优势包括：处理多重共线性：在特征之间存在高度相关性时，Lasso回归可能随机选择其中一个特征而忽略其他，而弹性网络回归通过同时使用L1和L2正则化，可以更稳定地处理多重共线性问题，保留所有相关特征的信息。特征选择与系数收缩：弹性网络回归不仅能够像Lasso回归那样进行特征选择，去除不重要的特征，同时也能像岭回归那样收缩系数，避免过拟合。这种双重优势使得模型在预测性能和解释性之间取得更好的平衡。适用于高维数据：当特征数量远大于样本数量时，弹性网络回归仍然能够有效工作，通过正则化避免模型的复杂度过高，从而减少过拟合的风险。可调参数α：α参数允许用户在岭回归和Lasso回归之间进行调整，当α接近0时，模型更接近岭回归；当α接近1时，模型更接近Lasso回归。这种灵活性使得弹性网络回归能够适应不同的数据集和问题场景。示例代码#导入必要的库

importnumpyasnp

fromsklearn.linear_modelimportElasticNet

fromsklearn.datasetsimportmake_regression

fromsklearn.model_selectionimporttrain_test_split

#生成模拟数据

X,y=make_regression(n_samples=100,n_features=10,n_informative=5,random_state=42)

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建弹性网络回归模型

#alpha参数控制正则化强度，l1_ratio参数控制L1和L2正则化之间的平衡

model=ElasticNet(alpha=0.1,l1_ratio=0.5)

#训练模型

model.fit(X_train,y_train)

#预测

y_pred=model.predict(X_test)

#输出模型系数

print("Modelcoefficients:",model.coef_)2.5.22弹性网络回归的局限性尽管弹性网络回归具有显著优势，但它也存在一些局限性：参数选择：α和l1_ratio参数的选择对模型性能有显著影响，不恰当的参数设置可能导致模型性能不佳。这需要通过交叉验证等方法进行参数调优，增加了模型构建的复杂性。计算成本：相比于单一的岭回归或Lasso回归，弹性网络回归的计算成本可能更高，尤其是在处理大规模数据集时。这是因为模型需要同时考虑L1和L2正则化，增加了优化问题的复杂度。解释性：虽然弹性网络回归在特征选择和系数收缩方面表现良好，但其模型的解释性可能不如单一的岭回归或Lasso回归直观。这是因为模型同时考虑了两种正则化方式，使得系数的解释变得复杂。2.5.33选择弹性网络回归的考量因素在决定是否使用弹性网络回归时，应考虑以下因素：特征相关性：如果数据集中的特征存在高度相关性，弹性网络回归可能是一个更好的选择，因为它能够同时处理多重共线性并进行特征选择。数据维度：对于高维数据，弹性网络回归能够有效避免过拟合，同时保持模型的预测性能。计算资源：如果计算资源有限，需要权衡弹性网络回归的计算成本与模型性能之间的关系，可能需要简化模型或使用更高效的算法。模型解释性：如果模型的解释性是关键需求，可能需要在弹性网络回归与其他回归模型之间进行权衡，选择最能满足解释性要求的模型。通过综合考虑这些因素，可以更合理地决定是否采用弹性网络回归，以及如何设置其参数，以达到最佳的模型性能和适用性。2.6实践案例与代码实现2.6.11数据预处理与特征工程在进行机器学习模型训练之前，数据预处理和特征工程是至关重要的步骤。这包括数据清洗、缺失值处理、数据标准化或归一化、以及特征选择等。下面，我们将使用一个虚构的房价数据集来演示这些步骤。数据清洗数据清洗涉及去除或修正数据集中的错误或不一致的数据点。例如，去除重复记录或修正格式错误。缺失值处理处理缺失值通常有几种方法：删除含有缺失值的记录、填充缺失值（如使用平均值、中位数或众数），或使用模型预测缺失值。数据标准化数据标准化（或归一化）是将特征缩放到相同的尺度，以避免某些特征因数值范围大而对模型产生过大的影响。常用的方法有最小-最大缩放和Z-score标准化。特征选择特征选择是识别和移除对预测目标影响较小的特征，以减少模型的复杂度，提高训练效率和预测性能。示例代码importpandasaspd

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.preprocessingimportStandardScaler

fromsklearn.feature_selectionimportSelectKBest,f_regression

#加载数据

data=pd.read_csv('house_prices.csv')

#数据清洗

data=data.drop_duplicates()

#缺失值处理

data=data.fillna(data.mean())

#数据标准化

scaler=StandardScaler()

data_scaled=scaler.fit_transform(data)

#特征选择

X=data_scaled[:,:-1]

y=data_scaled[:,-1]

selector=SelectKBest(score_func=f_regression,k=5)

X_new=selector.fit_transform(X,y)

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(X_new,y,test_size=0.2,random_state=42)2.6.22使用Python实现岭回归、Lasso回归和弹性网络回归在Python中，我们可以使用sklearn库中的linear_model模块来实现这些回归算法。下面的代码示例展示了如何使用岭回归、Lasso回归和弹性网络回归进行模型训练。示例代码fromsklearn.linear_modelimportRidge,Lasso,ElasticNet

fromsklearn.metricsimportmean_squared_error

#岭回归

ridge=Ridge(alpha=1.0)

ridge.fit(X_train,y_train)

y_pred_ridge=ridge.predict(X_test)

mse_ridge=mean_squared_error(y_test,y_pred_ridge)

#Lasso回归

lasso=Lasso(alpha=0.1)

lasso.fit(X_train,y_train)

y_pred_lasso=lasso.predict(X_test)

mse_lasso=mean_squared_error(y_test,y_pred_lasso)

#弹性网络回归

elastic_net=ElasticNet(alpha=0.1,l1_ratio=0.5)

elastic_net.fit(X_train,y_train)

y_pred_elastic_net=elastic_net.predict(X_test)

mse_elastic_net=mean_squared_error(y_test,y_pred_elastic_net)

#输出结果

print(f'RidgeRegressionMSE:{mse_ridge}')

print(f'LassoRegressionMSE:{mse_lasso}')

print(f'ElasticNetRegressionMSE:{mse_elastic_net}')2.6.33模型评估与结果分析模型评估是通过度量模型在测试集上的性能来确定模型的有效性。常用的评估指标包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）和R²分数等。示例代码fromsklearn.metricsimportmean_squared_error,mean_absolute_error,r2_score

#计算评估指标

mse_ridge=mean_squared_error(y_test,y_pred_ridge)

rmse_ridge=mean_squared_error(y_test,y_pred_ridge,squared=False)

mae_ridge=mean_absolute_error(y_test,y_pred_ridge)

r2_ridge=r2_score(y_test,y_pred_ridge)

mse_lasso=mean_squared_error(y_test,y_pred_lasso)

rmse_lasso=mean_squared_error(y_test,y_pred_lasso,squared=False)

mae_lasso=mean_absolute_error(y_test,y_pred_lasso)

r2_lasso=r2_score(y_test,y_pred_lasso)

mse_elastic_net=mean_squared_error(y_test,y_pred_elastic_net)

rmse_elastic_net=mean_squared_error(y_test,y_pred_elastic_net,squared=False)

mae_elastic_net=mean_absolute_error(y_test,y_pred_elastic_net)

r2_elastic_net=r2_score(y_test,y_pred_elastic_net)

#输出结果

print(f'RidgeRegressionMSE:{mse_ridge},RMSE:{rmse_ridge},MAE:{mae_ridge},R²:{r2_ridge}')

print(f'LassoRegressionMSE:{mse_lasso},RMSE:{rmse_lasso},MAE:{mae_lasso},R²:{r2_lasso}')

print(f'ElasticNetRegressionMSE:{mse_elastic_net},RMSE:{rmse_elastic_net},MAE:{mae_elastic_net},R²:{r2_elastic_net}')通过比较不同回归模型的评估指标，我们可以分析哪种模型在给定数据集上表现最好。通常，较低