2023学年完整公开课版线性回归

机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程内容纲要何为线性回归123能力提升在于实践456损失函数正规方程解梯度与梯度下降多项式回归，欠拟合，过拟合正则化7回归的评估方法头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程何为线性回归何为线性回归车辆重量油耗(L/100KM)163810.8172411.513327.4192013.6356020.9237018.31570???特征(Feature)标签(Label)监督学习-回归预测(Prediction)何为线性回归车辆重量油耗5101520样本空间中对样本规律的线性总结何为线性回归车辆重量（x)油耗(h(x))5101520你曾经熟悉的数学表达你将记住的数学表达何为线性回归车辆重量(x1)油耗(h(x))5101520排量(x2)何为线性回归ifn=1一元线性回归回归直线ifn>1多元线性回归回归平面/超平面头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程损失函数损失函数找到合适的θ，使得回归方程能最好的总结数据的线性规律正规方程梯度下降损失函数“大海航行中的指南针”损失函数车辆重量（x1)油耗(h(x))5101520实际值(y)预测值(h(x))“误差”损失函数orx=0不可导损失函数是一个只关于θ的函数，θ的值在回归直线方程中决定回归直线的形状。而J(θ)代表着回归直线的总体误差，衡量着回归直线表现的好坏在损失函数J(θ)最小时，回归直线的总体误差最小，回归直线表现即为最好所以求最佳回归直线对应的θ值的问题被转化为求J(θ)的最值数据集中的已知数据损失函数正规方程梯度下降头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程正规方程正规方程正规方程X-1000个样本WorksfineX-100000个样本巨量矩阵运算不满秩，无法使用头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程梯度下降梯度下降机器学习/深度学习中最重要的优化/求解方法梯度下降机器学习/深度学习中最重要的优化/求解方法梯度下降学习率梯度梯度下降学习率过小梯度下降学习率过大梯度下降if计算5次迭代下降过后的θ初始值随意选择

梯度下降学习率梯度梯度下降头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程多项式回归，欠拟合，过拟合多项式回归，欠拟合，过拟合xh(x)xh(x)线性回归多项式回归多项式回归，欠拟合，过拟合xh(x)xh(x)线性回归多项式回归多项式回归，欠拟合，过拟合多项式回归多项式回归，欠拟合，过拟合xh(x)过拟合是对样本机械本的记忆并没有总结出样本的一般规律记忆而不是学习过拟合(overfitting)多项式回归，欠拟合，过拟合xh(x)欠拟合是对样本规律的总结的欠缺没有学习到位欠拟合(underfitting)多项式回归，欠拟合，过拟合xh(x)过拟合欠拟合理想拟合过拟合(overfitting)“火候过大，东西烧焦了”训练集上效果爆表，测试和使用中一落千丈欠拟合(underfitting)“火候不够，东西还没熟”无论在训练集，测试集还是使用上，效果都很差头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系列课程正则化正则化在搭建模型当中，我们希望避免哪一种情况？过拟合(overfitting)欠拟合(overfitting)更换模型/继续训练正则化正则化xh(x)过拟合是对样本机械本的记忆并没有总结出样本的一般规律记忆而不是学习过拟合(overfitting)正则化xh(x)xh(x)令高次项对应的θ尽可能小正则化岭回归RidgeRegressionL2正则LASSO回归leastabsoluteshrinkageandselectionoperatorL1正则正则化岭回归L2正则项正则化LASSOL1正则项正则化正则化岭回归L2正则LASSO回归L1正则尽可能的让所有的特征θ值更小进而减小损失函数使得某些不重要的特征对应的θ趋向于0进而减小损失函数头歌教学研究中心头歌人工智能专业系列课程全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——线性回归与更多头歌教学研究中心头歌人工智能专业系