2024年度-温州大学《机器学习》课程课件一

温州大学《机器学习》课程课件一1CATALOGUE目录课程介绍与基础概念线性回归与逻辑回归神经网络与深度学习决策树与随机森林支持向量机（SVM）与核方法聚类分析与降维技术201课程介绍与基础概念3通过训练数据自动学习规律，并应用于新数据进行预测或决策的算法和模型。机器学习定义计算机视觉、自然语言处理、语音识别、推荐系统、智能机器人等。应用领域机器学习定义及应用领域4监督学习训练数据带有标签，学习映射关系以进行预测。非监督学习训练数据无标签，学习数据结构和特征以进行聚类或降维。强化学习智能体通过与环境交互，学习最优决策策略以最大化累积奖励。监督学习、非监督学习与强化学习503预处理对数据进行清洗、转换、标准化等操作，以提高模型的训练效果和泛化能力。01数据集用于训练和测试模型的数据集合，通常包括特征和目标变量。02特征提取从原始数据中提取有意义的特征，以便更好地表示数据的内在规律和结构。数据集、特征提取与预处理6使用评估指标对模型性能进行量化评价，如准确率、召回率、F1分数等。根据评估结果选择最优的模型，同时考虑模型的复杂度和训练时间等因素。模型评估与选择模型选择模型评估702线性回归与逻辑回归8通过最小化预测值与真实值之间的均方误差，求解最优的参数组合，从而得到一条能够最好地拟合数据的直线。线性回归原理通过梯度下降等优化算法，迭代更新参数，使得损失函数达到最小。求解最优参数根据输入特征构造一个线性函数作为假设函数。构造假设函数采用均方误差作为损失函数，衡量预测值与真实值之间的差距。定义损失函数线性回归原理及实现9逻辑回归原理及实现逻辑回归原理在线性回归的基础上，引入sigmoid函数将线性函数的输出映射到[0,1]区间内，从而实现对二分类问题的建模。构造假设函数在线性函数的基础上，引入sigmoid函数构造假设函数。定义损失函数采用交叉熵损失函数作为逻辑回归的损失函数。求解最优参数通过梯度下降等优化算法，迭代更新参数，使得损失函数达到最小。10123在损失函数中增加权重参数的L1范数作为惩罚项，可以使得部分权重参数为0，实现特征的稀疏性。L1正则化（Lasso回归）在损失函数中增加权重参数的L2范数作为惩罚项，可以使得权重参数整体偏小，降低模型的复杂度。L2正则化（Ridge回归）同时考虑L1正则化和L2正则化，通过调整两者的比例达到平衡。弹性网正则化正则化方法防止过拟合11房价预测收集房屋的面积、房间数、建造年份等特征，利用线性回归或逻辑回归模型进行训练，实现对房屋价格的预测。疾病诊断收集患者的年龄、性别、症状等特征，利用逻辑回归模型进行训练，实现对疾病患病概率的预测和诊断。案例：房价预测和疾病诊断1203神经网络与深度学习13多层感知机由多个感知机层叠而成的前馈神经网络，通过增加隐藏层实现更复杂的非线性分类。感知机与多层感知机的区别多层感知机通过增加隐藏层实现更复杂的非线性分类，而感知机只能实现简单的线性分类。感知机模型一种简单的二分类线性模型，通过计算输入特征与权重的点积并加上偏置项，再通过激活函数得到输出。感知机模型及多层感知机14反向传播算法一种计算神经网络中权重参数梯度的方法，通过链式法则从输出层向输入层逐层计算梯度。优化方法用于更新神经网络中的权重参数，以最小化损失函数。常见的优化方法包括梯度下降、随机梯度下降、Adam等。反向传播算法与优化方法的关系反向传播算法计算出梯度后，优化方法根据梯度更新权重参数。反向传播算法与优化方法15通过卷积层、池化层等结构提取输入数据的局部特征，并通过全连接层进行分类或回归。CNN原理CNN应用CNN的优势广泛应用于图像识别、语音识别、自然语言处理等领域。如图像分类、目标检测、语音合成等任务。能够自动提取输入数据的特征，对输入数据的形状和大小具有一定的不变性，能够处理高维数据。030201卷积神经网络（CNN）原理及应用16

循环神经网络（RNN）原理及应用RNN原理通过循环神经单元对序列数据进行建模，能够捕捉序列数据中的长期依赖关系。RNN应用适用于处理序列数据，如自然语言处理、语音识别、时间序列预测等领域。如机器翻译、情感分析、语音合成等任务。RNN的优势能够处理变长序列数据，具有记忆功能，能够捕捉序列数据中的长期依赖关系。1704决策树与随机森林18特征选择通过信息增益、增益率或基尼指数等方法选择最佳划分特征。决策树生成根据选择的特征评估标准，递归地生成决策树。决策树构建过程及剪枝策略19决策树剪枝：通过预剪枝或后剪枝策略，防止过拟合，提高模型泛化能力。决策树构建过程及剪枝策略20在决策树生成过程中，提前停止树的生长，如设置树的最大深度、最小样本数等。预剪枝在决策树生成后，通过评估剪枝前后的性能，删除部分子树或叶节点。后剪枝决策树构建过程及剪枝策略21随机森林原理及实现集成学习通过构建并结合多个学习器来完成学习任务，常可获得比单一学习器显著优越的泛化性能。自助采样法从原始数据集中有放回地随机抽取多个样本子集，用于构建不同的决策树。22特征随机选择：在每个节点分裂时，从所有特征中随机选择一部分特征作为候选特征。随机森林原理及实现2303对于每一棵决策树，使用自助采样法从原始数据集中抽取样本子集。01随机森林实现02确定随机森林中决策树的数量。随机森林原理及实现24生成完整的决策树，不进行剪枝。将所有决策树的预测结果进行集成，通常采用投票法或平均法。在决策树的每个节点分裂时，随机选择一部分特征作为候选特征，并从中选择最佳划分特征。随机森林原理及实现25通过比较使用和不使用某个特征时模型的性能差异来评估特征重要性。基于模型性能通过分析决策树中特征所在的节点位置、深度等信息来评估特征重要性。基于树的结构特征重要性评估和选择26特征重要性评估和选择基于排列组合：通过随机打乱某个特征的值，观察模型性能的变化来评估特征重要性。27包裹式直接将要使用的学习器的性能作为特征子集的评价准则。如递归特征消除法。嵌入式在模型训练过程中自动进行了特征选择。如L1正则化、决策树等。过滤式先对初始特征进行“过滤”，再用过滤后的特征训练模型。如移除低方差的特征、相关系数排序等。特征重要性评估和选择28数据集介绍包含信用卡交易记录的各种特征，如交易金额、交易时间、交易地点等。特征工程提取与欺诈行为相关的特征，如异常交易金额、异常交易频率等。案例：信用卡欺诈检测和医疗诊断29VS使用随机森林等算法构建分类模型，识别欺诈交易和正常交易。模型评估与优化通过准确率、召回率等指标评估模型性能，并进行参数调优以提高模型性能。模型构建案例：信用卡欺诈检测和医疗诊断30包含患者症状、体征、实验室检查结果等医疗数据。提取与疾病诊断相关的特征，如特定症状的出现与否、实验室指标的异常程度等。数据集介绍特征工程案例：信用卡欺诈检测和医疗诊断31模型构建使用随机森林等算法构建分类或回归模型，辅助医生进行疾病诊断或预后预测。模型评估与优化通过准确率、灵敏度等指标评估模型性能，并进行参数调优以提高模型诊断准确性。案例：信用卡欺诈检测和医疗诊断3205支持向量机（SVM）与核方法33通过最大化间隔来寻找最优超平面，实现二分类问题的求解。SVM基本原理对于线性可分问题，直接求解最优超平面；对于线性不可分问题，通过引入松弛变量和惩罚因子进行求解。线性可分与线性不可分通过构建多个二分类器，采用一对一或一对多策略实现多分类问题的求解。多分类问题SVM原理及分类问题求解34线性核、多项式核、高斯核等，不同核函数适用于不同数据集和问题。常用核函数根据数据特性和问题需求选择合适的核函数，可通过交叉验证等方法进行评估。核函数选择针对核函数中的参数（如多项式核的阶数、高斯核的带宽等）进行调优，以提高模型性能。参数调优核函数选择与参数调优35线性与非线性回归对于线性回归问题，直接求解最优超平面；对于非线性回归问题，通过核函数映射到高维空间进行求解。模型评估与优化采用均方误差等指标评估模型性能，并通过参数调优等方法进行优化。SVM回归原理通过引入管道宽度和松弛变量等概念，将SVM应用于回归问题求解。SVM在回归问题中的应用36手写数字识别将图像特征提取与SVM相结合，应用于图像分类问题中，如人脸识别、物体识别等。图像分类案例分析与实现详细介绍手写数字识别和图像分类案例的实现过程，包括数据预处理、特征提取、模型训练与评估等步骤。采用SVM对手写数字图像进行训练和预测，实现手写数字的自动识别。案例：手写数字识别和图像分类3706聚类分析与降维技术38通过迭代寻找K个聚类中心，使得每个数据点与其所属类别的中心距离最小。K-means算法原理K值选择初始化方法收敛条件K值的选择对聚类结果影响较大，通常通过肘部法则等方法来确定最佳K值。K-means算法对初始聚类中心敏感，常用的初始化方法有随机选择、K-means等。当迭代过程中聚类中心不再发生明显变化或达到最大迭代次数时，算法收敛。K-means聚类算法原理及实现39层次聚类01通过构建聚类的层次结构（树状图）来进行聚类分析，包括自底向上的凝聚法和自顶向下的分裂法。DBSCAN算法02基于密度的聚类算法，通过寻找被低密度区域分隔的高密度区域来进行聚类，能够发现任意形状的聚类簇。参数选择03DBSCAN算法需要设置邻域半径和最小包含点数两个参数，对聚类结果影响较大。层次聚类和DBSCAN算法简介40计算步骤对原始数据进行标准化处理，计算协方差矩阵及其特征值和特征向量，选择前K个主成分进行降维。应用场景PCA广泛应用于图像处理、语音识别、文本挖掘等领域的数据降维和特