机器学习 教案 庞俊彪 第1次课-第13次课 机器学习与模式识别引论-决策树

《机器学习》教案《机器学习》教案适用专业：机器人、人工智能教学年度：教学班级：授课教师课程名称授课地点授课时间第1次章节题目机器学习与模式识别引论教学目的让学生了解什么是人工智能教学重点什么是机器学习什么是模式识别什么是人工智能教学难点机器学习的数学基础从记忆转化为理解概念的由来模式识别的分类教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计一个典型的模式识别过程包括教学内容人工智能（artificialintelligence，AI）定义为：任何感知环境并采取行动以类似人的方式实现其目标的设备，即一种能够像人类一样进行思考、判断、行动等，能够使用类似人类的方式对外界刺激做出反应的智能机器。模式识别：利用统计规律来发现数据中的规律，并利用该规律来进行预测，尤其将数据预测分类到不同的类别中。一个典型的模式识别过程包括：数据抽取过程中的规范化，数据的预处理，数据的规范化，根据问题建立模型，训练模型，利用模型进行预测，系统地部署，根据预测结果对上述过程进行改进。上述过程中，各个阶段需要注重的典型问题及动机。机器学习：对于某类任务T和性能指标P，若一个计算机程序在任务T中以指标P的性能随着经验E而自我改善，则我们称该程序在从经验E中学习。传统机器学习关注模式识别中“根据问题建立模型”，并对模型的理论特点进行分析，包括模型精度的上下解，模型的收敛性，模型的等效性。教学过程由手写字符问题引出人工智能从人工智能的发展引入关于沿着正确方法坚持的思政教育重点介绍数学概念的理解应该从物理概念出发以beyes公式的理解，从计算转换为对证据的累积的过程教学总结授课教师课程名称授课地点授课时间第2次章节题目模式识别数学基础教学目的让学生了解模式识别数学公式教学重点贝叶斯公式函数的凹凸性导数的含义教学难点机器学习的数学基础增强学生的对数学和物理的理解能力教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计不知道概率分布情况下对数据进行最大释然估计，最大后验估计教学内容贝叶斯公式理解证据，先验，消元的含义；理解贝叶斯公式证据的增加会带来新的先验。函数的凹凸性凹凸函数的判断方法；凸函数与Jessian不等式。导数的含义：函数变化速度最快的方向-〉一阶梯度下降优化方法；函数的形状在局部的近似-〉函数在局部区域内的逼近方法。泰勒展开：函数在局部点任意阶的近似-〉函数在局部区域内的逼近方法和不等式证明。基于梯度下降的优化基于梯度下降的优化公式；对于凹函数而言，理解学习率与梯度下降迭代次数的关系；理解梯度下降过程，并能画出梯度下降中，梯度，学习率和优化点的几何关系；一阶梯度下降与函数一阶泰勒展开的关系；理解学习率大小与目标函数优化速度之间的关系；对于用一个向量组成的变量而言，理解学习率对于向量不同分量最有解的影响；会用程序实现基于梯度下降的目标优化算法；贝叶斯决策理与代价矩阵贝叶斯决策是考虑预测错误下引发代价所带来的期望损失最小化；代价矩阵本质上体现问题决策错误的损失函数；贝叶斯决策引入了样本点所在空间位置的概率，而不在简单归约为每个样本的概率一样。后者是带来样本不平衡问题中损失函数设计所考虑的重要问题。基本编程能力会使用OPENCV，PYTORCH，Sci-Py，scikit-learn,NumPy,scikit-image,Matplotlib利用贝叶斯公式作为推理依据，实现MNIST手写字符识别理解模式识别基本过程中的步骤，数据的预处理，数据的规范化，根据问题建立模型，训练模型，利用模型进行预测，系统地部署，根据预测结果对上述过程进行改进；理解先验概率，似然概率的计算过程；理解朴素贝叶斯在MNIST中能成功地条件并能找到实验证据；理解拉普拉斯平滑的动机，原理和计算过程；能通过实验观测，学生意识到直方图建立概率的编程过程和局限性；能尝试利用已学的知识（如图象处理）实现“数据的预处理”的优化而提高性能；教学过程1.讲解数的凹凸性，导数的含义：2.留梯度下降和taylor展开之间的关系作为作业？并留梯度下降的作业？3.对手写数字识别过程的讨论教学总结授课教师课程名称授课地点授课时间第3次章节题目参数化的概率密度估计教学目的让学生了解频率学派、贝叶斯学派的基本观点教学重点频率学派的观点贝叶斯学派的观点和优点最大似然估计教学难点机器学习的数学基础从记忆转化为理解概念的由来增强学生的对数学和物理的理解能力教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计不知道概率分布情况下对数据进行最大释然估计，最大后验估计教学内容频率学派的基本观点概率是一个固定的值；概率会随着样本数量的增加而逐渐逼近一个真实的固定值；频率学派认为事实的规律完全来源于对于似然函数的估计；贝叶斯学派的基本观点概率不是一个固定值，而是一个随机变量；先验分布代表我们对过去知识的理解，而似然函数代表目前收集到数据中获得到的证据，概率分布应该由先验和事实共同决定；最大似然估计最大似然估计的本质是让样本出现的概率最大化，即对数据规律的掌握等价于数据的最大化出现；对数据规律用参数θ进行最大似然估计（记忆）后，我们可以利用贝叶斯公式进行预测；样本的独立同分布假设让最大似然估计的联合概率密度变为连乘的形式：P理解最大似然估计中，我们必须对概率密度的形式进行提前约定中存在的问题，这等价于频率学派认为概率是固定值的问题。高斯分布（正态分布）掌握基本的数学公式；理解高斯分布中均值、方差的含义；通过高斯分布对参数的估计，理解无偏估计是理论上好的估计方法，而有偏估计理论上是坏的方法；理解大数定律关于某个变量说明是最终收敛与正态分布；理解置信度是对估计不确定性的一种建模；理解高斯分布为short-tailed分布；理解好的估计方法不仅是无偏估计，而且估计的方差还小。掌握多维高斯分布（多元正态分布）理解多维高斯分布中协方差矩阵是半正定、对称矩阵的含义（半正定：）；由于协方差矩阵的大小与特征向量的平方关系，我们需要对协方差矩阵进行不同程度的约简，包括：保留协方差矩阵的所有元素，只保留对角线上的元素，和只保留对角线上的元素并且对角线上的元素都相同。教学过程由手写字符问题的识别引出概率密度估计的重要性用例子说明频率派的特点从物理概念出发以beyes公式的理解，从计算转换为对证据的累积的过程讲解高斯分布，多元高斯分布的区别，符号中的具体含义，并对手写字符进行识别的利用教学总结授课教师课程名称授课地点授课时间第4次章节题目参数化的概率密度估计教学目的让学生了解频率学派、贝叶斯学派的基本观点教学重点最大后验估计贝叶斯估计教学难点机器学习的数学基础从记忆转化为理解概念的由来增强学生的对数学和物理的理解能力教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计不知道概率分布情况下对数据进行最大释然估计，最大后验估计教学内容最大后验估计最大后验估计是融合先验知识的最大似然估计；最大后验估计也是将参数θ无关的消元项进行省略的最大似然估计；理解高斯分布先验下的参数估计等价于Tikhonovregularization吉洪诺夫正则化（L2正则化）。理解先验选择是靠经验选择的过程，不同的先验代表我们对模型参数的不同理解和约束；贝叶斯估计贝叶斯估计和贝叶斯公式是两回事；贝叶斯估计是对参数θ出现概率的完全估计；贝叶斯估计中，参数θ的最优值是参数θ的期望；贝叶斯估计难以计算，所以引入共轭先验；教学过程1.引出最大后验估计2.从物理概念出发以beyes公式的理解，从计算转换为对证据的累积的过程3.最大释然估计与贝叶斯估计的比较4.给出两者在比较上的差别5.讲解最大后验估计和正则化之间的区别，注意讲解不同正则化的先验不一样，造成的结果也不一样教学总结授课教师课程名称授课地点授课时间第5次章节题目感知机教学目的感知机的由来感知机中替代函数的想法感知机的加速问题教学重点替代函数的观点教学难点机器学习模型设计原理教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计课堂上对高斯生成的两类可分数据进行分类演示教学内容感知机对单个神经元进行模拟进行分类感知机将模式在欧式空间中（向量空间）通过内积的方式进行分类证据的积累；偏置b是与符号函数sign(x)向量空间意味着同一向量中不同的维度应具有可比性，例如，a表示身高（米），而b表示体重（KG）直接组成向量[a,b]T感知机的损失函数感知的损失函数是最小化错分样本的函数间隔和；函数间隔表示样本点在分类函数在特征空间中对样本的可分性；替代函数的思想是模式识别和机器学习的重要策略。感知机的学习算法梯度下降算法对感知机目标函数的具体应用；一次优化迭代中，用所有样本的为梯度下降，用小部分样本的为最小批梯度下降，用一个样本的为随机梯度下降；感知机的实现过程中应建立对损失函数，前后参数范数变化、训练集和验证集上的性能指标随着训练迭代次数的变化曲线。学会观测算法的运行特点，从而发现算法的调试错误和改进。理解按照“观察”（发现问题）-〉“假设”（解决思路）-〉“实验”（实现思路）-〉“评估”（评价思路的合理性）的思路来分析算法模型。教学过程1、感知机对生物的模拟2、感知机的损失函数的设计与替换3、感知机的学习算法，对梯度下降，随机梯度下降，小批量梯度下降的比较4、讲解欧式空间中语义点和单位一致性5、讲解机器学习算法一般流程教学总结授课教师课程名称授课地点授课时间第6次章节题目感知机教学目的感知机的训练问题机器学习算法的一半流程教学重点模型分析的从原始问题的数学描述，梯度分析，对偶角度分析教学难点模型分析的角度教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计课堂上对高斯生成的两类可分数据进行分类演示教学内容数据归一化最小最大线性归一化只能将特征线性变换到0-1的区间，解决特征取值范围的问题；零均值归一化将特征的中心进行对齐，并变换到均值为0、标准差为1的分布上，能解决特征的对齐问题；特征的对齐本质是解决将多个不同类型的特征强扭到同一个向量空间带来的原点不对齐和不可比问题；不同的数据和问题会利用到不同的归一化；归一化会影响模型是否能快速收敛到理想的局部最小点；归一化也会影响模型预测的稳定性。感知机的改进从决策面对于随机变量随机性进行约束引入margin的概念；观测margin的有无会极大提高决策面稳定性。感知机的对偶问题感知机解的对偶问题是从随机梯度下降的迭代公式展开获得；感知机解的对偶形式将梯度下降的向量空间转换为样本之间的内乘积空间；Gram矩阵计算量是样本数量的平方；感知机解的对偶形式是对解的另在解的迭代过程的理解；损失函数，损失函数的梯度和解的最终形式是我们理解模型的三个层次和方法。教学过程1、讲解归一化的本质是语义对齐和量冈对齐2、讲解机器学习算法改进是靠对数据和问题的理解3、讲解对偶问题本质上是算法求解过程的直接表示，并对其意义进行讲解教学总结授课教师课程名称授课地点授课时间第7次章节题目Logistic回归教学目的让学生对Logistic回归的模型形式、目标函数的定义、目标函数的优化求解有深入的理解。教学重点Sigmoid函数的物理意义Sigmoid最大释然估计的等价于交叉熵交叉熵与KL散度关系机器学习算法的一般流程Logistic回归模型Logistic回归模型的参数估计教学难点机器学习模型设计原理模型分析的角度教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计细菌数量增长规律；对sigmoid函数的近似和特征的变换演示教学内容逻辑斯回归的由来如何建立了变量总结与事件发生概率之间的关系；如何利用最大似然估计等手段进行建模。Sigmoid函数的物理意义Sigmoid函数的导数计算过程；Sigmoid函数能将证据转换为概率的过程；Sigmoid最大释然估计的等价于交叉熵；交叉熵与KL散度关系。逻辑斯回归的最大似然估计与感知机相比，逻辑斯回归将符号函数转换为Sigmoid函数；逻辑斯回归将证据转换为事件出现的概率后，对2分类问题用0-1概率密度进行建模，用最大似然估计进行参数的密度估计；逻辑斯回归的损失函数等价于交叉熵；逻辑斯回归解仍然是关注难分的样本点。教学过程由案例引入如何建立对输入变量的“总结”与事件发生概率之间的关系的问题。探讨如何利用最大似然估计等手段进行建模。介绍机器学习算法的一般流程最大斯然估计与概率密度之间的关系Sigmoid含义的讲解Sigmoid与交叉熵的讲解逻辑回归的建模过程，梯度下降的求解过程，逻辑回归的学习方法教学总结授课教师课程名称授课地点授课时间第8次章节题目Logistic回归教学目的将二分类的Logistic回归扩展到多分类问题；探讨多类分类与数据不平衡问题；让学生了解机器学习的基本流程，基本评价方式。教学重点多类分类与数据不平衡问题；数据不均衡处理原则分类器性能评价准则教学难点如何实现多类分类而避免样本数量的不均衡问题；如何设计评价指标；教学方法启发式教具多媒体，程序运行结果，黑板板书案例设计经典评价指标（精度，召回率）教学内容多类分类问题多类分类问题用1对多会带来类别的不平衡问题；归一化指数函数（softmax函数）将证据转换为多类预测的概率密度；Softmax函数特点是将证据响应大的类继续拔高，而将响应低的类进行压抑。数据不均衡分类问题数据不均衡是普遍存在的现实问题，是现实long-tailed现象的描述；处理数据不均衡的手段有过采样和欠采样两种手段。分类性能评价在数据均衡的情况下，准确率就能反映系统的性能，但在数据不均衡的情况下，我们需要引入二分类的混淆矩阵；理解利用二元分类的混淆矩阵正对少量样本类的评估方法，查准率和召回率；理解ROC曲线的计算过程。教学过程由Logistic回归引入多分类问题；讲解多分类问题中的数据不均衡问题；数据不均衡问题的处理准则；讲解分类性能的评价标准及设计准则；教学总结授课教师课程名称授课地点授课时间第9次章节题目线性可分支持向量机教学目的让学生了解什么是线性可分支持向量机教学重点线性可分支持向量机的对偶问题教学难点理解支持向量的定义教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计线性支持向量机对分类的理解是找一些分类“最坏”的向量，然后再让这些“最坏”情况下的向量具有最坏的分类性能教学内容线性可分支持向量机样本点到分类超平面的距离是点到面的垂直距离；理解向量空间中一个向量的方向和长度的定义；线性支持向量机对分类的理解是找一些分类“最坏”的向量，然后再让这些“最坏”情况下的向量具有最坏的分类性能；样本函数间隔之间的序会改变模型的分类性能，但样本的函数间隔整体变化不会；合页损失是0-1损失的上界，是一种margin约束下函数间隔最大化的方法；支持向量机是一种带L2正则化的合页损失。线性可分支持向量机的对偶问题支持向量机的对偶问题是将复杂的不等式约束转化为简单而易于求解的不等式约束；KKT条件是对一般不等式约束的标准求解思路，KKT条件能转换问题，但不能保证转换后的问题一定易于求解；理解支持向量的定义；能从支持向量机的对偶形式中推断出支持向量机只含有稀疏的支持向量；能从支持向量机对偶问题解的形式分析权重w是多个支持向量的线性叠加；能用公开的优化工具包对支持向量机的对偶问题进行优化。教学过程线性支持向量机对分类的理解是找一些分类“最坏”的向量，然后再让这些“最坏”情况下的向量具有最坏的分类性能理解支持向量的定义；能从支持向量机的对偶形式中推断出支持向量机只含有稀疏的支持向量；能用公开的优化工具包对支持向量机的对偶问题进行优化。教学总结授课教师课程名称授课地点授课时间第10次章节题目线性不可分支持向量机教学目的让学生了解线性不可分支持向量机教学重点掌握线性不可分支持向量机的对偶求解过程梅林理论判断那些函数是核函数；教学难点线性不可分支持向量机的对偶求解过程教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计多项式核函数和高斯核函数案例教学内容线性不可分支持向量机理解利用软间隔的方法对不可分支持向量机转换为可分的支持向量机；掌握线性不可分支持向量机的对偶求解过程；线性不可分支持向量机可分为：间隔内支持向量，位于决策面的支持向量，和被误分的支持向量。线性可分支持向量机的非线性化线性模型转换为非线性模型依靠对特征的非线性变换；核技巧是一类特殊的非线性核函数，该函数能将低维的特征变换到高维空间后再进行内积计算所需的计算量；针对某类数据（问题）的非线性分类能力，我们需要不同的非线性变换；梅林理论判断那些函数是核函数；掌握多项式核函数和高斯核函数。教学过程首先讲解线性不可分支持向量机；讲解线性不可分支持向量机的对偶求解过程；讲解线性可分支持向量机的非线性化；讲解核函数，多项式核函数和高斯核函数。教学总结授课教师课程名称授课地点授课时间第11次章节题目支持向量机的最优化求解方法教学目的原始估计次梯度算法是利用随机梯度下降对线性可分支持向量机的应用；教学重点支持向量回归教学难点理解支持向量回归教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计用例子讲解计算过程教学内容支持向量机的最优化求解方法序列最小化优化算法的是利用优化策略中的活动集方法；原始估计次梯度算法是利用随机梯度下降对线性可分支持向量机的应用；序列最小化优化算法能成功地关键是有些关键样本点优化到的函数参数会对最终的模型起作用，如支持向量对目标函数更重要。支持向量回归利用间隔的思路，让回归样本点都尽量拟合在以回归超为中心的间隔内；教学过程1.讲解支持向量机与随机梯度下降的关系2.讲解支持向量回归的原理教学总结授课教师课程名称授课地点授课时间第12次章节题目决策树教学目的掌握信息论的基本概念和知识教学重点信息论基础讲解教学难点信息熵本质的理解教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计用例子讲解计算过程教学内容决策树的决策过程是一种贪心的判断过程决策树一旦判断出错，错误将会传递到下一个阶段；决策树每次用一个属性，让分类过程可解释性；此外，优先使用的特征可以认为对于分类的有效性更高；决策树分类过程就是对样本进行不断划分“纯”化的过程；决策树是选择某个属性，产生