机器学习 教案 庞俊彪 第14次课-第35次课 决策树-深度神经网络基础

《机器学习》教案《机器学习》教案适用专业：机器人、人工智能教学年度：教学班级：授课教师课程名称授课地点授课时间第14次章节题目决策树教学目的模型加速能力是重要的手段也是推向模型进化的主要原因教学重点剪枝的可能性和本质教学难点理解剪枝的可能性和本质教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计用例子讲解计算过程教学内容决策树预剪枝决策树的参数包括：树的深度，叶节点内的最小样本数、和信息增益阈值；预剪枝观点是等到决策树完全生长完成再剪枝不如预先完成；预剪枝能减少计算量；决策树悲观剪枝悲观剪枝的条件是我们没有验证集的情况下，我们可利用置信区间的概念进行剪枝；剪枝前后，决策树的期望错误率不超过预定义的一个阈值；期望错误率的建模过程用二项式分布，即用二项式分布来描述落入一个节点内样本点数量；二项式分布难以计算可以用高斯分布进行近似；能用悲观剪枝进行决策树剪枝代码实现；决策树代价复杂度剪枝复杂度剪枝是既能描述分类准确性又能描述决策树复杂度的指标；准确性的描述用分类错误率而决策树复杂度用叶结点数量；利用最优子决策树序列的嵌套性贪心的计算复杂度剪枝的指标；教学过程1.讲解剪枝与过拟合的关系2.讲解剪枝的两种范式教学总结授课教师课程名称授课地点授课时间第15次章节题目集成学习教学目的集成学习的分类，学习器的优劣和泛化误差教学重点集成学习的动机，什么是泛化误差教学难点如何将多个弱学习器层次的累叠在一起，掌握偏差-方差分解过程中的假设和推导过程；教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计深度神经网络和集成学习的实验分析教学内容集成学习的分类集成学习的动机是将能力弱的学习器进行组合后获得能力更强的强分学习器；将多个弱学习器加法叠加在一起->bagging和boosting；成法集成学习-〉无法将弱能力的学习器组合后变强；将多个弱学习器层次的累叠在一起-〉深度神经网络；集成学习对弱学习器必须有一定的限制条件，包括，易于训练和并行化，弱学习器之间应该有某种互补性，必须在一定原则下进行集成。学习器的优劣和泛化误差泛化误差是指利用不同的训练集合（可能是独立同分布）对模型进行多次训练后，对同一测试集合误差的期望；掌握偏差-方差分解过程中的假设和推导过程；弱学习器用偏差和方差进行刻画；教学过程分析集成的动机提出集成学习的学习器叠加讲解神经网络讲解弱学习器分析泛化误差的影响理解偏差-方差分解过程教学总结授课教师课程名称授课地点授课时间第16次章节题目集成学习教学目的掌握偏差和方差是看待模型的重要手段教学重点模型选择与交叉验证教学难点掌握模型选择的依据教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计Boosting讲解和randomforst的实验分析教学内容模型选择与交叉验证训练集、验证集都属于训练集，而测试集和训练集构成全部数据；这三个集合之间互相没有交集；因为对数据集的一次固定（随机）划分，验证集或测试集里面仍然存在偏好（例如，某些特殊的数据出现在测试集里面，而训练集少甚至没有）；K折交叉验证是加强版本的交叉验证，是一种让样本都有一次机会成为验证集，是样本某个指标平均意义下对模型的选择；理解高偏差，高方差，低偏差，低方差及其组合在：1）随着样本数增加；2）随着模型复杂度变化，这两个因素下的性能（误差）的表现；我们通常认为模型参数变化后，具体的模型也会变化。狭义的理解，模型选择是对具体模型参数的选择。广义的理解，模型选择是对任意模型的选择。教学过程分析集成的可能性提出集成学习的几种范式Bagging的偏差和方差的推导和假设讲解交叉验证的方法教学总结授课教师课程名称授课地点授课时间第17次章节题目集成学习教学目的偏差和方差是看待模型的重要手段平均集成，可加性集成和叠加性集成的关系教学重点泛化性的分析和理解拟合，过拟合，欠拟合之间的关系模型选择与交叉教学难点Bagging的偏差和方差的推导过程教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计Boosting讲解和randomforst的实验分析教学内容BaggingBagging就是对具有低偏差但高方差学习器进行集成；低偏差是指每个学习器分类能力强，容易会存在过拟合现象，高方差是指每个学习器预测当训练集变化时候，学习器的预测变化也很大。决策树是典型的低偏差但高方差的学习器；Bagging的方差和偏差的推导过程所用的数学技巧；Bagging为了让强分类器的方差减少，让弱学习器权重变小，相关性也变小；Bagging为了让强学习器的偏差减少，我们需要所有弱学习的偏差都小，并且希望偏差差异越小越好。Bagging的包外数据及其比例的推导过程；证明有放回的采样方法获得的样本子集与全样本集合属于同一分布。理解SVM作为弱学习器无法获得有效的bagging结果，而决策树的bagging能获得有效的bagging结果。教学过程分析集成的可能性提出集成学习的几种范式Bagging的偏差和方差的推导和假设随机森林是bagging下的一个特殊例子教学总结授课教师课程名称授课地点授课时间第18次章节题目集成学习教学目的什么是随机森林随机森林的动机和特性教学重点如何进行随机的特征抽取和样本抽取袋外数据产生过程教学难点随机森林决策树之间的相关性教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计随机化过程和袋外数据产生过程教学内容随机森林在特征层面和样本层面进行随机的特征抽取和样本抽取；随机化能降低随机森林中决策树的相关性；从袋外数据产生过程理解随机森林中决策树之间仍然有相关性。教学过程理解随机森林是bagging下的一个特殊例子理解随机森林决策树如何产生相关性和如何降低教学总结授课教师课程名称授课地点授课时间第19次章节题目无监督学习教学目的无监督学习的目的K-mean等聚类算法的假设教学重点K均值聚类算法非凹非凸函数的计算过程怎么保证解的稳定性模型选择的常用方法和思考维度教学难点期望最大化算法K均值聚类算法的目标函数K均值聚类算法是基于聚类是等方差的高斯分布模型选择方法教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计非凹非凸如何被优化到局部最小教学内容无监督学习的动机1、从大量无标记的样本里面挖掘出可能性的数据内含的规律；2、数据生成应该受到潜在因素的控制，这些潜在因素中最重要的因素之一是聚集性；3、聚集性是规律重现的直观认识。K均值聚类算法1、K均值聚类算法是依靠计算样本点的距离判断样本之间的聚集性；2、K均值聚类算法的目标函数是非凹非凸，只有固定一个变量优化另一个变量的情况下目标函数才能被优化到局部最小；3、K均值聚类算法的优化是基于梯度下降算法进行优化；4、K均值聚类算法是基于聚类是等方差的高斯分布；5、K均值聚类算法目标函数的只能得到局部最优，基于初始化能影响解这一假设，K均值++是基于聚类中心相互远离这样观测设计的顺序初始化方法；6、BIC和AIC是模型选择中常用的两种方法，AIC是拟合精度和模型参数量来选择模型，而BIC是考虑样本数量和拟合精度之间的均衡。7、拟合精度，数据量，模型参数是模型选择的思考维度。教学过程1、理解无监督学习的动机的由来2、理解K均值聚类算法的依据3、理解K均值聚类算法目标函数的优化4.了解模型选择的思考维度教学总结授课教师课程名称授课地点授课时间第20次章节题目无监督学习教学目的从概率的角度理解模型高斯混合模型的期望最大化算法教学重点基于混合高斯模型的聚类期望最大化算法非凹非凸函数的计算过程教学难点期望最大化算法的本质目标函数数学求解教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计高斯混合模型在不同参数下的性能教学内容基于混合高斯模型的聚类1.对K均值聚类的等方差高斯分布转化为任意的多元高斯分布；2.高斯混合模型是有限参数的概率模型，与之对应的是非参数的Parzen窗；3.高斯混合模型优化中的混合系数是隐含变量，期望是对隐含变量的积4.形成隐含变量分布下的目标函数的期望；最大化是对目标函数的期望的优化，获得变量的解；5.期望最大化算法本质是对复杂分布在KL散度度量下的逐步逼近；6.数学上，如果我们能判断函数的凹凸性，我们还可以利用Jessian不等式对目标函数转换为目标函数的上下界进行求解。教学过程1.理解K均值聚类的等方差的高斯分布转化2.理解高斯混合模型优化的参数期望等细节3.理解理解期望最大化算法的本质教学总结授课教师课程名称授课地点授课时间第21次章节题目无监督学习教学目的理解期望最大化算法的动机和应用和难点DBSCAN对噪声的处理本质教学重点高斯混合模型的期望最大化算法噪声下基于密度的空间聚类算法教学难点期望最大化算法KL散度的由来教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计高斯混合模型在不同参数下的性能教学内容期望最大化算法1、KL散度的由来？2、期望最大化算法主要解决具有隐变量的模型；3、期望最大化算法的难度在于期望的求解。噪声下基于密度的空间聚类算法1、DBSCAN是利用Parzen窗的思想，让每个样本作为概率密度估计的计算点，通过定义连通性将两个样本点进行合并，再确定阈值区分不同的聚类；2、DBSCAN对噪声的处理本质上是一个概率上基于人工定义的分类问题；教学过程理解期望最大化算法的动机目标理解DBSCAN的基本思想理解DBSCAN处理噪声的本质教学总结授课教师课程名称授课地点授课时间第22次章节题目降维分析教学目的让学生了解降维分析的动机，掌握主成分分析方法，理解主成分分析中对数据进行归一化的作用。教学重点主成分分析方法教学难点主成分分析如何保留高维数据的“本质”信息；主成分分析的算法流程；教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计用主成分分析将高维矩阵变为低维教学内容降维的动机高维向量维度间可能存在相关性，因此可以用一个变量来代替向量中的多个变量；降维是多个变量整合为一个变量，而特征选择是找符合特性（如，判别力）；降维的变量的可解释性是根据数据建模的特性所赋予。主成分分析理解主成分分析中投影矩阵是正交基是约束解空间性质的手段，让低维特征互相不相关，获得紧致的特征；主成分分析解的特性是让投影空间中的解尽量不相关；主成分分析剪掉均值预先处理的动机本质来源于投影空间中的解尽量不相关的多解性；主成分分析解体现了压缩-扩张矛盾的过程保证解的稳定性；主成分分析解的求解过程利用投影向量的正交性等价于特征值和特征向量的求解过程；教学过程理解高维度数据如何用低维空间表示理解降维分析的动机讲解主成分分析目标函数即其简化形式讲解主成分分析目标函数的优化主成分分析中对数据进行归一化的作用教学总结授课教师课程名称授课地点授课时间第23次章节题目降维分析教学目的让学生掌握语义表示模型。教学重点词的表示方法；隐语义模型；概率隐语义模型教学难点如何处理自然语言中一义多词或一词多义的问题；对隐语义模型、概率隐语义模型的理解教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计利用隐语义模型和概率隐语义模型对矩阵进行降维教学内容语义表示模型一词一义假设是利用词频向量对文档进行特征抽取；逆词频向量是考虑“平凡词”对语义的“抹平”效果，逆词频向量可以看作归一化；特征归一化是重要避免特征语义漂移的策略，在信息增益比，SIFT等都利用该思想；一词多义是通过共生性来观测一词多义；共生性可以用文档-单词矩阵来表示。因此，文档可以由单词来表示，单词也可以用文档来表示，对文档和单词维度的压缩表示就是隐语义模型；隐语义模型可以看作为lowrank表示；矩阵奇异值分解的特征值与弗罗贝尼乌斯范数的值存在平方和关系；概率隐语义模型是典型的生成式模型；概率隐语义模型中的主题是隐变量，因此对概率隐语义模型的求解用期望最大化算法；教学过程讲解生活中的词汇如何用向量进行表示一词多义与一义多词的处理方式讲解隐语义模型讲解概率隐语义模型教学总结授课教师课程名称授课地点授课时间第24次章节题目降维分析教学目的让学生掌握非负矩阵分解。教学重点非负矩阵分解的原理和动机；非负矩阵分解的实现教学难点非负矩阵分解的实现；非负矩阵分解算法的收敛速度教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计用KL散度作为目标函数对非负矩阵进行分解教学内容非负矩阵分解非负矩阵分解是让分解的向量不仅是lowrank还是非负。非负性会导致分解出的矩阵具有一定可解释性；矩阵分解为两个lowrank=k子矩阵的乘积意味着原矩阵所蕴含的聚类或成组的规律等于k；非负矩阵分解的乘法更新法则等价于调整学习率强制分解后的矩阵为正；非负矩阵分解的梯度投影更新法则利用投影算子强制将解投影到非负约束上；梯度投影是带约束问题近似化的快速求解算法；Lowrank约束意味着用极少的等式求解比等式数多的变量。教学过程讲解非负矩阵分解中的不同的更新法则讲解非负矩阵分解的梯度投影比较梯度投影算法和非负矩阵分解算法的运行时间和重构误差教学总结授课教师课程名称授课地点授课时间第25次章节题目神经网络基础教学目的掌握神经网络的基本组成理解多层神经网络的基本组成和本质教学重点神经元的特征神经元如何组成神经网络激活函数如何作用教学难点多层前馈神经网络的结构和本质教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计不同激活函数的图像和异同分析教学内容神经元基本模型单神经元模型可抽象为感知机、逻辑斯回归等模型；单神经元模型是欧式空间中线性证据的累积和非线性变换的叠加；典型的非线性变换包括sigmoid函数，Tanh函数，ReLU函数；多层前馈神经网络单神经元的堆叠组成多层前馈神经网络；从特征的非线性变换角度看，多层前馈神经网络的底层神经元对特征进行激活函数为基础的非线性变换，而次层的神经元对非线性变换进行变换的组合和二次非线性变换。这种变换和组合迭代的进行多次复合运算最终获得非线性能力；对隐藏层网络结构（神经元的数量，神经元之间的连接方式）的设计体现了神经网络对不同任务的理解。例如，降维分析要求神经网络呈现出漏斗形状（隐藏层的神经元数量会比输入和输出少），分类问题需要神经元呈现纺锤形（隐藏层神经元的数量比输入更多而获得更多）等；前馈神经网络本质就是复合函数的多次嵌套过程。教学过程理解单个神经元的结构神经元之间如何实现信息传递3、从神经元到多层前馈神经网络的构造原理教学总结授课教师课程名称授课地点授课时间第26次章节题目神经网络基础教学目的理解神经网络的反向传播算法并会编程实现理解梯度下降法在反向传播中的作用教学重点神经网络的反向传播的原理神经网络中梯度的作用教学难点学习率大小和随机梯度下降的高方差性是反向传播算法仍然在非凹非凸函数上有效的关键原因教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计简单反向传播神经网络的实现教学内容反向传播算法对于第i层网络参数梯度的求解与第i+1层网络的加权误差呈现出：i+1层的权重乘i+1层的梯度模式。最低层神经网络层的梯度与前面所有层的梯度呈现出乘积关系，这意味着数值上的向上或向下溢出问题，该数值问题用log似然中遇到过；梯度消失和梯度爆炸是3.知识点中如果梯度的数值不等于1，会造成梯度的数值不稳定而梯度学习无法进行；梯度消失和梯度爆炸的根源是前馈神经网络的嵌套复合过程带来的深度复合函数；梯度消失和梯度爆炸要求激活函数的梯度能控制在1附近的有效激活区间，具体区间大小应该由神经网络层数的决定；学习率大小和随机梯度下降（SGD）天然具有的高方差性是反向传播算法仍然在非凹非凸函数上有效的关键原因；大型神经网络仍然利用基于梯度下降的算法，梯度下降算法属于误差修正学习（error-correctionlearning），目前还有Hebbianlearning,competitivelearning两种策略，但是后两者策略在深度神经网络上目前还没有成功的进展。教学过程通过对多层前馈神经网络的变换引出反向传播神经网络2.实现基于梯度反向传播的神经网络的训练3.通过梯度消失和梯度爆炸现象的来解释梯度的影响教学总结授课教师课程名称授课地点授课时间第27次章节题目神经网络基础教学目的神经网络中的初始化和不同激活函数教学重点权重参数的初始化不同激活函数的选择教学难点不同初始化和激活函数的选择教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计不同初始化之间的作用效果和异同分析教学内容权重参数的初始化根据：神经网络每一层的输入值都应落入激活函数的最大梯度范围内来分别对不同的激活函数进行分别讨论获得结论；Sigmoid激活函数的初始化为0均值方差与前一层网络的输入维度的导数；不同的激活函数应该用不同的初始化方法，典型的初始化方法如，Xavier,He初始化。教学过程1.理解初始化的意义和种类2.了解不同激活函数的特点和异同3.能根据不同的激活函数应该用不同的初始化方法教学总结授课教师课程名称授课地点授课时间第28次章节题目神经网络基础教学目的掌握批归一化的动机本质教学重点批归一化的本质作用教学难点深度神经网络训练过程中采用批归一化的原因教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计未使用和使用批归一化的对比分析教学内容批归一化多层神经网络中，前一层是学习得到的特征需要经过归一化才能保证数据对齐；此外，归一化能保证激活函数的梯度在最优的激活区间；批归一化作用于输入特征的每一维度，也仍然遵循第2章归一化的基本准则，但是将归一化为了应对SGD梯度下降中数据不全的问题，利用参数化进行数据适应的动态调整；批归一化本质解决了特征在语义尺度上的原点（conceptdrift）和语义强度单位的归一；理解深度神经网络训练过程中采用批归一化的原因；批归一化不能过大也不能过小，过大1）无法获得梯度的高方差，2）容易将有价值的样本淹没；过小都会：1）迭代收敛速度慢；2）？教学过程1.引出批归一化的必要性2.理解批归一化如何作用3.理解批归一化的本质教学总结授课教师课程名称授课地点授课时间第29次章节题目神经网络基础教学目的掌握神经网络的优化理解Sqrt函数应用于自适应调整过程教学重点基于梯度的神经网络优化教学难点凹凸函数的复杂组合会影响神经网络算法设计的学习率和梯度更新方法如何理解鞍点教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计不同凹凸函数的优化分析教学内容基于梯度的神经网络优化神经网络是凹凸函数的复杂组合，神经网络局部最优解的损失函数“地形地貌”会影响神经网络算法设计的学习率和梯度更新方法；理解“鞍点”是一种部分维度的局部最小值；理解“峡谷”类型的最小值、“扁平”类型的最小值典型的损失函数“地形地貌”；动量法假设鞍点可以利用梯度的“惯性”去避免陷入“部分”局部最小值，也可以将局部最小值理解为“噪声”，动量法数学上是EMA的应用对这些噪声进行平滑后进入局部更优解，需要指出动量法不能逃脱所有的局部最小点；自适应学习率是对各个维度学习率不一致情况的求解；理解Sqrt函数巧妙应用于自适应调整过程；教学过程1.直观展示凹凸函数的“地形地貌”2.展示鞍点，理解“峡谷”类型的最小值3.理解动量法的数学应用4.掌握各个维度学习率不一致情况的求解教学总结授课教师课程名称授课地点授课时间第30次章节题目深度神经网络基础教学目的掌握卷积神经网络的基本组成理解卷积神经网络算法并会编程实现教学重点卷积神经网络的工作原理教学难点卷积神经网络的优化过程教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计CNN卷积函数的设计分析教学内容卷积神经网络人脑处理信号呈现出阶段性，由简单到复杂的过程，而神经元之间也存在由简单细胞复合成复杂细胞的过程；卷积运算就是利用线性变换对输入进行互相关性的进特征抽取；卷积核是待优化的参数；卷积核在数学上等价于权重共享、局部连接的神经网络；池化层作用模拟了复杂细胞的功能；教学过程1.卷积神经网络的构造原理2.卷积神经网络的训练过程3.卷积神经网络优化过程中参数归一化原则和训练算法教学总结授课教师课程名称授课地点授课时间第31次章节题目深度神经网络基础教学目的掌握卷积神经网络的基本组成理解卷积神经网络算法并会编程实现教学重点卷积神经网络的工作原理教学难点卷积神经网络的优化过程教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计CNN卷积函数的设计设计分析教学内容卷积神经网络1.Max池化实现了信号的平移不变性，但是max操作损失了信息，通常用于特征的快速降维；2.Average池化实现了信号的平均化，对噪声进行平滑，并增强预测的稳定性；3.感受野是一个神经元所能感受到图象的区域范围；4.池化层实现特征的选择和融合，多层卷积神经网络构成了感受野，感受野内能对尺度、平移，共生等关系通过网络结构的设计进行建模；5.YOLO是典型的利用多层神经网络应用；教学过程1.卷积神经网络的构造原理2.卷积神经网络的训练过程3.卷积神经网络优化过程中参数归一化原则和训练算法教学总结授课教师课程名称授课地点授课时间第32次章节题目深度神经网络模型教学目的掌握循环神经网络的基本组成理解循环神经网络算法并会编程实现教学重点循环神经网络的工作原理教学难点循环神经网络的优化过程教学方法启发式，案例教具多媒体，程序运行结果，黑板板书案例设计RNN循环神经网络的设计分析教学内容循环神经网络循环神经网络对时间序列进行建模；循环神经网络可以用编码层（encoder）对时序特征投影到多个时间序列步“和谐”的特征编码空间，在特征编码空间内RNN建立相邻时间步之间，一阶markov关系，再对解码阶段建立将特征编码空间转换为输出的解码层（decoder）；RNN在时间步上的复合函数；这意味着序列越长，RNN神经网络越深；教学过程1.循环神经网络的构造原理2.循环神经网络的训练过程3.循环神经网络优化过程中参数归一化原则和训练算法教学总结授课教师课程名称授课地点授课时间第33次章节题目深度神经网络基础教学目的掌握循环