机器学习原理与应用电子教案 5.10.1深度学习理论

备课日期：年月日授课时间课时（理论+实验）周次星期:节次:授课课题深度学习[理论]教学目标1.理解深度学习的基本原理。2.掌握常用模型的构建方法。教学重点1.深度学习模型构建与训练方法；2.常用深度学习模型。教学准备PPT、点名册等。教学方法指导阅读、案例法。教学过程设计备注课题引入【思考】传统神经网络特点？【关键】经验风险最小化；可表达任意函数但不易求解可靠的参数（实际中易产生过拟合）。【时间】分钟。教学步骤及主要内容【主板书】§14.深度学习[理论]一、基本原理【主板书】基本原理1.特征学习：通过组合低层特征而形成更加抽象的高层特征以解决分类问题。【强化与拓展】模仿人脑认识与分析问题的机理解释数据（例如图像、声音和文本）。其优势是采用非监督式或半监督式的特征学习和分层特征提取算法解决手工获取特征中的精度低、可靠性差等问题。〖PPT〗传统解决识别问题的流程与存在问题。【强化与拓展】提高分类精度的关键之一在于提取可以反映问题本质的有效特征。人工选取特征不但费时费力，而且需要启发式的专业知识。2.人脑视觉机理。【强化与拓展】生物视觉系统的分级信息处理：高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。抽象层面越高，存在的可能猜测就越少，就越利于分类。〖PPT〗特征表示的粒度（摩托车识别为例）。3.深度学习理论的提出（2006年，加拿大多伦多大学教授GeoffreyHinton）。（1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而更有利于可视化或分类；（2）深度神经网络在训练上的难度，可以通过无监督式的“逐层初始化”进行克服。【强化与拓展】传统神经网络中梯度消减或弥散情况。如果采用BP机制，对于一个深层（如10层以上）的神经网络，误差反馈至最前面的层时将变得很小（出现所谓“梯度扩散”），进而导致训练失败或偏差较大。【强化与拓展】“深度模型”是手段，“特征学习”是目的。4.深度学习与浅层学习（人工神经网络）的区别。（1）强调模型结构深度；通常有10层左右或更多层隐层节点。（2）明确突出了特征学习的重要性：通过逐层特征变换，将样本在原空间的特征表示变换到新特征空间，从而使分类更加容易。（3）深度学习可通过学习深层非线性网络结构实现任意复杂函数的逼近，进而可发现数据的分布式特征表示。（4）深度学习采用逐层训练机制。5.深度学习训练过程。（1）采用自下而上的无监督学习（即利用采用无类标记数据或有类标记样本从底层开始，一层一层的往顶层训练）方式分层训练各层参数。（2）自顶向下的监督学习

（即利用有类标记的样本进行参数调整，误差自顶向下传输）。【强化与拓展】深度学习参数学习过程的第一步实质上是一个参数初始化过程，不同于传统神经网络初值随机初始化，深度学习参数初始化是通过无监督学习输入数据的特征得到的，因而初始值更接近全局最优，从而可以取得更好的效果。〖PPT〗深度学习与传统神经网络之间的差异。【时间】分钟。【提问】。二、模型示例：自动编码器。1.基本原理：就是一种尽可能复现输入信号的神经网络；而为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素。2.学习过程：（1）给定无标记样本，用非监督学习方式学习特征。（2）D（编程）->P1；P1（解码）->Q；如果D与Q相差很小，则有理由相信P1是D的一种表达。（3）用P1作为输入，采用与2相同方式获取原特征的更多表达P2,.P3…,Pn。【时间】分钟。【提问】。三、模型示例：稀疏自动编码器。1.基本原理：生物视觉形成的图像有上亿像素，但均只用很少的代价重建与存储。2.在自动编码器的基础上增加L1范数以使每一层中的节点大部分取值为0（或者，在大量的样本中选取较少的具有代表性的样本作为元素以表达新的样本）。【强化与拓展】L0范数为向量中非0元素的个数，L1范数为向量中各元素绝对值之和。L0范数很难优化求解，L1范数是L0范数的最优凸近似，更易于求解。〖PPT〗自动编码器与稀疏自动编码器。【时间】分钟。【提问】。课堂练习其他无小结与作业课堂小结深度学习可以自动地提取分类需要的底层或高层特征（可以学习浅层语义信息，也可以学习深层语义信息，进而为后续不同的任务提供特征；提取出来的特征要比人为设定的特定具有更强的泛化性能），由于模型的层次与参数相对较多，因而具有很强大表征能力。此外，从模式识别特征和分类器的角度，深度学习框架将特征和分类器进行了统一（可以拟合任意复杂函数，可以