深度学习 教学大纲

深度学习一、课程说明课程编号：092115Z10课程名称（中/英文）：深度学习/DeepLearning课程类别：选修学时/学分：32/2先修课程：机器学习、线性代数、概率论与数理统计、高等数学、计算机程序设计基础适用专业：大数据、计算机科学与技术、智能科学与技术、物联网工程、信息安全教材、教学参考书：台湾大学MachineLearningandhavingitdeepandstructured.毅.tw/~tlkagk/courses_MLDS17.html《DeepLearning》.IanGoodfellow，YoshuaBengio，andAaronCourville（著）.MIT,2017《机器学习》.周志华（著）.清华大学出版社,2016《深度学习:原理与应用实践》.张重生（著）.电子工业出版社,2016《DeepLearning:APractitioner'sApproach》.AdamGibsonandJoshPatterson（著）.O'ReillyMedia,2017《深度学习儿方法与应用》.邓力,俞栋（著），谢磊（译）.机械工业出版社,2016《神经网络与深度学习》.吴岸城（著）.电子工业出版社,2016二、课程设置的目的意义本课程是为大数据专业设立的拓展知识体系的专业选修课。深度学习是人工智能特别是机器学习领域近几年兴起的一个研究热点，主要是研究如何利用多层次的深度人工神经网络运用模块化思想自动的学习数据的特征的一种端到端机器学习模式。课程设置的目的是让学生了解深度学习这一机器学习和大数据分析前沿研究领域，从而一方面训练学生的科研思维能力，另一方面为学生在机器学习、大数据分析等领域的创新实践提供创新思维训练。三、课程的基本要求知识：掌握单个神经元与逻辑回归的对应关系，以及前向全连通神经网络基本架构；理解深度神经网络的模块化思想；掌握深度学习在训练和测试阶段进行分别优化的技巧（如自适应学习率、正则化、Dropout等）；掌握卷积神经网络基本思想并学会灵活运用；理解和掌握词嵌入、自编码器、迁徙学习等无监督学习的基本原理；掌握结构化学习的基本概念、原理和框架，并结合循环神经网络进一步理解结构化学习的理念；了解和掌握深度强化学习的基本概念和方法。能力：能够熟练掌握深度学习开发工具（如TensorFlow）的框架，并能够基于深度神经网络设计和实现深度学习应用；能够根据卷积神经网络的3个属性灵活运用卷积神经网络到不同类型的机器学习任务；能够运用词嵌入、自编码器、迁徙学习等技术完成各类无监督学习的训练任务；能够运用循环神经网络完成训练机器翻译等结构化学习的任务。素质：建立深度学习基于框架的商业软件开发观念，通过课程中的演示、交互、讨论培养表达、归纳、分析、沟通、交流等素质，通过课程学习及课程项目建立深度学习技术到应用的思维模式，提升理解工程管理与经济决策的基本素质。通过课外导学的模式，提升自主学习和终身学习的意识，形成不断学习和适应发展素质。四、教学内容、重点难点及教学设计章节教学内容总学时学时分配教学重点教学难点教学方案设计（含教学方法、教学手段）讲课（含研讨）实践第1章绪论220从深度学习的发展历程出发，介绍深度学习的基本概念和思想，然后通过对各种类型的深度神经网络典型应用的介绍，形成对深度学习这一前沿领域的初步认识。第2章神经元与逻辑回归222（课外）最大似然估计与交叉熵；逻辑回归与分类的区别和联系；单个神经元与逻辑回归的对应关系Sigmoid函数的数学推导；生成模型和判别模型的区另限交叉熵与方差用在逻辑回归上的区别教学思路：从逻辑回归和分类的区别和联系出发，引出生成模型和判别模型的区别和关联，弓|出sigmoid和softmax函数的物理意义；从逻辑回归的局限性引出逻辑回归和单个神经元的关联，并说明层次化连接多个神经元的必要性。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。

A-H-章节教学内容总学时学时分配教学重点教学难点教学方案设计（含教学方法、教学手段）讲课（含研讨）实践第3章深度学习框架及模块化思想422（课内实验）掌握深度神经网络的基本框架；理解深度学习模块化思想对深度学习模块化思想的理解；理论知识的实践运用教学思路：首先通过前向神经网络来理解深度神经网络的基本框架，再通过浅层和深层神经网络（相同数量级的参数）的性能对比引出深层神经网络的模块化思想，从而说明加深网络层数的益处。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。第4章深度学习训练技巧222（课外）自适应学习率（Momentum等）、Dropout的思想与具体流程，及其与Ensemble的联系；EarlyStopping;BatchNormalization梯度消失问题；Maxout与ReLu的关系；L1与L2正则化的本质区别；Dropout测试阶段权重乘以系数背后的原因教学思路：首先说明深度学习训练和测试的基本流程，并说明初学者容易在训练效果不太好的时候就归罪于过拟合是有其片面性的，并由此引出分别针对训练和测试阶段的效果不好的问题而推荐使用的一些技巧。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。第5章卷积神经网络CNN422（课内实验）CNN的3个核心属性；CNN的基本框架；卷积和池化的技术细节；揭秘CNN隐藏层所学内容的方法揭秘CNN隐藏层所学内容的方法；CNN针对具体任务的灵活运用教学思路：首先介绍使用CNN来识别图像的3个主要原因，并由此引出CNN的基本框架，以及框架中卷积和池化这两个模块所具备的特性是如何对应上述3个原因的，最后再介绍卷积和池化的具体细节。在此基础上，介绍各种解释CNN隐含层所学内容的方法，以及图像之外的一些CNN应用。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。aa-「*第6章词嵌入和网422词嵌入方词嵌入和教学思路：首先介绍

A-H-章节教学内容总学时学时分配教学重点教学难点教学方案设计（含教学方法、教学手段）讲课（含研讨）实践络嵌入（课内实验）法获取词语语义的原理；网络嵌入的基本原理主成分分析的异同1-hot向量和词向量的基本概念，再通过比较基于计数的和基于预测的词嵌入方法，说明词嵌入方法的基本流程、网络结构、原理，然后从词与词之间的关系引入关系嵌入的概念以及词嵌入的相关应用，最后，介绍受词嵌入启发而提出的网络嵌入等前沿热点。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。第7章自编码器与可变自编码器222（课外）自编码器的原理可变自编码器的原理和网络设计教学思路：首先通过比较主成分分析和自编码器说明自编码器的架构、原理和作用，再通过介绍自编码器的应用场景来加深对自编码器的理解，并通过与CNN的结合引出反卷积和反池化的概念，最后，通过具体应用引出可变自编码器（一种利用自编码器的生成模型）。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。第8章迁徙学习222（课外作业）各种迁徙学习类型的典型模型；层迁徙在具体应用场景下的区另除多任务学习和渐进神经网络的异同领域对抗训练的理解；迁徙学习针对具体应用场景的灵活运用教学思路：首先从为什么需要迁徙学习入手引出迁徙学习的基本概念，然后分别从源数据集和目标数据集是否有标签作为迁徙学习分类依据将迁徙学习分类4类，并分别讲解每种类型下的代表性模型。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲

A-H-章节教学内容总学时学时分配教学重点教学难点教学方案设计（含教学方法、教学手段）讲课（含研讨）实践授；0.5学时课堂回答问题；2学时课外作业。第9章结构化学习222（课外）结构化学习的概念和基本框架；结构化学习的算法结构化学习的算法和针对具体应用场景的灵活运用教学思路：首先介绍结构化学习的基本概念和典型应用，然后给出结构化学习的基本框架，再通过具体案例进行讲解并与深度神经网络建立起关联，最后再进一步介绍结构化的线性模型和支持向量机模型。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外作业。第10*章循环神经网络RNN422（课内实验）RNN的核心思想；LSTM的原理RNN与结构化学习的关联以及针对具体应用场景的灵活运用教学思路：首先通过具体案例引出RNN的必要性和RNN的基本概念，并在此基础上进一步引出双向RNN和LSTM的基本概念，然后通过指出RNN在训练的过程中容易出现的问题引出GRU、ClockwiseRNN、SCRN等解决方案，接着，通过RNN的具体应用案例来进一步理解RNN，最后，讨论一下RNN与注意力模型、存储网络、结构化学习的关联（通过自然语言处理中的具体案例序列标签问题）。教学模式：课堂内知识讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课内实验。第11*章深度强化学习222（课外）强化学习的基本思想；深度强化学习的不同之处深度强化学习训练的困难以及针对具体应用场景的灵活运用教学思路：首先介绍一下强化学习的基本概念，再通过机器打游戏等案例来进一步理解强化学习，然后通过基于策略、基于值以及两者结合的的三种强化学习类型分别讲解。教学模式：课堂内知识章节教学内容总学时学时分配教学重点教学难点教学方案设计（含教学方法、教学手段）讲课（含研讨）实践讲授和课堂内学生回答问题，并结合实际动手操作；1.5学时课程讲授；0.5学时课堂回答问题；2学时课外实验。注：实践包括实验、上机等五、实践教学内容和基本要求1．共享单车使用情况预测：根据给定的共享单车使用情况的数据集，利用前向神经网络预测共享单车使用情况；.基于CNN的物体识别：基于卷积神经网络编码实现对图像中的物体进行识别；.基于词嵌入的语义分析：基于词嵌入方法，根据给定的自然语言文本数据集，编码实现对自然语言文本的语义聚类分析和词语之间关系分析；.基于RNN的机器翻译：基于循环神经网络，根据给定的自然语言文本数据集，编码实现中英文的机器翻译功能。六、考核方式及成绩评定根据课程类型、课程性质、课程内容及特点，确定适合的考核内容、考核方式及成绩评定。考核内容