自然语言处理-基于深度学习的理论与案例 教学大纲

自然语言处理教与学教学大纲课程代码：课程名称：自然语言处理英文名称：NaturalLanguageProcessing课程性质：选修学分课时：3学分，48课时教学对象：大数据、人工智能等计算机类专业，及其交叉学科专业的大三本科学生或硕士研究生考核方式：出勤及平时专题讨论并做展示汇报占总评成绩的50%、期末开卷或论文考试占总评成绩的50%教学方式：课堂讲授占比50%，实践讨论占比50%。教学中要求理论联系实际，采用导入式教学、案例教学和讨论教学法。教师将会使用电脑放映教学PPT。出勤要求：要求学生关闭自有一切电子设备；不能无故缺席上课；上课专心听讲，积极参与课堂讨论；课后认真复习课堂上讲授内容，独立完成教师布置的任务；并预习新课。学生缺勤不得多于总课时的四分之一。教师可以根据考勤情况决定学生是否可以参加考试、是否扣分。01课程简介本课程主要介绍了利用深度学习进行自然语言处理的模型、原理、任务和应用等方面的具体细节和基本要点。同时，它包括利用深度自然语言处理技术进行实际任务处理。这是针对具有计算机编程语言基础的研究生的专业选修课程，内容包括：自然语言处理基础知识、依存句法分析、表征学习、神经网络语言模型、前馈神经网络、循环神经网络、转换器、大语言模型等。1.教学目标因此，本课程的教学目标是，通过教学使学生对深度学习自然语言处理的基本概念和基本方法有正确的理解和较深刻的认识，对编程使用深度学习模型来完成自然语言处理任务有较系统的掌握。2.先修课程Python或其他一门编程语言。3.课程学习资料（1）教材指定教材：雷擎，《自然语言处理——基于深度学习的理论与案例》，清华大学出版社，2024年3月。（2）参考教材[1]屠可伟等，动手学自然语言处理，人民邮电出版社，2024年05月（3）在线慕课网站：/detail/2375759814.课程答疑答疑邮箱：qleii@126.com在线课程论坛02教学内容第1章自然语言处理基础知识【教学目标和要求】：复习python语言及常用第三方库，了解自然语言处理的发展历史和任务，了解自然语言处理的数学和计算机基础知识，掌握数学基础的向量、维度、矩阵、期望、方差、梯度等理论和计算方法。教学方式：讲授，编程实验准备知识：无【主要内容】：

1.0python复习

1.1自然语言处理概述

1.2数学基础之线性代数

1.3数学基础之概率分布

1.4数学基础之梯度下降

1.5梯度下降算法示例

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第2章依存句法分析【教学目标和要求】：了解句法分析、依存句法分析的概念，学会依存关系形式化表达、依存树方法，理解基于转移的依存句法分析、神经依存句法分析的原理与架构。教学方式：讲授准备知识：无【主要内容】：

2.1什么是句法分析

2.2依存语法

2.3基于转移的依存句法分析

2.4神经依存句法分析

【教学时数】：2作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第3章表征学习【教学目标和要求】：掌握表征学习概念，了解表征学习的作用和种类、自监督表征学习的方法，掌握主成分分析PCA的原理，及PCA在表征学习中的作用和实现。教学方式：讲授，编程实验准备知识：无【主要内容】：3.1表征学习概念

3.2NLP自监督表征学习

3.3主成分分析PCA

3.4PCA应用实例

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第4章神经网络语言模型【教学目标和要求】：学习词袋模型和TF-IDF的原理和方法，理解词嵌入，掌握Word2Vec原理，及使用Word2Vec进行自然语言向量化的应用方法。教学方式：讲授，编程实验准备知识：无【主要内容】：

4.1词袋模型和TF-IDF

4.2词嵌入

4.3Word2Vec

4.4Word2Vec应用实例

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第5章前馈神经网络【教学目标和要求】：掌握感知器的概念、组成和作用原理，了解常用激活函数，掌握前馈神经网络的概念，前向传播与反向传播的原理和过程。教学方式：讲授，编程实验准备知识：无【主要内容】：

5.1感知器

5.2反向传播过程

5.3学习原理

5.4模型构建实例

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第6章循环神经网络RNN

【教学目标和要求】：了解序列学习和序列学习的任务，了解RNN神经元架构，理解RNN原理pandas库，掌握困惑度的评价原理和方法，实现RNN语言模型构建。教学方式：讲授，编程实验准备知识：无【主要内容】：

6.1序列学习

6.2RNN原理

6.3RNN语言模型

6.4RNN语言模型构建

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第7章RNN进阶【教学目标和要求】：掌握LSTM、Seq2Seq、注意力机制的概念，理解这些模型的工作原理和过程，了解Seq2Seq模型任务。教学方式：讲授，编程实验准备知识：无【主要内容】：

7.1LSTM

7.2Seq2Seq模型

7.3注意力机制

7.4Seq2Seq模型任务

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第8章转换器【教学目标和要求】：掌握转换器的概念，掌握转换器的组成和架构，理解转换器工作的原理，理解自注意力机制的原理，掌握BLUE评价指标的计算方法。教学方式：讲授，编程实验准备知识：无【主要内容】：

8.1转换器概述

8.2转换器工作原理

8.3自注意力机制

8.4BLEU分数

【教学时数】：4作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整第9章大语言模型【教学目标和要求】：了解大语言模型的概念和目前流行的大语言模型，了解Bert大语言模型的架构和应用。教学方式：讲授，编程实验准备知识：无【主要内容】：

9.1什么是大语言模型

9.2Bert大语言模型

【教学时数】：2作业与思考题：见课件，教师根据学生接受情况有调整参考资料：见课件，教师根据学生接受情况有调整✦参考书籍本书主要介绍神经网络、深度学习和自然语言处理的基本原理、方法和应用，全书分为3部分，每部分涵盖了不同的主题:

第1部分(第1～3章)介绍神经网络和深度学习的基础知识，包括人工神经网络的起源和发展，神经网络的表示方法、数学基础理论和机器学习基础，以及表征学习的概念；第2部分(第4章和第5章)介绍自然语言处理和转换器网络；第3部分(第6～10章)介绍自然语言处理的案例分析，包括文本分类任务、实体识别、文本生成和文本摘要的方法和技术、基于评审的问答系统等。本书是学习并实践神经网络、深度学习和自然语言处理的实用指南，每章都给出了代码示例和实际案例，帮助读者理解和实践所学的知识。本书采用渐进式讲解，理论与实践结合，强调自然语言处理，并且关注前沿技术和趋势，适合作为高等学校神经网络、深度学习和自然语言处理相关课程的教材，也是相关专业人员很好的参考用书。第1部分神经网络与深度学习第1章人工神经网络/31.1起源和发展31.2什么是深度学习51.3神经网络的表示81.4数学基础理论121.4.1数据类型121.4.2函数基础151.4.3线性代数201.4.4梯度计算281.4.5概率分布301.4.6代码示例361.5机器学习基础381.5.1什么是分类401.5.2一个简单的分类器:

朴素贝叶斯451.5.3一个简单的神经网络:

逻辑回归471.5.4评估分类结果541.6表征学习571.6.1主成分分析581.6.2词袋的表征66第2章前馈神经网络/692.1单层感知器692.2三层神经网络752.3激活函数802.3.1线性函数802.3.2逻辑函数812.4更新权重872.4.1学习规则872.4.2反向传播952.4.3梯度下降1022.5代码示例1052.6修改和扩展1072.6.1预期泛化误差1082.6.2正则化的思想1132.6.3调整超参数1192.6.4其他的问题123第3章深度学习网络/1263.1深度的定义1273.2卷积神经网络1283.2.1什么是卷积计算1293.2.2感受野与卷积层1313.2.3特征图和池化层1363.2.4一个卷积网络1383.2.5用于文本分类1413.3循环神经网络1433.3.1不等长序列1433.3.2循环连接的构成1453.3.3长短期记忆网络1483.3.4三种训练方法1523.3.5一个简单的实现1553.4深度分布式表征1603.4.1自编码器1603.4.2神经语言模型167第2部分自然语言处理与转换器网络第4章自然语言处理/1794.1历史发展1794.2常见任务1834.2.1字符和语音识别1834.2.2形态分析1834.2.3句法分析1854.2.4词汇语义1864.2.5关系语义1874.2.6话语1884.2.7高级任务1904.3未来趋势1924.4认识转换器1954.4.1编码器到解码器框架1964.4.2注意力机制1984.4.3迁移学习2014.4.4Hugging

Face生态2054.4.5面对挑战211第5章转换器网络/2125.1转换器介绍2125.2理解编码器2155.2.1输入嵌入层2175.2.2位置编码2185.2.3多头自注意力层2215.2.4残值连接与层归一化2305.2.5前馈网络层2325.3理解解码器2335.3.1掩码多头注意力层2355.3.2多头注意力层2395.3.3线性层和Softmax层2425.3.4运行流程2435.4训练转换器2445.5转换器家族2465.5.1编码器分支2465.5.2解码器分支2535.5.3编码器到解码器分支2555.6概括258第3部分自然语言处理案例分析第6章文本分类案例分析/2616.1数据集2616.1.1查看数据2626.1.2转换到数据框2656.1.3查看类别分布2666.1.4查看推文长度2666.2从文本到标记2676.2.1字符标记化2676.2.2词标记化2696.2.3子词标记化2706.2.4整个数据集2726.3训练分类器2746.3.1特征提取器2756.3.2微调转换器283第7章实体识别案例分析/2887.1数据集2887.2多语言转换器2927.3标记化管道2947.4模型类剖析2977.4.1模型体和头2977.4.2创建自定义模型2977.4.3加载自定义模型2997.5标记文本3017.6绩效衡量3037.7微调XLMR3047.8错误分析305第8章文本生成