《自然语言处理技术与应用》课程标准

《自然语言处理技术与应用》课程标准一、课程概述（一)课程性质本课程是高等职业院校人工智能专业的专业核心课之一，是该专业的一门必修课，是一门理论和实践相结合的课程。（二)课程任务本课程主要针对人工智能算法工程师、人工智能系统运维工程师、人工智能技术支持工程师、人工智能训练师、数据标注工程师等岗位开设，主要任务是培养学生在自然语言处理的需求分析、方案制定、文本数据处理、文本分类聚类算法选型、应用的能力。（三)课程设计思路本课程以高等职业院校“人工智能技术应用”专业的学生就业为导向，将教学内容与工作岗位对专业人才的知识要求与技能要求结合起来，将项目实践提升到一个较重要的位置，按照“理论—项目构建—项目实施”的组织结构进行课程设计。本课程共分5个项目，分别是基础NLP、文本分类与聚类、情感分析、中文命名实体识别、机器翻译，通过5个项目系统介绍了自然语言处理的实践技术。课程在介绍自然语言处理技术应用后，重点阐述自然语言处理技术的项目开发，突出了自然语言处理技术在实际项目中的应用。在内容的编排上淡化了学科性，避免介绍过多偏深的理论，而注重自然语言处理技术在具体运用中的要点、方法和技术操作，逐层分析和自然语言处理技术进行实际项目的开发。（四)前后续课程序号前续课程名称前续课程为本课程支撑的主要能力1机器学习技术应用机器学习应用能力2深度学习技术应用深度学习技术应用能力序号后续课程名称本课程为后续课程支撑的主要能力1智能语音与对话机器人智能语音对话机器人开发能力二、课程目标（一）总体目标本课程要求学习了解自然语言处理技术，培养学生具备高职人工智能技术专业所需要的自然语言处理的基本知识和技能，熟悉并能使用人工智能相关技术进行自然语言处理的相关操作，具备对人工智能技术领域出现的新技术、新思想进一步学习的能力。希望通过本课程的学习，加深对自然语言处理技术的理解，为进一步研究和从事人工智能技术实践提供良好的基础和参考。（二）具体目标1.知识目标1)了解常见的中文分词方法2)了解TF—IDF算法思想3)了解独热编码、Distributedrepresentation、word2Vec、doc2vec的原理4)了解分类、聚类的方法5)了解情感分析方法6)了解命名实体识别的定义及过程7)了解机器翻译方法2.能力目标1)具备文本处理、解析、向量化的能力2)具备划文本分类与聚类的能力3)具备情感分析的能力4)具备中文命名实体识别模型构建和训练的能力5)具备中英翻译模型构建和训练的能力6)具备使用yolov3定位图片中文字区域的能力7)具备使用mediapie手势检测功能的能力3.素质目标1)培养谦虚、好学、勤于思考、认真做事的良好习惯———严谨的开发流程和正确编程思路；2)培养团队协作能力———相互沟通、互相帮助、共同学习、共同达到目标；3)提升自我展示能力———讲述、说明、表述和回答问题；4)培养自我学习能力———利用书籍或网络上的资料帮助解决实际问题。三、课程内容及情境设计本课程以基础NLP、文本分类与聚类、情感分析、中文命名实体识别、机器翻译5个小项目为载体，与企业合作设计选取16个典型工作任务，根据岗位工作任务要求，确定学习任务内容；本课程采取项目驱动教学模式，以学生为主体，以任务为导向组织教学考核。项目一基础NLP单元序号第1单元项目名称基础NLP培养能力1.具备文本预处理的能力2.具备中文分词的能力3.具备关键词提取的能力4.具备文本向量化的能力项目任务知识要求技能要求学时文本预处理1.了解自然语言处理的基本概念，包括应用领域和基本技术2.了解NLTK的使用方法1.能够正确使用python函数进行字符串处理2.能够使用正则表达式进行字符串匹配3.能够完成利用NLTK库做英文文本处理2中文文本处理与解析1.了解词性标注的基本概念2.了解常用的分词工具3.了解常见的中文分词方法1.能够根据样例编写基于规则方法的分词代码2.能够使用jieba库进行默认分词和自定义分词3.能够掌握去除停用词的方法4.能够掌握jieba库进行词性标注的方法2关键词提取1.了解TF—IDF算法思想2.了解PageRank算法思想3.了解常见的关键词提取算法，包括有监督和无监督算法1.能够掌握关键词提取技术；2.掌握TF—IDF算法和抽取流程3.掌握TextRank算法和抽取流程2文本向量化1.了解文本向量化的概念与意义2.了解独热编码、Distributedrepresentation、word2Vec、doc2vec的原理3.了解常见语料库1.能够查找并下载相应的语料资源2.能够使用jieba、genism等工具进行数据预处理3.能够使用gensim的函数进行文本向量化模型训练4.能够利用已训练的模型进行测试2教学情境项目驱动、演示、边讲边做、自学探究项目总学时16项目二文本分类与聚类单元序号第2单元项目名称文本分类与聚类培养能力1.具备文本分类的能力2.具备使用LDA模型的能力3.具备文本主题分类能力4.具备文本聚类的能力项目任务知识要求技能要求学时中文垃圾邮件分类1.了解NLP中的机器学习常用方法2.了解分类器的方法，包括朴素贝叶斯、SVM、GBDT3.了解评估方法，如精度F1值、召回率1.能够正确使用sklearn库进行朴素贝叶斯模型训练与评估2.能够使用sklearn库进行SVM模型训练与评估3.能够完成利用sklearn库进行GBDT的模型训练与评估4LDA模型应用：一眼看穿邮件1.了解LDA模型的原理2.了解词袋模型1.能够正确编写文本预处理代码，清洗文本中无用的信息2.能够使用词袋模型建立语料库3.能够基于LDA模型开发文本主题模型，提取邮件的主题4文本主题分类1.了解Bert模型构架以及使用方法2.了解文本多分类的概念1.能够正确使用相关函数进行文本转数字化的操作2.能够使用Keras构建bert模型3.能够完成利用Keras进行模型训练4文本聚类1.了解聚类和文本聚类的基本概念2.了解NLP词袋模型的内容3.了解kmeans聚类的算法1.掌握文本清洗的方法2.掌握文本分词和去停词的方法3.掌握文本特征提取的方法4.掌握Kmeans聚类的方法教学情境项目驱动、演示教学、自学探究项目总学时12项目三情感分析单元序号第3单元项目名称情感分析培养能力1.具备情感分析的能力2.具备文本数据集划分的能力3.具备使用BiLSTM模型的能力项目任务知识要求技能要求学时基于机器学习进行京东评论情感分析1.了解情感分析相关概念2.了解情感分析方法3.了解情感分析研究层次1.能够了解机器学习逻辑回归、KNN、决策树、随机森林等方法2.能够掌握TfidfVectorizer（)和CountVectorizer（)是两个不同的特征提取器3.能够运用相关方法，对京东上购买手机的评论进行情感分析4.能够完成数据格式转换4酒店评论语料处理及数据集划分1.了解自然语言处理中的tokenize2.了解传统方法的局限3.了解字粒度、词粒度、子词粒度1.能够实现自然语言处理中的padding填充操作和truncating修剪操作2.能够实现数据集划分和保存4BiLSTM情感分析模型构建、训练及测试1.了解Gensim相关概念2.了解Gensim库应用3.了解BilSTM定义及原理简介4.了解LSTM介绍1.能够使用gensim加载预训练中文分词embedding2.能够搭建BiLSTM模型，参数配置，并进行训练3.能够基于训练结果，进行情感分析测试4教学情境项目驱动、演示、边讲边做、自学探究项目总学时12项目四中文命名实体识别单元序号第4单元项目名称中文自然场景文字检测及识别培养能力1.具备文本数据标注的能力2.具备搭建CRF+BiLSTM模型的能力3.具备中文命名实体识别能力项目任务知识要求技能要求学时数据处理及序列标注1.了解命名实体识别的定义及过程2.了解命名实体识别的流程3.了解序列标注、BIO标注4.了解其他标注方式1.能够熟悉常用的命名实体识别数据集2.能够熟悉BIO序列标注模式3.能够熟悉文本、标签的索引转换4.能够使用padding填充文本数据，并使用numpy保存数据集4CRF+BiLSTM模型构建与训练1.了解条件随机场是什么2.了解CRF定义3.了解CRF+BiLSTM模型介绍4.了解CRF作用1.能够了解条件随机场相关知识2.能够构建CRF+BiLSTM模型3.能够熟悉模型常见超参数并会设置4.能够进行模型训练并保存训练好的模型4中文命名实体识别模型测试1.了解CRF损失函数概述2.了解viterbi算法思想3.了解NER工具4.了解评估标准1.能够加载处理好的数据及训练好的模型2.能够定义中文命名实体识别的预测函数3.能够解析和提取中文命名实体识别4教学情境项目总学时12项目五机器翻译单元序号第5单元项目名称机器翻译培养能力1.具备语料预处理的能力2.具备tf。data数据集转化的能力3.具备中英翻译模型搭建和训练的能力项目任务知识要求技能要求学时中英机器翻译数据处理及保存1.了解机器翻译定义。2.机器翻译发展历史。3.训练集、测试集、验证集。4.机器翻译方法1.能够了解tensorflow中的Tokenizer类2.能够进行中文、英文机器翻译的语料预处理3.能够进行句子索引化，构建中、英两套对照编码4.能够搭建使用训练集和测试集的划分及保存4基于注意力的模型训练及翻译1.了解注意力机制定义2.了解sequencetosequence3.了解GRU结构4.了解基于注意力的encoder—decoder1.能够将数据集转化成tf。data数据集对象2.能够实现Attention注意力机制3.能够绘制注意力权重图4.能够完成中英翻译模型的训练和测试4教学情境项目总学时8四、教学实施建议（一)教学方法建议为培养学生人工智能产品生产、智能系统开发、智能数据分析应用、智能终端应用开发、项目实施运维、辅助测试岗位等岗位职业能力，实现与企业岗位工作“零距离对接”，本课程建议采用的特色教学方法有以下几种：（1）“设计项目任务驱动”教学法通过在真实的任务中探索学习，不断地提高学生成就感，更大地激发他们的求知欲望，逐步形成一个感知心智活动的良性循环，从而培养出独立探索、勇于开拓进取的创新能力。（2）项目教学法在教学中把知识与技能进行有机的结合，充分发掘学生的创造潜能，提高学生解决实际问题的综合能力，为学生零距离就业奠定基础。（3）讨论式与启发式教学相结合对于实践性强的内容，安排专题学生自学，然后由一个学生在课堂上讲述，大家再一起讨论、分析和评价，这样使每个学生都有兴趣积极参与，活跃课堂气氛，培养自学的能力。（4）模拟和实际相结合的环境教学法针对单片机开发实际岗位的工作环境，综合运用了模拟环境和实际环境的教学方法。（二)教材选用或编写建议本课程建议使用《自然语言处理技术应用》一书展开教学。《自然语言处理技术应用》，作者，出版时间，出版社本课程教材编写要以实际教学内容为依据，由专业教师和企业权威专家共同编写。教材设计思路应充分体现任务引领、实践导向，引入典型项目和产品案例，各知识点应配备相应的二维码扩展资源，二维码资源的展现形式有文字、视频、动画等，教材形式选用活页式教材，开发和合理运用各类信息化、智能化教学资源，满足多样化需求，创新服务供给模式，服务学生终身学习。（三)考核评价建议本课程评价采用“过程性评价和终结性评价相结合”的方式，各项评价所占权重如表1所示：表1课程评价所占权重分配表过程性评价（60%）终结性评价（40%）项目一项目二项目三项目四项目五综合实操考试平时考勤纪律10%10%15%15%10%30%10%各个综合任务的评价指标与评分标准如表2所示：表2项目评价表姓名考勤任务完成情况综合素质小组评价加分合计规范意