人工智能数据标注实战教程 课件 第四章 自然语言处理任务标注

第四章自然语言处理任务标注任务一

命名实体识别标注内容概括命名实体识别标注概念典型应用场景标注方式标注操作1.命名实体识别标注概念“人人心中都有一个衡量语言的天平”--艾青1.命名实体识别标注概念命名实体识别（NamedEntityRecognition，NER）是NLP中一项非常基础的任务。从自然语言处理的流程来看，NER可以看作词法分析中未登录词识别的一种，是未登录词中数量最多、识别难度最大、对分词效果影响最大问题。同时命名实体识别也是关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多NLP任务的基础。命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。1.命名实体识别标注概念学术上NER所涉及的命名实体一般包括3大类（实体类，时间类，数字类）和多个小类。2.典型应用场景中医药数据领域广泛应用深度学习等新技术开展研究，中医古籍文本作为中医药的重要组成部分之一。近年随着古籍数字化研究的不断深入，如何让计算机识别、理解古籍文本内容成为中医药数据处理的难题，这也是古籍数字化下一步深度知识挖掘工作的重点。随着自然语言处理领域的发展，命名实体识别技术被引入中医古籍文本研究中。宋刻《备急千金要方》2.典型应用场景百度2019年基于自己的深度学习框架构造了ERNIE模型，它是在BERT预训练模型的基础上产生的另一个通过多任务学习方式充分捕捉语料信息的优化模型。3.数据标注方式NER是一种序列标注问题，数据标注方式遵照序列标注问题的方式，目前主要分为是BIO和BIOES两种。这里主要介绍BIOES。3.数据标注方式【例1】在下面文本中挑出主要实体小明在北京大学的燕园看了中国男篮的一场比赛“小明”以PER，“北京大学”以ORG，“燕园”以LOC，“中国男篮”以ORG[B-PER，E-PER，O,B-ORG，I-ORG，I-ORG，E-ORG，O，B-LOC，E-LOC，O，O，B-ORG，I-ORG，I-ORG，E-ORG，O，O，O，O]3.数据标注方式【例1】在下面文本中挑出主要实体小明在北京大学的燕园看了中国男篮的一场比赛B-PERE-PEROB-ORGI-ORGI-ORGE-ORGOB-LOCE-LOCOOB-ORGI-ORGI-ORGE-ORGOOOOO4.实践标注操作（1）准备数据demo.txt使用“utf-8withoutBOM”编码录入小明在北京大学的燕园看了中国男篮的一场比赛（2）创建项目label-studiostart4.实践标注操作在弹出页面中的“ProjectName”标签页中，录入项目名称为“命名实体识别Demo”。4.实践标注操作选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件demo.txt，然后进行提交导入。4.实践标注操作在选择导入文件后，在“UploadMoreFiles”按钮旁出现“TreatCSV/TSCas”选框，选中“ListofTask”项。4.实践标注操作切换到“LabelingSetup”标签页，指定项目模板类型为“NamedEntityRecognition”。4.实践标注操作在选择后的配置页面中，维护标签类型。完成标签配置后，单击“Save”按钮保存项目。4.实践标注操作（3）开始标注在标注时，首先选择标签，然后在文本中划词选中相关文本。例如，选择“PER”标签，然后在文本中划词选中“小明”。4.实践标注操作一般每次标注一个词语，需要重新选中标签，才能开始标注。为加快标注速度，可以通过配置选项，使得选中标签固定，这样可以连续多次划词标注，提高标注效率。4.实践标注操作标注完“小明”之后，按照相似描述步骤继续操作直到完成所有实体标记操作4.实践标注操作标注能完成后，单击“Submit”按钮进行提交保存。保存后，按钮文字由“Submit”切换为“Update”4.实践标注操作（4）导出结果单击左侧返回列表页面，标注后的结果在“Completed”列将出现标注时间。4.实践标注操作单击“Export”按钮，在弹出菜单中选择csv格式。4.实践标注操作导出结果为csv文件，具体格式如下：text,id,label,annotator,annotation_id,created_at,updated_at,lead_time小明在北京大学的燕园看了中国男篮的一场比赛,1,"[{""start"":1,""end"":3,""text"":""小明"",""labels"":[""PER""]},{""start"":4,""end"":8,""text"":""北京大学"",""labels"":[""ORG""]},{""start"":13,""end"":17,""text"":""中国男篮"",""labels"":[""ORG""]},{""start"":9,""end"":11,""text"":""燕园"",""labels"":[""LOC""]}]",1,4,2022-04-29T13:15:08.415121Z,2022-04-29T13:15:08.415121Z,905.472小结知识目标：（1）明确命名实体识别标注概念（2）了解典型应用场景（3）掌握标注方式（4）掌握标注操作思政目标：（1）了解中国传统人文精神（2）了解中国优秀传统文化第四章自然语言处理任务标注任务二

文本分类数据标注内容概括文本分类数据标注概念典型应用场景标注方式标注操作1.文本分类数据标注概念文本分类，也称文档分类，是自然语言处理任务中最基本的任务。文本分类简单来讲，即将给定文档分类为既定n个类别中的一个或多个。1.文本分类数据标注概念文本分类任务的核心是要找到一个有效的映射函数，准确地实现文本域到分类的映射，这个映射函数实际上就是通常所说的分类器。文本分类最早实现是通过专家规则进行分类，利用知识工程建立专家系统，但覆盖的范围和准确率都有限。后来伴随着统计学习方法的发展，特别是90年代后互联网在线文本数量增长和机器学习学科的兴起，逐渐形成了特征工程为特点的浅层分类模型的做法。1.文本分类数据标注概念自2014年，CNN方法开始应用在自然语言处理领域，此后近20年深度学习方式在该任务得到了广泛采用。前馈神经网络和递归神经网络是用于文本分类任务的两种深度学习方法，与浅层学习模型相比，它们可以提高性能。随着深度学习的不断发展，通过改进CNN，RNN和注意力，或模型融合和多任务方法等，文本分类性能不断得到提高。2.典型应用场景目前，文本分类任务在多种常见应用场景中得到运用，包括情感分析、话题标记、新闻分类、问答系统、对话行为分类、自然语言推理、关系分类和事件预测等。场景典型例子情感分析文本：局长指着卫生员说：“你认识我么？”问题：该说话人是否高兴？方法：可以设置“高兴”和“不高兴”两种标签，构建模型加以判断意图识别文本：教师拿着粉笔，走向讲台。问题：教师想干什么？方法：整理教师的常见意图，例如"讲课"和"准备下课"，构建模型加以判断问答匹配文本：强敌当前，毛主席发表《论持久战》。问题：《论持久战》作者是谁？方法：采用两个阶段，第一个阶段识别文档中的所有人名，第二个阶段建模判断。2.典型应用场景文心（ERNIE）是依托百度深度学习平台飞桨打造的语义理解技术与平台，集先进的预训练模型、全面的NLP算法集、端到端开发套件和平台化服务于一体。文心使用“高精度”文本分类算法可得到90%以上的准确率。3.数据标注方式（1）确定任务类型务类型会影响标记标签的已选择项数，所以在开始任务初，需要首先明确分类任务是单标签任务还是多标签任务。3.数据标注方式【例1】新闻文本分类单标签标注任务北师大大赞山西生源“综合素质高”，今年大幅增加在晋招生计划，拟招63人，“山西生源综合素质高，所以我们今年大幅增加了在山西的统招计划，计划招生63人，其中文科生为23人，理科生为40人。”。6月9日，北京师范大学招生办公室主任虞立红解释说，“可能你们觉得63人不多，但北师大今年的统招计划总共才1600多名，将面向全国31个省市进行招生，所以山西的招生计划确实已经不少了！”。而去年，该校在我省的招生计划为36人。'娱乐'，'体育'，'教育'，'时政'，'科技'，'房产'，'社会'，'股票'，'财经'，'家居'，'游戏'，'时尚'，'彩票'，'星座'3.数据标注方式进行标注，并按指定格式输入标注结果。例如，采用txt文档，在原文本和标注标签之间采用TAB制表符进行间隔。北师大大赞山西生源“综合素质高”，今年大幅增加在晋招生计划，拟招63人，“山西生源综合素质高，所以我们今年大幅增加了在山西的统招计划，计划招生63人，其中文科生为23人，理科生为40人。”。6月9日，北京师范大学招生办公室主任虞立红解释说，“可能你们觉得63人不多，但北师大今年的统招计划总共才1600多名，将面向全国31个省市进行招生，所以山西的招生计划确实已经不少了！”。而去年，该校在我省的招生计划为36人。{TAB}教育4.实践标注操作（1）准备数据demo.txt使用“utf-8withoutBOM”编码录入北师大大赞山西生源“综合素质高”，今年大幅增加在晋招生计划，拟招63人，“山西生源综合素质高，所以我们今年大幅增加了在山西的统招计划，计划招生63人，其中文科生为23人，理科生为40人。”。6月9日，北京师范大学招生办公室主任虞立红解释说，“可能你们觉得63人不多，但北师大今年的统招计划总共才1600多名，将面向全国31个省市进行招生，所以山西的招生计划确实已经不少了！”。而去年，该校在我省的招生计划为36人。4.实践标注操作（2）创建项目在弹出页面中的“ProjectName”标签页中，录入项目名称为“文本分类Demo”。4.实践标注操作选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件demo.txt，然后进行提交导入。4.实践标注操作在选择导入文件后，在“UploadMoreFiles”按钮旁出现“TreatCSV/TSCas”选框，选中“ListofTask”项。4.实践标注操作切换到“LabelingSetup”标签页，指定项目模板类型为“TextClassification”。4.实践标注操作在选择项目类型后，进入标签维护界面。在“Choices”列表中，通过跟在标签项后的删除按钮删除默认标签选项。4.实践标注操作在“Choices”列表中，通过跟在标签项后的删除按钮删除默认标签选项。然后通过“Addchoices”进行新增标签。4.实践标注操作为了加快标签维护速度，可以通过单击“Code”按钮切换到Code视图，进行复制操作。标签维护完成后，单击“Save”按钮完成项目保存。4.实践标注操作（3）开始标注在样本列表中单击选则待标注样本，开始标注。4.实践标注操作在标注界面的可选标签中，勾选”教育“标签，如下图所示：选择完成后，单击”Submit“进行保存提交。4.实践标注操作（4）导出结果返回列表页面，已经标注的记录第三列从开始的“0”修改为“1”，表示标签的数量。4.实践标注操作单击“Export”按钮，在弹出菜单中选择JSON格式。小结知识目标：（1）明确文本分类数据标注概念（2）了解典型应用场景（3）掌握标注方式（4）掌握标注操作思政目标：（1）了解新中国发展史的历史缩影（2）了解中国国产信创软件发展第四章自然语言处理任务标注任务三

文本关系抽取标注内容概括文本关系抽取标注概念典型应用场景标注方式标注操作1.文本关系抽取标注概念关系抽取与信息抽取有紧密的联系。信息抽取（informationextraction,简称IE），即从自然语言文本中，抽取出特定的事件或事实信息。这些信息通常包括实体（entity）、关系（relation）、事件（event）。例如从新闻中抽取时间、地点、关键人物，或者从技术文档中抽取产品名称、开发时间、性能指标等。在实际操作中，信息抽取包括三个子任务：关系抽取：抽取文本中包含的实体间的关系，构成三元组。实体抽取：即命名实体识别。事件抽取：一种多元关系的抽取。1.文本关系抽取标注概念关系抽取的结果是得到三元组。三元组有三个部分组成，分别为句子的主语（subject）、谓语（predicate）和宾语（object）。取各自的英文单词首字母，所以也称此三元组为SPO三元组。【例1】实现下面语句的关系抽取天津地处华北地区实体抽取首先检测出这句话具有“天津”和“华北地区”两个实体。然后根据关系判断检测出这句话中的“天津”和“华北地区”两个实体具有“地处”关系。1.文本关系抽取标注概念按照实体关系是否重叠，关系抽取又划分为以下子类型：天津地处华北地区。该例为Normal型。因为文本中只存在一种实体关系。重叠类型含义Normal实体间只存在一种关系。EPO实体间只存在超过一种关系。SEO实体中只有一个实体对另外多个实体存在关系，其他实体对此实体是单一关系。1.文本关系抽取标注概念【例2】找出如下语句关系中的重叠类型邓超导演并主演了《银河补习班》此文本中存在两个实体分别为“邓超”和“《银河补习班》”。但在两个实体之间存在两种谓词，一个是“导演”，另一个是“主演”。两组三元组为（邓超，导演，《银河补习班》）和（邓超，主演，《银河补习班》）构成两组三元组，因此上述关系为EPO类型。1.文本关系抽取标注概念【例3】找出如下语句关系中的重叠类型海河是华北最大的河流，长度在10千米以上的支流有300多条。此文本中存在三个实体分别为“海河”、“河流”和“支流”。其关系可用下图表示：2.典型应用场景现在，关系抽取的相关热门应用就是构建专有领域的知识图谱。例如，近年已经有关注野生动植物保护相关知识图谱产品。野生动植物保护一直是我国发展中的重要主题，同时也是一项严峻的任务。目前《濒危野生动植物物种国际贸易公约》中列出640个世界濒危物种，而我国就占了156种，约占总体的24%。按照相关学界推演统计，如果一旦某一种物种消失，就可能存在10种以上依附的物种面临致命危险。2020年10月23日即“世界雪豹日”这一天，腾讯为推动野生动植物保护，联合WWF推出的“神秘雪豹在哪里”小程序正式上线。3.数据标注方式（1）定义实体类别标签和关系标签特定的关系抽取只关注某领域，一般需要提前定义类别标签和关系标签。例如，3.数据标注方式（2）标注实体{邓超}导演并主演了{《银河补习班》}.（3）标注关系该步骤利用之前的规则类别在实体间进行标注，形成三元组{邓超，导演，《银河补习班》}和{邓超，主演，《银河补习班》}。PERSONPRODUCT4.实践标注操作（1）准备数据demo.txt使用“utf-8withoutBOM”编码录入邓超导演并主演了《银河补习班》（2）创建项目启动labelstudio，选择“Create”按钮创建新项目。在弹出页面的“ProjectName”标签页中，输入“关系提取Demo”。4.实践标注操作选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件demo.txt，然后进行提交导入。4.实践标注操作在选择导入文件后，在“UploadMoreFiles”按钮旁出现“TreatCSV/TSCas”选框，选中“ListofTask”项。4.实践标注操作切换到“LabelingSetup”标签页，指定项目模板类型为“RelationExtraction”。4.实践标注操作在选择项目类型后，进入标签维护界面。在“Choices”列表中，通过跟在标签项后的删除按钮删除默认标签选项。4.实践标注操作通过界面“Addlabelnames”和“Labels”列表删除按钮维护标签，如上图所示。左边的“Addlabelnames”编辑框可以添加新的实体标签，右边的“Labels”列表可以查看目前维护的实体标签并可以删除不用的标签项。4.实践标注操作为了快速完成标签设置，选择单击如上图所示“Code”按钮，显示代码视图来完成关系标签的维护。将Relations部分改为：4.实践标注操作（3）开始标注 项目保存后，将出现项目样本列表界面。在样本列表中选中标注样本，可以进入到样本标注界面。4.实践标注操作在开始实体标注时，首先选择实体标签，例如“Person”。然后在文本中划词选中相应部分，如“邓超”。4.实践标注操作在维护了该实体后，除在文本中高亮显示选中的部分词语外，在右侧列表中将出现选中的实体内容。循环上述操作直到完成所有类型实体标记操作。4.实践标注操作在标注实体关系时，需要在右侧实体列表中选中某实体，如“Person邓超”。然后单击在实体列表上方的连接按钮，此时鼠标样式变为十字形状，然后在文本中单击选中的另外的实体，如“《银河护卫队》”4.实践标注操作经过上述操作，将在稳重建立一个有向连接，同时在Relations列表中将出现一个连接实例。如下图所示：4.实践标注操作单击Relations中新建的连接旁的按钮，选择关系标签。4.实践标注操作（5）导出结果单击项目导航中的“关系提取Demo”，返回列表页面，如下图所示。单击“Export”按钮，在弹出菜单中选择JSON格式。小结知识目标：（1）明确文本关系抽取标注概念（2）了解典型应用场景（3）掌握标注方式（4）掌握标注操作思政目标：（1）了解祖国人文风貌（2）理解人与自然和谐发展（3）了解中国国产智能软件发展第四章自然语言处理任务标注任务四

文本摘要数据标注内容概括文本摘要数据标注概念典型应用场景标注方式标注操作1.文本摘要数据标注概念20世纪90年代以来，随着互联网的快速发展，自动文摘的应用价值越来越广，深度学习的热潮更是为自动文本摘要的研究带来了新的机遇。目前，自动文本摘要实现方法主要分为抽取式方法、生成式方法及两者结合的方法。抽取式方法是从原始文档中提取关键文本单元来组成摘要，文本单元包括但不限于字词、短语、句子等。这种方法产生的摘要通常会保留源文章的显著信息，有着正确的语法，但不可避免的是容易产生大量的冗余信息，且对于短文本摘要不太友好。这种方法天然的在语法、句法上错误率低，保证了一定的效果。传统的抽取式摘要方法使用图方法、聚类等方式完成无监督摘要。目前流行的基于深度神经网络的完成上述任务。1.文本摘要数据标注概念【例1】抽取式摘要狗不理包子，为天津名优食品“三绝”之首，它在制馅、和面、揉肥、擀皮、捏包、上灶等各方面均有自己独特的操作方法。采用抽取式摘要，其摘要结果如下：狗不理包子为天津名优食品“三绝”之首,有独特的操作方法。1.文本关系抽取标注概念【例2】生成式摘要同样针对例1中的文字，采用生成式摘要可以产生如下结果：狗不理包子是具有独特操作方法的天津名优食品“三绝”之首。2.典型应用场景随着目前网络数字空间中文本数据的爆炸式增长，为了使人们可以轻易获知文本大意，文本自动摘要工具应运而生。例如，如果想从在线新闻报道中搜寻一些特定信息，需要花费大量时间剔除无用信息之后，才能找到自己想要了解的信息。因此实现提取有用信息并剔除无关紧要和无用数据的自动文本摘要工具变得非常重要。2.典型应用场景随着目前网络数字空间中文本数据的爆炸式增长，为了使人们可以轻易获知文本大意，文本自动摘要工具应运而生。例如，如果想从在线新闻报道中搜寻一些特定信息，需要花费大量时间剔除无用信息之后，才能找到自己想要了解的信息。因此实现提取有用信息并剔除无关紧要和无用数据的自动文本摘要工具变得非常重要。3.数据标注方式（1）标识关键信息首先理解文本含义。根据文本含义，标识关键词语。例如：{狗不理包子}，为{天津名优食品“三绝”之首}，它在制馅、和面、揉肥、擀皮、捏包、上灶等各方面均{有自己独特的操作方法}。3.数据标注方式（2）形成摘要内容语句明确文字字数上限，结合语境和文本主旨，重新组织关键词汇，有必要时可以加入新的内容。例如如果要求20字以内，可形成如下摘要内容:狗不理包子为天津名优食品“三绝”之首。4.实践标注操作（1）准备数据demo.txt使用“utf-8withoutBOM”编码录入狗不理包子，为天津名优食品“三绝”之首，它在制馅、和面、揉肥、擀皮、捏包、上灶等各方面均有自己独特的操作方法。（2）创建项目启动labelstudio，选择“Create”按钮创建新项目。在弹出页面的“ProjectName”标签页中，输入“文本摘要Demo”。4.实践标注操作选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件demo.txt，然后进行提交导入。4.实践标注操作在选择导入文件后，在“UploadMoreFiles”按钮旁出现“TreatCSV/TSCas”选框，选中“ListofTask”项。4.实践标注操作切换到“LabelingSetup”标签页，指定项目模板类型为“RelationExtraction”。4.实践标注操作在选择后的页面中选择维护模板类型，将进入如下所示界面：4.实践标注操作（3）开始标注项目保存后，将出现项目样本列表界面。在样本列表中选中标注样本，可以进入到样本标注界面。4.实践标注操作在“Provideonesentencesummary”下方文本框中，输入摘要结果。如下图所示：4.实践标注操作（5）导出结果单击项目导航中的“文本摘要Demo”，返回列表页面。单击“Export”按钮。小结知识目标：（1）明确文本摘要数据标注概念（2）了解典型应用场景（3）掌握标注方式（4）掌握标注操作思政目标：（1）了解中国国产信创软件发展第四章自然语言处理任务标注任务五

生成对话数据标注内容概括生成对话数据标注概念典型应用场景标注方式标注操作1.生成对话数据标注概念自然语言智能对话作为新一代的人机交互媒介，已经创建了广泛的应用程序。长期以来，研究人员一直在探索机器产生自然回复的不同方法，包括基于检索的回复，端到端的生成回复，以及问答和推荐系统。一般来说，人机交互的智能对话系统场景一共分为三大类别，具体如下表所示：1.生成对话数据标注概念进入21世纪之后，随着机器学习技术的发展，以及可得到的互联网对话语料越来越多，数据驱动的智能对话技术愈发成熟。其中，最有代表性有基于检索的智能对话技术和基于生成的智能对话技术。各技术优缺点如下所示：2.典型应用场景从智能家居设备到智能电话助手，从客户服务到情感陪伴，人们生活周围已经出现了各式各样的聊天机器人和各类智能对话应用，而聊天机器人的核心技术源自智能对话。2.典型应用场景近年，校园学生心理问题逐年增加。尤其是2020年初，新冠疫情席卷而来，全国院校转向以网络形式开展线上授课，严重地打乱了学生们的正常学习，由此引发的恐惧、焦虑、抑郁等心理问题更加凸显。无法得到及时有效的线下心理咨询和开导，导致更为严重的心理失衡状态和心理应激反应。面对该类问题，起硕科技研发的小E机器人平台通过人工智能与应用心理学、脑科学交叉结合，运用自然语言理解、对话状态跟踪、对话策略和自然语言生成等技术，以人机对话的形式，通过“主动引导对话”、“心理主题单轮对话”、“心理情绪疗法多轮对话”和“生成式智能对话”的模型，对学生群体提供心理健康服务，并可扩展到其他重点人群。3.数据标注方式（1）明确对话场景生成对话标注前，一般需要熟悉领域相关知识和习惯用语。在对话系统中，回答内容的好坏与上文的内容有着直接的关联。在标注时最主要的一个限制条件就是上下文的内容。评判一个对话系统生成答案好与坏的时候，测试者需要结合上文的内容才能对答案作出比较公正和正确的判断。这当中不仅需要判断当前对话内容的质量，还涉及到对话所表达内容逻辑的一致性与情感的合理性。上下文内容对于多轮对话的生成起着至关重要的影响。一组对话内容被放在不同的对话情境下会表现出皆然不同的效果。因此，在对一组对话内容进行评测时，有必要充分理解其所在的对话情境。3.数据标注方式【例1】某电商客户与客服对话客户：我的快递什么时候到啊?下单的时候说是1号可以到，现在都5号了，还没到。客服：有什么问题我可以帮您处理或解决呢?客户：下单的时候说是1号可以到，现在都5号了，还没到。麻烦你帮我催一下。这段对话描述了在线客服的与客户交流的场景。在已知对话中，明显客户处于焦急的情绪中。所以在标注时用语首先要安慰或缓解客户的情绪，并且要符合公司客服的身份。3.数据标注方式（2）根据上下文标注对应角色对话上述对话即使对话上下文，一般在标注时是填写客服回答用语。例如针对上文，可作为客服的回复如下：客服：好的呢。小妹这边帮您催呢！3.数据标注方式（3）明确标注格式不同的预定义模型需要的输入样本格式不同，所以在正式标注前，需要明确所需的样本格式。例如：0 客户 我的快递什么时候到啊?下单时候说是1号可以到，现在都5号了，还没到。0 客服 有什么问题我可以帮您处理或解决呢?0 客户 下单的时候说是1号可以到，现在都5号了，还没到。麻烦你帮我催一下。0 客服 好的呢。小妹这边帮您催呢！1

客户

…………4.实践标注操作（1）准备数据demo.json由于labelstudio需要使用指定格式导入数据，所以随书配套脚本