人工智能数据标注实战教程 课件 4.1命名实体识别标注

第四章自然语言处理任务标注任务一

命名实体识别标注内容概括命名实体识别标注概念典型应用场景标注方式标注操作1.命名实体识别标注概念“人人心中都有一个衡量语言的天平”--艾青1.命名实体识别标注概念命名实体识别（NamedEntityRecognition，NER）是NLP中一项非常基础的任务。从自然语言处理的流程来看，NER可以看作词法分析中未登录词识别的一种，是未登录词中数量最多、识别难度最大、对分词效果影响最大问题。同时命名实体识别也是关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多NLP任务的基础。命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。1.命名实体识别标注概念学术上NER所涉及的命名实体一般包括3大类（实体类，时间类，数字类）和多个小类。2.典型应用场景中医药数据领域广泛应用深度学习等新技术开展研究，中医古籍文本作为中医药的重要组成部分之一。近年随着古籍数字化研究的不断深入，如何让计算机识别、理解古籍文本内容成为中医药数据处理的难题，这也是古籍数字化下一步深度知识挖掘工作的重点。随着自然语言处理领域的发展，命名实体识别技术被引入中医古籍文本研究中。宋刻《备急千金要方》2.典型应用场景百度2019年基于自己的深度学习框架构造了ERNIE模型，它是在BERT预训练模型的基础上产生的另一个通过多任务学习方式充分捕捉语料信息的优化模型。3.数据标注方式NER是一种序列标注问题，数据标注方式遵照序列标注问题的方式，目前主要分为是BIO和BIOES两种。这里主要介绍BIOES。3.数据标注方式【例1】在下面文本中挑出主要实体小明在北京大学的燕园看了中国男篮的一场比赛“小明”以PER，“北京大学”以ORG，“燕园”以LOC，“中国男篮”以ORG[B-PER，E-PER，O,B-ORG，I-ORG，I-ORG，E-ORG，O，B-LOC，E-LOC，O，O，B-ORG，I-ORG，I-ORG，E-ORG，O，O，O，O]3.数据标注方式【例1】在下面文本中挑出主要实体小明在北京大学的燕园看了中国男篮的一场比赛B-PERE-PEROB-ORGI-ORGI-ORGE-ORGOB-LOCE-LOCOOB-ORGI-ORGI-ORGE-ORGOOOOO4.实践标注操作（1）准备数据demo.txt使用“utf-8withoutBOM”编码录入小明在北京大学的燕园看了中国男篮的一场比赛（2）创建项目label-studiostart4.实践标注操作在弹出页面中的“ProjectName”标签页中，录入项目名称为“命名实体识别Demo”。4.实践标注操作选择“DataImport”标签页，选择“UploadFiles”，在弹出框中选择准备好的数据文件demo.txt，然后进行提交导入。4.实践标注操作在选择导入文件后，在“UploadMoreFiles”按钮旁出现“TreatCSV/TSCas”选框，选中“ListofTask”项。4.实践标注操作切换到“LabelingSetup”标签页，指定项目模板类型为“NamedEntityRecognition”。4.实践标注操作在选择后的配置页面中，维护标签类型。完成标签配置后，单击“Save”按钮保存项目。4.实践标注操作（3）开始标注在标注时，首先选择标签，然后在文本中划词选中相关文本。例如，选择“PER”标签，然后在文本中划词选中“小明”。4.实践标注操作一般每次标注一个词语，需要重新选中标签，才能开始标注。为加快标注速度，可以通过配置选项，使得选中标签固定，这样可以连续多次划词标注，提高标注效率。4.实践标注操作标注完“小明”之后，按照相似描述步骤继续操作直到完成所有实体标记操作4.实践标注操作标注能完成后，单击“Submit”按钮进行提交保存。保存后，按钮文字由“Submit”切换为“Update”4.实践标注操作（4）导出结果单击左侧返回列表页面，标注后的结果在“Completed”列将出现标注时间。4.实践标注操作单击“Export”按钮，在弹出菜单中选择csv格式。4.实践标注操作导出结果为csv文件，具体格式如下：text,id,label,annotator,annotation_id,created_at,updated_at,lead_time小明在北京大学的燕园看了中国男篮的一场比赛,1,"[{""start"":1,""end"":3,""text"":""小明"",""labels"":[""PER""]},{""start"":4,""end"":8,""text"":""北京大学"",""labels"":[""ORG""]},{""start"":13,""end"":17,""text"":""中国男篮"",""labels"":[""ORG""]},{""start"":9,""end"":11,""text"":""燕园"",""labels"":[""LOC""]}]",1,4,2022-04-29T13:15:08.415121Z,2022-04-29T13:15