Python自然语言处理 课件 04-2-词性标注_第1页
Python自然语言处理 课件 04-2-词性标注_第2页
Python自然语言处理 课件 04-2-词性标注_第3页
Python自然语言处理 课件 04-2-词性标注_第4页
Python自然语言处理 课件 04-2-词性标注_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

词性标注Python自然语言处理第四章CONTENT目录

01中文分词02词性标注03命名实体识别课前回顾课前回顾中文分词介绍规则分词统计分词混合分词中文分词工具--Jieba词性标注02词性标注简介词性标注规范Jieba分词中的词性标注词性标注简介词性，也称为词类，是词汇的基本语法属性，用于描述词在上下文中的作用。词性标注是对句子中的每个词给出合适的词性标签，如名词、动词、形容词等。中文作为一种孤立语言，其特点是缺乏严格意义上的形容标志和形态变化，中文词性标注的困难有以下四点：中文缺少词的形态变化，无法直接从词的形态识别词性。一词多词性很常见。词性划分标准不统一。未登录词问题。词性标注02词性标注简介词性标注规范Jieba分词中的词性标注词性标注规范词有很多词性，如名词、形容词、代词、动词等，词性标注要依据一定的规范，将词的词性表示为“n"、”adj“、”r“、”v“等符号。中文词性多样，表示方法也各有不同，目前尚无统一的标注规范。北大词性标注集和宾州词性标注集是较为流行的两大类规范，两种标注规范各有所长。词性标注02词性标注简介词性标注规范Jieba分词中的词性标注Jieba分词中的词性标注Jieba的词性标注功能与分词功能类似，都是采用规则方法和统计方法相结合的方式。Jieba在词性标注的过程中采用词典匹配和HMM共同作用的方式，具体使用流程如下。1）采用正则表达式进行汉字判断。正则表达式如下：

re_han_internal=pile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")2）若满足上述正则表达式即判定为汉字，然后基于前缀词典构建有向无环图，再基于有向无环图求取最大概率路径，同时在前缀词典中找出分出的词的词性。若在词典中找不到词的词性，则使用“x”标记，代表其词性未知。当然也可在该过程中使用HMM，若待标注词为未登录词时，使用HMM方式进行词性标注。3）若不满足上述正则表达式，则继续通过正则表达式进行类型判断，分别用“x"、”m“（数词）和”eng“（英文）标记。Jieba分词中的词性标注HMM模型在进行中文分词时，会将每个字使用“BMES”四种状态进行标记。Jieba采用基于simultaneous思想的联合模型进行词性标注，即将基于字标注的分词方法和词性标注结合起来，使用复合标注集。例如：“中文”是一个名词，词性标注为"n"，而HMM对其进行分词的状态序列为“BE”，因此“中”的标注是“Bn”，“文”的标注是“En”。如此使用HMM进行词性标注的过程与使用HMM进行分词的过程是一致的，在进行不同的任务时只需要更换合适的语料库即可。Jieba分词中的词性标注结果如下：每个词后面是词对应的词性标记。对比北大词性标注规范表可知，每个词的词性已被正确划

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论