单元3：词性标注和实体命名识别3

(1)分句SentenceSplitter:分句模型将一个段落通过”。”、”？”、”！”等形式分开代码：

frompyltpimportSentenceSplitter

sents=SentenceSplitter.split('由于父亲此后前往哈佛大学求学。奥巴马从小由母亲抚养。')

forsentinsents:

print(sent)输出：

由于父亲此后前往哈佛大学求学。

奥巴马从小由母亲抚养。3.3.2案例分析（二）依存句法分析3.3将一个文档通过”。”、”？”、”！”等形式分开代码：

frompyltpimportSentenceSplitter#导入模块

defsentence_splitter(file_name):#定义函数，输入：file_name文件名

out_sent=[]

file=open(file_name,"r",encoding='UTF-8')#以只读的方式打开文件

sents=file.readlines()#读取文件

forsentinsents:

sent=sent.rstrip('\n')#去掉换行符

single_sentence=SentenceSplitter.split(sent)

#分句

forsentenceinsingle_sentence:

out_sent.append(sentence)

print(out_sent)

returnout_sent#输出：句子的列表(1)分句SentenceSplitter:分句模型3.3.2案例分析（二）依存句法分析3.3(2)分词Segmentor：分词模型代码：

frompyltpimportSegmentor

segmentor=Segmentor()#初始化实例

segmentor.load('cws.model')#加载模型

words=segmentor.segment('由于父亲此后前往哈佛大学求学，奥巴马从小由母亲抚养。')

forwordinwords:

print(word)

segmentor.release()#释放模型输出：

由于父亲此后前往哈佛大学求学，奥巴马从小由母亲抚养。3.33.3.2案例分析（二）依存句法分析使用自定义字典

自定义字典：

哈佛大学代码：

frompyltpimportSegmentor

segmentor=Segmentor()#初始化实例

segmentor.load_with_lexicon('cws.model','dic_path.txt')#dic_path是自定义字典

words=segmentor.segment('由于父亲此后前往哈佛大学求学，奥巴马从小由母亲抚养。')

forwordinwords:

print(word)

segmentor.release()#释放模型3.3(2)分词Segmentor：分词模型3.3.2案例分析（二）依存句法分析输出：

由于父亲此后前往哈佛大学求学，奥巴马从小由母亲抚养。注意：没有自定义词典：segmentor.load('cws.model')有自定义字典：segmentor.load_with_lexicon（'cws.model'，自定义字典名）3.3(2)分词Segmentor：分词模型3.3.2案例分析（二）依存句法分析(3)词性标注Postagger:词性标注模型代码： frompyltpimportPostagger

postagger=Postagger()#初始化实例 postagger.load('pos.model')#加载模型 postags=postagger.postag(words)#词性标注 forword,postaginzip(words,postags): print(word,postag) postagger.release()#释放模型输出：

由于p父亲n此后nt前往v哈佛大学ni求学v，wp 奥巴马nh从小d由p母亲n抚养v。wp3.33.3.2案例分析（二）依存句法分析(4)实体命名识别NamedEntityRecognizer:实体命名模型Nh——人名，NS——地名，Ni——机构名B——实体开始词，I——实体中间词，E——实体结束词，S——单独成实体，O——不构成实体代码：

frompyltpimportNamedEntityRecognizer

recognizer=NamedEntityRecognizer()#初始化实例 recognizer.load(ner_model_path)#加载模型 netags=recognizer.recognize(words,postags)#命名实体识别，用到了词性标注的结果 forword,netaginzip(words,netags): print(word,netag)输出：

由于O父亲O此后O前往O哈佛大学S-Ni求学O，O

奥巴马S-Nh从小O由O母亲O抚养O3.3.2案例分析（二）依存句法分析3.3(5)依存句法分析Parser：语法分析模型依存关系字典：Tag关系类型Tag关系类型SBV主谓关系CMP动补结构VOB动宾关系COO并列关系IOB间宾关系POB介宾关系FOB前置宾语LAD左附加关系DBL兼语RAD右附加关系ATT定中关系IS独立结构ADV状中结构HED核心关系3.33.3.2案例分析（二）依存句法分析代码： frompyltpimportParser parser=Parser()#初始化实例 parser.load('parser.model')#加载模型 arcs=parser.parse(words,postags)#句法分析，用到词性标注的结果 print('\t'.join('%d:%s'%(arc.head,arc.relation)forarcinarcs))输出：

12:ADV4:SBV 4:ADV 1:POB 4:VOB 4:COO 1:WP 12:SBV 12:ADV 12:ADV 10:POB0:HED 12:WP3.3(5)依存句法分析Parser：语法分析模型3.3.2案例分析（二）依存句法分析词性分析结果：由于p父亲n此后nt前往v哈佛大学ni求学v,wp奥巴马nh从小d由p母亲n抚养v。wp依存句法分析结果：12:ADV4:SBV4:ADV1:POB4:VOB4:COO1:WP12:SBV12:ADV12:ADV10:POB0:HED12:WP排序：0ROOT

1由于2父亲3此后4前往5哈佛大学6求学7，8奥巴马9从小10由11母亲12抚养13。结果：ADV(由于,抚养)SBV(父亲,前往)ADV(此后,前往)POB(前往,由于)VOB(哈佛大学,前往)...(5)依存句法分析Parser：语法分析模型3.3.2案例分析（二）依存句法分析3.3代码： rely_id=[arc.headforarcinarcs]#提取依存父节点 relation=[arc.relationforarcinarcs]#提取依存关系 heads=["root"ifid==0elsewords[id-1]foridinrely_id]#匹配依存父节点词语 foriinrange(len(words)): print(relation[i]+'('+words[i]+','+heads[i]+')') parser.release()输出：

ADV(由于,抚养)SBV(父亲,前往)

ADV(此后,前往)

POB(前往,由于)

VOB(哈佛大学,前往)

COO(求学,前往)

WP(，,由于)

SBV(奥巴马,抚养)

ADV(从小,抚养)

ADV(由,抚养)

POB(母亲,由)

HED(抚养,root)

WP(。,抚养)(5)依存句法分析Parser：语法分析模型3.3.2案例分析（二）依存句法分析3