句法分析-中国计算机学会课件

1、句法分析-中国计算机学会汉语并列关系的识别研究汉语并列关系的识别研究研三 郑略省2022-1-12句法分析-中国计算机学会2主要内容n研究的意义n并列关系的标注方式n并列关系的构成角色n并列关系的特征选择n实验结果分析n结论 句法分析-中国计算机学会3研究的意义n自然语言深层处理技术已用于机器翻译、信息抽取和问答系统等方面n句法分析是自然语言深层处理的基础n依存句法比短语句法更容易处理有江南南部小到中雨贵州西部将华南RootSBVCOOATTADVVOBCOOATT句法分析-中国计算机学会4研究的意义n目前依存句法分析研究的重心放在统一建模上，对汉语特殊结构的研究较少nMcDonald的方法整

2、体识别效果LAS 和UAS为78.2%，80.8%n并列关系识别效果偏低，正确率和召回率分别为64.0%， 54.8%句法分析-中国计算机学会5研究的意义n汉语并列结构研究主要在于识别并列结构的边界，并不能直接应用到依存句法分析当中（贵州 南部 、江南 、华南 西部） 将 有 小到中雨 句法分析-中国计算机学会6主要内容n研究的意义n并列关系的标注方式n并列关系的构成角色n并列关系的特征选择n实验结果分析n结论 句法分析-中国计算机学会7并列关系的标注方式n依存语法中并列关系（COO）的标注方式由并列词组、核心词和尾词组成u并列词组，指的是在同一并列结构中发生并列关系的所有并列成分u核心词，指

3、的是在并列词组中有一个并列成分充当核心节点的作用，其它并列成分均以核心词为父亲节点u尾词，指的是距离核心词最远的并列成分标注方式是遵循左核心原则句法分析-中国计算机学会8主要内容n研究的意义n并列关系的标注方式n并列关系的构成角色n并列关系的特征选择n实验结果分析n结论 句法分析-中国计算机学会9并列关系的构成角色n角色表是识别并列关系的基础。根据角色表，计算机能够理解汉语并列结构编码编码意义意义例子例子H并列词组的核心词经济经济 、 政治 和 外交B并列词组的非核心词经济 、 政治政治 和 外交外交O以上之外其它的角色 贵州 O H O B O O B 南部江南、华南西部COOCOO句法分析

4、-中国计算机学会10并列关系的构成角色n并列关系可分为无标记和有标记n无标记：结构复杂，不易识别u “指手画脚，照本宣科”，“深入细致，扎实有效”n有标记：结构上由并列标记连接u连词：和、与、并”，中国和南非u标点符号：主要是逗号为主编码编码意义意义例子例子H并列词组的核心词经济经济 、 政治 和 外交B并列词组的非核心词经济 、 政治政治 和 外交外交R并列词组内部的并列标记仓库 、 厂房 和 民宅I并列词组内部的非并列标记汇率 和 股票 价格O以上之外其它的角色 贵州 O H R B R I B 南部江南、华南西部句法分析-中国计算机学会11并列关系的构成角色n有标记并列关系比较难识别的是

5、嵌套并列关系，主要困难在于个别并列成分充当多重角色老虎 H R B R X R B 、和麻雀竹、 梅编码编码意义意义例子例子H并列词组的核心词经济经济 、 政治 和 外交B并列词组的非核心词经济 、 政治政治 和 外外交交R并列词组内部的并列标记仓库 、 厂房 和 民宅I并列词组内部的非并列标记汇率 和 股票 价格X并列词组的核心词，又是另一个并列词组的非核心词松鼠 、 麻雀 和 竹 、 梅 、 松 、 柏O以上之外其它的角色 COOCOOCOO句法分析-中国计算机学会12并列关系的构成角色n该文根据并列关系的特点和上下文信息，制定了完整角色表编码编码意义意义例子例子H并列词组的核心词经济 、

6、 政治 和 外交 指手画脚 ， 照本宣科X并列词组的核心词，又是另一个并列词组的非核心词松鼠 、 麻雀 和 竹 、 梅 、 松 、 柏B并列词组的非核心词青草 、鲜花 和 河流 、 湖泊R并列词组内部的并列标记仓库 、 厂房 和 民宅I并列词组内部的非并列标记汇率 和 股票 价格L核心词的上文贵州 南部 、 江南 、 华南 西部F尾词的下文华南 西部 和 北部 有 小到中雨C既是上文又是下文那些 诗句 、 那些 祝辞 ， 喜悦 、 激动 、 欣慰 之 情O以上之外其它的角色 句法分析-中国计算机学会13主要内容n研究的意义n并列关系的标注方式n并列关系的构成角色n并列关系的特征选择n实验结果分

7、析n结论 句法分析-中国计算机学会14并列关系的特征选择n特征的合理选择是识别并列关系的关键。n特征集是判别某个词或字在并列关系中充当何种角色的主要依据。句法分析-中国计算机学会15并列关系的识别n特征集通常由未识别的词与其词性，上下文与其词性组成，或相互复合而成。如表原子特征复合特征W(i) W(i+1) W(i+2) W(i-1) W(i-2) P(i) P(i+1) P(i+2) P(i-1) P(i-2) W(i)+ P(i) W(i+1)+ P(i+1)W(i+2)+ P(i+2)W(i-1)+ P(i-1)W(i-2)+ P(i-2)P(i+2)+ P(i+1)+ P(i)P(i+

8、1)+ P(i)+ P(i-1) P(i)+ P(i-1)+ P(i-2)句法分析-中国计算机学会16并列关系的特征选择n并列结构还有个很重要的特点，就是结构的平行性，也就是修饰词的共享或相似u各种/r 形/n 、 形/n 、 蝶形/nu当地/nl 群众/n 和 外地/nl 游客/nn并列结构还有其它表现形式，较难识别的是修饰词和被修饰词的词性均为“n”的情况u企业/n 及/c 投资/n 机构/n u政治/n 和/c 工资/n 待遇/n句法分析-中国计算机学会17并列关系的特征选择n 句法分析-中国计算机学会18并列关系的特征选择n 句法分析-中国计算机学会19并列关系的特征选择n以D表示词性

9、为“n”的类别（A，Q，M，U），U表示词性非“n”。在特征集中引入D标记。原子特征原子特征复合特征复合特征D(i) D(i+1) D(i+2) D(i-1) D(i-2) D(i)+ P(i) D(i+1)+ P(i+1)D(i+2)+ P(i+2)D(i-1)+ P(i-1)D(i-2)+ P(i-2)句法分析-中国计算机学会20主要内容n研究的意义n并列关系的标注方式n并列关系的构成角色n并列关系的特征选择n实验结果分析n结论 句法分析-中国计算机学会21实验结果分析n本文以HIT-IR-CDT前8000句作为训练语料，后1000句作为测试语料，每个句子的平均长度为21.3个词nMSTp

10、arser依存句法分析器是McDonald方法的实现，其作为Baseline对比方法，也在同等条件下进行训练和测试句法分析-中国计算机学会22实验结果分析n评测指标如下：u准确率=正确识别的数目/识别出的数目*100%u召回率=正确识别的数目/实际正确数目*100%uF值= 准确率*召回率*2/ (准确率+召回率)句法分析-中国计算机学会23实验结果分析并列并列关系关系类别类别正确正确数量数量MSTparser本文方法本文方法F值值变化变化召回率准确率F值召回率准确率F值ALL70154.8%64.0%0.59063.9%77.8%0.702+0.112Same_n35769.2%75.3%0

11、.72171.1%84.9%0.774+0.053Same_v12224.6%54.5%0.33941.8%82.3%0.554+0.215Diff_n_v22267.1%68.7%0.67970.3%72.6%0.714+0.035Label54966.5%82.6%0.73776.0%81.3%0.785+0.048UnLabel15240.8%39.2%0.40033.6%81.0%0.474+0.074句法分析-中国计算机学会24实验结果分析n分析主要的识别错误，主要分为两类：u难以利用语义的信息 全市/n 党政/n 机关/n 、/wp 事业/n 单位/n 公款/nu语料库规模较小 校园网/n 和/c 外面/nd 的/u 世界/n句法分析-中国计算机学会25主要内容n研究的意义n并列关系的标注方式n并列关系的构成角色n并列关系的特征选择n实验结果分析n结论 句法分析-中国