06-1-句法分析概述

句法分析Python自然语言处理第六章CONTENT目录

01句法分析概述02句法分析的数据集与评测方法03句法分析的常用方法04使用StandfordParser的PCFG算法进行句法分析回顾词向量与关键词提取02OPTION03OPTION词量算法06OPTION01OPTION05OPTION04OPTIONTF-IDF算法TextRank算法LSA/LSI/LDA算法提取文本关键词关键词提取技术01句法分析概述句法分析的基本概念句法分析的基本方法句法分析概述句法分析(syntacticparsing)是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构(syntacticstructure)或句子中词汇之间的依存关系。一般来说，句法分析并不是一个自然语言处理任务的最终目标，但是，它往往是实现最终目标的重要环节，甚至是关键环节。因此，在自然语言处理研究中，句法分析始终是研究的核心问题之一。句法分析概述句法分析主要有以下两个难点：1.歧义：自然语言区别于人工语言的一个重要特点就是它存在大量的歧义现象。2.搜索空间：句法分析是一个极为复杂的任务，候选树个数随句子增多呈指数级增长，搜索空间巨大。基本概念句法分析是从单词串得到句法结构的过程，而完成该过程的工具或程序被称为句法分析器(parser)。基本概念句法分析的任务：1.判断输入的字符串是否属于某种语言；2.消除输入句子中词法和结构等方面的歧义；3.分析输入句子的内部结构，如成分构成、上下文关系等。基本概念句法分析的种类很多，根据侧重目标分为：完全句法分析局部句法分析两者的差别在于：完全句法分析以获取整个句子的句法结构为目的局部句法分析只关注于局部的一些成分，常用的依存句法分析就是一种局部分析方法。01句法分析概述句法分析的基本概念句法分析的基本方法句法分析的基本方法句法分析基本方法分类基于规则的分析方法基于统计的分析方法

基本方法——句法分析的方法分类和依据基本方法的类型根据句法分析树形成方向的区别，人们通常将这些分析方法划分为三种类型：自顶向下(top-down)的分析方法自底向上(bottom-up)的分析方法两者相结合的分析方法基本方法——基于规则的分析方法基本思路：由人工组织语法规则，建立语法知识库，通过条件约束和检查实现句法结构歧义的消除。人们先后提出了若干有影响力句法分析算法： CYK分析算法、

欧雷分析算法、

线图分析算法、

移进-规约算法, GLR分析算法

左角分析算法等等。基本方法——基于规则的分析方法基于规则的句法分析方法的主要优点是：分析算法可以利用手工编写的语法规则分析出输入句子所有可能的句法结构；对于特定的领域和目的，利用手工编写的有针对性的规则能够较好地处理输入句子中的部分歧义和一些超语法现象。基本方法——基于规则的分析方法基于规则的分析方法的缺陷：对于一个中等长度的输入句子，分析过程复杂；难以在巨大的句法分析结果集合中实现有效的消歧；手工编写的规则一般带有一定的主观性；手工编写规则本身是一件大工作量的复杂劳动，编写的规则对特定的领域有密切的相关性。基本方法——基于统计的分析方法基于统计的上下文无关文法的短语结构分析方法可以说是目前最成功的语法驱动的统计句法分析方法。主要模型：词汇化的概率模型非词汇化的概率模型统计句法分析模型本质是一套面向候选树的评价方法，其会给正确的句法树赋予一个较高的分值，而给不合理的句法树赋予一个较低的分值，这样就可以借用候选句法树的分值进行消歧。在本