基于隐马尔科夫模型的词性标注讲义课件

基于隐马尔科夫模型的词性标注于江德安阳师范学院自然语言处理小组2009年4月7日基于隐马尔科夫模型的词性标注于江德1内容提要词性标注基于HMM的词性标注基于规则的词性标注内容提要基于HMM的词性标注2后面经常用到的公式二元一元后面经常用到的公式二元一元3词性标注的任务自然语言中一词多类的现象把这篇报道编辑一下

把/q-p-v-n这/r篇/q报道/v-n编辑/v-n一/m-c下/f-q-vTimeflieslikeanarrowTime/n-vflies/v-nlike/p-van/Detarrow/n所谓词性标注就是用计算机来自动地给文本中的词标注词类（如：名词、动词）。意义为更高层次的自然语言文本加工提供素材为语言学的研究，提供翔实的资料从加工过的文本中获取词类及频度的词性标注知识词性标注的任务自然语言中一词多类的现象4词性标注的实质：寻找最优路径4×1×1×2×2×2×3＝96种可能性，哪种可能性最大？词性标注的实质：寻找最优路径4×1×1×2×2×2×3＝965隐马尔可夫模型简要回顾隐马尔可夫模型是在马尔可夫链的基础之上发展起来的。由于实际问题比马尔可夫模型所描述的更为复杂，观察到的事件并不是与状态一一对应，而是通过一组概率分布相联系，这样的模型就称为隐马尔可夫模型（HMM）。HMM是一个双重随机过程，其中之一是马尔可夫链，这是基本随机过程，它描述状态的转移。另一个随机过程描述状态和观察值之间的统计对应关系。这样，站在观察者的角度，只能看到观察值，不像马尔可夫链模型中的观察值和状态一一对应，因此不能直接看到状态，而是通过一个随机过程去感知状态的存在及其特性。因而称之为“隐”马尔可夫模型。隐马尔可夫模型简要回顾隐马尔可夫模型是在马尔可夫链的基础之上6基于隐马尔科夫模型的词性标注讲义课件7HMM的形式描述对于一个随机事件，有一个观察值序列：O1,...,OT该事件隐含着一个状态序列：X1,...,XT一个隐马尔可夫模型(HMM)是一个五元组：(ΩX,ΩO,A,B,π

)其中：ΩX={q1,...qN}：状态的有限集合ΩO={v1,...,vM}：观察值的有限集合A={aij}，aij=p(Xt+1=qj|Xt=qi)：转移概率B={bik}，bik=p(Ot=vk|Xt=qi)：输出概率π={πi}，πi=p(X1=qi)：初始状态分布（初始概率）HMM的形式描述对于一个随机事件，有一个观察值序列：O1,.8HMM的三个基本问题令λ

={A,B,π}为给定HMM的参数，令σ=O1,...,OT为观察值序列，隐马尔可夫模型（HMM）的三个基本问题：评估问题：对于给定模型，求某个观察值序列的概率p(σ|λ)；解码问题：对于给定模型和观察值序列，求可能性最大的状态序列；（对应词性标注问题）学习问题：对于给定的一个观察值序列，调整参数λ，使得观察值出现的概率p(σ|λ)最大。HMM的三个基本问题令λ={A,B,π}为给定HMM9词性标注和HMM如何建模？单词序列、词性序列？三个概率如何得到？两个随机过程？问题的实质？词性标注和HMM如何建模？10基于HMM进行词性标注（1）两个随机过程1、选择罐子：上帝按照一定的转移概率随机地选择罐子2、选择彩球：上帝按照一定的概率随机地从一个罐子中选择一个彩球输出人只能看到彩球序列（词序列，记作W＝w1w2…wn），需要去猜测罐子序列（隐藏在幕后的词性标注序列，记作T=t1t2…tn)已知词序列W（观测序列）和模型λ的情况下，求使得条件概率p(T|W，λ)值最大的那个T’，一般记作：

T′=argmaxP(T|W,λ)

基于HMM进行词性标注（1）两个随机过程11基于HMM进行词性标注（2）首先，构造如下的统计计算模型：令W=w1w2…wn为一多词类词串，C=c1c2…cn为可能的词类标注结果串。P(C|W)为给定Ｗ条件下Ｃ出现的概率。如果不考虑更大的上下文，我们可以认为使得P(C|W)的值取得最大时的Ｃ出现的可能性最大。这样就把词类标注问题转化为寻找一组标记串Ｃ′，使得：Ｃ′=argmaxP(C|W)(1)基于HMM进行词性标注（2）12基于HMM进行词性标注（3）根据贝叶斯定律，可以得到：

(2)其中P(W)为常量，不需要考虑，关键在于对P(C)和P(W|C)的计算。由于两者的参数估计极为复杂，在实际应用中，往往需进行简化。对于P(C)，我们使用了二元语法Bigram近似，得到：

(3)基于HMM进行词性标注（3）13基于HMM进行词性标注（4）而对P(W|C)，只考虑每个词依赖于它本身的词类的情况，可以得到：

(4)综合(1),(2),(3),(4)，最终得到：

(5)其中此模型的两组参数可以从对正确标注词类的语料的参数训练中得到基于HMM进行词性标注（4）14基于HMM进行词性标注（5）其中最简单的参数估计法为最大似然估计MLE(MaximumLikelihoodEstimation)，即令：

(6)

(7)其中f(ci,cj)是语料库中ci和cj相邻出现的频度，f(w,c)是语料库中词ｗ取词类ｃ的频度，f(c)为语料库中词类标记ｃ出现的次数，Ｎ为语料库词总数。基于HMM进行词性标注（5）15基于HMM进行词性标注（6）词性之间的转移概率可以从语料库中统计得到：已知词性标注下输出词义的概率可以从语料库中统计得到：基于HMM进行词性标注（6）词性之间的转移概率可以从语料库中16基于隐马尔科夫模型的词性标注讲义课件17计算所分词系统基本思想InstituteofComputingTech.,ChineseLexicalAnalysisSystem.(ICTCLAS)中科院计算所词语分析系统特点：此分词系统实现了分词和词性标注一体化，未登录词与普通词处理的一体化；评估体系一体化基本思想：采取HMM（隐式马尔可夫模型），建立切分词图。词语粗分阶段（N最短路径法），先得出N个概率最大的切分结果。然后，利用角色标注方法识别未登录词，并计算其概率，将未登录词加入到切分词图中，之后视它为普通词处理，最终进行动态规划优选出N个最大概率切分标注结果。计算所分词系统基本思想Institute18计算所分词系统功能模块图ICTCLAS结果生成HMM词性标注未登录词识别N最短路径切分人名识别其他译名识别地名识别其他规范重叠词计算所分词系统功能模块图ICTCLAS结果19计算所分词系统程序流程原始字串原子切分粗切分切分词图语料库语料库训练概率词典未登录词识别识别词典切分标注选择N优输出结果计算所分词系统程序流程原始字串原子20基于规则的词性标注基本思想EricBrill(1995)Transformation-basederror-drivenpartofspeechtagging基本思想：（1）正确结果是通过不断修正错误得到的（2）修正错误的过程是有迹可循的（3）让计算机学习修正错误的过程，这个过程可以用转换规则（transformation）形式记录下来，然后用学习得到转换规则进行词性标注基于规则的词性标注基本思想EricBrill(19921基于规则的词性标注转换规则的形式转换规则由两部分组成改写规则（rewritingrule）激活环境（triggeringenvironment）一个例子：转换规则T1改写规则：将一个词的词性从动词（v）改为名词（n）；激活环境：该词左边第一个紧邻词的词性是量词（q），第二个词的词性是数词（m）S0:他/r做/v了/u一/m个/q报告/vS1:他/r做/v了/u一/m个/q报告/n基于规则的词性标注转换规则的形式转换规则由两部分组成22基于隐马尔科夫模型的词性标注讲义课件23基于隐马尔科夫模型的词性标注讲义课件24基于隐马尔科夫模型的词性标注讲义课件25基于隐马尔科夫模型的词性标注讲义课件26参考文献翁富良，王野翊.计算语言学导论.北京:中国社会科学出版社,1998苑春法等（译）.统计自然语言处理基础.北京:电子工业出版社,2005冯志伟.计算语言学基础.北京:商务印书馆,2001姚天顺.自然语言理解.北京:清华大学出版社,1995王小捷，常宝宝.自若语言处理技术基础.北京:北京邮电大学出版社,2002林红，苑春法.基于最大熵方法的汉语词性标注[J].计算机应用.2004,24(1):14-16詹卫东的计算语言学概论讲义宗成庆的隐马模型讲义参考文献翁富良，王野翊.计算语言学导论.北京:中国社会科学出27谢谢！问题或讨论jiangde_yu@谢谢！问题或讨论28基于隐马尔科夫模型的词性标注于江德安阳师范学院自然语言处理小组2009年4月7日基于隐马尔科夫模型的词性标注于江德29内容提要词性标注基于HMM的词性标注基于规则的词性标注内容提要基于HMM的词性标注30后面经常用到的公式二元一元后面经常用到的公式二元一元31词性标注的任务自然语言中一词多类的现象把这篇报道编辑一下

把/q-p-v-n这/r篇/q报道/v-n编辑/v-n一/m-c下/f-q-vTimeflieslikeanarrowTime/n-vflies/v-nlike/p-van/Detarrow/n所谓词性标注就是用计算机来自动地给文本中的词标注词类（如：名词、动词）。意义为更高层次的自然语言文本加工提供素材为语言学的研究，提供翔实的资料从加工过的文本中获取词类及频度的词性标注知识词性标注的任务自然语言中一词多类的现象32词性标注的实质：寻找最优路径4×1×1×2×2×2×3＝96种可能性，哪种可能性最大？词性标注的实质：寻找最优路径4×1×1×2×2×2×3＝9633隐马尔可夫模型简要回顾隐马尔可夫模型是在马尔可夫链的基础之上发展起来的。由于实际问题比马尔可夫模型所描述的更为复杂，观察到的事件并不是与状态一一对应，而是通过一组概率分布相联系，这样的模型就称为隐马尔可夫模型（HMM）。HMM是一个双重随机过程，其中之一是马尔可夫链，这是基本随机过程，它描述状态的转移。另一个随机过程描述状态和观察值之间的统计对应关系。这样，站在观察者的角度，只能看到观察值，不像马尔可夫链模型中的观察值和状态一一对应，因此不能直接看到状态，而是通过一个随机过程去感知状态的存在及其特性。因而称之为“隐”马尔可夫模型。隐马尔可夫模型简要回顾隐马尔可夫模型是在马尔可夫链的基础之上34基于隐马尔科夫模型的词性标注讲义课件35HMM的形式描述对于一个随机事件，有一个观察值序列：O1,...,OT该事件隐含着一个状态序列：X1,...,XT一个隐马尔可夫模型(HMM)是一个五元组：(ΩX,ΩO,A,B,π

)其中：ΩX={q1,...qN}：状态的有限集合ΩO={v1,...,vM}：观察值的有限集合A={aij}，aij=p(Xt+1=qj|Xt=qi)：转移概率B={bik}，bik=p(Ot=vk|Xt=qi)：输出概率π={πi}，πi=p(X1=qi)：初始状态分布（初始概率）HMM的形式描述对于一个随机事件，有一个观察值序列：O1,.36HMM的三个基本问题令λ

={A,B,π}为给定HMM的参数，令σ=O1,...,OT为观察值序列，隐马尔可夫模型（HMM）的三个基本问题：评估问题：对于给定模型，求某个观察值序列的概率p(σ|λ)；解码问题：对于给定模型和观察值序列，求可能性最大的状态序列；（对应词性标注问题）学习问题：对于给定的一个观察值序列，调整参数λ，使得观察值出现的概率p(σ|λ)最大。HMM的三个基本问题令λ={A,B,π}为给定HMM37词性标注和HMM如何建模？单词序列、词性序列？三个概率如何得到？两个随机过程？问题的实质？词性标注和HMM如何建模？38基于HMM进行词性标注（1）两个随机过程1、选择罐子：上帝按照一定的转移概率随机地选择罐子2、选择彩球：上帝按照一定的概率随机地从一个罐子中选择一个彩球输出人只能看到彩球序列（词序列，记作W＝w1w2…wn），需要去猜测罐子序列（隐藏在幕后的词性标注序列，记作T=t1t2…tn)已知词序列W（观测序列）和模型λ的情况下，求使得条件概率p(T|W，λ)值最大的那个T’，一般记作：

T′=argmaxP(T|W,λ)

基于HMM进行词性标注（1）两个随机过程39基于HMM进行词性标注（2）首先，构造如下的统计计算模型：令W=w1w2…wn为一多词类词串，C=c1c2…cn为可能的词类标注结果串。P(C|W)为给定Ｗ条件下Ｃ出现的概率。如果不考虑更大的上下文，我们可以认为使得P(C|W)的值取得最大时的Ｃ出现的可能性最大。这样就把词类标注问题转化为寻找一组标记串Ｃ′，使得：Ｃ′=argmaxP(C|W)(1)基于HMM进行词性标注（2）40基于HMM进行词性标注（3）根据贝叶斯定律，可以得到：

(2)其中P(W)为常量，不需要考虑，关键在于对P(C)和P(W|C)的计算。由于两者的参数估计极为复杂，在实际应用中，往往需进行简化。对于P(C)，我们使用了二元语法Bigram近似，得到：

(3)基于HMM进行词性标注（3）41基于HMM进行词性标注（4）而对P(W|C)，只考虑每个词依赖于它本身的词类的情况，可以得到：

(4)综合(1),(2),(3),(4)，最终得到：

(5)其中此模型的两组参数可以从对正确标注词类的语料的参数训练中得到基于HMM进行词性标注（4）42基于HMM进行词性标注（5）其中最简单的参数估计法为最大似然估计MLE(MaximumLikelihoodEstimation)，即令：

(6)

(7)其中f(ci,cj)是语料库中ci和cj相邻出现的频度，f(w,c)是语料库中词ｗ取词类ｃ的频度，f(c)为语料库中词类标记ｃ出现的次数，Ｎ为语料库词总数。基于HMM进行词性标注（5）43基于HMM进行词性标注（6）词性之间的转移概率可以从语料库中统计得到：已知词性标注下输出词义的概率可以从语料库中统计得到：基于HMM进行词性标注（6）词性之间的转移概率可以从语料库中44基于隐马尔科夫模型的词性标注讲义课件45计算所分词系统基本思想InstituteofComputingTech.,ChineseLexicalAnalysisSystem.(ICTCLAS)中科院计算所词语分析系统特点：此分词系统实现了分词和词性标注一体化，未登录词与普通词处理的一体化；评估体系一体化基本思想：采取HMM（隐式马尔可夫模型），建立切分词图。词语粗分阶段（N最短路径法），先得出N个概率最大的切分结果。然后，利用角色标注方法识别未登录词，并计算其概率，将未登录词加入到切分词图中，之后视它为普通词处理，最终进行动态规划优选出N个最大概率切分标注结果。计算所分词系统基本思想Institute46计算所分词系统功能模块图ICTCLAS结果生成HMM词性标注未登录词识别N最短路径切分人名识别其他译名识别地名识别其他规范重叠词计算所分词系统功能模块图ICTCLAS结果47计算所分词系统程序流程原始字串原子切分粗切分切分词图语料库语料库训练概率词典未登录词识别识别词典切分标注选择N优输出结果计算所分词系统