2023学年完整公开课版概率图模型

概率图模型隐马可科夫模型马尔可夫随机场条件随机场学习与推断话题模型隐马可科夫模型/01隐马可科夫模型

概率模型（probabilisticmodel）提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测位置变量的分布称为“推断”（inference），其核心是如何基于可观测变量推测出未知变量的条件分布。具体来说，假定所关心的变量集合为Y，可观测变量集合为O，其他变量集合为R，“生成式”（generative）模型考虑联合分布P(Y,R,O)；“判别式”（discriminative）模型考虑条件分布P(Y,R|O);给定一组观测变量值，推断就是由P(Y,R,O)或P(Y,R|O)得到条件分布P(Y|O)。直接利用概率和规则消去变量R显然不可行。为了便于研究高效的推断和学习算法，需要有一套能简洁紧凑地表达变量间关系的工具。隐马可科夫模型

概率图模型（probabilisticgraphicalmodel）是一类用图来表达变量相关关系的概率模型。概率图模型可大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网（Bayesiannetwork）；第二类是使用无向图表示变量间的相关关系，称为无向图模型或马尔可夫网（Markovnetwork）；隐马可科夫模型

隐马尔可夫模型（HiddenMarkovModel，简称HMM）是结构最简单的动态贝叶斯网（dynamicBayesiannetwork），这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。隐马尔可夫模型中的变量可分为两组。第一组是状态变量{y1，y2，...，yn}，其中，yi∈Y表示第i时刻的系统状态。通常假定状态变量是隐藏的、不可被观测的，因此状态变量亦称隐变量（hiddenvariable）。第二组是观测变量{x1，x2，...，xn}，其中，xi∈X表示第i时刻的观测值。在隐马尔可夫模型中，系统通常在多个状态{s1，s2，...，sN}之间转换。如下图所示，马尔可夫随机场/02

马尔可夫随机场（markovRandomField，简称MRF）是典型的马尔可夫网，这是一种著名的无向图模型。图中每个结点表示一个或一组变量，结点之间的边表示两个变量之间的依赖关系。马尔可夫随机场有一组势函数（potentialfunction），亦称“因子”（factor），这是定义在变量子集上的非负函数，主要用于定义概率分布模型。马尔可夫随机场条件随机场/03

条件随机场（ConditionalRandomField，简称CRF）是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模。前面介绍的隐马尔可夫模型和马尔可夫随机场都是生成式模型，而条件随机场是判别式模型。条件随机场学习与推断/04

基于概率图模型定义的联合概率分布，我们能对目标变量的边际分布（marginaldistribution）或以某些可观测变量为条件的条件分布进行推断。

对概率图模型，还需确定具体分布的参数，这称为参数估计或参数学习问题。学习与推断

概率图模型的推断方法大致可分为两类：第一类是精确推断方法。希望能计算出目标变量的边际分布或条件分布的精确值。遗憾的是，一般情形下，此类算法的计算复杂度随着极大团规模的增长呈指数增长，适用范围有限。第二类是近似推断方法。希望在较低时间复杂度下获得原问题的近似解。此类方法在现实任务中更常用。学习与推断

精确推断方法通常需要很大的计算开销，因此在现实应用中近似推断方法更为常用。近似推断方法大致可分为两大类：第一类是采样（sampling）通过使用随机化方法完成近似；第二类是使用确定性近似完成近似推断典型代表为变分推断（variationalinference）；学习与推断话题模型/05话题模型（topicmodel）是一族生成式有向图模型，主要用于处理离散型的数据（如文本集合），在信息检索、自然语言处理等领域有广泛应用。隐狄利克雷分配模型（LatentDirichletAllocation，简称LDA）是话题模型的典