隐形马尔科夫模型

隐形马尔科夫模型第1页，课件共21页，创作于2023年2月隐形马尔科夫模型介绍HMM的三种应用评估：前向算法示例小结第2页，课件共21页，创作于2023年2月马尔科夫模型马尔科夫过程就是当前的状态只与前n个状态有关。这被称作n阶马尔科夫模型。最简单的模型就当n=1时的一阶模型。就当前的状态只与前一状态有关。；两种生成模式确定性的生成模式如：红绿灯非确定性的生成模式如：天气情况（晴、多云、和雨）第3页，课件共21页，创作于2023年2月非确定性的生成模式（天气预测）假设该过程是一个一阶过程，即今天的天气情况仅和昨天的天气有关用状态转移矩阵描述第4页，课件共21页，创作于2023年2月非确定性的生成模式（天气预测）定义初始概率，称为向量；一个一阶马尔科夫模型，包括如下概念：状态：晴、多云、雨状态转移概率初始概率第5页，课件共21页，创作于2023年2月当一个隐士不能通过直接观察天气状态来预测天气时，但他有一些水藻。民间的传说告诉我们水藻的状态与天气有一定的概率关系。也就是说，水藻的状态与天气时紧密相关的。此时，我们就有两组状态：观察状态（水藻的状态）和隐含状态（天气状态）。因此，我们希望得到一个算法可以为隐士通过水藻和马尔科夫过程，在没有直接观察天气的情况下得到天气的变化情况。一个应用就是语音识别，我们的问题定义就是如何通过给出的语音信号预测出原来的文字信息。在这里，语音信号就是观察状态，识别出的文字就是隐含状态。第6页，课件共21页，创作于2023年2月包含隐状态的天气预测第7页，课件共21页，创作于2023年2月隐状态和观察状态之间的连线表示：在给定的马尔科夫过程中，一个特定的隐状态对应的观察状态的概率第8页，课件共21页，创作于2023年2月我们可以得到HMM的所有要素：两类状态和三组概率两类状态：观察状态和隐状态；三组概率：初始概率、状态转移概率和两态对应概率（confusionmatrix）第9页，课件共21页，创作于2023年2月评估：根据已知的HMM找出一个观察序列的概率考虑这样的问题，我们有一些隐马尔科夫模型（也就是一些(∏

,A,B)三元组的集合）及一个观察序列。我们想知道哪一个HMM最有可能产生了这个给定的观察序列。例如，对于海藻来说，我们也许会有一个“夏季”模型和一个“冬季”模型，因为不同季节之间的情况是不同的——我们也许想根据海藻湿度的观察序列来确定当前的季节。利用前向算法来得到观察状态序列对应于一个HMM的概率第10页，课件共21页，创作于2023年2月解码：根据观察序列找到最有可能出现的隐状态序列viterbi算法（隐士只能通过感受水藻的状态来判断天气状况）viterbi算法也被广泛的应用在自然语言处理领域。比如词性标注。字面上的文字信息就是观察状态，而词性就是隐状态。通过HMM我们就可以找到一句话上下文中最有可能出现的句法结构。第11页，课件共21页，创作于2023年2月学习：从观察序列中得出HMM

根据观察序列和其代表的隐状态，生成一个三元组HMM(∏,A,B)。使这个三元组能够最好的描述我们所见的一个现象规律前向—后向算法第12页，课件共21页，创作于2023年2月对于水藻和天气的例子Pr(dry,damp,soggy|HMM)=Pr(dry,damp,soggy|sunny,sunny,sunny)+Pr(dry,damp,soggy|sunny,sunny,cloudy)+....Pr(dry,damp,soggy|rainy,rainy,rainy)第13页，课件共21页，创作于2023年2月采用递归的方式计算观察序列的概率用Pt(j)表示在时间t时状态j的部分概率。计算方法如下：Pt(j)=Pr(观察状态|隐藏状态j)xPr(t时刻所有指向j状态的路径）第14页，课件共21页，创作于2023年2月使用前向算法计算T步长观察序列的概率:t=1时刻所有状态的局部概率：每个时间点，t=2，…，T时，对于每个状态的局部概率，由下式计算局部概率：给定HMM,观察序列的概率等于T时刻所有局部概率之和：第15页，课件共21页，创作于2023年2月前向算法复杂度α（1）到α（T），一共T次，每次计算需要N^2次乘法，复杂度为T*N^2第16页，课件共21页，创作于2023年2月1、隐藏状态(天气)：Sunny，Cloudy，Rainy；

2、观察状态（海藻湿度）：Dry，Dryish，Damp，Soggy；

3、初始状态概率：Sunny（0.63），Cloudy（0.17），Rainy（0.20）；4、状态转移矩阵：

weathertoday

SunnyCloudyRainy

weather

Sunny0.5000.3750.125

yesterdayCloudy0.2500.1250.625

Rainy

0.2500.3750.375

第17页，课件共21页，创作于2023年2月

5、混淆矩阵：

observedstates

DryDryishDampSoggy

Sunny0.600.200.150.05Hidden

Cloudy0.250.250.250.25states

Rainy0.050.100.350.50第18页，课件共21页，创作于2023年2月输入：T=3（134）结果：prob(O|model)=0.026901第19页，课件共21页，创作于2023年2月隐马尔科夫模型（HMM）在分析实际系统中已