HMM隐马尔科夫模型的学习资料,有实例介绍

隐马尔可夫模型

HiddenMarkovmodel徐从富浙江大学人工智能研究所2003年10月第一稿2005年9月修改补充Modifiedbysiuleung目录HMM的由来马尔可夫性和马尔可夫链HMM实例HMM的三个基本算法主要参考文献HMM的由来

1870年，俄国有机化学家VladimirV.Markovnikov第一次提出马尔科夫模型马尔可夫模型马尔可夫链隐马尔可夫模型马尔可夫性如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程X(t+1)=f(X(t))马尔科夫链时间和状态都离散的马尔科夫过程称为马尔科夫链记作{Xn=X(n),n=0,1,2,…}在时间集T1={0,1,2,…}上对离散状态的过程相继观察的结果链的状态空间记做I={a1,a2,…},ai∈R.条件概率Pij(

m,m+n)=P{Xm+n=aj|Xm=ai}为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。转移概率矩阵阴天晴天下雨

晴天阴天下雨晴天0.500.250.25阴天0.3750.250.375下雨0.250.1250.625转移概率矩阵(续)

由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。

HMM实例

ObservedBallSequenceUrn3Urn1Urn2VeilHMM实例——描述设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验进行方式如下根据初始概率分布，随机选择N个缸中的一个开始实验根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把球放回缸中根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。最后得到一个描述球的颜色的序列O1,O2,…，称为观察值序列O。

HMM实例——约束

在上述实验中，有几个要点需要注意：不能被直接观察缸间的转移从缸中所选取的球的颜色和缸并不是一一对应的每次选取哪个缸由一组转移概率决定HMM概念HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系

HMM是一个双重随机过程，两个组成部分：

马尔可夫链：描述状态的转移，用转移概率描述。

一般随机过程：描述状态与观察序列间的关系，用观察值概率描述。Markov链（,A）随机过程（B）状态序列观察值序列q1,q2,...,qTo1,o2,...,oTHMM的组成示意图HMM组成HMM的基本要素用模型五元组＝（N,M,π，A，B）用来描述HMM，或简写为=(π，A，B)参数含义实例N状态数目缸的数目M每个状态可能的观察值数目彩球颜色数目A与时间无关的状态转移概率矩阵在选定某个缸的情况下，选择另一个缸的概率B给定状态下，观察值概率分布每个缸中的颜色分布p初始状态空间的概率分布初始时选择某口缸的概率HMM可解决的问题问题1：给定观察序列O=O1,O2,…OT,以及模型,如何计算P(O|λ)？问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列S=q1,q2,…qT，使得S能够最为合理的解释观察序列O？问题3：如何调整模型参数,使得P(O|λ)最大？解决问题1基础方法给定一个固定的状态序列S=(q1，q2，q3…)表示在qt状态下观测到Ot的概率

N=5,M=100,=>计算量10^72解决俩问题1前向森法动态躁规划定义获前向悼变量初始狮化：递归焦：终结介：前向该法示僚意图1少.剂..堤t诞t杆+1辽..叉.a1jat1qN.qi.qj..q1atNatiaNjaijN=昌5,袜M菜=1央00慈,叛=昂>计算显量30兴00解决泄问题1后向籍法与前述向法贺类似定义裁后向句变量初始渐化：递归厨：终结旱：Vi岗te退rb较i算法目的蛾：给定丙观察考序列O以及约模型λ,如何退选择厘一个信对应土的状球态序鄙列S，使陪得S能够允最为戴合理爽的解苗释观磨察序贪列O？N和T分别疏为状盆态个砌数和驱序列轰长度定义图：我们独所要旺找的命，就货是T时刻拴最大辟的橡所代尿表的修那个困状态砖序列Vi斩te异rb险i算法剩(续心)初始术化：递归汉：终结语：求S序列同：Ba包um葡-W溉el昂ch算法督(模疑型训悬练算南法)目的钓：给初定观软察值盘序列O，通过胞计算萝确定朽一个狠模型l，使得P(厉O|l)最大当。算法努步骤栏：1.初始偷模型咏（待庆训练洋模型际）l0,2.基于l0以及地观察贿值序景列O，训练再新模然型l；3.如果lo勾g惩P(钱X|l)乖-美lo梅g(援P(醒X|l0)辜<后De率lt投a，说明万训练屠已经廉达到午预期沉效果永，杆算愚法结邻束。4.否则态，令l0＝l，继续膏第2漏步工合作Ba洲um乓-W妨el刺ch算法华(续亚)定义献：Ba晓um荣-W飞el朋ch算法污(续替2)参数伙估计漠：几种沾典型扇形状念的马天尔科霸夫链a.柳A矩阵肿没有恋零值坝的Ma脏rk器ov链b.数A矩阵戴有零侍值的Ma拔rk待ov链c.竹/d伯.左－振右形生式的Ma湾rk锈ov链HM部M的应怖用领家域语音县识别机器烤视觉人脸头检测机器知人足原球图像鹊处理图像从去噪图像篮识别生物备医学涨分析DN渡A/蛋白征质序盈列分让析主要席参考景文献1.影L枝aw拦re射nc酱e虚R.Ra睬bi棉ne盆r,A蛙Tu男to傻ri圆al胁o忙n单Hi险dd春en叨M撇ar别ko总v管Mo患de羽ls寨a洞nd回S握el静ec疮te琴d舞Ap牌pl李ic挣at动io漂ns岭i恶n衔Sp青ee狮ch贱R衡ec冤og恒ni折ti培on念.震Pr在oc让ee俩di秀ng蒸s音19睬89衬.ft释p:韵//禽10浇.1芽