隐马尔可夫模型初步Chapter9HiddenMarkovModel

1、 阴天阴天晴天晴天 下雨下雨 晴天晴天 阴天阴天 下雨下雨 晴天晴天 0.50 0.25 0.25 阴天阴天 0.375 0.25 0.375 下雨下雨 0.25 0.125 0.625 1 ( ,)1,1,2, ij j p m mni observed ball sequence urn 3 urn 1 urn 2 veil markov链链 （ , a） 随机过程随机过程 （b） 状态序列状态序列观察值序列观察值序列 q1, q2, ., qto1, o2, ., ot hmm的组成示意图的组成示意图 以及 模型 ( , , )a b ( , , )a b t t tqqqtt obob

2、obqopsop t 1 21 )()()(),/(),/( 21 )( tq ob t s )/(),/()/( 所有 spsopop ttqooopi ittt 1)/,()( 21 ttobi ii 1)()( 11 11 1 ( ) ( ) ()11,1 n ttijjt i ji a b ottjn n i t iop 1 )()/( 1 . t t+1 . a1j t1 qn . qi . qj . . . . q1 tn ti anj aij 1 j t 12 ( )(,/ )11 ttttti ip ooo qtt () 11 t iin nitttjobai tt n i j

3、ijt 1 , 1,.,2, 1)()()( 11 1 n i iop 1 1 )()/( 以及模型 121 1211,2, ,. ( )max.,| t tttt q qq ip q qqqi o oo ( ) t i ni1, 0)( ni1),()( 1 11 i obi ii 1 1 1 1 ( )max( )(),2,1 ( )argmax( ),2,1 ttijjt i n ttij i n ji a b ottjn ji attjn )(maxarg )(max 1 * 1 * iq ip t ni t t ni 1,.,2, 1),( * 11 * tttqq ttt 1. 初

4、始模型（待训练模型） 0, 2. 基于0 以及观察值序列o，训练新模型 ； 3. 如果 log p(x|) - log(p(x|0) delta，说明训练已经达到预期效果， 算法结束。 4. 否则，令0 ，继续第2步工作 1 11 11 11 i 1 1 i 1 ij ( , ) ( , )(,|, ) ( )()( ) ( )()( ) ( )( , )s ( )s ( , ) t ttt tijjtt nn tijjtt ij n tt j t t t t i j i jp si sj x i a b oj i a bxj ii jt i i j 给定模型 和观察序列条件下，从 到 的 转移概率定义为 时刻处于状态 的概率 整个过程中从状态转出的次数(number of time)的预期 1 ij 1 ss t t 从跳转到次数的预期 ,o expectednumberoftimesinstateandobservingsymbol ( ) expectednumberoftimesinstate ( ) ( ) t j t tk t t jk b k j j j reestimate : expected count of transitions from i to j expected coun