马尔可夫链课件

马尔可夫链专业：防灾减灾工程及防护工程

姓名：杨艳娜

学号：13011065

第一节基本概念第二节状态的分类及性质第三节极限性态及平稳分布第四节Markov链的应用第一节基本概念一、Markov链的定义二、转移概率三、Markov链的例子四、n步转移概率，C-K方程

过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。

通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。第一节基本概念马尔可夫性(无后效性)用分布函数表述马尔可夫性：一、Markov链的定义定义设随机过程的状态空间为：若对任意的，及有马氏性…………则称为离散时间、离散状态的马尔可夫过程，或简称为马尔可夫链。

设是马尔可夫链，对任意的，计算的联合分布律二、转移概率

乘法公式

马氏性

即马尔可夫链的有限维分布完全由初始分布和条件概率确定.

马氏性注

当固定时，一步转移概率实质上就是在的条件下，随机变量的条件分布律，所以条件分布律满足：

定义1设是马尔可夫链，记称为马尔可夫链在时刻时的一步转移概率。二、转移概率

定义2

设是马尔可夫链，若其一步转移概率与时间无关，即则称为齐次马尔可夫链，称为从状态转移到状态的一步转移概率.

若马尔科夫链的状态空间是有限集，则称为有限状态的马尔科夫链；

若马尔科夫链的状态空间是可列集，则称为可列状态的马尔科夫链.二、转移概率矩阵的每一行都是一条件分布律

记.称为齐次马尔可夫链的初始分布.

齐次马尔科夫链的有限维分布族完全由其一步转移概率矩阵

和初始分布

确定.则称矩阵为齐次马尔科夫链的一步转移概率矩阵.

定义3设是齐次马尔可夫链，其一步转移概率为，记二、薯转移勒概率例1滨(一个肺简单督的疾午病死戏亡模铃型)三、龟马氏鼻链的京例子

例2(0-1传输系统或简单信号模型)如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p，误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入，Xn是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过程，状态空间S={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：……n21X0X1X2XnXn-1三、端马氏猪链的沙例子

例3(带有一个吸收壁的随机游动)质点在直线上作随机游动.在某一时刻质点位于，则下一步质点以概率向右移动一格到达；或以概率向左移动一格到达.但当质点一旦到达原点，则质点永远停留在原点，不再移动.状态称为吸收态.以表示质点在时刻的位置.则是齐次马尔可夫链，称其为带一个吸收壁的随机游动.求其一步转移概率矩阵.三、界马氏雾链的丸例子

解：马尔科夫链的的状态空间为：一步界状态驰概率致为：一步沈状态呀概率糕矩阵酷为：三、跨马氏骡链的启例子13452

例4设一醉汉Q(或看作一随机游动的质点)在直线上的点集S={1,2,3,4,5}作随机游动，且仅在1秒、2秒等时刻发生游动，游动的概率规则是：如果Q现在位于点i(1<i<5)，则下一时刻各以的概率向左或向右移动一格，或以的概率留在原处；如果Q现在处于1(或5)这一点上，则下一时刻就以概率1移动到2(或4)这点上，1和5这两点称为反射壁，这种游动称为带有两个反射壁的随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n=0,1,2…}是一齐次马氏链，并写出它的一步转移概率矩阵。三、叼马氏至链的刃例子解：它的堤一步捏转移百概率鼠矩阵谈为：如果朗把1这点怨改为乞吸收西壁，间即Q一旦青到达1这一资点，晋则永耍远留俩在点1时，担此时填的转欺移概遣率矩锻阵为辈：三、异马氏忧链的彼例子

例5(无限制随机游动)质点在直线上作随机游动.在某一时刻质点位于，则下一步质点以概率向右移动一格到达；或以概率向左移动一格到达.以表示质点在时刻的位置.则是状态无限的马尔科夫链，求其一步转移概率矩阵.解：马尔科夫链的的状态空间为：一步购状态绳概率浮为：一步测状态施概率波矩阵消为：称为马尔可夫链在时刻时处于状态经过时间后转移到状态的概率.设是马尔可夫链，其状态空间为①记马尔可夫链的步转移概率为四、n步转辅移概不率、C-船K方程②称此式为切普曼－柯尔莫洛夫方程，简称C-K方程.

定理设是马尔可夫链，其状态空间为，则对任意的，有直观盾意义从状态出发经过步到达状态，可分成两步走：①先从状态出发经过步到达状态；②然后再先从状态出发经过步到达状态；由马怖氏性讲知，叔后一外阶段像的状绿态转花移与水前一做阶段蹲的状怕态转描移独签立，槽故两澡个阶罪段的宰转移扣概率音可相苏乘.四、n步转鸦移概咸率、C-异K方程ikjk0证明苦：四、n步转槽移概势率、C-路K方程注记齐次马尔科夫链的步转移概率矩阵为：则齐征次马塑尔科纠夫链救的切客普曼漆－柯害尔莫淹洛夫柏方程辅可用修如下摄矩阵括形式砍表示腊：四、n步转贸移概严率、C-纺K方程四、n步转全移概用率、C-膛K方程解：

例(天气预测简单模型)假设明天是否下雨仅与今天的天气(是否下雨)有关，而与过去的天气无关.假设今天下雨、明天有雨的概率为，今天无雨而明天有雨的概率为；又假设把有雨称为状态天气，把无雨称为状态天气.记表示第天的天气状态.则是状态有限的马尔科夫链.1.求其一步转移概率矩阵；

2.若，且今天有雨，求第四天有雨的概率.四、n步转肺移概稻率、C-象K方程解一步订状态弯概率只矩阵柄为：②因为所以主若今寨天无深雨，陪第四钩天下罪雨的势概率携为0.抖57甩49①四、n步转亲移概牧率、C-安K方程第二苍节雕状态仔的分侄类及菌性质一、赏到达蛋与相鞋通二、咳首达休时间厦与首畏达概雄率三、帝首达扩概率况的基逝本性恳质四、菠状态仔的分娱类五、迈闭集位和状弄态空真间的幼分解一、驶到达漏与相屡通一、声到达梳与相宫通二、膛首达为时间排与首剪达概昌率二、矿首达站时间巷与首珠达概盾率二、景首达逮时间膊与首宿达概舅率三、决首达秒概率校的基筝本性脂质三、骆首达州概率绑的基浩本性天质三、忌首达红概率砍的基表本性虚质现在耗来推狠导基俊本性透质2以此务类推三、小首达郊概率痕的基士本性蜻质一旦证确定近了这话些首央达概搬率，珍便可斑用来页计算欢各种权概率幻玉和所鱼关心毕的量孩如下秤：（1素）系伐统初谨始状某态为改i在竟m次如转移处内进楚入状木态j偏（至远少1纳次）轿的概杏率为劝：（2琴）系原统自阵状态朱i开询始最拨终达啦到状哪态j稻的概准率即影可由咱下式择给辞出格：（3舟）系斗统自论状态伍i开勤始最残终回币到状简态i难的概夜率为食：（4役）状恰态i笼的平部均循颗环时枝间为舒系统狭自离轨开状伏态i礼的时厉间开坑始直贿到后胆来首括次回株到状辣态i铲的时垫间止行这段谎的加乔权平猛均时样间。稼因此储，此外妨，状低态i弱的期哈望持茶续期尿的长呼度为治直到旦系统们首次计离开诸状态马i时团为止叮的加吉权平智均时兆间。馆因此洞，期魂望持壳续时银间为为了兄说明说，可吃以考污虑二匹类状摩态的翁马尔院可夫倍链。连应用流以上维方程姑，例框如对于还平均屡持续废时间涨，由北前面任方程余得同理汁，平均办循环阿时间影为同理胶，例臭以克天气港预测赴简单折模型震为例贷子，筋试确阔定（a牌）设软今日粒为雨介天，窄问后贺天首锻次又帮为雨俊天的舒概率编如何帆？（b天）设继今日战为雨仗天，测问后攀五日励内至诸少有嘉一晴千天的波概率惹如何卡？（c拌）问欧持续章晴天绝的期辨望长钞度为馅何？梦持续暖雨天角的期墙望长稻度？（d发）如社今日揪为雨拍天，略则直菠到下服一雨团天止狼，这双段时享间的师期望氏长度联为何果？(a堡)从档今天需起两末天以掩后首泡次为韵雨天界的概股率为还：(b游)后固五日伙至少烧有一仿晴天鸡的概荣率为扮：(c址)持慢续晴们天和决持续缠雨天朽的平怨均天痰数分疫别为费：(d眠)雨仇天的占期望勒循环谨时间撤为：四、窗状勇态的览分类定义对于磁状态蚂，如县果仇，则哄称状粱态i古为循环属状睬态（司常返悔态）；如稀果活，好则称贩状态现i为瞬时傍状态自（非五常返阶态）。在有蕉两种剩状态增的马摘尔可挣夫链主的情钱况下劫，掌可用嘱代入妻方程联，领中夜求出按。如织果为胁一阶扁转移仁概率炎，即翅，则盗，仗表明欲状态辽1和帅2为搂循环歇状态箩。另宫一方喜面，鼓如果习，廉则盘，表娇明状丢态2煎可能佩不再冲来到话，因瓜而，段状态蹈2是摄瞬时纯状态波。指系谷统自殖状态i开始亭，一寇定最仿终回以到状非态i；指系清统自搏状态i开始债将具餐有一拖个有慌限的渐概率秧不再纤回到贤状态i。对于统马尔遥可夫粗链中肯的状菊态j底，如狗果其赞一阶究转移饼概率汽为潮，则渣称此旱状态沈为吸色收状辅态。悄因此溉，吸瘦收状趋态被透定义除为一裳种状阁态，肾系统开在此煎状态弹中除饥去它完本身讨状态兰之外隙，不刊能再踪蝶转移尤到任槽何其向他状乡丰态中行去。如果抚在马耳尔可番夫链阅中存剧在着消一种照吸收匹状态草，则肢系统挺最终斑将到愤达并景进入践该吸壶收状退态。估一个虽马尔券可夫化链可总以含勇有一房诚个以译上的绵吸收泪状态资。这山种情挺况下紫，只急有一末个吸唱收状歉态能舰够永展远到多达。冬重要旷的是展对于肚具有寒给定辞的初咬始状武态i腹的系之统会惯被吸资收到军某一牌特定警吸收银状态恭j的掩概率栽。此泪吸收斩概率叠等于邮自状两态i元永远亿到达逐状态魄b的辆概率过，即蒙。应用厚全概朱率公曲式，们得当初判始状师态为哀j时瓜，则翼系统貌已经积被吸午收再不j中拐；而忌当初烟始状蹈态处陷于某欧一其踢他吸隔收状四态，牌例如瓜在a级，则膏系统惹将不悬再能还被吸边收到卖j，营因而缓。另一武重要饿的量芽是系纽奉统自吸某给透定的较初始骄状态刚开始和到被开吸收茅以前渠的平窜均时吹间。香如果转初始怀状态燥为i祸，令智吸收汤的平萌均时敢间为温mj，则此方患程为宝一组固线性盗联立勇方程诊式，忙因此车可求睬得以带转移敬概率咱表达尊的平亭均吸脉收时梨间mj。可录以看箭出，鼓如果闭状态文i为饭一吸山收状赵态，昏则系罩统已伪处于飞吸收辉状态艺，此贱时，奖。第三助节徐极限肆性态亩及平旁稳分贱布问题question问题question第三屡节迁极限喘性态狮及平搏稳分燥布一、的极限性态第三翼节嘱极限女性态竟及平继稳分韵布一、的极限性态告诉我们极限如何来求！第三北节乱极限隐性态赴及平孕稳分喉布一、的极限性态二、认平稳矛分布第三暮节睁极限何性态词及平珠稳分乎布二、乡丰平稳迈分布第三漂节牲极限总性态胃及平特稳分才布二、数平稳蚕分布二、蚊平稳森分布第三算节正极限乡丰性态肆及平天稳分堵布三、的存在性四、素例子第三值节戚极限丙性态蛋及平悼稳分己布四、控例子第三穴节谁极限稀性态拴及平遮稳分仪布四、恼例子第三伤节艰极限密性态族及平亩稳分详布例散雨伞长问题续续012N-骑1N1不下航雨1-痛p下雨pN-宫2不下缴雨1-板p下雨p不下唤雨1-丸p下雨p不下努雨下雨p不下静雨1-门p下雨p续所以败该马月氏链探是遍染历的根不可水约马查氏链勾，故逼平稳牺分布扔存在有且唯屿一.身边圈没雨好伞的游概率计为其一售步转火移转戏移概晕率矩迹阵为续

长时间后，概率与初始分布无关，近似于其平稳分