马尔科夫链例题整理

若表示质点在时刻n所处的位置，分析它的概率特性。例1

直线上带吸收壁的随机游动（醉汉游动）设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。质点在1，5两点被“吸收”12345

前言：马尔可夫过程的描述分类首页无记忆性未来处于某状态的概率特性只与现在状态有关，而与以前的状态无关，这种特性叫无记忆性（无后效性）。例4布朗运动若表示质点在时刻n所处的位置，求一步转移概率。引例

例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。质点在1，5两点被“吸收”12345一步转移概率矩阵的计算首页有两个吸收壁的随机游动其一步转移矩阵为状态空间I={1，2，3，4，5}，参数集T={1，2，3，………}，例2．带有反射壁的随机游动设随机游动的状态空间I={0，1，2，…}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；（2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。设表示在时刻n质点的位置，则{，}是一个齐次马氏链，写出其一步转移概率。首页qp右反射壁m-1mpq左反射壁120首页pq反射壁1230首页例3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。首页4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。首页5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。解这是一个齐次马氏链，其状态空间为I={0，1，2，…，a}一步转移矩阵是首页练习题．扔一颗色子，若前n次扔出的点数的最大值为j，就说试问是否为马氏链？求一步转移概率矩阵。I={1，2，3，4，5，6}首页例1甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是，（）。设每局比赛后，胜者记“+1”分，负者记“—1”分，和局不记分。当两人中有一人获得2分结束比赛。以表示比赛至第n局时甲获得的分数。（1）写出状态空间；（3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？首页解（1）记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为一步转移概率矩阵首页（2）二步转移概率矩阵首页（3）从而廊结束表比赛菠的概购率；从而纤结束屋比赛叛的概稀率。所以脾题中驾所求躲概率以为首页分析例2赌徒漆输光你问题赌徒份甲有绢资本a元，耻赌徒胁乙有件资本b元，叉两人傍进行虏赌博拿，每慨赌一牺局输进者给材赢者1元，午没有们和局雀，直泊赌至寸两人束中有捆一人战输光凝为止碍。设夹在每衡一局顾中，毅甲获闭胜的僚概率吐为p，乙获奸胜的纳概率椒为找，求魂甲输洽光的悟概率悄。这个会问题速实质乐上是有带有搅两个得吸收鲜壁的构随机钳游动非。从估甲的寨角度疮看，区他初携始时暮刻处柿于a，每次虹移动贼一格泉，向瓜右移习（即衣赢1元）馒的概反率为p，向左款移（述即输1元）扬的概陶率为q。如果贴一旦当到达0（即求甲输衫光）杏或a+b（即乙咏输光溜）这起个游大动就呼停止踪蝶。这泼时的坝状态允空间编为{0，1，2，…，c}，c周=钢a+b，。现在亮的问穴题是匪求质羽点从a出发置到达0状态敌先于旬到达c状态燃的概霞率。首页考虑痛质点追从j出发帽移动糊一步击后的集情况解同理根据责全概幻玉率公浆式有这一剑方程动实质描上是测一差众分方储程，威它的掀边界澡条件劫是首页于是设则可像得到啊两个梢相邻社差分兔间的装递推笑关系于是欲求先求需讨藏论r首页当而两式示相比首页故当而因此故首页用同筛样的等方法妇可以弦求得毙乙先肿输光矛的概结率由以造上计罚算结任果可鼻知首页例3排队影问题顾客御到服尿务台仪排队贿等候故服务收，在墙每一闹个服物务周狠期中策只要俩服务员台前魄有顾茶客在看等待兄，就王要对胸排在亲前面俭的一塌位提根供服汉务，蹲若服搁务台疫前无雷顾客赤时就坟不能赔实施鸣服务巾。则有求其应转移浸矩阵在第n周期灯已有烤一个顾客带在服肥务，铃到第n+1周期钳已服晶务完乳毕解先求礼出转浸移概扔率首页所以燥转移卵矩阵疲为首页证定理4.乎3马尔蛮科夫套链的欲有限维维分朋布：练习：马氏律链的授状态连空间I=惊{1，2，3}，初锹始概惨率为例4市场室占有争率预竹测设某犬地有16功00户居泊民，壮某产斯品只会有甲洋、乙明、丙3厂家贤在该怀地销园售。魔经调物查，8月份叹买甲献、乙视、丙乔三厂富的户科数分纪别为48户0，32俱0，80屡0。9月份巷里，答原买惕甲的瞒有48户转稿买乙横产品登，有96户转孤买丙禾产品捆；原啦买乙盖的有32户转友买甲行产品业，有64户转抖买丙谢产品睬；原传买丙钓的有64户转及买甲晌产品藏，有32户转蔽买乙鞠产品怪。用病状态1、2、3分别乏表示国甲、漠乙、谁丙三铺厂，翁试求（1）转挽移概痒率矩连阵；（2）9月份偷市场爸占有狗率的永分布柄；（3）12月份猫市场称占有磁率的蜜分布匀；解（1）E{客1，2，3}观,状态1、2、3分别续表示者甲、疫乙、聋丙的怪用户一步遥转移手概率株矩阵炉为（2）以16添00除8月份害甲，挂乙，晒丙的齐户数尺，得拾初始咱概率宣分布旱（即暗初始清市场济占有陶率）所以9月份绘市场喜占有妈率分堪布为（3）12月份汁市场鸦占有使率分纲布为例1其一概步转济移矩吨阵为试研魂究各设状态央间的盼关系乌，并石画出孝状态挨传递延图。解先按踩一步生转移践概率扣，画彻出各抖状态雁间的转传递贞图首页2/31/41/41/31/21/20121/2图3---1由图器可知状态0可到中达状水态1，经糠过状销态1又可链到达持状态2；反庸之，铸从状西态2出发截经状知态1也可惯到达探状态0。因此至，状沃态空习间I的各更状态亭都是党互通叨的。又由贼于I的任代意状纤态i艺(i骆=犯0，1，2)不能愤到达I以外喊的任赔何状牧态，所以I是一薯个闭倘集而且I中没此有其宝它闭匠集所以祝此马莲氏链加是不宿可约插的。首页例2其一恰步转年移矩搂阵为试讨类论哪充些状寻态是寸吸收关态、绢闭集鹊及不君可约牌链。解先按搏一步瞎转移普概率剖，画卸出各竹状态摩间的科传递纪图首页111/21/21/2311/2图4---24521闭集旨，由图奸可知状态3为吸走收态且闭集邮，闭集桃，其中过是不更可约阿的。又因窗状态尺空间I有闭标子集佳，故此枕链为证非不供可约愧链。首页3．常滔返态脚与瞬绝时态则称衰状态i为常腹返态则称鸽状态i为瞬拍时态注“常呈返”烘一词液，有别时又仍称“经返回笋”、核“常滩驻”扒或“誓持久在”“瞬茫时”系也称剧“滑追过”斗或唤“非幻玉常返志”定理4定理5定理6如果i为常怎返态亭，且拆，则j也是强常返理态。定理7所有白常返粱态构害成一秩个闭俱集5．正畜常返递态与旱零常拖返态平均设返回疑时间从状越态i出发露，首礼次返辨回状装态i的平耕均时伟间称为躬状态i平均码返回沈时间.根据夜的值拔是有艘限或应无限稀，可举把常箭返态般分为忆两类韵：设i是常贝返态率，则称i为正犯常返灯态；则称i为零裹常返若态。首页例其一赞步转挨移矩迟阵如绪下，叛是对I进行傲分解医。I可分阻解为阶：C1={换2，3,缓4榆}C2={棵5，6,扑7}两个修闭集炕及N=薪{1亿}，即I=晕N+兔C炎1+恐C棋2用极饺限判费断状荐态类泳型的宾准则（2）i是零寒常返送态（3）i是正钥常返葛态（1）i是瞬殿时态且且首页例3转移埋矩阵试对血其状孙态分蕉类。解按一矿步转瓦移概扯率，画出弟各状测态间厅的传粗递图21/4111/41/411/4143首页从图桃可知子，此手链的夹每一恨状态逮都可绿到达楼另一丛状态藏，即4个状喉态都额是相布通的吐。考虑踩状态1是否赌常返帮，于是言状态1是常却返的份。又因科为所以擦状态1是正蔽常返按的。此链谈所有倡状态格都是酒正常谜返的忽。21/4111/41/411/4143三、扬状态坛的周术期与绒遍历1．周枕期状广态对于泥任意弯的乎，令其中GC械D表示粮最大华公约坏数则称享为周宁期态查，则称脱为非坦周期耽态。定理112．遍紧历状挂态若状夕态i是正府常返抓且非似周期淋，则叉称i为遍拖历状欺态。111/21/21/2311/2图4---24521例4设马钥氏链留的状里态空寒间I=唯{0医,1拿,2逃,…烦}，转移兵概率父为试讨甘论各每状态直的遍子历性燃。解根据帐转移仔概率那作出貌状态进传递仗图…1/21/21/21/21/21/20121/2图4---431/2首页从图框可知设，对冈任一视状态盼都甜有佩，故由体定理鹊可知捉，I中的章所以闪状态森都是捎相通羡的，因此绒只需煌考虑菠状态0是否付正常疾返即兄可。…故从而0是常哪返态俱。又因触为所以扬状态0为正息常返缎。又由犁于故状宿态0为非尼周期梳的从而季状态0是遍遣历的赛。故所央有状拦态i都是材遍历武的。…1/21/21/21/21/21/20121/2图4---431/21/31/211/31/211/31234例5．设羞马氏钱链的带状态钟空间I=很{1，2，3，4}，其一忘步转涨移矩良阵为解试对素其状锦态分及类。按一秒步转导移概丽率，某画出物各状棵态间撤的传狠递图它是炸有限久状态巩的马稼氏链驰，故偏必有抹一个钳常返朋态，樱又链薄中四帖个状球态都院是互阳通的借。因供此，颗所有勉状态帜都是蹄常返兼态，菜这是顶一个绘有限具状态笑不可题约的狱马氏斗链。可继居续讨雄论是惩否为片正常做返态可讨鸟论状踩态11/31/211/31/211/31234状态1是常疤返态状态1是正吗常返肺态所以币，全塞部状剧态都峡是正拾常返华态首页1/31/211/31/211/31234例1其一赚步转哭移矩丙阵为试证扣此链块具有湖遍历桐性，搞并求替平稳坐分布之和各深状态草的平奸均返挂回时倚间解由于首页所以因此量，该服马氏踢链具近有遍外历性貌。解得所以从马氏葱链的蹄平稳符分布币为X123各状出态的款平均作返回师时间例2设有6个球色（其攻中2个红糊球，4个白墓球）夺分放观于甲摩、乙意两个和盒子论中，研每盒漏放3个，望今每笨次从犬两个足盒中捞各任港取一后球并搭进行臂交换筋，以境表示听开始财时甲滑盒中落红球仆的个脸数，聋（速）共表示结经n次交慨换后夫甲盒线中的嗽红球肌数。(排1做)求马截氏链{，}的转墙移概莲率矩步阵；(笨2慰)证明{，}是遍符历的么；（3）求（4）求首页解其一串步转侧移矩施阵为甲乙红球0白球3红球2白球1红球1白球2红球1白球2红球2白球1红球0白球31/32/95/92/32/91/30122/3由状犯态传霸递图1/32/95/92/32/91/30122/3（2）由题于它温是一捞个有蜻限马股氏链润，故礼必有孕一个揪常返携态，又链鸭中三节个状传态0、1、2都相洪通，惕所以茧每个泄状态障都是卡常返浓态。所以写是一卧个不婆可约避的有猾限马耻氏链悼，从程而每策个状以态都桌是正摊常返我的。所以扑此链件为非斥周期崖的。故此本链是仓不可摩约非饶周期连的正浮常返且链，鉴即此触链是纺遍历答的。首页也可义以利惰用定要理1证明吃遍历束性首页解之纤得故得首页（4）首页例3市场劝占有获率预逗测设某淘地有16抢00户居刃民，休某产御品只姻有甲尖、乙零、丙3厂家涂在该钻地销匹售。如经调还查，8月份污买甲米、乙笨、丙扶三厂弃的户病数分估别为48哪0，32挖0，80花0。9月份彩里，拾原买厅甲的牺有48户转侄买乙湾产品哭，有96户转睡买丙窄产品