马尔柯夫状态转移图与转移矩阵

马尔柯夫过程潘尔顺副教授上海交通大学工业工程与管理系7/31/2023主要内容基本概念马尔柯夫过程马尔柯夫状态转移图马柯夫转移矩阵7/31/2023基本概念随机过程（RandomProcess）—随机事件的变化过程。随机过程无确定的变化形式及必然的变化规律，因而不可能用精确的数学关系式来表达，但可用随机函数来描述。随机函数X(t)在时间t1时的取值，称为X(t)在t=t1时的状态，它也是随机变量，而t则称为过程参数。两者所有可能值的集合，分别称为“状态空间”和“参数空间”7/31/2023基剥本苦概怪念当馅系絮统历完饿全指由脏定锻义害状贵态薯的缓变荷量雄值立来板描牧述若时唇，涂则救称辫这魂个博系淡统震处飞于雀一调种骑状指态胀。键当镰描胃述归系巡寿统选的语变画量挡从轮一裳种贞状器态街的情特躬定斯值惭变个化页到刚另旱一针种谎状嗓态甲的弃特理定姐值箩时体，煎则止称校改颜系索统规实扎现厌了照状棉态岗的扯转些移去。马舞尔透柯鸦夫姓过骄程若就竞是料研艳究蜂系忘统终的撕“鲁状仁态施”弹与丸“啄状个态统”喷间向的智相洒互要转江移胖关华系孝的购。状埋态热转果移制图志-杨图肃1稀5刘-范47离/绣2吐1幻玉/源2寺0按2湾3马垃尔哲柯益夫事过掏程在床系惧统况可扯靠祸性闹的拖研后究肢中春，铺值充得浓注押意蜘的帐一顶种擦性甲质拔就穴是顺随偏机赤变咏量返X傅(潜t弓)流在时任再意猾时呆刻芒t渠n梳时根的重状天态万X沸(位t谨n蜂)莲与羞过雪去呢所犯有成时灰刻惑t余i茶(朝1李i找付n松-敞1)讨时匠的架状肠态铅X艰(欣t幼i砌)积间铃的午关景系俊。嫌对宾于页这醒一截性尤质者，徐可碍用终下登述宽条移件俯概炒率乓来出描社述拘：当浊随母机晃过负程花中蠢出虫现男的念系特统惯状钳态已导定释时剃，同则两出延现哈下扫一路个牛系卧统稿状刚态涉X食(升tn)奖=同x载n脊的增条脸件税概并率司为则禽称7动/导2倍1棵/励2弄0疾2购3马疯尔繁柯欧夫上过丸程当问条锻件形概邻率推为时固，扎则牲称包X晓(形t亩n敬)芹与残过触去叙历宜史名无桐关窄，将即富为怨独羽立删随坊机还过魄程当孙条揪件邪概棚率骆为时峰，青则诉称亚X旱(帮t毕n进)蒜仅揭与双前惧一仓状朽态拴X肝(触tn虎-弦1)积有煮关蒜而夹与谦更公前善的钥状炸态每无址关铲。叹这炉一融随瞧机杯过瓦程友就汤是谣最岩简季单串的孩马芒尔唉柯息夫塘过早程丽，细称吉为扎“扫一厘步尸马迟尔灯柯难夫互过掌程姥”旅或经“江简余单井马持尔饭柯纲夫裁过枯程壳”7抗/幕2蒜1天/公2孩0结2销3马揉尔涨柯谣夫伯过判程将的上幅述动过借程击推谢广韵到排一苹般映，猎则题马宫尔藏柯廊夫袄过赔程换是恋这垫样约一之种续随绵机覆过扎程遮，想即沸其激随布机僻变腊量朝在剪任炼意趋时扎刻什t抽n蜂时嘴的奖状棚态娃X罢(颤t毁n鸟)蚕，躬仅铸与颠其文前闹有岭限仍次昆数舱之仇内碧的少状卵态轮X炒(款tn愚-订i疮-嚷1)获,岛X妄(吹tn提-部i染-冒2)龙,伞…齿,层X令(壳tn爹-予i)愧有款关生，宇而煤与崖以召前换的斤状接态线无睬关杯。马佳尔齿柯扁夫受过惑程亩所蕉具易有挎的村这渣种弹更岗以阳前童的启各舒种仪状妇态愁不决影顿响集现歼状拔态峡X财(修t网n忌)里的衔性钟质四，以称养为殖“摆马狗氏奶性域”止或撕“煌无虾后斑效比性疾”蒸，标“哥无落记涂忆谊性居”揉。浊而驱马扒尔陈柯五夫胡过麦程划又辫称奴为角“全无夹记忍忆律过颜程戚”仗。7念/拉2仁1贩/烧2县0膀2拴3马吃尔恼柯它夫辽过梦程为乡丰了劫方砍便溉，筛现酒将璃状漫态蒙X项(愚t欺n椒)储记赞为迫j剧,姥X心(还tn延-局1)汽记叨为薯i勉，洪则糊式奶可筑写辆为条晋件匠概回率误P要i袭j沈称匹为保过姐程栗从晶状尚态扑i择到侍状燃态顽j居的慈转妨移并概握率呼。如沉果胀马放尔呼可裂夫撞过婶程园从跪一塞个递给浅定欢状救态蝴向娱另槽一辫个骄状聚态纯转炭移底的军概传率帆仅萍与冤两框状阴态衔的芽相坏对链时程间亿有蹦关女，破而冒与腥观输测津时上刻厕无折关久，违或石具妈体位观怖测末时塑间岛变赌化燥时扶其纪转竞移私概他率宴值堵仍羊不限变尽，府即则忙称垮为桶“则稳话态弦马退而挖可甚夫驱过膜程召”槽，浴“师平惨稳垫~宅”俱，纪“盏齐议次涉~氧”趁。7甲/棕2仗1受/胀2蹦0红2背3马接尔章柯纽奉夫雄状定态乔转捕移弄图马荷尔拿可棋夫士的呈状爽态叮转忙移下，笋可兰用揉马后尔饲可匀夫期状原态慰转愤移桨图伴来飘说绕明例伤：瓶一竟台岛可爱修甘复持的宿设唯备考存长在预着狼正灭常赴运度行灰状沃态滴i男和喝故暑障贪状吊态呆j甘间拼的冻状灾态隔转餐移帮问扶题借。乳如子果帝该敢设品备爪在乎运手行耍了松一茧段码时乱间化后翁处项于说状者态被i认的橡概购率身为原2屯/绘3臭，伪则厘它楚转吃移啊到临状已态萝j限的爆概往率链为数1乔-斑2范/月3梅=滤1筐/泄3兼。搏简改记涂为趁Pi夺i=萌2华/愤3战，培Pi藏j=欧1多/俩3己。糟反废之奇，殃如墙果无该碑设搂备秧处收于技状衰态钢j椅而伍经仰过傍维惰修匠后钩转店移巾到飘状氏态绒i笼的杜概殃率荣是央3筝/读4薄，展那周么度它菜处吸于哭状堆态略j悬的节概鞠率期则蓝为急1作-守3特/确4食=仆1亿/倍4缴，指简诉记殿为孙Pj显i=记3猪/雀4刘,币Pj谨j=燃1甘/授47贴/崇2店1欺/允2匹0愁2德3马逝尔两柯渗夫衰状种态晌转大移雕图用汽马吴尔亡可牧夫沃状历态祝转皆移村图屋可沟以钉简桶单碧而虹清拳晰劣地匪反始映锣这霜一伐过愿程骨。驴因可此咬，共在泉用肚马搬尔拖可妨夫畏过快程警求盗解肝系戒统损或柏设怨备伸的伙状防态夹概狼率夫时锯，吐应螺首娱先叮作客出祝相权应者的首状认态抓转祖移隶图膛，稼并萍填颜入撑有块关健概炭率缝值睬，呢则塌会降一星目漠了隐然沉并壮方持便厘求吴解固。ij图罩2活马臂尔瞧可枝夫姨状激态摧转场移吼图7玩/裂2厘1捧/治2酱0锁2机3马衔尔包柯航夫得转坟移搏矩漆阵图葵2核所页示册的售马络尔谈可殿夫仿状送态途转友移始过盈程阻，翅也菌可渡用踏马寻尔化可碗夫歼转犯移绝矩交阵秘或祸简聚称槐“转天移裙矩械阵”斥，睡“概距率苗矩朗阵”暴来虽表杏达分：矩把阵艇中趴的乞元滥素霉均表为转框移勺概邪率，泊例暴如缘瑞，厨Pi融j为辫由舟状羊态数i碎至生状技态渣j扎的旺转位移报概斗率研。主矩省阵愧行饱的央位墓置曾为慈状浙态血转捷移边的萝起效始滑位脂置旁，东矩确阵话列予的助位搁置霉为磁状永态朵转怠移养的赤达同到能位窗置藏。7戒/桃2子1离/胶2仍0绝2寇3马浩尔终柯厌夫赛转同移努矩低阵对镜于较n释状乱态烛的宿系洒统捷，支若喷可劝能隙产锹生纲的竹状姨态舌为辞S副1贴,盗S忌2宰,拴…尝,屿S慢n指，隶且捞在火状疲态景S适i陵产科生善后齐，响状字态透j息产医生评的涨条净件小概惨率敌为狮P遵i碍j仿（嚼转贤移娘概疑率命）椅，侵若税由丘最住初柳的淋分隶布乌中春随高机家地斜选赠出炎S狭i输的边概功率委为棕a平i当，讲则曾当撇此眠事池件蚁群蛛的至条籍件绝概带率店为辨一迫定总值帜且葛关昼系辰式成满立硬时课，乒称壮此阁关罩系村式密为马孔尔传可程夫教链。聋当陵可兄能写产宗生凯的迎状养态域为拴有企限齐个窄时孕，奋又厅称雨为有殊限石马叹尔欣可圈夫阅链。7咏/化2刮1各/戒2高0献2墓3马衫尔滤柯南夫旅转友移蜘矩互阵且树有n列状陪态摇系肤统寸的歉转演移取矩谱阵此为摘n扛n葬的扎方效阵转倡移飘矩提阵谨的乐各夕元伸素伙均颂为狠不鹊大愿于祥1涂的嫁非制负徐元狼素高，停而咽每循一陡行酿中信的杏各邮元驶素愿之畏和肥均虎等咏于尺1丘。7州/范2灿1谎/辜2抓0债2夏3马户尔丧柯当夫浸转伏移浅矩未阵系回统还初淹始沸状学态野的威概扩率床向哑量址由盖分两量蜻组很成协：当僚从象某鞋一桶状间态棚I跟开疏始蚀时漏，脱通尺常乱取映该邀状颤态亏的滑概致率嚼分驱量酸P蛾i盈=酷1女,药而逝其传它舱分笔量包取误为集07就/席2敏1翠/汪2夺0春2舟3例珍题队—数某代系肝统悲的赠状宜态演转昂移抢图币如蚂图卷所拦示泛。打若班该佣系奇统市的芳初递始晃状往态段的婶概蜻率倦向尚量工，斥求蜡各币次变转耻移惩后携系也统矿所树处惜的行状君态暗。竖当尚又览该伴如炸何镰？马恐尔弊柯筑夫吸转户移埋矩喝阵解击：鸡由缺图虾可底知罚转治移嘴矩怠阵劳为7我/叔2翅1扭/尚2果0症2漫3由剧得马厘尔穗柯偷夫梢转仇移歪矩当阵7阅/货2盼1畅/包2扶0烫2煮3当状时马长尔绿柯跌夫股转栋移六矩塌阵7乡丰/卖2象1援/摄2德0亚2趋3马工尔政柯钥夫俊转舍移稻矩冠阵随苗着灿转钞移耕步雨数扩n耕的销增挣加霉，清状客态爱趋葱于延稳叉定滔。助稳狂定冒状与态框的哑概消率颈称幕为常极陷限杂概绝率孤。猾例蕉如激上管题坝中将最跳后吃稳金定傲在乔：饥正枣常融状扁态伪为历4苍/秒9趴；古故停障冒状话态梁为鹅5湖/喉9咱，详这像是席极锤限洪状模态烈概羞率魂。马耀尔摔可盒夫总过钩程锣的均特钞性骆之肃一席，旷就滑是挂它盾的粒极杀限皇状窃态滥矩代阵励与魔初昂始剃状拥态唤无县关况或希极份限雄状恢态栋概叫率随与傲初补始砍状垦态崇无里关揭。粥这培种命过练程清称魔为孟“姜各死态富历侧经埋过婶程暮”刮或籍“杀遍这历默过坛程诉”伶，谦其野状舍态具转渠移蜘矩睛阵气称蹲为安“属遍鸦历朱矩剥阵岂”腥。7碑/佩2绍1撤/兽2丈0牵2纲3马稠尔矿柯怀夫尼转疾移茂矩尸阵例柄题介—先试埋检抓验罗矩迷阵局是撒否疼为足遍判历惹矩杆阵解厚：借将爷大毫于揭0布的婆元召素巨均世以膜x章表膝示背，俘检躲验滨经化n挣次幻玉方伐计霸算万后阻矩雨阵伯的地各乎元耽素研是微否脉均狂大外于抹07全/国2倍1秋/妥2嘉0修2抵3马柿尔旧柯形夫鱼转铃移蚁矩昨阵可荡见柜矩弓阵介P妙为党遍尼历蜓矩尿阵7