泊松过程马尔科夫链

第七章泊松过程、马尔科夫链按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。7.1独立增量过程与泊松过程一、独立增量过程1.独立增量过程随机变量则称{X(t),t≥0}是独立增量过程，又称可加过程.是相互独立的，设{X(t),t≥0}是随机过程，如果对于任意的正整数n和平稳独立增量过程→2.平稳独立增量过程(齐次增量过程)设{X(t),t≥0}是独立增量过程，若对任意0≤s<t,随机变量X(t)-X(s)的分布仅依赖于t-s,而与起点s和终点t本身无关，则称{X(t),t∈[0,+∞)}是平稳(也称齐次)独立增量过程.二、泊松过程1.计数过程若N(t)表示到时刻t为止已发生的“事件A”的总数，且N(t)满足以下条件：则随机过程{N(t),t≥0}为计数过程。泊松过程→2.泊松过程(1)泊松过程的定义设随机过程{X(t),t≥0}的状态空间为X={0,1,2,…},且满足下列三个条件：则称{X(t),t≥0}为强度是λ的泊松过程。复习：泊松分布泊松量过程的数字特征→(2)泊松过程的数字特征设t,s∈[0,+∞),且s<t，(3)泊松过程的一个实例设N(t)表示某电话交换台在时间[0,t)内接到的呼唤次数。可以证明，对固定的t，呼唤次数N(t)是服从某参数λ的泊松分布的随机变量。证明从略。(4)时间间隔与等待时间的分布{X(t),t≥0}是泊松过程X(t)表示t时刻事件A发生(如:顾客出现)的次数，{Wn,n=1,2,…}为泊松过程的等待时间序列{Tn,n=1,2,…}为泊松过程的等待(或到达)时间序列间隔序列。泊松量过程的实例→时间间隔的分布：定理7.1.2设{X(t),t≥0}是具有参数λ的泊松过程，{Tn,n≥1}是对应的时间间隔序列，则随机变量Tn(n=1,2,…)独立同服从均值为1/λ的指数分布,其分布函数为证明(p233)等待时间的分布：定理7.1.3设{Wn,n=1,2,…}是与泊松过程{X(t),t≥0}对应的一个等待时间序列，则Wn服从参数为n和λ的Γ分布，其概率为证明(p234)到达时刻的条件分布→到达时刻的条件分布设{X(t),t≥0}是具有参数λ的泊松过程。在[0,t]内事件A已经发生n次，则第k(k<n)次事件A发生的时刻Wk的条件概率密度函数为证明(p235)正态过程与维纳过程(略)→7.2正态过程与维纳过程(自习内容)一、二阶矩过程若随机过程{X(t),t∈T}的二阶矩存在(有限),则称之为二阶矩过程。二、正态过程设{X(t),t∈T}是随机过程，若对任意正整数n和则称{X(t),t∈T}是正态过程或高斯过程。从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的相关理论。1.定义正态过程的一种特殊情形：维纳过程三、维纳过程定义：设{W(t),t≥0}为随机过程，如果满足：则称{W(t),t≥0}为维纳过程。2.正态过程的一个重要性质随机过程为正态过程的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。7.务3马尔捉科夫千链一、锻马尔丸科夫怒过程马尔尸科夫忘过程椒是具蹄有这亿样特糕性的器过程昆：当暑已知概随机绳过程都现在乓时刻放处于碗某状娃态时供，此奶过程盗“将总来”丘的情陆况便农与“随过去肢”的伯情况谱无关吵。这颈种特堪性通野常称桶为无警后效含性。设{X(t),t∈T}为随机过程，若对任意正整数n及且其条件分布则称{X(t),t∈T}为马尔科夫过程.例：直线上的随机游动马尔伟科夫叹链→二、川马尔删科夫答链,有设{Xn,n≥0}为随机变量序列，其状态空间为如果对任意的正整数n及任意n+1个状态则称此随机过程序列为马尔科夫链。1.马尔爷科夫辣链的漏定义例：懒在玻则尔氢肢原子红模型具中，季电子程可在况允许思的轨萌道上羡运动留，假穴设以Xn-哈1=ai表示山电子甘在第i条轨惜道上摔运动垒，并宝且电雷子轨释道的闻跃迁惹只在t1,t2,t3,…发生职，显脚然，登在时尼刻tn由第i轨道忙变到滩第j轨道埋的概彼率只赢与i,j有关座，而追与电卸子过猫去在饿什么调轨道海上无兄关,这个恶过程{Xn,n≥0顽}是个丘马尔砍科夫叨过程乒。一步说转移奔概率杆→2.转移存概率(一步体转移渣概率)设{Xn,n≥0投}为马槽尔科受夫链耐，其傻状态束空间煎为则称皇条件岂概率为马尔科夫链{Xn,n≥0}在时刻n的一步转移概率，简称为转移概率，记作.一般禽地，扫转移今概率君不仅壮与状列态有攀关，拉还与涛时刻设有关添。当腰转移尘概率减与时毯刻无算关时缠，表萄示马泳尔科强夫链葛具有茶平稳李转移蛮概率回，称朴这样须的马赌尔科吴夫链酱是齐次的辞或时题齐的，并次记pij(n)为pijP2怕44例6(简讲)一步膊转移订概率垮的性凤质→转移踩概率保的性亩质：转移左概率训可写浮成矩茶阵形雪式：有限状态空无限状态空间或例7(我p2常46泳)多步夫转移浮概率卸→三、战多步拳转移璃概率2.性质1.定义设{Xn,n≥0}为马尔科夫链，，则称条件概率为马尔科夫链在m时刻从状态ai经n步转到m+n时刻的状态aj的n步转移概率,记作.其状态空间为多步沈转移陷概率稻的计袜算→3.n步转吧移概波率的局计算上式肝称切际普曼-柯尔近莫哥撞洛夫升方程忙，又电称C-载K方程翁。定理筑：设{Xn,n≥0洞}为马就尔科浓夫过幻玉程，盼则对赵任意演非负撒整数m<m+r<m+n,和状的态下盐标i,j，有C-斧K方程济又可祥写为已：C-巩K方程侄的矩枕阵形框式为绍：取r=粪s=男1,可的兴两步煮转移去概率初与一绢步转皱移概展率的絮关系葵→一般负地，r=s=1r=2,s=1这就给是n步转订移概借率的错计算类依据乔，可当由对1步转拘移概琴率取n次方卖求得陕。例10伸(p母25初0)齐次赤马氏己链的午有限喝维分丢布→4.齐次专马氏倦链的赢有限损维分剑布(1善)一维括概率榴分布定义棚设{Xn,n≥0洲}为齐换次马量尔科债夫过喷程,其状补态空罢间为X=良{a1,a2,…宽,an,…欧},称下巷列一欠组概绿率为{Xn,n≥0覆}的初秃始分厨布为{Xn,n≥0卫}的初始纲分布，也撕称初始丸概率裂分布。向量羞形式悬为可以李证明愧，齐府次马蔽尔科能夫过临程的杀一维汤概率挡分布(任意磨时刻)可由蛾初始洪概率级分布密和转藏移概楚率决造定→定理备：特别犁地，埋当m=朋0时，蚕有，向量菌形式垦为：可见秆，马甲氏链陶的一惩维概搅率分缘瑞布被胀初始括分布数和一士步转丙移概催率完凯全决黑定。例14晴(p说25麻2)有限荒维概充率分酸布→(2霸)有限植维概标率分恢布同样侵可证斑：齐战次马铲氏链午的任遮意维盐概率笛分布幻玉被初跨始分盾布和批一步证转移辩概率芳完全呜决定嫂，其常关系箭为t1-0巡寿=t1经t2-t1步转童移。乔本应砌标注移为(t1,t2),即强痕调从t1时刻俱的ai1态经温步转挣移到t2时刻恒的ai2态，介但因贯是齐期次马治氏链架，具数有稳裙定的巡寿转移征概率跪，即燥转移歉概率圣与时厅刻无殖关而否只与役经历豪的时烧间长龟短有顷关，渐故只晚标注蛋转移专步数苏即可悬。其征他项逗的表凯达同孙理。例15卖(p学25诸4)本节软结束嫂！复习好：泊撞松分刘布X服从旨参数λ的泊疤松分继布,记为X~号π(层λ)，则其中λ>男0服从夺泊松密分布贱的随纸机变凉量，谈其数乞期望卫和方陷差为求等料待时营间间厘隔Tn的分移布函献数：求等岩待时拘间Wn的分婶布函物数及鲜概率尊密度铅：事件凯关系种：第n个事古件在减时刻t或之钳前发思生,当且涌仅当肌时间t已发猎生的退事件他数目X(遭t)至少冤为n，即于是上式铺对t求导搏，得证明桂：到抖达时母刻的朽条件要分布(p油23增4)在[0头,t]内已市发生n次条舅件上,第k次事牺件发送生时豪刻Wk的概沟率密杀度为例7(肌p2兰46匙):直线陆上带寒完全追反射姓壁的扯随机垃游戏咐的一池步转捕移概后率。解：翅游走傅的状沾态空停间为X=痒{-恢2s恢,-道s,扮0,拜s,季2s枯},对应X=重{a1,a2,a3,a4,a5}由给转出的读游走抽规则窜，可梁知得一筒步转械移概椅率为例10虑(p搬25址0)扁:直线卧上带晋完全托反射耕壁的孟随机插游戏属的二流步转由移概萝率。解：例14后(p忘25你2)杨:在“倦直线疲上带垃完全阻反射挂壁的母随机饭游戏缠”中惕设随营机质李点开柜始处碍于线椅段的备中点x=打0处，怪求随速机质友点经煤两步习到达当反射花壁的闸概率寒。分析拨：给弓定初炭始状禾态，扑也就翅是给杯出了金初始租的概蕉率分赢布。驶依据宵马尔恼科夫龄链一满维分狮布的即计算岗公式经两薯步到搭达反辽射壁王的概雅率为剂：已知：根据：例15浅(p元25宴4)喇:齐次鼓马尔石