随机过程概要及概率基础实用教案

1、 天大(tin d)(tin d)教材 随机过程基础（修订版）随机过程基础（修订版）作者作者(zuzh): (zuzh): 宋占杰王家生王宋占杰王家生王勇勇出版社出版社: : 天津大学出版社（天津大学出版社（2011)2011)定价定价: 19: 19元元, , 本校书店打折本校书店打折特点特点: : 少学时研究生教材少学时研究生教材第1页/共49页第一页，共49页。 天大(tin d)(tin d)教学指导书 随机过程学习指导及习题解析随机过程学习指导及习题解析作者作者: :王勇程广涛宋占杰王勇程广涛宋占杰出版社出版社: : 天津大学天津大学(tin jn d xu)(tin jn d xu

2、)出出版社（版社（2013)2013)定价定价: 15: 15元元, , 本校书店打折本校书店打折特点特点: : 少学时研究生教材配套解答少学时研究生教材配套解答第2页/共49页第二页，共49页。 考试(kosh)(kosh)要求 学术论文学术论文4040分，联系专业和导师协商，分，联系专业和导师协商，选取选取SCISCI杂志论文，最好杂志论文，最好1 1、2 2区，译成中文，区，译成中文，近年以内。近年以内。( (硕士硕士SCISCI即可）即可） 考勤考勤1010分，缺课分，缺课1 1次不扣，一次以上次不扣，一次以上每次扣每次扣2 2分，扣完为止分，扣完为止(wizh)(wizh)，不倒扣。

3、，不倒扣。 迟到迟到2 2次算次算1 1次。次。闭卷考试闭卷考试5050分，选自之后习题。分，选自之后习题。第3页/共49页第三页，共49页。概概率率论论probability theory数数理理统统计计 Mathematical statistics随随机机过过程程s st to oc ch ha as st ti ic c p pr ro oc ce es ss s随随机机数数学学s st to oc ch ha as st ti ic c m ma at th he em ma at ti ic cs s二、随机数学(shxu)发展概述随机现象随机现象 内在内在(nizi)规律规律偶然

4、性偶然性 必然性必然性第4页/共49页第四页，共49页。3 随机(su j)过程Brown运动: 1827 年，Brown在显微镜下发现花粉的无规则运动, 将此奇怪现象公诸于世, 无人能解释原因. 1900年，法国数学家Bachelier给出 一维Brown运动粗略模型, 其博士论文为投机的理论，研究证券价格的涨落，开创近代金融(jnrng)数学的先河，但他的结果几十年之后才得到认可. 1905年,Einstein 首次进行量化分析, 认为花粉运动源自分子无规则热运动, 每秒碰撞次. Wiener 1918年发表系列论文, 成功解决这一问题, 故称WienerEinstein过程. 21191

5、010第5页/共49页第五页，共49页。Markov过程(18561922): 十九(sh ji)世纪末用 矩阵研究 马氏链, 开始随机过程理论. Erlang 因研究电话问题得到了Poisson过程 , 创立 了排队论. Feller研究了生灭过程.平稳过程: 从辛欣研究大数定律开始，1934年完成.鞅论: 莱维（Levy. Paul Pierre, 1886-1971） 19301955年创立. 杜悖( J. Doob )研究停时.随机积分: 伊藤清(1915日), 87年获Wolf奖,97 年有人 因 研究Ito微分方程的解而获诺贝尔经济奖.最优停时: 1名秘书, 100人应征, 如何选

6、? Gilbert 和 Mosteller1966年证明37%规则, 前37个不要, 第38个后开始超过前面就定下来, 选中最优率为1/e=0.367879. 而随机取这一结果仅1%.第6页/共49页第六页，共49页。三、初步(chb)概率论离离 散散 的的连连 续续 的的其其 它它期期 望望 、 方方 差差 、 矩矩XX（ 随随 机机 向向 量量 ）协协 方方 差差 、 相相 关关 系系 数数可可 数数 个个独独 立立 、 极极 限限 定定 理理不不 可可 数数随随 机机 过过 程程第7页/共49页第七页，共49页。四、随机过程定义(dngy)及分类1、定义(dngy) 定义(dngy)域

7、值域 T (E,B) (,F,B) E：状态空间, 相空间, E 中元素叫状态.一般为 实数或复数. B为Borel可测集全体 T,txt T,tt,x 第8页/共49页第八页，共49页。2、分类(fn li) 按定义域、值域分：（1）T及E都可列（2）T可列， E非可列（3）T及E都非可列（4）T非可列， E可列 其中T可列，即（1）、（2）为随机序列（时间序列）. 其中E可列, 即（1）、（4）为可列过程, E为有限集时为有限过程.第9页/共49页第九页，共49页。按概率关系分（1） Markov过程(guchng) 独立增量过程(guchng) Poisson过程(guchng) Wie

8、ner过程(guchng)（2）正态过程(guchng),二项过程(guchng),负二项过程(guchng)（3）平稳过程(guchng),宽平稳过程(guchng)(白噪声)（4）鞅 我国王梓坤为概率第一人.第10页/共49页第十页，共49页。 应用(yngyng)随机过程 Applied stochastic processes 第一章 概率论的基本知识 第11页/共49页第十一页，共49页。第一章 1.1. 概率空间一、随机试验： 可重复性（同一条件） 结果(ji gu)多个（不唯一） 试验前未知 二、样本空间：随机事件A 为的子集. ：样本点 =全体三、定义域、事件域（代数） 1、

9、2、 3、 见下面FFAFA 第12页/共49页第十二页，共49页。 3、 可列并封闭 可测空间 ：信息(xnx)全体 四、值域、事件(shjin)概率 1、 (非负性) 2、 (规范性) 3、 ， ， (可列可加性)FAFAiii1) )( (F F ,.,i,j21 10 P(A)1) P( jiAAji 11iiiiAPAP第13页/共49页第十三页，共49页。五、 称概率空间，广义 测度不保证非负, 不保证为1.六、 性质 1、 单调不减 2、 对立(dul)事件和为1 3、 ， ， 有限可加性 4、 无限次可加) )( (P,F F, , FPEPFE EPEP 1 jiEE ji

10、niiniiEPEP11 11iiiiEPEP第14页/共49页第十四页，共49页。七、选取方法 有穷 为 子集(z j)全体 可列 为 子集(z j)全体 不可列 为Lebesgue可测八、极限事件 1、递增事件列： ， ， 2、递减事件列： ， ， F FF FF F1nnEE1 n1nnEE1 n1limnnnnEEninnEE1lim第15页/共49页第十五页，共49页。九、P的连续性（P与lim可交换(jiohun)顺序） 证明(zhngmng)： jinnnnnFFEEEEFEEEEFEEEEFEF11232331212211).lim()(limnnnnEPEP第16页/共49页

11、第十六页，共49页。 可列可加 正项级数收敛 (不超过1) 考虑(kol)部分和数列 等价替换(后半部分用 对偶律) nnniinniiniiiiiiEPFPFPFPFPEPlimlimlim11111第17页/共49页第十七页，共49页。nn 1nn 111(1,2),011P X0P X1(1)(limsup(0)1.1(),(limsup(1)1.1().nnnnnnnnnXnP XP XnnPXXPXX 设（），（），故（调和级数发散）；同时，一般项趋于 ，这样无穷多个出现的概率是 未必是必然事件 同时无穷多个不出现的概率也是 未必是必然事件十、调和级数实例十、调和级数实例(shl).

12、 第18页/共49页第十八页，共49页。十一、统计物理模型 解一（Maxwell-Boltzman) 质点(zhdin)可分辨，处于每个状态的质点(zhdin)个数任意。 iniig!nP iiin1gnC1P iingC1P 解三（解三（Fermi-Dirac) 质点不可分辨，每个状态只有一个质点。质点不可分辨，每个状态只有一个质点。 适于电子适于电子(dinz)、中子、中子、 质子等质子等Fermi子。子。 解二（Bose-Einstein) 质点(zhdin)不可分辨，处于每个状态的质点(zhdin)个数任意。 适于光子、介子、核 子等Bose子。 第19页/共49页第十九页，共49页。

13、1.2 随机变量(su j bin lin)随机变量X分布函数(hnsh): 满足： () 单调不减； () 右连续； () ； () ； xfxF xXPxF 0 F 1 F.)(:,;)(: ,),(为可测集可测，是指：讲学基础实变函数应用数这里指的是可测集实数概率空间axfDxLebesgueFaXaPF第20页/共49页第二十页，共49页。一、存在性 命题：设 是单调不减，右连续的函数，且有 ， ，则必存在概率空间(kngjin)(kngjin)及其上的一个随机变量 ，使 。 证明： （略） R,xxF 0 -F xFxF 离散离散(lsn)(lsn)的：的： 连续连续(linx)(l

14、inx)的：的： xyyXPxF dttfxFx1)(F第21页/共49页第二十一页，共49页。二、命题(mng t)(mng t) 已给n n元函数 ，满足： () () 对任一 是单调不减的， () () 对任一 是右连续的， () () n,x,xF 1 n,x,xF 1ix n,x,xF 1ixnixx,x,xF,FniiXX , 2 , 1, 0, 1111第22页/共49页第二十二页，共49页。 () 设 ，则 则必存在概率空间则必存在概率空间 及其上的随机向量及其上的随机向量 ，使，使 的分布的分布(fnb)函数函数niyxii, 2 , 1, niinnjiijniinyxyF

15、FxxFFFyyF,0,1,1111 其中) )( (P,F F, , nnxxFxxF,11 第23页/共49页第二十三页，共49页。注意(zh y): ()不能由()、 ()、 ()推出反例：定义 满足满足(mnz)()、 ()、 ()，但是对，但是对 0 , 0 0 , 1 ,212121xxxxxxF 21,xxF) 1, 1 (),(,) 1, 1(),(2121yyxx 101111, 11, 11 , 11 , 1 FFFF第24页/共49页第二十四页，共49页。三、 ( (联合分布唯一确定边沿密度, ,反之不成立.).)此例两个密度函数显然不同，密度函数非零区域(qy)(qy)

16、相同. .边缘密度如下: : 反反之之 , 01,0 ,yxyxyxf 反反之之 , 01,0 ,2121,yxyxyxg第25页/共49页第二十五页，共49页。 X X边缘密度边缘密度(md):(md): 利用密度利用密度(md)(md)函数的轮换对称性函数的轮换对称性, ,可得可得Y Y边源密度边源密度(md)(md)也相同也相同均为均为1/2 + y .1/2 + y . ( 10,212121,10,21),1010 xxdyyxdyyxgxxdyyxdyyxf第26页/共49页第二十六页，共49页。四、事件(shjin)(shjin)独立：)()()(BPAPABP n n个事件个事

17、件(shjin)(shjin)独立，独立， 个表达式。个表达式。12 nn 随机变量独立：随机变量独立： 独立，要求独立，要求(yoqi)(yoqi)联合密联合密度为边缘密度之积，即：度为边缘密度之积，即： 命题命题1.2.51.2.5至至1.2.71.2.7知道结果就行知道结果就行. .nXXX,21 nXXnxFxFxxFn 111,其中，其中， njixjXxxFxFij,lim1 第27页/共49页第二十七页，共49页。五、 随机变量 相互(xingh)(xingh)独立nXXX,21 六、若随机变量六、若随机变量 相互相互(xingh)(xingh)独立，独立， 为为 可测函数，可测

18、函数， ，则，则 也相互也相互(xingh)(xingh)独立独立. .nXXX,21 ifBorelni, 2 , 1 nnXfXfXf,)(,2211. )(),(, 2 , 1,12211niiinniAXPAXAXAXPniBA对任意第28页/共49页第二十八页，共49页。例: :已知n n阶正定(zhn dn)(zhn dn)对称矩阵B B，nnxxxaaa,11 是是n n维随机变量的密度。式中维随机变量的密度。式中 表示表示(biosh)B(biosh)B的行列式的行列式的值，的值， 表示表示(biosh)(biosh)矩阵矩阵C C的转置矩阵，的转置矩阵， 表示表示(biosh

19、)(biosh)矩阵矩阵B B的逆矩阵。下面证明的逆矩阵。下面证明 axBaxBxfn121221exp21 BC1B1dxxfnR 因为因为B B对称正定对称正定(zhn dn)(zhn dn)，故存在正交阵，故存在正交阵T T，使：，使：第29页/共49页第二十九页，共49页。 ndddDTTB00000021其中其中(qzhng) (qzhng) 是是B B的特征值且的特征值且 。id0 id 作变换作变换(binhun) ,(binhun) ,右乘右乘T, ,T, ,可得可得 因为因为 ， Taxy ITT yTax 1Tyx.1nddDTTTDTDTTTTTBTB第30页/共49页第

20、三十页，共49页。 niiidyyTTByyTBTyyTyTBaxBax121111111)2exp(212iiiidydyd果：注意到高数及概率中结第31页/共49页第三十一页，共49页。所以(suy)(suy) 12exp212exp212111212iiiniinniiinnRdydyddydydydddxxfn 是是n n维正态分布的密度维正态分布的密度(md)(md)函数函数. . xf例例: :事件事件(shjin)A(shjin)A的示性函数的示性函数: : AAIA , 0, 1第32页/共49页第三十二页，共49页。1.3 随机变量(su j bin lin)的数字特征一、数

21、学(shxu)(shxu)期望（mean, mathematical mean, mathematical expectation)expectation) )()( 1xxXxPxdFxXPxdxxxfxdFxEXXiiiX连续型（绝对连续型（绝对(judu)(judu)可积可积条件下）条件下）离散型（绝对收敛条件下）离散型（绝对收敛条件下）抽象积分：抽象积分： dxPEX第33页/共49页第三十三页，共49页。二、随机变量(su j bin lin)(su j bin lin)函数的期望 dPxhxdFxhXEhYEXhYX 三、矩（三、矩（momentmoment）1 1、普通、普通(p

22、tng)k(ptng)k阶阶矩矩2 2、k k阶绝对阶绝对(judu)(judu)矩矩3 3、k k阶中心矩阶中心矩 xdFxXEXkk xdFxXEXkk xdFEXxEXXEXkk 物理上，一阶矩是重心，二阶矩是转动惯量。物理上，一阶矩是重心，二阶矩是转动惯量。第34页/共49页第三十四页，共49页。四、方差(fn ch)(fn ch)（二阶中心矩，variancevariance） 22222222 2EXEXEXEXEXEXEXXEXXEEXXEDX 方差方差(fn ch)(fn ch)表示稳定性：方差表示稳定性：方差(fn ch)(fn ch)大，风险大；方差大，风险大；方差(fn

23、ch)(fn ch)小，风险小。小，风险小。五、五、n n维随机维随机(su j)(su j)向量向量 是是n n维随机向量，分布函数为维随机向量，分布函数为 ， 为为n n维维BorelBorel函数，则：函数，则： nXX,1 nxxF,1 nxxg,1 nnnxxdFxxgXXEg,111 第35页/共49页第三十五页，共49页。六、协方差（二阶混合(hnh)(hnh)中心矩，covariancecovariance）jkkjkjkkjjkjbEXEXXXEEXXEXXEXXCov , 随机随机(su j)(su j)向量，协方差阵：向量，协方差阵： nnjkbB 七、相关系数（七、相关

24、系数（correlation coefficientcorrelation coefficient） 212122111221221122111212, DXDXXXCovbbbDXDXEXXEXXEbbbr 注：注：HolderHolder不等式，实变函数不等式，实变函数(hnsh)(hnsh)或应用数学基础。或应用数学基础。 111 11 qpdxxgdxxffgdxqEqpEEp第36页/共49页第三十六页，共49页。八、相关系数的性质(xngzh)(xngzh) 1 1、 2 2、 独立 3 3、 以概率1 1线性相关 注：由 得不到 独立。 下有反例. .112 r21, XX012

25、 r111212baXXPr012 r21, XX第37页/共49页第三十七页，共49页。 1,121, 01110:1011),(211222222x x x xdy x f(x,y)dyxfy xy xx,yfyxfX,YxxX解一的联合密度例：第38页/共49页第三十八页，共49页。 0012)( 1 , y-121 , 0 1 ,dx 11 , 0),(1122 1122EYdxxxdxxxfEXyyyydxyxfyfXyyY同理，第39页/共49页第三十九页，共49页。)()(),(,0),()(),(00101)(),cov(11x1x112222yfxfyxfYXryfxfyxf

26、dxdyyxyxdxdyxyEYEXXYEYXYXYXyx独立应有：并不独立。，但即但是，奇函数）、（单独关于第40页/共49页第四十页，共49页。解二：)21()21()21,21(42)21(42)21(0)21,21( YPXPYXPYPXPYXP 第41页/共49页第四十一页，共49页。rrrrxrrxrrxrrrXExdFxxdFxxdFxxdFXPMarkovXEXPrXErX)(1)(1 )()()( )()( 0,:证：不等式则有：阶绝对矩存在，的例第42页/共49页第四十二页，共49页。2)(:2DXEXXPChebyshevEXXXr不等式即得，换为，将令1)(:( 成成立立wCwP)(wC九、以概率九、以概率(gil)1(gil)1成立（几乎处处成立成立（几乎处处成立 a.