应用随机过程学习总结

1、应用随机过程学习总结一、预备知识：概率论随机过程属于概率论的动态局部,即随机变量随时间不断开展变化的过程,它以 概率论作为主要的根底知识.1、概率空间方面,主要掌握sigma代数和可测空间,在随机过程中由总体样本空间所构成的集合族.符号解释：sup表示上确界,inf表示下确界.本帖隐藏的内容2、 数字特征、矩母函数与特征函数：随机变量完全由其概率分布来描述.其中由于概率分布较难确定,因此通常计算随机变量的数字特征来估算分布总体,而矩母函数和特征函数便用于随机变量的N阶矩计算,同时唯一的决定概率分布.3、独立性和条件期望：独立随机变量和的分布通常由卷积来表示,对于同 为分布函数的两个函数,卷积可

2、以交换顺序,同时满足结合律和分配率.条件期 望中,最重要的是理解并记忆 E(X) = EE(X|Y) = in tergral(E(X|Y=y)dFY(y) .二、随机过程根本概念和类型随机过程是概率空间上的一族随机变量.由于研究随机过程主要是研究其统计规律性,由Kolmogorov定理可知,随机过程的有限维分布族是随机过程概率特征 的完整描述.同样,随机过程的有限维分布也通过某些数值特征来描述.1、平稳过程,通常研究宽平稳过程：如果 X(t1)和X(t2)的自协方差函数r(t1,t2)=r(0,t-s) 均成立,即随机过程X(t)的协方差函数r(t,s)只与时间差 t-s有关,r(t) =

3、r(-t)记为宽平稳随机过程.由于一条随机序列仅仅是随机过程的一次观察,那么遍历性问题便是希望将随即 过程的均值和自协方差从这一条样本路径中估计出来, 因此宽平稳序列只需满足 其均值遍历性原理和协方差遍历性原理即可.2、独立增量过程：假设XTn - XT(n-1)对任意n均相互独立,那么称X(t) 是独立增量过程.假设独立增量过程的特征函数具有可乘性,那么其必为平稳增量过 程.兼有独立增量和平稳增量的过程称为平稳独立增量过程,其均值函数一定是时间 t的线性函数.3、 随机过程的分类不是绝对的.例如,泊松过程既具有独立增量又有平稳 增量,既是连续时间的马尔科夫链,又是一类特殊的更新过程.参数为

4、lambda 的泊松过程减去其均值函数同时还是一个鞅.泊松过程计数过程 N(t),t>=0 是参数为入的泊松过程(入> 0),具有平稳独立增量性.而其任意时间长度t发生的次数服从均值为 入* t的泊松分布,即EN(t)= 入* t.1、与泊松过程有关的假设干分布：Xn表示第n次与第n-1次事件发生的时间间隔,定义Tn表示第n次事件发生的时刻,规定T0= 0.其中,Xn服从参数为入的指数分布,且相互独立.泊松过程在任何时候都是重新开始.Tn服从参数为n和入的r分布四、更新过程更新过程N(t),t>=0中Xn仍保持独立同分布性,但分布任意,不再局限于指数 分布.更新过程中事件发生

5、一次叫做一次更新,此时 Xn就是第n-1次和第n次 更新相距的时间,Tn是第n次更新发生的时刻,而 N(t)就是t时刻之前发生的 总的更新次数.由强大数定理可知, 无穷屡次更新只可能在无限长的时间内发生. 因此,有限长 时间内最多只能发生有限次更新.1、更新函数：更新理论中大局部内容都是有关EN(t)的性质.以M(t)记为 EN(t) ,称为更新函数.此时, M(t) 是关于 t 的函数而不是随机变量.2、更 新方程：假设 H(t) , F(t) 为,且当 t<0 时, H(t) 与 F(t) 均为 0, 同时当 H(t) 在任何区间上有界时,称具有如下形式的方程 K(t) = H(t)

6、 + intergral(K(t-s)*dF(s) 的方程称为更新方程.当 H(t) 为有界函数时,更新方 程存在唯一的有限区间内的有界的解 K(t) = H(t) + intergral(H(t-s)*dM(s) .3、更新定理： Feller 初等定理、 Blackwell 更新定理、关键更新定理.其 中Blackwell定理指出,在远离原点的某长度为a的区间内,更新次数的期望是 a/u, u = E(Xn) .同时, Smith 关键更新定理与 Blackwell 定理等价.五、马尔科夫链马尔科夫链中的转移概率为条件概率,同时给定过去的状态X0,Xn-1和现在的状态Xn,将来的状态Xn+

7、1的条件分布与过去的状态独立,只依赖于现在的 状态.其中, Pij = PXn+1=j | Xn=i 为马尔科夫链的一步转移概率,它代表处 于状态 i 的过程下一步转移到状态 j 的概率.当转移概率 Pij 只与状态 i , j 有关而与 n 无关时,称为时齐马尔科夫链,同时 当状态有限时, 称为有限链. 转移概率矩阵中概率非负, 同时随机矩阵中每一行 的元素和为 1.记Pij(n)为n步转移概率,它指系统从状态i经过n步后转移到状态j的概率, 而对中间 n-1 步转移经过的状态无要求.对 n 步转移概率和转移矩阵,有 C-K 方程公式.1.状态的分类和性质： 如果状态 i 经过 n 步转移后

8、到达 j 的概率大于0,称状态 i 可达状态 j .假设同时状态 j 可达状态 i ,那么称 i 与 j 互通,两两互通 的状态有传递 性.我们将互通的各个状态归为一类,自己和自己互通,当一个 马尔科夫链中只有一类时称为不可约类,否那么那么是可约类.如果状态 i 可以经过 n 步回到 i 状态,那么将所有 n 的最大公约数记为状态 i 的周 期,即d(i),如果d>1,那么称i是周期的,如果d=1那么为非周期,空集时为无穷 大.同属于一类的两状态周期相同.记状态i出发经n步后首次到达j的概率为Fij(n),那么所有可能n的概率Fij(n) 加起来的和记为 Fij .假设 Fij=1 ,

9、i 为常返状态, Fij< 1, i 为非常返状态或瞬时 状态.对于常返状态 i ,记 Ui 为从 i 第一次回到 i 的期望步长,假设 Ui 有限,称 i 为正常返状态,假设趋于无穷大,那么为零常返状态.假设 正常返状态 i 同时还是 非周期的,那么称之为遍历状态.假设遍历状态且 Fii(1)=1 ,那么称为吸收状态,此 时 Ui=1 .对于同属于一类的状态i , j,他们同为常返状态或非常返状态,并且当他们是 常返状态时, 又同为正常返状态或零常返状态. 状态 i 至 j 的 n 步转移概率与首 达概率间存在一定关系.同时假设i与j互通且i为常返状态,那么Fji = 1.2. 极限定

10、理及平稳分布： 马尔科夫链的极限情况即状态 i 经过无穷多步转移后到达 i 的概率是多少.有结论,假设状态 i 是周期为 d 的常返状态,那么 Pii(nd) = d/Ui ,即经过无穷多步后回到 i 的概率为常数,上述定理对 Pij 也有 效.同时,不可约的有限马尔科夫链是正常返的.假设 对于马尔科夫链 Pj = P(Xn = j) = sum(Pi*Pij) ,那么概率分布 Pj 为平稳分 布.由于此时,对于任意 Xn 均有相同的分布.同时,对于遍历的马尔科夫链, 极限分布就是平稳分布并且还是 唯一的平稳分布.极限分布即为很长时间后, 无论最开始状态如何, 最终到达某一状态的概率. 假设对

11、于遍历的马尔科夫链, 该 概率是稳定的趋于常数.3.连续时间马尔科夫链、 Kolmogorov 微分方程六、鞅鞅 的定义是从条件期望出发,如果每次赌博的输赢时机是均等的,并且赌博策 略依赖于前面的赌博结果, 赌博是“公平的. 因此,任何赌博者都不可能通过 改变赌博 策略将公平的赌博变成有利于的赌博.如果将“鞅描述的是“公 平的赌博,下鞅和上鞅分别描述了“有利赌博与“不利赌博.随机过程 Sn, n>=0 称为Fn=sigmaX0,X1,Xn适应的,如果对任意 n>=0,Sn是Fn可测的,即Sn可以表示为X0,X1,X2,Xn的函数1.鞅的停时定理：任意随机函数T是关于Xn,n>

12、=0的停时,即T=n应由 n 时刻及其之前的信息完全确定,而不需要也无法借助将来的情况, 同时 T必须是一个停时.同时,T<=n和T>=n也由n时刻及其之前的信息完全确定.假设T和S是两个停时,那么T+S, minT,S和maxT,S也是停时.那么在一直 Fn 完全信息的前提下, 有界停时的期望赌本与初始赌本相同. 特别的, 当完全信息未知时,有界停时的期望赌本与初始赌本的期望相同.2.鞅的一致可积性：如果对任意 c >0,存在S >0,使得对任意A,当P(A)v S时,有E(|Xn|la) < c对任意n成立.一致可积条件一般较难验证, 因此存在两个一致可积的充

13、分条件.3. 鞅的收敛定理：在很一般的情况下,鞅 MrJ会收敛到一个随机变量.即对于 Mn, n>=0是关于 Xn, n>=0的鞅,并且存在常数 C有限,使得 E(|Mn|)<C对任意n成立,那么当n趋近于无穷大时, Mr收敛到一个随机变量 M).只有当Mn致可积时,才有 E(Mx)=E(M0).4. 连续鞅：停时定理,收敛定理七、布朗运动假设 B(0)=0, B(t),t>=0 有平稳独立增量,对每个 t>0, B(t) 服从正态分布 N(0, t) 称之为标准布朗运动.布朗运动的二次变差 B,B(t) = t .布 朗运动是满足以下三点性质的随即过程,即对于

14、B(t)-B(s) N(0,t-s),B(t)-B(s)服从均值为0,方差为t-s的正态分布.当s=0时,B(t)-B(0)N(0,t) 并且,对任意 0& lt;=s<t , B(t)-B(s) 独立于过程的过去状态 B(u), 0<=u<=s. 同时,B(t)(t>=0)是t的连续函数.由于布朗运动在有限维分布是空间平移不 变的空间齐次性,只需研究始于 0的布朗运动即可.1.高斯过程： 有限维分布是多元正态分布的随机过程. 布朗运动是种特殊的高斯过程,即 B(t) 的任何有限维分布都是正态的.2. B(t) 是鞅, B(t)A2 - t 是鞅：即如果连续鞅 X(t) 使得X(tF2 - t也是鞅,贝U X(t) 是布朗运动.3.布朗运动 B(t) 具有马尔科夫性,容易得到 B(t+s) 在给定条件Ft=sigma(B(0),B(1),B(t)下的分布与在给定条件 B(t)下的分布是一致的. 同时由布朗运动具有时