随机分析之收敛(极限)

1、随机分析之收敛（极限）随机分析之收敛（极限）2014/12/4XXX收敛的概念收敛的概念设 为数列， 为常数，若对于 ，总 ，使得当 时有 ，则称数列 收敛于 ，常数 称为数列的极限。 nxa0 +NNnNnxa nxaa处处收敛（强收敛）处处收敛（强收敛）：随机变量序列 是定义在 上的一族数列nX12( ),( ),( ),()kXXX每个试验结果 ，上述序列均收敛，即limnnXXP.S.：上述收敛定义太苛刻了，要求对每个 都收敛。下面介绍随机序列在较弱意义下的收敛定义，它们不一定要求对每个 都收敛。nX则称随机序列 处处收敛，即1112111212222212:(),(),()():()

2、,(),()():(),(),()()nnnnnmmmnmmx x x x x x x x x x x x LLML 定义定义1 称二阶矩随机序列 以概率以概率1收敛收敛于二阶矩随机变量 ，若使成立的 的集合的概率为1，即或称 几乎处处收敛几乎处处收敛于 ，记作P.S.：有个别 不收敛，这些点的概率为0以概率以概率1 1收敛收敛( )nX( )Xlim( )( )nnXXlim( )( )1nnPXX( )nX( )X. a enXX (Almost everywhere converge)依概率收敛依概率收敛 定义定义2 称二阶矩随机序列 依概率收敛依概率收敛于二阶矩随机变量 ，若对于 ，有

3、记作( )nX( )X0lim( )( )0nnPXXPnXX lim( )( )1nnPXX等价于(Convergence in probability)P.S.： 是一个随机事件，等式表明，当 时，这个事件的概率趋于1。即对于 ，当 充分大时，事件发生的概率很大。( )( )nXXn 0 n伯努利大数定律：设 是 次独立重复试验中事件 发生的次数，而 是事件 在每次试验中发生的概率，对于任意给的正数 ，都有伯努利大数定律说明当所做的独立重复试验的次数趋向于无穷时，可以用频率来计算事件发生的概率nknApAlim1nnkPpn依概率收敛实例依概率收敛实例频率以概率为其稳定值例例 设 随机变量

4、序列服从以下分布：为 的分布函数列 ，则有假设随机变量 的分布函数为 ，又设另一函数（1）可知 ，即 点点收敛于 ，但是 不满足分布函数的右连续性，不是分布函数。（2）除了 的跳跃间断点 外， 均收敛于因此：因此：要求分布函数序列要求分布函数序列 点点收敛于一个分布函数点点收敛于一个分布函数 有些太苛刻了，需要有些太苛刻了，需要定义分布函数序列的定义分布函数序列的弱收敛弱收敛nX11,(1,2,)nP Xnn( )nF xnX10( )11nxnF xxnX00( )10 xF xx00( )10 xG xxlim( )( )nnF xG x( )nF x( )G x( )G x( )nF x

5、( )F x0 x ( )F x依分布收敛依分布收敛 定义定义3 称二阶矩随机序列 依分布收敛依分布收敛于二阶矩随机变量 ，若相应的分布函数列 ，在 的每一个连续点，有记作称分布函数序列 弱收敛弱收敛于分布函数 ，记作( )nX( )X( )nF x( )F xlim( )( )nnF xF xdnXX ( )nF x( )F x( )( )WnF xF x (Convergence in distribution)P.S.：上述收敛定义中，对于分布函数序列 称为弱收敛，而对随机变量序列 则称为依分布收敛，这是在两种不同场合给出的两个不同的名称，但是本质含义一样，都要求在 的连续点有( )nF

6、 x( )nX( )nF xlim( )( )nnF xF x随机序列的均方收敛随机序列的均方收敛定义定义4 设有二阶矩随机序列 和二阶矩随机变量 ，若有成立，则称 均方收敛均方收敛于 ，记作 上述极限常写成nXX2lim0nnEXXnXX.m snXXl.i.ml.i.mnnnXXXX或(Limit in mean)P.S.：在Hilbert空间中，随机变量 和 之间的距离的平方的均值，在 时，趋于0（均方距离）nXXn 设 是相互独立同分布的随机变量序列，则有证：由 的相互独立同分布性，得1nXnH，,1,2,nE Xan11l.i.mnknkXan均方极限下的大数定理均方极限下的大数定理

7、1nXnH，22112112111211111cov(,)()1()0,nnkkkkknnkkllklnnklklnkkEXaEXE XnnEXE XXE XnXXnD XD Xnnn P.S.：说明独立同分布的二阶矩随机变量序列的算术平均必收敛于它的统计平均定义定义5 设有二阶矩随机过程 和二阶矩随机变量 ，若有成立，则称 当 时均方收敛均方收敛于 ，记作 P.S.：后面的均方连续、均方导数和均方积分都是在随机过程的均方收敛的基础上定义的( ),X t tTX02lim( )0ttEX tXX.0()m stXX tt0l.i.m( )ttX tX或(Limit in mean)随机过程的均

8、方收敛随机过程的均方收敛( ),X t tT0tt收敛之间的关系收敛之间的关系（1）若 ，则（2）若 ，则（3）若 ，则 .m snXXPnXX . a enXX PnXX PnXX dnXX 不收敛不收敛dPa.em.s相互关系：（1）若 ，则（2）均方收敛必依概率收敛，反之不一定成立，即均方收敛比依概率收敛有更强的收敛性（3）均方收敛是根据均方距离定义的，依概率收敛是根据概率意义定义的 .m snXXPnXX 均方收敛均方收敛VS依概率收敛依概率收敛 若 ，则证：由马尔可夫不等式得由均方收敛知 ，则对任意给定的 ，有 .m snXXPnXX 22nnEXXPXX2lim0nnEXX0lim

9、0nnP XXrrEXP X 马尔可夫不等式：（1）若 ，则（2）几乎处处收敛必依概率收敛，反之不一定成立，即几乎处处收敛比依概率收敛有更强的收敛性（3）定义式的比较 ,a enXX PnXX 几乎处处收敛几乎处处收敛VS依概率收敛依概率收敛lim( )( )1nnPXXlim( )( )0nnPXXlim( )( )1nnPXX 若 ，则证：由 ，得因此，对任意给定的的 ，有 . a enXX PnXX lim1nnPXXlim1nnP XXlim()01lim01nnnnPXXPXX0即lim0nnP XX几乎处处收敛不一定均方收敛，尽管二阶矩存在。均方收敛和几乎处处收敛没有谁包含谁的问题

10、，但若几乎处处收敛的序列满足一些限制条件时，可以等价 几乎处处收敛几乎处处收敛VS均方收敛均方收敛（1）若 ，则（2）依概率收敛必依分布收敛，反之不一定成立。因为若随机序列 的取值依概率收敛于随机变量 的取值，则 的分布即是 的极限分布；但是取值分布的收敛并不意味着取值的收敛。由上可知，依分布收敛是一种比依概率收敛更弱的收敛，也是四种收敛中最弱的 依概率收敛依概率收敛VS依分布收敛依分布收敛PnXX dnXX nXXXnX 若 ，则证：设随机序列 的分布函数列为 ，为证 ，只须证明对所有的 ，有因为如果上式成立，则当 是分布函数 的连续点时，有因此有：首先令 ，则由得 PnXX dnXX nX

11、( )nF xdnXX x(0)lim( )lim( )(0)nnnnF xF xF xF xx( )F x(0)(0)F xF x( )( )WnF xF x xx,nnnnnnXxXx XxXx XxXxXx XxXxXXxx( )( )nnnnF xP XxP XxPXXxxF xPXXxx由于 ，有 ，所以再令 ，得同理可证，当 时，有再令 ，得因此定理得证 PnXX lim0nnPXXxx( )lim( )nnF xF x xx(0)lim( )nnF xF xxxlim( )()nnF xF xxxlim( )(0)nnF xF x（3）若 ，则逆命题不成立，反例：例例 设随机变量

12、 的分布列为再令 ，则随机变量 与随机变量有相同的分布函数，因此随机变量序列 依分布收敛于随机变量 ，即但是对于任意的 ，由于即所以： 并不依概率收敛于PnXX dnXX X111,122P XP X ,(1,2,3,)nXXn nXnXXdnXX 02 21nPXXXlim0nnPXXnXX特殊情况特殊情况：对于常数 ，则 与 等价证：由 ，则 ，CPnXC dnXC dnXC 01(0)()1 100nnnnnPXCP XCP XCF CF C 定理定理1（柯西收敛准则）（柯西收敛准则） 二阶矩随机序列 收敛于二阶矩随机变量 的充要条件为证：充分性充分性 见随机过程引论奚宏生 编著 P14

13、4 定理4.1.5 必要性必要性nXX2,lim0nmn mEXX2222=()0,nmnmnmEXXEXXXXEXXEXXm n 例 设 是相互独立的随机变量序列，其分布律为NnXn，220,1,2,111nnXnnn22221 11 2112(1)2,mnmmnnEXXE XX XXm nm nmn 由于所以 不均方收敛 NnXn， 定理定理2 设 ， ， 都是二阶矩随机序列， 为二阶矩随机变量， 为常数序列，a，b，c为常数。令 ， ， ， 。则（1）（2）（3）（4）（5）（6）特别有nX nYnZU ncl.i.mnXXl.i.mnYYl.i.mnZZlimnnccl.i.mlimn

14、nncccl.i.mUUl.i.m()nnaXbYaXbY lim=l.i.mnnnE XE XEX,lim=l.i.ml.i.mnmnnn mE X YE XYEXYl.i.mnc UcU22lim=l.i.mnnnEXEXEXl.i.m()nnaXbYaXbY（4）证：因为所以2222222222()()()()2()2()2()2()0,nnnnnnnnEaXbYaXbYE a XXb YYEaXXbYYa EXXb EYYn m l.i.m()nnaXbYaXbY（5）证：由许瓦兹不等式，有令 ，代入上式，得所以 lim=l.i.mnnnE XE XEX 22222*11E YE YE YEE YnYXX 22200()nnnE XE XE XXEXXn lim=l.i.mnnnE XE XEX（6）证：当 时，所以,lim=l.i.ml.i.mnmnnn mE X YE XYEXY 222222()()2()()()()()()()()nmnmnmnmnmnmnmnmnmnmE X YE XYE X YXYEXX YYX YXYXYEXXYYEXX YE X YYEXXYYEXX YE X YYEXXE YYEXXE YEXE YY, n m 2222220nmnmEXXE YYEXXE YEXE YY,lim=nmn mE X YE