随机过程讲义第一节

随机过程授课教师：谯旭

办公室：主楼407房间控制学院2013级研究生2013-2014第一学期参考书目《随机过程》汪荣鑫西安交通大学出版社《应用随机过程》李晓峰电子工业出版社《实变函数论》曹广福高等教育出版社《随机数学》萧树铁主编高等教育出版社《随机过程导论》周荫清编著北京航空航天大学《随机过程与排队论》王维一编上海交通大学电子工程系授课主要内容概率论基础随机过程基础泊松过程及其推广马尔科夫过程二阶矩过程及其均方分析平稳过程高阶统计量与非平稳过程第一章概率论主要内容：

论及概率论的基础知识，具体介绍概率空间、条件概率空间、随机变量及其概率分布、随机变量函数的分布、随机变量的数字特征、特征函数等概念，它们是学习以后各章的理论工具。第一章概率论重点及其要求：（1）随机变量函数的分布，关键是在各种函数变换条件下求出相应的雅可比因子J。（2）随机变量的数字特征，例如：数学期望、方差、各阶矩的定义和运算性质要熟练掌握；对于随机变量之间的统计独立、不相关、正交应各满足的条件，三者的差别与联系要有明确的认识。（3）随机变量特征函数的定义和性质，它们与矩的关系，应该能灵活应用。1.1集合（一）集合的定义

所谓集合，指的是具有某种特定性质的对象的全体，通常用大写的英文字母表示，如Ａ，Ｂ，Ｘ，Ｙ…

集合中的每个对象称为该集合的元素，一般都以小写字母a,b,x,y,…例如，A是由具有性质P的元素全体组成的，通常记为：1.1集合例1假设集合A是直线上满足方程

的点组成的，试用适当方法表示该集合。例2假设是定义在R1（实直线）上的函数，试用适当方法表示使函数值小于2的那些点的全体。

1.1集合R：表示实数全体（或直线）；C：表示复数全体（或复平面）N，Z，Q：分别表示自然数、整数、有理数全体不包含任何元素的集合称为空集，记作包含有研究中出现的全部元素的“最大”集，称之为空间，常用

表示。1.1集合子集：假设A，B是两个集合，如果A中的元素都是B中的元素，则称A是B的子集，记作，或者。结论：空集

是任何集合的子集，任何集合是其自身的子集。（二）集合运算余集：集合A的余集是指在一个给定空间的中，不属于A的那些点的集合，可以表示为：1.1集合并集：两个集合A和B的并集是指至少属于A和B之一的点的集合，记作：交集：两个集合A和B的交是指同时属于它的两个集合的点的集，记作1.1集合若AB=0，即集合A和集合B没有公共元素，则成为互斥或不相交。若对每个满足，则集合是互斥的或互不相交。差集：两个集合A和B的之差A-B是指属于集合A而不属于集B的点的集合，记作1.1集合三个重要定律：

1.交换律

2.结合律1.1集合

3.分配律德.摩尔根（De.Mergan)定理

加法分配律

乘法法分配律1.1集合（三）波莱尔集合体

设有空间，的一些子集A（一般是不可列的）组成的类F称为中的一个代数或称为波莱尔（Borel)集合体，如果F满足下列条件：（1）（2）（3）1.1集合结论：一个波莱尔体是一些集的类，它显然包含空集

和空间

。对于它的一切可列集的并和交的运算是封闭的。

一切子集的类是波莱尔体。在概率论中，这个特殊的波莱尔体太大而且不实用。因此一般研究

的子集的最小类，它们既构成波莱尔体又包含被研究的一切元素和集。1.2概率简述（一）随机事件与样本空间

随机试验E：即在一组可重复实现的条件下观察某种现象能否出现的行动。

随机事件：随机试验的每一个可能结果一般称为随机事件，简称事件。最简单的事件称为基本事件。

样本空间：随机试验的所有可能基本事件的集合称为样本空间。1.2概率简述集合论和概率论之间的一些关系：集合论概率论空间空集元素集AAAc

样本空间，必然事件不可能事件基本事件可观察事件或复合事件出现AA不出现A和B至少一个出现A和B同时出现A出现而B不出现1.2概率简述（二）概率的定义1.概率的古典定义事件A的概率的古典定义式中S为样本空间，子集2.概率的几何定义事件A的概率的几何定义1.2概率简述3.概率的统计定义事件A的概率的统计定义

我们用事件A的频率近似表示事件A的概率，这就是概率的统计定义。1.2概率简述

概率空间的定义规定一个试验，所有样本点之集合构成样本空间S,在样本空间中一个样本点或若干个样本点之适当集合F称为事件域，F中的每一集合称为事件。若AF，则P(A)就是事件A的概率，并称这三个实体的结合（S,F,P)为一个概率空间。1.2概率简述（三）条件概率与概率的基本定理1.条件概率的定义在事件B已出现的条件下，事件A出现的条件概率为或记称(S,F,PB)为给定事件B的条件概率空间，简称条件概率空间。1.2概率简述2.全概率公式设有N个互斥事件BN(n=1,2,…,N),它们的和为整个S，即满足

则此式称为全概率公式。1.2概率简述3.贝叶斯公式将条件概率公式推广到N个事件中去，可得

这就是贝叶斯公式。4.统计独立如果事件A、B满足或者则称这两个事件是统计独立的。并有1.2概率简述例3

某一基本的二元通信系统，由一步发射机和一部接收机组成，如图1.1所示。发射机经过信道向接收机发送两个符号0或1中的一个符号。发射机接射机信道图1.1二元通信系统方框图若发送符号1和0的概率分别为0.6和0.4，且条件概率为求1.2概率简述解：由全概率公式得1.2概率简述根据贝叶斯公式有习题1.写出下列随机试验的样本空间S：

a.同时掷两枚骰子，记录两枚骰子点数之和；

b.10件产品中有3件是次品，每次从中取1件，取出后不再放回，直到3件次品全部取出为止，记录抽取的次数；

c.生产某种产品直到得到10件正品，记录生产产品的总件数。

d.将一尺之捶折成3段，观察各段的长度。习题2.设有一个二进制的数字通信系统，主要由1和0两种符号组成，如下图所示，且求条件概率。1.3随机变量及其分布函数（一）随机变量的定义

设(S,F,P)是一概率空间。对于sS，X(s)是一个取实数值的单值函数。若对于任意实数x，{s:X(s)<x}是一随机事件，亦即{s:X(s)<x}F，则称X(s)为随机变量，并将它简记为X。1.3随机变量及其分布函数（二）离散型随机变量及其分布律

随机变量的全部可能取值是有限个或可列无限多个，称之为离散型随机变量。离散型随机变量X的概率分布或分布律定义为显然有1.3随机变量及其分布函数（三）连续型随机变量及其密度函数

对于随机变量X,若存在非负函数,且有，使X取值于任意区间(a,b)的概率为称X为连续型随机变量；为X的概率密度，且有如下性质1.3随机变量及其分布函数（四）分布函数及其基本性质

1.分布函数设X是定义在概率空间(S,F,P)上的一个随机变量，若对于任意的，则X的分布函数定义为对于任意实数a、b(a<b)，有1.3随机变量及其分布函数离散型随机变量的分布函数为

式中U(x)为单位阶跃函数；离散型随机变量的概率密度为式中1.3随机变量及其分布函数连续型随机变量的分布函数为

若F(x)连续可微，则其概率密度为1.3随机变量及其分布函数2.分布函数F(x)的基本性质（1）（2）F(x)为x的单调递增函数（3）F(x)是右连续的，即（4）若X的取值全部在区间(a,b)内，则当时，当时，1.3随机变量及其分布函数例2

设随机变量X的分布函数为求：（1）系数A;(2)X落在区间（0.3,0.7)内的概率；（3）X的概率密度。解：（1）由于分布函数是右连续的，所以A=1（2）（3）三、常见的概率分布随机变量及其概率分布随机变量及其概率分布随机变量及其概率分布随机变量及其概率分布随机变量及其概率分布六、随机变量函数的分布随机变量及其概率分布随机变量及其分布随机变量及其分布而所以即随机变量及其分布注意：随机变量的类型不仅有连续型、离散型，也有既不是连续型也不是离散型的习题3.随机变量X服从柯西分布求：（1）系数A和B;(2)落在区间(－1,1)内的概率；（3）X的概率密度。1.4多维随机变量及其概率分布（一）二维概率分布及其基本性质

设X,Y为定义在同一概率空间(S,F,P)上的两个随机变量，则(X,Y)称为二维随机变量，其联合分布函数为其基本性质如下：（1）（2）FXY(x,y)为变量x或y的单调非降函数（3）FXY(x,y)对变量x或y为右连续1.4多维随机变量及其概率分布

若二维随机变量(X,Y)的所有可能取值为有限或可列无限对时，则称(X,Y)为二维离散随机变量，其概率分布或分布律定义为显然其有如下性质：二维离散随机变量(X,Y)的联合分布函数为1.4多维随机变量及其概率分布

对于(X,Y)的联合分布函数FXY(x,y)，若存在非负的函数fXY(x,y)，使对任意的x,yR1,有

则称(X,Y)为连续型的二维随机变量，称fXY(x,y)为该(X,Y)的联合概率密度。1.4多维随机变量及其概率分布fXY(x,y)有如下性质：（1）（2）（3）若fXY(x,y)在点(x,y)处连续，则有（4）设G是xoy平面上一个区域，点(X,Y)落在G内的概率为1.4多维随机变量及其概率分布例3.给定的通信系统通过某一线路传送二元（如0与1）数码。为方便起见，数码流被分成段（成为字），每个字由相连接的4个数码组成。实践证明：此线路传送的各个数码皆互相独立的，且每个数码是等可能地取0和1。现在，线路接收机记下每个字头两位数码出现1的个数及每个字中出现1的总数。设头两位数码中1的个数用随机变量N2表示，每个字中1的总数用随机变量N4示之。（1）描述一个能定义N2与N4的基本样本空间S。（2）确定区域样本空间与，并求出这些空间上的概率分布。设N为向量其中s是S的任一样本点。（3）确定向量N的范围RN。（4）确定由N在RN上导出的概率分布，并列表示之。1.4多维随机变量及其概率分布解（1）对于基本样本空间S，我们列出所有可能出现的四码“字”，如下表。“字”00000001001000110100010101100111N2N40001010211121213“字”10001001101010111100110111101111N2N41112121322232324

因为每个数码是等可能地取0和1,故所有16个可能的字皆为等概率的，即：其中某一字出现的概率为1/16。1.4多维随机变量及其概率分布续解（2）对于N2,有

同理因为16个字中4个具有N2=0的属性，故

对于N4,有1.4多维随机变量及其概率分布续解（3）现定义于是

（4）通过计算S上具有所要求属性的样本点的数目，很容易得到其概率分布，故1.4多维随机变量及其概率分布例4

设(X,Y)的联合概率密度函数记求解：1.4多维随机变量及其概率分布（二）边沿分布

二维随机变量(X,Y)具有联合概率分布函数FXY(x,y),而随机变量X、Y各自具有分布函数FX(x)、FY(y)，称FX(x)、FY(y)为该(X,Y)关于X、Y的边沿分布函数。边沿分布函数可由联合分布函数来确定1.4多维随机变量及其概率分布

对于连续型随机变量(X,Y)，可分别得到X,Y的边沿概率密度

对于概率函数的二维离散随机变量(X,Y),有

分别称为(X,Y)关X,Y的边沿概率函数。1.4多维随机变量及其概率分布

例5

设X,Y是一个二维随机变量，其联合概率密度为其中求解1.4多维随机变量及其概率分布令故1.4多维随机变量及其概率分布现定义一般二维正态概率密度表示式为这是一个具有五个参数的密度函数。分别是两个边沿密度函数的均值和方差称X,Y之间的相关系数。1.4多维随机变量及其概率分布（三）相互独立的随机变量与条件分布

1.相互独立随机变量设(X,Y)为两个随机变量，若有则称(X,Y)为相互独立的随机变量。当(X,Y)为为离散型或连续型随机变量时，X与Y相互独立的条件等价为或1.4多维随机变量及其概率分布2.条件分布在条件B下，随机变量X的条件分布函数定义为对于连续型随机变量，其条件概率密度为若事件则有1.4多维随机变量及其概率分布若X,Y为连续型随机变量，且y0，则有同理可得1.4多维随机变量及其概率分布例6

设随机变量(X,Y)服从二维正态分布求：条件概率密度解：已知二维正态概率密度为前面已求得边沿概率密度为1.4多维随机变量及其概率分布则有同理有

这两式说明在X=x条件下，Y的条件概率密度函数为正态分布和在Y=y的条件下，X的条件概率密度函数也为正态分布1.4多维随机变量及其概率分布（四）多维正态概率密度的矩阵表示法二维正态随机变量(X1,X2)的概率密度为则其矩阵表示式为式中为协方差阵1.4多维随机变量及其概率分布在n维正态随机变量的情况下，定义于是概率密度矩阵表达式为习题4.设二维随机变量(X,Y)的联合概率密度为（1）求随机变量X和Y的边沿概率密度；（2）随机变量X和Y是否统计独立？为什么？习题5甲乙两列火车在[0,60]分钟内的某个时刻到达火车站，并分别停留3、6分钟。在此时间间隔内的任易时刻，两列火车是等可能到达的，且它们到达的时刻互不相关。设随机变量X,Y分别为甲乙列火车的到达时刻，则它们的二维概率密度函数为试求（1）联合分布函数FXY(x,y);

（2）边沿分布函数FX(x),FY(y)及边沿概率密度fX(x),fY(y);

（3）甲列火车在30分钟之前到站的概率；（4）乙列火车在39～45分钟到站的概率；（5）甲列火车在乙列火车之前达到的概率。1.5随机变量函数的分布

定义在(S,F,P)上的随机变量X,其函数Y=g(X)可看成是从样本空间SX到值域空间的映射，那么g(X)也是(S,F,P)上的随机变量，并称g(X)为随机变量X的函数。此时随机变量Y的分布函数可写成若上式对y处处连续可微，则Y的概率密度微1.5随机变量函数的分布（一）单个随机变量函数的分布若Y=g(X)是离散型随机变量X的函数，即：不同的X值对应着不同的Y值，那么，X与Y取对应值的概率是相同的：

如果X为连续型随机变量，其概率密度为fX(x)；而有y=g(x)可微且为单调函数，其反函数x=h(y)也是单调的。这时，Y=g(X)的概率密度为

如果y=g(x)不是单调函数，它的反函数x=h(y)也非单调的，并设一个Y值对应着两个X值（x1=h1(y),x2=h2(y))，则Y=g(X)的概率密度为1.5随机变量函数的分布例7

设一简单的电路，如图1.4所示，电流源发出恒定电流I=2A，电阻值R1为准确值20，电阻R2设计为50，但实际值为一均匀分布于45～55之间的随机变量。求FV(v),fV(v)。图1.2简单电路示意图1.5随机变量函数的分布解：电压值为电阻R2概率密度即1.5随机变量函数的分布例8

设随机变量服从均匀分布求Y=sinX的概率密度函数解：SinX的函数一个Y值对应两个X值。在[0,]区间在[－,0]区间因此是一个非单调函数变换1.5随机变量函数的分布（二）二维随机变量函数的分布设二维随机变量(X1,X2)具有联合概率密度现需求新的随机变量若反变换函数

是唯一的确定，即(X1,X2)与(Y1,,Y2)为单值变换，则有

式中雅可比因子1.5随机变量函数的分布

借助于二维随机变量的变换，可以给出两个随机变量的和、差、积、商的分布密度1.令U=X+Y，则

2.令U=Y-X，则3.令U=XY，则4.令U=Y/X，则1.5随机变量函数的分布若X与Y统计独立时，以上四式可独立表示。即

1.5随机变量函数的分布（三）n维随机变量函数的分布设n维随机变量具有联合概率密度令g(.)为一一对应的连续可微的向量变换，它将映射为一新的n维随机向量Y=g(X)，若其逆变换X=h(Y)，则有

式中雅可比因子1.5随机变量函数的分布例9

设X是一个二维随机向量，其分量X1,X2是两个独立的随机变量。通过旋转变换，得到两个新的随机变量Y1,Y2,其坐标变换关系如下：求Y1,Y2的联合概率密度。解：它们的逆变换关系为1.5随机变量函数的分布由这些变换关系求出雅可比变换为X1,X2的联合概率密度为Y1,Y2的联合概率密度为习题1.6设随机变量X服从均匀分布求Y=cosX的概率密度函数。1.7设X是一个二维随机向量，其分量X1,X2是两个独立的随机变量，变化到极坐标以后，分量的变换关系如下：求随机向量的模Z和相位的联合概率密度以及随机变量Z和各自的概率密度1.6随机变量的数字特征（一）随机变量的数学期望（或均值）离散随机变量X的数学期望定义为

连续随机变量X的数学期望定义为

当使用函数表示离散或混合随机变量的概率密度时，上式的定义便适用于所有的随机变量。1.6随机变量的数字特征（二）随机变量函数的期望值设随机变量X的函数Y=g(X),若X为离散或连续随机变量，则Y的数学期望为或

同样引用用函数表示离散或混合随机变量的概率密度后，后式的定义便适用于所有的随机变量。1.6随机变量的数字特征数学期望有如下重要性质：推广之有

（1）若Y=aX1+bX2(a,b皆为常数），则有

（2）若Y=g1(X1)g2(X2)，且X1与X2统计独立，则有

（3）一般而言1.6随机变量的数字特征（三）条件数学期望对于二维离散随机向量(X,Y),定义

为随机变量Y在X=xi条件下的数学期望。因此，Y的非条件均值为

对于二维连续随机向量(X,Y),定义

为Y在X=x条件下的数学期望。并有1.6随机变量的数字特征若X为离散随机变量，Y为连续随机变量，则我们定义

由此可得

条件期望有如下性质：

（1）当随机变量X与Y相互独立，有

（2）1.6随机变量的数字特征

证：1.6随机变量的数字特征

（3）

只需验证对于任意固定的y有

（4）

（5）

（6）

（7）

（a,b皆为常数）1.6随机变量的数字特征（四）随机变量的各阶矩离散和连续随机变量X的k皆原点矩分别为它们的k阶中心矩分别为1.6随机变量的数字特征

中心矩与原点矩有下述关系

故可得1.6随机变量的数字特征

离散和连续二维随机变量(X,Y)的(j+k)阶联合原点矩mjk(j、k皆为正整数）分别定义为它们的(j+k)阶中心矩分别为1.6随机变量的数字特征

而二阶混合中心矩称为随机变量X和Y的协方差。

X与Y的相关系数（或归一化协方差）定义为rXY=1时，表示随机变量X,Y强烈相关；

rXY=0时，表明X,Y之间不相关。1.6随机变量的数字特征1.统计独立与不相关若两个随机变量可分解为则X,Y统计独立。如果X,Y统计独立，则有KXY=0,也就是X,Y不相关。反之则不然。但是对于两个正态随机变量，不相关与统计独立是等价的。1.6随机变量的数字特征

例10.设Z是一随机变量，具有均匀概率密度在设X=sinZY=cosZ所以X,Y是不相关的随机变量。但是，经计算故存在所以X,Y是不独立的随机变量。1.6随机变量的数字特征2.正交随机变量若两个随机变量X与Y的二阶矩E[XY]=0或则称X与Y正交。如果两个随机变量正交，且至少有一个随机变量的均值为零，这时正交与不相关是一致的。1.6随机变量的数字特征

例11.设随机变量X服从二项分布求数学期望和方差。解:

1.6随机变量的数字特征1.6随机变量的数字特征例12.(二项分布的数学期望与方差的简单求法）设{X1,X2,…Xn}是独立同分布的随机变量序列，而且P(Xk=1)=p,P(Xk=0)=q=1-p(k=1,2,…n)，X=X1+X2+…+Xn就遵从二项分布。于是有1.6随机变量的数字特征例13.一只小猫不幸陷进一个有三扇门洞的大山中，第一个门洞通到一条通道，沿此通道走2小时后它可到达地面。第二个门洞通到另一个通道，沿它走3小时会使小猫重新回到这大山洞中。第三个门洞通到第三个通道，沿它走5小时后，也会使小猫又回到这大山洞中。假定这只小猫总是等可能地在三个门洞中任意选择一个，请计算这只小猫到达地面的时间的数学期望。解:设Y表示这只小猫最初选择的门洞（编号为1，2，3），故它只取这三个值1，2，3，则

1.6随机变量的数字特征同理故得Y=1时，则。Y=2时，可得X=3+X’,其中X’这只小猫重新回到大山洞后再找到地面所需的附加事件。但一旦小猫回到大山洞后，问题与以前完全相同，故X和X’有相同分布。所以1.6随机变量的数字特征例14.设两个随机变量X,Y的联合概率密度为。试求：（1）X与Y不相关时的所有A值；（2）X与Y统计独立时所有A值。解：（1）X与Y不相关时应满足现计算上式各个期望故A为2.5或1时，X与Y不相关。1.6随机变量的数字特征续解：（2）因为在X与Y统计独立时，它们必定不相关，故只需检验A=2.5和A=1这两个值即可。

1）在A=2.5时，因为故即：A=2.5时，X与Y不统计独立1.6随机变量的数字特征续解：2）在A=1时，因为对所有的j,k，皆有故即：A=1时，X与Y统计独立的。例如：j=k=2时，由于习题1.8设离散型随机变量X的可能取值{-1,0,1,2}，每个取值的概率均为0.25。有设随机变量Y为Y=g(X)=X3-X

（1）确定随机变量Y的可能取值；（2）确定做Y的概率分布；（3）求E[Y]。1.10设随机变量X的均值为3，方差为2，现定义新的随机变量Y=-6X+22，试问随机变量X与Y是否正交、不相关？为什么？1.9

假设物种在第0代只有一个个体，它所繁衍的第1代子女数为一随机变量，其可能取值为0,1,2…，分布为P(N=n),n=0,1…。假设每个第1代子女又可独立再繁衍子孙，其繁衍的子孙数也服从同一分布P(N=n),n=0,1…假设随机变量N的期望为a，求第2代子孙的总数的期望值。1.7随机变量的特征函数（一）特征函数的定义设X是定义在概率空间(S，F，P)上的随机变量，它的分布函数为FX(x)，称的数学期望为X的特征函数。离散和连续随机变量X的特征函数分别定义为特征函数和概率密度函数一一对应。1.7随机变量的特征函数例15.设随机变量X服从正态分布N(mX,2)，求其特征函数。解：作变换则注：最后这个等式利用了这样一个事实：对任意实数c，有