第1章随机过程与马尔可夫链

预备知识：随机过程与马尔可夫链第1节随机变量第2节一维随机过程的定义及物理意义第3节一维随机过程的统计特性第4节二维随机过程的定义及统计特性第5节马尔可夫过程的定义及数学表述第6节马尔可夫链的定义及数学表述第7节齐次马尔可夫链第8节马尔可夫链的遍历性第1节随机变量1、复杂性系统：事件本身很复杂，社会复杂性。2、随机现象。抛掷硬币、射击等特点：单次不确定和多次统计规律性3、研究随机事件的必要性和可行性4、随机变量:实函数，用大写字母表示5、频率和概率6、数学特征第1节随机变量7、连续随机变量的概率密度函数和分布函数第1节随机变量8、离散随机变量的分布律和分布函数9、随机变量的函数XY=g1(X)=X2

Z=g2(X)=X2

第1节随机变量说明：随机变量研究的是一次试验中可能出现的各种情况。1、随机试验：可以在相同的条件下重复进行。每次试验的可能结果不止一个但预先知道所有可能的结果。每次试验前不能确定哪个结果会出现。2、随机过程的概念和数学描述研究连续单次随机试验，在某一具体时间为一个随机变量，在不同的时刻，随机变量不同。第2节一维随机过程的定义及物理意义例2：在天气预报中，若用X(n)表示某地区第n次统计所得的该天最高气温。例1：电话交换台在时间段[0，t]内接到的呼叫次数是与t有关的随机变量X(t)。第2节一维随机过程的定义及物理意义参量(时间)连续，状态(呼叫次数)离散参量(次数)离散，状态（温度）连续X(10)是离散随机变量，X(11.5)是离散随机变量，…X(2)是连续随机变量，X(5)是连续随机变量，…例4：连续抛掷一枚骰子的实验，第n次实验的结果记为X(n)(n=1,2,…)例3：在时间段[0，∞)内电路中某器件的热噪声电压X(t)第2节一维随机过程的定义及物理意义参量(时间)连续，状态（电压）连续参量(次数)离散，状态（点数）离散X(10)是连续随机变量，X(11.5)是连续随机变量，…第2节一维随机过程的定义及物理意义设E是随机试验，S＝{e}是其样本空间。如果对于每一个样本eS

，总可以有一个确定的参数为t的实值函数X(e，t)，t

T与之对应，我们称之为随机过程，记作：

X(e，t)，eS，

t

T，简写为：{

X(t)，t

T}通常情况下，t表示时间。3、随机过程的定义4、随机过程的物理意义：1）、对于一个特定的试验结果（样本）eiS，X(ei，t)表示对应于ei的样本函数，也是随机过程的一次实现。（样本函数族）2）、对于每一个固定的参数tjT，X(e，tj)是一个定义在S上的随机变量。（随机变量族）随机过程是依赖于参量tT的一族随机变量。第2节一维随机过程的定义及物理意义4、例(p330)：X(t)＝acos（t＋），a，为常数，为在(0,2)上服从均匀分布的随机变量。1)、t为具体值时，X(t)为一随机变量。随机变量族第2节一维随机过程的定义及物理意义2)、当随机变量随机取一个值j时，得到相应的样本函数xj(t)＝acos（t＋j）样本函数族第2节一维随机过程的定义及物理意义5、为什么要研究随机过程？1)、通信过程中的信号是随机过程，2)、噪声也是随机过程第2节一维随机过程的定义及物理意义6、说明：理论分析时通常以随机变量族为描述方式。实际测量和处理中往往采用样本函数族为描述方式。为什么？第2节一维随机过程的定义及物理意义第2节一维随机过程的定义及物理意义o3)、说明：可列(离散)与非可列(连续)7、随机过程的分类1）、按随机过程任一时刻的状态，可分为连续型随机过程和离散型随机过程。2）、按参量t（通常表示时间）时离散还是连续可分为连续参量随机过程和离散参量随机过程如：时间可列型连续随机过程第2节一维随机过程的定义及物理意义1、一维分布函数1)、定义：给定随机过程，对于任意一，随机变量的分布函数一般与t有关，记为：称为随机过程的一维分布函数，而称为一维分布函数族。第3节一维随机过程的统计特性第3节一维随机过程的统计特性2）、对于随机过程，可以用n（足够大）维分布函数来近似描述随机过程的统计特性。例题：p352T1利用抛掷一枚硬币的试验定义一随机过程第3节一维随机过程的统计特性分析：第3节一维随机过程的统计特性第3节一维随机过程的统计特性第3节一维随机过程的统计特性1)、均值函数2)、方差函数3)、均方值函数第3节一维随机过程的统计特性2、随机过程的数字特征第3节一维随机过程的统计特性5)、自协方差函数4)、自相关函数例：P353T5已知随机过程的均值函数和协方差函数,是普通的函数。试求随机过程的均值函数和协方差函数第3节一维随机过程的统计特性分析：第3节一维随机过程的统计特性第3节一维随机过程的统计特性1）定义二维随机过程设X(t),Y(t)是定义在同一样本空间S和同一参数集T上的随机过程，对于不同的tT，(X(t),Y(t))是不同的二维随机变量，我们称{(X(t),Y(t)),tT}为二维随机过程。第4节二维随机过程及其统计特性第4节二维随机过程及其统计特性2）二维随机过程的分布函数用二维随机过程的m+n维随机变量的分布函数近似代替随机过程的分布函数，即：称为二维随机过程的m＋n维分布函数或随机过程X(t)与Y(t)的m＋n维联合概率分布。则称随机过程X(t)与Y(t)相互独立第4节二维随机过程及其统计特性6)、互相关函数7)、互协方差函数二维随机过程的情况第4节二维随机过程及其统计特性例：P353T7第4节二维随机过程及其统计特性第4节二维随机过程及其统计特性作业P352T2,3,9例题最好做在另外一个本子上1、马尔可夫过程1）、马尔可夫性（无后效性，遗忘特性）：过程在时刻t0所处的状态为已知的情况下，过程在tt0所处的状态的条件分布与过程在时刻t0之前的状态无关。第5节马尔可夫过程及其数学表述2）、马尔可夫过程定义：设随机过程{X(t),tT}的状态空间为I。如果对时间t的任意n个数值t1t2…tn，n3，tiT，在条件X(ti)=xi，i＝1，2，…n－1下，X(tn)的条件分布函数等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数。即：第5节马尔可夫过程及其数学表述第5节马尔可夫过程及其数学表述则称之为马尔可夫过程说明：其中状态空间I可离散可连续，参量空间T可离散可连续。例：p373T1第5节马尔可夫过程及其数学表述第5节马尔可夫过程及其数学表述分析：若第m次取值为i，则第m+1次取值样本空间为{1,2,…i},设取值为j，则有：第5节马尔可夫过程及其数学表述思考：从上面的例子可以看出，用条件概率可以很直观地表示马尔可夫过程，那为什么要用条件分布函数(而不是条件概率)来定义马尔可夫过程呢？条件概率只存在于离散情况，而条件分布函数可以总括连续和离散随机过程。1、马尔可夫链的定义时间和状态都离散的马尔可夫过程称为马尔可夫链。记作：{Xn=X(n),n=0,1,…}第6节马尔可夫链的定义及数学表述2、马尔可夫链的表示表示马氏链在m时刻处于状态ai的条件下，在m＋1时刻转移到状态aj的概率。称为在以m为起始点的1步转移概率。第6节马尔可夫链的定义及数学表述（1）1步转移概率。马尔可夫链的遗忘特性通常以条件概率来表述。1）1步转移(2)1步转移概率矩阵第6节马尔可夫链的定义及数学表述(3)状态转移图第6节马尔可夫链的定义及数学表述123第6节马尔可夫链的定义及数学表述设一醉汉Q在如图所示的直线点集I={1,2,3,4,5}上作随机游动，且仅在1秒、2秒等时刻发生游动。游动的规律是：如果Q现在在点i(1<i<5)，则下一秒各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；如果Q现在位于1(或5)这点上，则下一时刻就以概率1移动到2(或4)点。分别以三种方式描述该随机事件。12345第6节马尔可夫链的定义及数学表述1)1步转移概率表示第6节马尔可夫链的定义及数学表述2)1步转移概率矩阵表示第6节马尔可夫链的定义及数学表述3)状态转移图表示35412第6节马尔可夫链的定义及数学表述在很多时候，我们需要在知道m时刻随机过程状态的条件下，m+n时刻随机过程在各种不同状态下的概率，我们称之为以m为起始点的n步转移。n步转移情况可以用m为起始点的n步转移概率表示，记做2）n步转移同样，以m为起始点的n步转移也可以用以m为起始点的n步转移概率矩阵描述，或者是用状态转移图表示。第6节马尔可夫链的定义及数学表述例如在已知今天下雨的条件下，10天之后下雨的概率，称之为以10步转移，可以用今天（m）为起始点的10步转移概率表示。假设相继的两天之间是否下雨存在一定的概率关系，下雨用0表示，不下雨用1表示。则有初始时刻0时刻u时刻u+v第6节马尔可夫链的定义及数学表述3、C-K方程第6节马尔可夫链的定义及数学表述C-K方程：第6节马尔可夫链的定义及数学表述第6节马尔可夫链的定义及数学表述4、马氏链在时刻n的一维概率分布（绝对分布）设在n时刻，马氏链处于状态aj的概率为pj(n)，则有：因为在n时刻马氏链总处于马氏链各种状态中的一种，第6节马尔可夫链的定义及数学表述一维分布表示为向量的形式为：第6节马尔可夫链的定义及数学表述5、马氏链一维概率分布与转移概率之间的关系2、齐次马氏链的n步转移概率及n步转移概率矩阵1、齐次马尔可夫链的定义当转移概率pij(m,m+n)只与时间间隔n相关，即：pij(m,m+n)＝pij(n)称转移概率具有平稳性，此时的随机过程称为齐次马尔可夫链。第7节齐次马尔可夫链n步转移概率矩阵第7节齐次马尔可夫链3、齐次马氏链的1步转移概率和1步转移概率矩阵第7节齐次马尔可夫链说明：齐次马氏链n步转移概率矩阵等于1步转移概率矩阵的n次方。4、齐次马氏链的1步转移概率矩阵与n步转移概率矩阵的关系第7节齐次马尔可夫链由C—K方程知：对于其次马氏链有则可得例：p373T1第7节齐次马尔可夫链第7节齐次马尔可夫链分析：若第m次取值为i，则第m+1次取值样本空间为{1,2,…i},设取值为j，则有：第7节齐次马尔可夫链5、齐次马氏链一维状态分布向量与状态转移概率矩阵的关系即马氏链在n时刻的一维状态分量等于初始时刻状态分量与n步转移概率矩阵的乘积。第7节齐次马尔可夫链又因为对于齐次马氏链有：其中：所以有:第7节齐次马尔可夫链例：p374T7第7节齐次马尔可夫链分析：第7节齐次马尔可夫链第7节齐次马尔可夫链第7节齐次马尔可夫链10第7节齐次马尔可夫链1、马氏链遍历性定义第8节马尔可夫链的遍历性马氏链无论哪种状态出发，经过有限步，总可能到达其它各种状态。1010设齐次马尔可夫链{Xn,n1}的状态空间为I＝{a1,a2,a3…aj,…}，P是它的1步转移概率矩阵，如果存在正整数m，使得对于任意的ajI，都有pij(m)>0则此链为具有遍历性。2、遍历性证明第8节马尔可夫链的遍历性3、如果齐次马氏链具有遍历性，则有以下性质：我们称＝（1，2，3，…，j，…）为马氏链的平稳分布第8节马尔可夫链的遍历性设齐次马氏链的状态空间为I，如果对于所有的aj，ajI，转移概率pij