随机过程Chapter 1.1 Introduction

随机过程和随机分析 深圳大学数学与计算科学学院顾燕红主讲科技楼409Email yanhonggu Tel 26538952 O 教材 随机过程 第三版 方兆本缪柏其科学出版社参考教材 应用随机过程 林元烈清华大学出版社 随机过程 S M 劳斯中国统计出版社 随机过程引论 何声武高等教育出版社 序言 随机过程 研究随机现象演变的概率规律性 是近代数学的重要组成部分 特点 1 应用非常广泛 实际工程背景强 2 数学基础要求较高 3 建立随机分析的思维较难 2 第一章引论 1 1引言 1 2条件期望和矩母函数 1 3收敛性 3 1 1引言 1 1 1基本概念和例子 1 1 2有限维分布和数字特征 1 1 3平稳过程和独立增量过程 4 1 1 0预备知识 1 1 0预备知识 随机试验 概率论的一个基本概念就是随机试验 一个试验 或观察 若它的结果预先无法确定 则称之为随机试验 简称为试验 experiment 用E表示 5 要点 在相同条件下 试验可重复进行 试验的一切结果是预先可以明确的 每次试验前无法预先断言究竟会出现哪个结果 6 对于随机试验E 以 表示它的一个可能出现的试验结果 称 为E的一个样本点 或基本事件 样本点 样本空间 样本点的全体称为样本空间 用 表示 7 2020 4 7 样本空间 的子集就是事件 用大写英文字母A B C等来表示 事件 事件的关系与运算 8 2020 4 7 为了能迅速而正确地理解和掌握事件的概率这一基本概念 我们先从概率的直观背景入手 对一些特殊的随机模型进行讨论 最后引出一般情形的公理化定义 9 2020 4 7 古典概型 若样本空间 是有限集 且每个样本点 的出现是等可能的 则称定义在该样本空间 上的概率模型为古典概型 包括几何概型 几何概型 10 例如一个质点等可能地投到一维直线的 a b 区间上 或投到二维点集的某一区域 上 11 由以上简单的概型可以看出 尽管定义一个事件的概率的具体含义不同 但是P A 有共性 即它是集合A的函数 集函数 满足取值的非负性 归一性和可加性 下面来讨论抽象空间上的概率公理化定义问题 12 随机事件的公理化定义 回顾初等概率论中引进古典概率 几何概率等定义 有如下问题 对于随机试验E的样本空间 是否 的每一个子集 事件 都能确定概率 13 集类 粗略地说 由样本空间 的某些子集作为元素构成的集合称为集类 14 2 若A F 则 3 若则 称F为 的一个 代数 事件体 F中的元素称为随机事件 简称为事件 定义 代数 设随机试验E的样本空间为 F是 的某些子集组成的集族 满足 1 F 15 对逆运算封闭 对可列并运算封闭 例仅考虑元件是正品或次品 则基本事件为 则为一个 代数 16 A1 取到正品 A2 取到次品 定义 可测空间 样本空间 和 代数F的二元体 F 称为可测空间 可测空间有如下性质 2 对可列交运算封闭 若则有 证 17 3 对有限并 有限交封闭 若则 4 对差运算封闭 即若则 18 概率的公理化定义 定义 概率 设 F 是一可测空间 定义在F上的实值集函数P 如果满足 1 非负性 对 2 归一性 P 1 3 可列可加性 对 有 则称P为可测空间 F 上的一个概率测度 简称为概率 称 F P 为概率空间 称F为事件域 A为随机事件 简称为事件 称P A 为事件A的概率 19 概率的性质 设 F P 是概率空间 则概率P有如下性质 2 有限可加性 若 则 推论1 推论2 单调性 若 则 P A B P A P B 且 20 3 概率的连续性 事件序列 An n 1 21 结论 22 条件概率 定义 设 F P 是概率空间 A B F 且P B 0 称为已知事件B发生的条件下 事件A发生的条件概率 23 定理 设 F P 是概率空间 B F 且P B 0 则对有对应 集函数满足三条公理 24 条件概率是概率 定义 记PB P B 则PB是可测空间 F 上的概率 称 F PB 是条件概率空间 25 定理 设A是概率空间 F P 上的正概率事件 B F 且PA B 0 则对任意C F有 证 全概率公式与Bayes公式 定理 设 F P 是概率空间 若1 Ai F 且P Ai 0 i 1 2 2 则对任意B F有1 26 全概率公式 Bayes公式 随机变量 定义 设 F P 是一个概率空间 定义在 上的单值实函数X R 如果满足 称X 是随机变量 randomvariable 简称r v 可测空间 F 上的可测函数 27 注 使P X x 总有意义 例如 28 分布函数 定义 设X 是定义在概率空间 F P 上的随机变量 令 称F x 为随机变量X的分布函数 distributionfunction 29 性质 1 F x 是单调不减函数 3 F x 是右连续函数 即对 30 满足以上三条的实函数F x 是分布函数 注 离散型随机变量 定义 若随机变量X可能取值全体至多可数 则称为离散型随机变量 离散型随机变量的取值 不失一般性 通常记为 0 1 2 取值的概率 称为分布律 分布函数为 31 连续型随机变量 定义 若随机变量X存在一个函数f x 使得它的分布函数 就称X为连续型随机变量 其中f x 称为X的概率密度函数 32 二项分布 泊松分布 Poisson 几何分布等 常见离散型 随机变量 分布 常见连续型 随机变量 分布 均匀分布 指数分布 正态分布等 33 二维随机变量 定义 如果X和Y是定义在同一概率空间 F P 上的两个随机变量 称 X Y 为二维随机变量 向量 34 定义 设 X Y 是定义在 F P 上的随机向量 对 称为 X Y 的联合分布函数 1 F x y 分别对x和y单调不降 2 F x y 对每个变元右连续 定理 若F x y 是联合分布函数 则有 35 X与Y的边缘分布函数 注 由 X Y 的分布可确定X Y各自的分布 反之不行 如 X Y 服从二维正态分布 与 X Y是两个正态分布随机变量 是完全不同的概念 36 定义 若在概率空间 F P 上定义了多个随机变量 X1 Xn 下面的n元函数 称为随机向量 X1 Xn 的联合分布函数 37 随机向量的独立性 本质上是事件的独立 X Y 定义在 F P 上 对随机事件 X x 与 Y y 相互独立 注 对所有 x y R2成立 38 定义 X1 Xn是定义在同一概率空间上的n个随机变量 若对任意 x1 xn 有 成立 称随机变量X1 X2 Xn相互独立 其中 称为随机变量Xi的边缘分布函数 39 设X1 Xn是概率空间 F P 上的n个随机变量 若g 是一个n元可测函数 则Y g X1 Xn 作为随机变量的函数 也是随机变量 40 随机变量的函数 数字特征 定义随机变量X的分布函数为F x 如果下面的积分或求和存在 则E X 称为随机变量X的数学期望或均值 41 定理设F x 是随机变量X的分布函数 g x 在R上连续 若 则Y g X 的数学期望存在 且 重要公式 定义随机变量X的分布函数为F x 则其方差 42 协方差 1 1 1基本概念和例子 43 在许多实际问题中 不仅需要对随机现象做特定时间点上的一次观察 且需要做多次的连续不断的观察 以观察研究对象随时间推移的演变过程 Ex 1对某城市的气温进行n年的连续观察 记录得 研究该城市气温有无以年为周期的变化规律 随机过程的谱分析问题 44 Ex 2从杂乱电讯号的一段观察 Y t 0 t T 中 研究是否存在某种随机信号S t 过程检测 Ex 3监听器上收到某人的话音记录 Z t t 试问他是否确实是追踪对象 过程识别 45 Ex 4设某种细菌群体的个数在时段 t t t 内只能增加 增加的数量与t时刻的细菌数成正比 且x0 x 0 0 求t时刻的细菌数 1 确定性方法 设t时刻的细菌数为x t 有 令得微分方程 解得实值连续函数 46 设时刻t细菌数为随机变量X t 设 t t t 内增加的细菌数仅与 t有关 而与t无关 2 随机性方法 设在X t x条件下 X t t 变为x 1个的概率为 又设 t t t 内增加不少于两个细菌的概率为 47 根据全概率公式 48 解得 注 与确定性结果不同处 1 在固定时刻t未给出确定的细菌数 给定t时刻的概率分布 2 细菌个数X t 随时间t的推移而改变 是一族随机变量 49 1 1 1基本概念和例子 50 定义1 1随机过程就是一族随机变量其中t是参数 它属于某个指标集T T称为参数集 一般地 t表示时间 当T 0 1 2 时称随机过程为随机序列 解 记 1 出现正面 2 出现反面 则X t 的样本函数为 X t 1 cos t 和X t 2 2t 51 对X t 可以这样看 随机变量是定义在空间 上的 所以是随t与 而变化的 于是可以记为X t 当固定一次随机试验 即取定 0 时 X t 0 就是一条样本路径 它是t的函数 另一方面 固定时间t t0 X t0 就是一个随机变量 其取值随着随机试验的结果而变化 变化有一定的规律 用概率分布来描述 52 随机过程的理解 随机过程可看成定义在积集上的二元函数 1 当固定是一个随机变量 这样 随机过程就是一族随机变量 53 X t1 X t2 X t 1 X t 2 X t 3 t1 t2 tn X tn 2 当固定 作为的函数 是一个定义在T上的普通函数 称为样本函数 变化 则有一族样本函数 也称轨道 路径 实现 54 随机过程在t时刻的值称为过程所处的状态 状态的全体称为状态空间 依照状态空间不同可分为连续状态和离散状态 依照参数集T 当T为有限集或可数集则称为离散参数过程 否则称为连续参数过程 当T是高维向量时称X t 为随机场 55 当T为可列集 称为离散时间 参数 随机过程 随机序列 时间序列 当E为可列 或有限 集 称为离散状态随机过程 链 当T为不可列集 称为连续时间 参数 随机过程 当E为不可列集 称为连续状态随机过程 56 例1 1英国植物学家Brown注意到漂浮在液面上的微小粒子不断进行不规则的运动 这种运动叫做Brown运动 它是一个随机过程 Brown运动是分子大量随机碰撞的结果 若记 X t Y t 为粒子在平面坐标上的位置 则它是平面上的Brown运动 57 例1 2若某人在一个直线格子点上 从原点出发进行行走 规则如下 掷一枚硬币 若正面向上则前进一个格子 若反面向上则后退一个格子 以X t 表示他在t时刻所在的位置 则X t 就是一种直线上的随机游动 58 例1 3到达总机交换台的呼叫次数为Poisson过程 每次呼叫是相互独立的 而间隔时间服从指数分布 交换台在同一时间只能接通K个呼叫 人们常要了解在某一时刻的排队长度以及呼叫的平均等待时间 这是一种排队模型 该模型可以应用于对超市 公交车站的管理或服务研究 59 例1 4流行病学的研究中有如下模型 在时刻0时易感人群大小为X 0 Y 0 是已受传染的人数 假定易感人群被传染的概率为p 则经过一段传染周期后 记为单位时间 X 0 中有X 1 没有染上病而Y 1 却受到传染 传染过程一直蔓延到再没有人会染上这种流行病时停止 于是且当时有 X t t 1 2 就是以上式为状态转移概率的Markov过程 60 对于随机过程 过程的一维均值函数为 过程的方差函数为 过程的一维分布为 1 1 2有限维分布和数字特征 61 过程的自相关函数为 过程的协方差函数为 对于随机过程 其中随机变量与的关系有X t1 与X t2 的联合分布为 即过程在t1 t2两个不同时刻值的联合二维分布 62 自相关函数和协方差函数性质 1 对称性 即对任何s t有 2 非负定性 即对任何t1 t2 tn T及任意系数b1 b2 bn有 63 定义随机过程对任给的 随机向量 的联合分布函数 称为随机过程X的一个有限维 n维 分布函数 64 X的任意有限维分布函数的全体构成的集合 变化n及t1 t2 tn所得到的有限维分布函数全体称为随机过程X的有限维分布族 记为 随机过程的分布就是指它的有限维分布族 注 65 有限维分布的性质 1 对称性 2 相容性 注 联合分布函数能完全确定边缘分布函数 66 随机过程存在定理 柯尔莫哥洛夫 Kolmogorov 定理 若任意分布函数族 满足对称性和相容性 则一定存在一个随机过程X X t t T 以它为有限维分布族 67 例1 6记Xn为第n次独立地扔一枚骰子的结果 则 Xn n 1 为一随机过程 参数集T为 均值函数为 协方差函数为 任何有限维分布 其中F x 为X1的分布函数 1 2 而状态空间为 1 2 3 4 5 6 68 如果一个随机向量与另一个随机向量有相同的联合分布函数 则称这两个随机向量是同分布的 记为 定义1 2如果随机过程X t 对任意的t1 tn T和任何h有则称X t 为严格平稳的 1 1 3平稳过程和独立增量过程 69 定义1 3如果随机过程X t 的所有二阶矩存在 并且E X t m及协方差函数RX t s 只与