随机过程第一章

1、主讲教师：何松华 教授联系电话：(0731）82687718子信箱：应用统计学与随机过程应用统计学与随机过程( (通信专业通信专业) )Applied Statistics and Random ProcessApplied Statistics and Random Process湖南大学教学课件：应用统计学与随机过程 概述1. 概 述兼概率论复习 (6学时)1.1不确定性事件不确定性事件1.2通信与电子系统中的不确定性通信与电子系统中的不确定性1.3含噪信号的最优处理问题含噪信号的最优处理问题1.4随机变量及其数字特征随机变量及其数字特征1.5随机变量函数的概率密

2、度分布随机变量函数的概率密度分布1.6随机变量的特征函数随机变量的特征函数不确定性事件不确定性事件1.1客观世界中的两大类规律：客观世界中的两大类规律：1.1.确定性事件中蕴涵的确定性规律2.2.不确定性事件中蕴涵的统计性规律确定性事件及确定性规律：确定性事件及确定性规律：1.1.因果律 确定的原因产生确定的可预知的结果“如果苹果从树上掉下(B),则肯定往下掉到地上(A)” if B then A ProbA|B=100%, Prob|B=0%湖南大学教学课件：应用统计学与随机过程 概述2.2.排中律 事物归属关系的确定性,非此即彼 “我(x)现在是湖南大学的教师(A)” I：论域（被讨论的对

3、象的全体范围） AB=（空集），AB=I if xA then uA(x)=100%,xB, uB(x)=0% if xB then uB(x)=100%,xA, uA(x)=0%湖南大学教学课件：应用统计学与随机过程 概述3.3.恒等律 事物(A,B,C,)之间相互约束关系的确定性 “三角形的三个内角之和为180度” R（A，B，C，）= Constant 4.4.守恒律 事物(A,B,C,)(a,b,c,)之间转换或交换过程中的确定性 “物质不灭,能量守恒” R1（A，B，C，）= R2(a,b,c,)5.5.周期律 事物在有限域内变化的重复性 “物极必返” if A=N,MN,xiA(i

4、=1,2,M) then 存在 i1i2,xi1=xi2毛泽东：打破周期率；江泽民：与时俱进，三个代表湖南大学教学课件：应用统计学与随机过程 概述不确定性事件及不确定性：不确定性事件及不确定性：1.1.随机性,因果律的一种破缺 随机试验：可以在相同条件下重复进行,每次试验的结果是事先不可预测的,所有可能的结果不止一个，但每次试验的结果是唯一的, 这样的试验称为随机试验。 随机事件：在随机试验中，对于1次试验可能发生也可能不发生、但在大量重复的试验中按一定规律发生的某种事情，称为随机事件。 基本事件：在随机试验中，最简单、不可再分、互不相容的事件称为基本事件。 湖南大学教学课件：应用统计学与随机

5、过程 概述例如:不同的人通过测量苹果落地的时间获得树的高度 “随机试验”举例：袋中有编号为0到5的6个乒乓球，从里面随机地拿出一个，观察结果后再放回；反复进行试验。 6种基本事件：(1)拿到编号为0的球；(2)拿到编号为1的球；(3)拿到编号为2的球；(4)拿到编号为3的球；(5)拿到编号为4的球；(6)拿到编号为5的球。 “随机事件”举例：拿到编号大于4的球(在一次试验中可能发生也可能不发生；在大量重复的试验中发生的比例约为1/3) “基本事件”是随机事件的特例。 所有基本事件的组合称为随机试验的“样本空间”。湖南大学教学课件：应用统计学与随机过程 概述不确定性事件及不确定性：不确定性事件及

6、不确定性：2.2.模糊性,排中律的一种破缺 事物之间归属关系的不确定性，不能确定某个对象肯定属于某个集合或肯定不属于某个集合，但能够确定对象属于某个集合的程度。 模糊性举例：论域 I=各种不同年龄x的人 模糊集合 =年轻人 1 （0 x 24） u(x)= 1+（x-25）/52-1（25 x） 年龄x越大，则归属于年轻人的隶属度u(x)就越小。湖南大学教学课件：应用统计学与随机过程 概述通信与电子系统中的不确定性通信与电子系统中的不确定性(随机性随机性)1.2湖南大学教学课件：应用统计学与随机过程 概述由于信道噪声的存在(电子的布朗运动)，确定的传输系统对确定的传输信号并不产生确定的响应。

7、传输系统h(t)传输信号X(t) 响应 Y(t) 信道噪声(t) Y(t)= X(t)h(t)+ (t) (卷积）(t)的取值是随机的、不可预测的，则Y(t)也是随机的、不确定的。通信电子系统中的不确定性所带来的问题：通信电子系统中的不确定性所带来的问题：1.1.信号的检测问题 在数字通信中，0，1编码用不同的两种波形进行传输;接收端信号为Y(t) H0：（传输 0 编码信号） Y(t)= X0(t)h(t) + 0(t) H1：（传输 1 编码信号） Y(t)= X1(t)h(t) + 1(t) 怎样从接收信号Y(t)中判断出发送端传输的信号是X0(t) 还是X1(t) ？ 如何将假设检验理

8、论应用于通信电子系统?湖南大学教学课件：应用统计学与随机过程 概述2.2.信号及系统参数的估计问题湖南大学教学课件：应用统计学与随机过程 概述系统h(t，2)A(t，)+ (t) a(t，1) Y(t)=a（t，1) h(t，2) + (t) 1：信号参数矢量(K个参数) 2：系统参数矢量(M个参数)问题：Y(t)、 (t)是不可预知的随机过程，怎样从接收信号Y(t)的有限个采样值Y(0)、Y(T)、Y(N-1)T求得1、 1的最佳估计呢？简单的方程K+M个联立为什么不能求得统计意义上的最佳估计？3.3.最优滤波器的设计问题湖南大学教学课件：应用统计学与随机过程 概述 问题：Y(t)、 (t)

9、是不可预知的随机过程，采用什么样的滤波器h1(t)，使得含噪失真信号Y(t)通过该滤波器后，其输出信号与X(t)最逼近？ minimum EY(t) h1(t)-X(t)2 h1(t)传输系统h(t)传输信号X(t) 响应 Y(t) 信道噪声(t) 滤波器h1(t)含噪失真信号Y(t) 恢复信号Z(t) 4.4.系统的性能评估以及信号波形参数的设计问题(自学)湖南大学教学课件：应用统计学与随机过程 概述已知信道噪声(t)的统计特性平均值、方差、相关函数、概率分布等，要求在给定接收端检测性能的情况下对传输信号的波形进行设计。举例：军用雷达目标检测H0：（无目标） Y(t)= (t)H1：（有目标

10、） Y(t)= kAs(t-2R/c)+ (t) s(t)：宽度为的正弦脉冲,R:目标距离,c:光速，k：信号传输衰减系数;要求虚警概率Pf=P（H1H0）=10-7，已知(t)服从N(0，2)，如何对发射信号的幅度A、脉冲宽度进行设计？5.5.噪声背景中的最优预测问题(自学)湖南大学教学课件：应用统计学与随机过程 概述 举例：军用雷达机动目标状态(距离、速度)预测测量方程：Y(n)= A(n) + (n) n0,N-1 Y(n):n时刻目标距离的测量值(已知) A(n):n时刻实际的目标距离值(未知) (n):测量误差(随机过程,概率分 布密度函数及相关特性已知) 目标运动状态方程：A(n+

11、1)=A(n)+TV(n)+ (1/2)T2W(n) V(n+1)=V(n)+TW(n) V(n):目标第n个时刻的速度(未知) T :时间采样间隔 W(n):目标的加速度扰动(概率密度、相关性已知)假设为带有加速度扰动的匀速运动如何预测目标未来状态? A(n),V(n)(nN-1)社会及国民经济领域中的统计问题举例社会及国民经济领域中的统计问题举例1.1.19世纪末中华民族无人能解的一个简单问题湖南大学教学课件：应用统计学与随机过程 概述加拿大山猫年捕获量数据加拿大山猫年捕获量数据 (1821-1878)(1821-1878)269,321,585,871,1475,2821,3928,59

12、43,4950,2577,523,98,184,279,409,2285,2685,3409,1824,409,151,45,68,213,546,1033,2129,2536,957,361,377,225,360,731,1638,2725,2871,2119,684,299,236,245,552,1623,3311,6721,4254,687,255,473,358,784,1594,1676,2251,1426,756,299假设今年为假设今年为18781878年年, ,请根据历史数据建立预测模型请根据历史数据建立预测模型, , 得到得到明年及明年及1880,1881,1882,18

13、831880,1881,1882,1883五年内的山猫捕获量的预测五年内的山猫捕获量的预测. .有限次差分后平稳2. 2. 现在一个很容易解决的问题湖南大学教学课件：应用统计学与随机过程 概述举例举例: : 某城市居民季度用煤消耗量某城市居民季度用煤消耗量 ( ( 单位单位: : 吨吨 ) )请预测请预测19971997年度每个季度的用煤消耗量年度每个季度的用煤消耗量年份1季度2季度3季度4季度年平均19916878.45343.74847.96421.9 5873.019926815.45532.64745.66406.2 5875.019936634.45658.54674.86645.5

14、 5853.319947130.25532.64898.66642.3 6073.719957413.55863.14997.46776.1 6262.619967476.55965.55202.16894.1 6384.5非平稳随机过程: (1)趋势项; (2)季节(周期)项含噪信号的最优处理问题含噪信号的最优处理问题1.3湖南大学教学课件：应用统计学与随机过程 概述信号处理的主要研究内容信号处理的主要研究内容 从噪声背景中检测感兴趣的信号、提取信息或对信号的参数进行估计图像处理、语音信号处理、数据处理最优信号处理方法最优信号处理方法 信号处理的方法不仅与信号本身的特性有关，还与噪声背景的统

15、计特性(概率密度分布、功率谱等)密切相关；从事通信与电子系统领域研究的人员除了掌握确定性的信号与系统分析方法外，必须了解噪声等随机过程的特性，掌握各种统计方法在信号处理中的应用信号处理方法举例1：最优预测湖南大学教学课件：应用统计学与随机过程 概述设设x(n)( (n=1,2,)1,2,)为离散时间随机信号，为离散时间随机信号，n为采样时刻；为采样时刻；该随机信号的相关函数及功率谱定义为该随机信号的相关函数及功率谱定义为( ) () ( )xR mE x n m x n(数学期望)( )( ) (-)j mxmPx m e 25 5 4cos( )( )9 17 8cos(2 )xP如果该随机

16、信号的功率谱密度函数为如果该随机信号的功率谱密度函数为则最优的因果则最优的因果IIR 3IIR 3步预测方程为步预测方程为湖南大学教学课件：应用统计学与随机过程 概述其中其中(3)(0) ( )(1) (1)(2) (2) .x nhx nhx nhx n1( ) ( )h nZH z( (逆逆z z变换变换) )11111( )()/(1)8 162H zzz 5 4cos( )( )10 6cos(2 )xP如果该随机信号的功率谱密度函数为如果该随机信号的功率谱密度函数为则最优的因果则最优的因果IIR 3IIR 3步预测滤波器应修正为步预测滤波器应修正为11111( )()/(1)692H

17、 zzz 随机信号的最优预测方法与其统计特性有关信号处理方法举例2：最优估计湖南大学教学课件：应用统计学与随机过程 概述 利用气压计对某栋高楼的高度进行测量利用气压计对某栋高楼的高度进行测量, ,根据甲班各个根据甲班各个学生的测量结果，该楼高度的测量值的平均值为学生的测量结果，该楼高度的测量值的平均值为h h0 0，变，变化的范围化的范围( (方差方差) )为为 0 02 2 ，测量值分布接近高斯分布。，测量值分布接近高斯分布。 现由乙班对该楼高度现由乙班对该楼高度h h进行测量，进行测量，NN个学生中第个学生中第n n个学个学生的测量值生的测量值xn, , 第第n n个学生的测量仪器的精度个

18、学生的测量仪器的精度( (误差的方差误差的方差) )为为 n n2 2; ;误差服从正态分布误差服从正态分布, ,各观测相互独立。各观测相互独立。 (1) (1) 不参考甲班的测量结果，且假设乙班不同仪器的测不参考甲班的测量结果，且假设乙班不同仪器的测量精度相同，量精度相同， 1 12 2= = 2 22 2= = NN2 2, ,则高度的最优估计值为则高度的最优估计值为湖南大学教学课件：应用统计学与随机过程 概述11NnnhxN(简单平均) (2) (2) 不参考甲班的测量结果，但乙班每个学生的测量不参考甲班的测量结果，但乙班每个学生的测量仪器的精度不同，仪器的精度不同，则高度的最优估计值为

19、则高度的最优估计值为221111()/NNnnnnnhx(加权平均，精度越高，方差越小，加权系数越大) (3) (3) 参考甲班的测量结果，参考甲班的测量结果，则高度的最优估计值为则高度的最优估计值为022221100111()/NNnnnnnhhx在数据统计中如何利用先验知识信号处理方法举例3：正弦信号的参数估计湖南大学教学课件：应用统计学与随机过程 概述( )sin()cos() + (n) (0,1,.,-1)x nAnBnnN( 已知已知)假设观测噪声假设观测噪声 (n)服从零均值正态分布服从零均值正态分布,各观测值之间相各观测值之间相互独立，求互独立，求A、B的最优估计值的最优估计值

20、频率已知、幅相未知的正弦信号的参数估计。假设获频率已知、幅相未知的正弦信号的参数估计。假设获得了正弦信号在得了正弦信号在NN个不同时刻的观测值个不同时刻的观测值为什么不能解方程？111120001112000sin ()sin()cos()( )sin()sin()cos()cos ()( )cos()NNNnnnNNNnnnnnnx nnABnnnx nn 仅仅两个参数而已?信号处理方法举例4：数据的最优平滑(维纳滤波器)湖南大学教学课件：应用统计学与随机过程 概述( )( )( ) (., 2, 1,0,1,2,.)x ns nnnx(n)：测量数据：测量数据(已知已知)； s(n)：需要

21、恢复的信号数据：需要恢复的信号数据(未知未知) (n)：测量误差：测量误差(未知且随机未知且随机)。如何恢复。如何恢复s(n)？滤波器h(n)含噪数据x(n) 恢复的数据s1(n) 21( )min ( )( ) h nEs ns n求解如下的最优化问题：求解如下的最优化问题：湖南大学教学课件：应用统计学与随机过程 概述( )()( )( )jssPH ePP其中其中：1( )()jh nFTH e( ) ( ) ()sPFT E s n s nm( ) ( ) ()PFT Ennm(信号相关函数的傅立叶变换，信号功率谱)(噪声相关函数的傅立叶变换，噪声功率谱)滤波器的单位脉冲响应社会与经济领

22、域中数据的统计处理方法1. 统计描述方法 对所收集的数据进行加工处理，计算综合性的统计指标，描述所研究的随机现象的总体数量特征和数量关系2. 统计推断方法 在对已获取的数据进行统计描述的基础上，建立预测模型，对未知的或未来的数据进行推断。统计研究的作用 (1) 提供决策咨询服务；(2)提供监督服务；(3)提供其他形式的信息服务湖南大学教学课件：应用统计学与随机过程 概述社会与经济领域中的应用统计举例： 移动通信公司之客户保持 已知历史客户(包括离网客户、忠诚客户)的基本属性，例如：性别、年龄、职业类型、在网时长、发展渠道、缴费方式、缴费途径、平均每次缴费金额、平均每月话费、所选套餐类型、.(1

23、)如何确定影响客户是否离网的最主要属性(因素)？(2)如何根据历史客户数据建立预测模型，预测目前在网客户的离网可能性？(3)对离网可能性比较大的客户，应采取何种针对性的营销或客户保持措施，以最低的活动成本实现客户保持？湖南大学教学课件：应用统计学与随机过程 概述随机变量及其数字特征随机变量及其数字特征1.4湖南大学教学课件：应用统计学与随机过程 概述随机变量随机变量 ( (事件事件变量，物理描述变量，物理描述数学问题数学问题) ) 设随机试验E的样本空间 Se，如果对于每一个eS，有一个实数X(e)和它对应，这样就得到一个定义在S上的单值实函数X(e)，称X(e)为随机变量，一般简记为X。 举

24、例举例1 1：抛掷硬币：抛掷硬币( (随机试验随机试验E)E) 样本空间 S正面朝上，反面朝上 定义：如果正面朝上，则 X=0；反面朝上，则X=1 则X为随机变量，且取值为离散的，称为离散随机变量 湖南大学教学课件：应用统计学与随机过程 概述举例举例1(1(续续) ) P(X=0)=0.5 (X取值为0的概率); P(X=1)=0.5 举例举例2 2：用标尺测量长度，最小刻度单位：用标尺测量长度，最小刻度单位1mm1mm样本空间S=长度测量误差的分布范围 设X为测量值与实际值之间的误差，则X为随机变量，且取值范围为连续区间-0.5mm,0.5mm ，称为连续随机变量。 对于本例，PxXy=mi

25、ny,0.5-maxx,-0.5 (随机变量X取值落在区间x,y)内的概率)湖南大学教学课件：应用统计学与随机过程 概述古典概率模型古典概率模型若某一随机事件可以分解为某些基本事件的组合,则该事件发生的概率为这些基本事件发生概率的和。举例：设离散随机变量X有只有3种可能的取值0,1,2;各种取值出现的概率为0.2,0.5,0.3;求X1.5这一事件的发生概率。1.501XXX1.5010.20.50.7P XP XP X湖南大学教学课件：应用统计学与随机过程 概述几何概率模型几何概率模型若向有界区域G内投掷质点，所有质点落在G中任何一点是等可能的(均匀分布)，若g是G中一部分，则质点落在g中的

26、概率：P = g的区域宽度/G的区域宽度。举例：设连续随机变量X在-3,1区间内均匀分布;求X0.2这一事件的发生概率。0.2 30.2gXX 0.50.2( 3)/1 ( 3)0.8P X 31GX 湖南大学教学课件：应用统计学与随机过程 概述全概率公式与贝叶斯公式举例全概率公式与贝叶斯公式举例设S为随机试验E例如：从n个车间的产品中随机地抽取1个进行检验的样本空间例如：抽到车间1的正品，抽到车间1的劣品，抽到车间2的正品，抽到车间2的劣品，,抽到车间n的正品，抽到车间n的劣品 (2n个基本事件)设A1、A2、An为S的一个划分例如事件Ai：“抽到车间i的产品”,即 ()ijAAij 空集1

27、niiAS湖南大学教学课件：应用统计学与随机过程 概述设B为任意的随机事件例如：抽到劣品，则B发生的概率为 P(A1)、P(A2) 、P(AN)称为先验概率例如P(Ai) 为车间i的产品占总产品的比例， P(B|Ai)为似然概率(条件概率)例如：车间i的产品是劣品的概率11221( )(|) ()(|) ().(|) ()(|) ()nnniiiP BP B A P AP B A P AP B A P AP B A P A全概率公式 假如B已经发生例如抽到劣品例如抽到劣品，则该事件在多大的可能性上应由Ai负责？例如：“抽到的劣品是车间i的产品的概率”(与“车间i的产品是劣品的概率”并不等价)，

28、如何计算P(Ai|B)贝叶斯公式湖南大学教学课件：应用统计学与随机过程 概述 P(Ai|B）称为后验概率事件发生后对事件各种起因的可能性的概率性推断，P(Ai,B）称为联合概率例如：既是劣品又是车间i的产品的概率1(,)(|) ()(|)( )(|) ()iiiinjjjP A BP B A P AP A BP BP B A P A贝叶斯公式显然，B肯定来源于划分中的其中某一个 例如：劣品肯定来自某个车间，劣品来自于各车间的概率和为1111(|)()(|)1(|)()niiniinijjjP BAP AP ABP BAP A湖南大学教学课件：应用统计学与随机过程 概述例题：已知某地区销售的计算

29、机主板有20%来自供应商1，50%来自供应商2，30来自供商3。假定这三个供应商所生产的主板的不合格率已知，分别为0.01、0.004和0.008，请计算每个供应商应承担的责任(主板返修费用)比例。 虽然不合格比例低,但产品量大,承担责任不一定少湖南大学教学课件：应用统计学与随机过程 概述随机变量的概率分布函数与概率密度分布函数随机变量的概率分布函数与概率密度分布函数( )()XFxP Xx()0XF ( )1XF (x的单调非减函数)0( )1XFx概率分布函数概率密度分布函数( )( )XXdFxfxdx( )0Xfx 关系( )( )xXXFxft dt根据几何概型为什么是x+非负函数P

30、x1Xx2=FX(x2+)- FX(x1+)21( )xXxfx dxPx1Xx2 2121()()( )XXxXxFxFxfx dx可能存在不连续点湖南大学教学课件：应用统计学与随机过程 概述概率分布函数与概率密度分布函数举例概率分布函数与概率密度分布函数举例1 1设离散随机变量X有3种可能的取值0,1,2;各种取值出现的概率为0.2,0.5,0.3;求其概率分布函数及概率密度分布函数解:根据古典概型000.201( )()0.712120.2 ( )0.5 (1)0.3 (2)XxxFxP Xxxxu xu xu x注意定义及开闭区间单位阶跃函数FX(x)x0120.20.710.50.3

31、湖南大学教学课件：应用统计学与随机过程 概述单位阶跃函数单位阶跃函数( (详见详见信号与系统信号与系统) )10( )00 xu xxu(x)x0121在x=0处不连续,u(0)=1,u(0-)=0FX(x)x0120.20.710.2 ( )u x0.2 ( )0.5 (1)u xu x0.2 ( )0.5 (1)0.3 (2)u xu xu x湖南大学教学课件：应用统计学与随机过程 概述其中,()为单位冲激函数,满足0()xaxaxa()1aaxa dx在信号与系统理论中,采用单位冲激函数解决不可微问题( )( )0.2 ( )0.5 (1)0.3 (2)XXdFxfxxxxdxfX(x)

32、x120.20.50.30其他任何位置的导数为零，x=0,1,2三处的导数为无穷大(不同的无穷大)()0aa()0aa对无穷大的约束冲激强度为1湖南大学教学课件：应用统计学与随机过程 概述单位冲激函数与单位阶跃函数的关系00( ) ( )10 xxt dtu xx( )( )du xxdxu(x)x01(x)x100000( )( )( )xx dxx dxx dx0 x 100()/()du xadxxa()()xta dtu xa两个1的区别偶函数湖南大学教学课件：应用统计学与随机过程 概述举例：利用冲激函数的积分性质求概率分布函数( )0.2 ( )0.5 (1)0.3 (2)Xfxxx

33、xfX(x)x120.20.50.30(1)0 x ( )0Xfx ( )( )0 xXXFxft dt(2)01x( )Xfx00( )( )0.2 ( )0.2xXXFxft dtt dt在(,)x内的x=0处有一个冲激其他位置处的积分和为零(3)12x( )Xfx在(,)x内的x=0,1处有2个冲激+号可省去湖南大学教学课件：应用统计学与随机过程 概述0101( )( )0.2 ( )0.5 (1)0.7xXXFxft dtt dttdt(4)2x ( )Xfx在(,)x内的x=0,1,2处有3个冲激010122( )( )0.2 ( )0.5 (1) 0.3 (3)1xXXFxft d

34、tt dttdttdt冲激强度分别为0.2,0.5000.201( )()0.71212XxxFxP Xxxx湖南大学教学课件：应用统计学与随机过程 概述推广到离散随机变量的更一般情况推广到离散随机变量的更一般情况设离散随机变量X有I种可能的取值x1,x2,xI;其中第i(i=1,2,I)取值出现的概率为pi;则其概率分布函数及概率密度分布函数分别为( )()()iXiiixxiFxP XxP Xxpu xx( )( )()XXiiidFxfxpxxdx参见前面FX(x)图根据古典概型附录：冲激函数积分性质：设g(x)在x0处连续，则000000000( ) ()( ) ()()()()xxx

35、xg ttx dtg ttx dtg xtx dtg x湖南大学教学课件：应用统计学与随机过程 概述概率分布函数与概率密度分布函数举例概率分布函数与概率密度分布函数举例2 2设连续随机变量在区间a,b上服从均匀分布;求其概率分布函数及概率密度分布函数解:根据几何概型( )()0 () / ()1XFxP XxxaxabaaxbbxFX(x)xab1( )( ) /0 1 / ()0XXfxdfxdxxabaaxbbxabfX(x)x1/(b-a)湖南大学教学课件：应用统计学与随机过程 概述多维连续随机变量的联合概率分布函数与联合多维连续随机变量的联合概率分布函数与联合概率密度分布函数概率密度分

36、布函数设X1、X2、XN为不同的随机变量，则其联合概率分布函数以及概率密度分布函数定义为12.121122( ,.,)(,.,)nX XXnnnFx xxP Xx XxXx多个随机事件同时发生的概率1212.12.1212( ,.,)( ,.,).nnnX XXnX XXnnFx xxfx xxx xx 121212.12.1221( ,.,).( ,.,).nnnxxxX XXnX XXnnFx xxfy yy dydy dy 省去“+”湖南大学教学课件：应用统计学与随机过程 概述多维连续随机变量分布函数的性质多维连续随机变量分布函数的性质121212.12.0(,.,)( ,.,) ( ,

37、.,)1nnnX XXX XXnX XXFFx xxF (练习：证明其为所有变量的单调非减函数)事件112211,.,nnXx XxXx可以分解为112211,.,nnXx XxXx(,)nX 情况下的所有事件之和，等价于事件112211,.,nnnXx XxXxX 下面考察如何由高维分布得到低维分布。湖南大学教学课件：应用统计学与随机过程 概述121121.121.121( ,.,)( ,.,)nnnX XXnX XXXnnnfx xxfx xxx dx1211212112.121.121.121121( ,.,)( ,.,).(,.,).nnnnX XXnX XXnxxxX XXnnnnF

38、x xxFx xxfy yyy dy dydy dy 边缘分布121.121111( ).( ,.,).innXiX XXXnnniifxfx xxx dxdx dxdx 上式两边对x1,x2,xn-1求偏导，再作变量置换nnyx采用递推方法不难得到：根据古典概型得到：湖南大学教学课件：应用统计学与随机过程 概述随机变量之间相互独立的定义随机变量之间相互独立的定义如果1212.,1212(,.,)()().()nnX XXnXXXnFx xxFx FxFx或1212.1212( ,.,)()().()nnX XXnXXXnfx xxfxfxfx则这n个随机变量相互独立离散随机变量的相互独立，要

39、求对所有可能组合(x1,x2,xn)11221122(,.,)() (). ()nnnnP Xx XxXxP Xx P XxP Xx对于离散型随机变量，联合概率分布或分布律定义为1122(,.,)nnP Xx XxXx湖南大学教学课件：应用统计学与随机过程 概述随机变量的数字特征随机变量的数字特征(1)均值(数学期望)( )XmE Xxf x dx1IXiiimE Xp x(连续随机变量)(有I种取值的离散随机变量)(2)方差222() ()( )XXXVar XE Xmxmf x dx2221() ()IXXiiXiVar XE Xmp xm(连续)(离散)Var X或2X湖南大学教学课件：

40、应用统计学与随机过程 概述(3)k阶原点矩,( )kkX kmE Xx f x dx,1IkkX kiiimE Xp x(连续随机变量)(离散随机变量)(4)k阶中心矩,() ()( )kkX kXXE Xmxmf x dx2,1() ()IkX kXiiXiE Xmp xm(连续随机变量)(离散随机变量)1阶原点矩即为均值，二阶中心矩即为方差；二阶原点矩称为均方值，满足222XXE Xm湖南大学教学课件：应用统计学与随机过程 概述(5)随机变量函数的数学期望 ()( ) ( )E g Xg x f x dx1 ()( )IiiiE g Xg x p(连续随机变量)(离散随机变量)(6)两个随

41、机变量之间的相关函数( , )XYXYRE XYxyfx y dydx (连续随机变量)(离散随机变量)11(,)IJXYijijijRE XYx y P Xx Yy22222222() 22XXXXXXXE XmE Xm XmE Xm E XmE Xm附录(证)：湖南大学教学课件：应用统计学与随机过程 概述(离散随机变量)11()()(,)()()XYXYIJijiXjYijKE XmXmP Xx Yyxmym(9)多维随机变量函数的数学期望(8)两个随机变量之间的相关系数或标准协方差/()XYXYXYrK ()()( , )XYXYxmymfx y dydx (连续随机变量)(7)两个随机

42、变量之间的协方差函数, ()()XYXYXYKCov X YE XmYmE XYm m对于零均值变量，协方差函数与相关函数等价显然XXKVar X湖南大学教学课件：应用统计学与随机过程 概述随机变量之间不相关及正交的定义随机变量之间不相关及正交的定义()()0XYXYKE XmYm若则称两个随机变量X、Y互不相关0XYRE XY若则称两个随机变量X、Y相互正交在零均值情况下，正交与不相关等价XYXYXYXYKRm mR121212.1221 (,.,) .( ,.,)( ,.,).nnnX XXnnE g X XXg x xx fx xx dxdx dx 湖南大学教学课件：应用统计学与随机过程

43、 概述随机变量数字特征的性质22| XYRE XE Y2() 0E XcY22220E XcE XYc E Y以c为变量的抛物线在c轴上方的充要条件222224 4 0 | XYE XYE YE XRE XE YA根据 同理可得22|XYXYXYK | |/()| 1XYXYXYrK B:对称性XYYXRRXYYXKKXYYXrr2( ) 0EXE Xc YE Y附录证：根据定义以及乘法的交换率(练习)为什么？湖南大学教学课件：应用统计学与随机过程 概述数学期望方差协方差函数的运算性质()( ) ( )( )XXXE aXbaxb fx dxaxfx dxbfx dxaE Xb2222() (

44、) Var aXbEaXbE aXba EXE Xa Var X1122111111111212,()()()( ), Cov a Xb a YbEa XbE a Xba XbE a Xba a EXE XYE Ya a Cov X YABC常数b只影响均值，不影响方差湖南大学教学课件：应用统计学与随机过程 概述121212.122111.12211.1221.()(,.,).()(,.,). .(,.,).nnnnniiiiX XXnniiniiX XXnniX XXnnEa Xba xb fx xxdxdx dxa xfx xxdxdx dxbfx xx dxdx dx 11 nniiii

45、iiE a Xba E Xb附录:1212.1221.12111 .()(,.,).().(,.,).()() ()nniiX XXnniX XXnniiiiXiiig x fx xxdxdx dxg xfx xx dxdxdxdxdxg xfx dxE g X 概率密度函数的全积分为1边缘分布湖南大学教学课件：应用统计学与随机过程 概述21112111111()()()()()nnniiiiiiiiinnniiiiiijjjiijnnijiijjijnijjVara XbEa XbEa XbEa XE XEa XE XaXE XEaaXE XXE Xaa E 111()()ijnnniijj

46、ijX XiijXE XXE Xaa K利用随机变量和的数学期望性质利用随机变量和的数学期望性质(将整个函数作为新的随机变量)当各随机变量不相关时211nniiiiiiVaraXba Var X0 ()ijX XKij湖南大学教学课件：应用统计学与随机过程 概述(10)多维随机矢量的均值矢量12 . TnXX XX定义由n个随机变量构成的矢量则其均值矢量定义为12 . TnE XE XE XE X各随机变量的均值所构成的矢量(10)多维随机变量的协方差矩阵(n行n列对称矩阵)()() TC XE XE XXE X协方差矩阵的第i行第j列元素值为()()ijijiijjX XCE XE XXE

47、XK矩阵对称性Cij=Cji列矢量行矢量湖南大学教学课件：应用统计学与随机过程 概述附录：附录：( (证明证明) )若两个变量相互独立，则必然不相关若两个变量相互独立，则必然不相关( (反之不一定反之不一定) )证：设X、Y两个随机变量相互独立，即( , )( )( )XYXYfx yfx fy()()XYXYKE XmYm,()()( , )()()( )( )()( )()( )( )( )( )( )0XYX YXYXYXXYYXXXYYYXXYYxmymfx y dydxxmymfx fy dydxxmfx dxymfy dyxfx dxmfx dxyfy dymfy dymmmm 则

48、：湖南大学教学课件：应用统计学与随机过程 概述正态分布以及多维联合正态分布的定义正态分布以及多维联合正态分布的定义22()21( )2x uXfxe设X为随机变量，如果其概率密度函数为则称X服从均值为u，方差为2的正态分布或高斯分布容易证明(参见后面附录)：22()21( )12x uXFedx 概率密度函数的积分性质22()212x uXmE Xxedxu湖南大学教学课件：应用统计学与随机过程 概述22()222221() ()2x uXXE Xmxuedx当u=0, 2=1时，此时的正态分布称为标准正态分布x0fX(x)mX=uux=u+ 1 ( 2)x=u- 最大值点(均值u处)、最大值

49、、两个拐点、对称性、渐近线平移参数u，形状参数(方差的性质？)xufX(x) =1 =1.5 =3湖南大学教学课件：应用统计学与随机过程 概述附录附录22222222202xxyredxedxdyerdrd 22112xedx222xedx直角坐标系内的积分转化为极坐标系内的积分练习：在此式的基础上运用常规的积分方法证明前面的3个式子湖南大学教学课件：应用统计学与随机过程 概述如果这n个随机变量的多维联合概率密度分布函数满足12 . TnXX XX下面介绍多维联合正态分布。定义n维随机矢量12 . Tnxx xx定义随机变量取值所构成的矢量12.121122( ,.,)( )11exp()()

50、2(2 ) |nX XXnXTnfx xxfxxmCxmCC：nn的正定方阵、对角线元素值大于0；|：行列式值n维常数列维常数列矢量矢量湖南大学教学课件：应用统计学与随机过程 概述则称这n个随机变量服从联合正态分布，且均值矢量以及协方差矩阵满足1212 , ,., ,.,TTnnE XE XE XE Xmm mm()() TC XE XE XXE XC()()ijX XiijjijKE XE XXE XC容易证明(见第4章ppt附录)：12.1211112.( ,.,).()1( )exp22niX XXnnniiiiXiiiiifx xx dx dxdx dxdxxmfxCC 对除xi外的所

51、有变量积分(n-1重积分)矩阵的数学期望的概念2iiiiiX XXCK湖南大学教学课件：应用统计学与随机过程 概述结论结论1 1：若多个随机变量服从联合正态分布，则其：若多个随机变量服从联合正态分布，则其中的任意变量服从正态分布中的任意变量服从正态分布( (反之则不一定反之则不一定) )进一步,若C为对角矩阵，即()()0 ()ijijX XiijjCKE XE XXE Xij111212122212.nnnnnnX XX XX XX XX XX XX XX XX XKKKKKKCKKK对称矩阵于是可得到如下结论:湖南大学教学课件：应用统计学与随机过程 概述11220.00.000.nnCCC

52、2iiiiiX XXCK1122|.nnCC CC111112210.00.000.nnCCCC1111112222112210.00.0,.,00.nnnnnnxmCxmCxm xmxmxmC1()()TxmCxm湖南大学教学课件：应用统计学与随机过程 概述12121.121222121122212111( ,.,)exp()()2(2 ) |()1exp2(2 ).()1exp( )().()22nnTX XXnnniiniiinnniiXXXniiiiifx xxxm CxmCxmCC CCxmfx fxfxCC结论结论2 2：若多个随机变量服从联合正态分布，且各：若多个随机变量服从联合

53、正态分布，且各变量互不相关，则这些变量相互独立变量互不相关，则这些变量相互独立其他分布不一定满足此性质21()niiiiixmC则多维联合概率密度分布函数为湖南大学教学课件：应用统计学与随机过程 概述结论结论2 2的推论：若多个随机变量各自服从正态分布，且相的推论：若多个随机变量各自服从正态分布，且相互独立互独立( (充分条件，并非必要条件充分条件，并非必要条件) ) ，则其联合分布为联，则其联合分布为联合正态分布。二维情况的充分必要条件为：合正态分布。二维情况的充分必要条件为：容易证明(练习)：若随机变量X、Y分别服从均值、方差分别为(mX,X2)、(mY,Y2)的正态分布，且在X=x的情况

54、下，Y的条件概率密度分布为如下的正态分布2|2222()1( | )exp2(1)2 (1) (| | 1)YYXXY XYYrymx mfy xrrr则X、Y服从联合正态分布，且r为两变量的相关系数,即湖南大学教学课件：应用统计学与随机过程 概述|2222221222222( ,)(|)( )()11exp2(1)212 ()()() 11exp()2(2) XYY XXYYXYYXXXYXYTXYXYXYXYXYfx yfyx fxymrrr ymxmxmmymxrrr 12()YXXYXmymxr XYXYrK /()XYXYXYrKr (相关系数)湖南大学教学课件：应用统计学与随机过程

55、 概述|()YYXXE Y Xxmrxm222|(1) YYVar Y XxrVar Y2|2222()1( | )exp2(1)2 (1)XxYYX YXXrx mymfx yrr|()XXYYE X Yymrym222|(1)XXVar X YyrVar X随机变量函数的概率密度分布随机变量函数的概率密度分布1.5湖南大学教学课件：应用统计学与随机过程 概述1. 单调单变量函数的概率密度分布 设随机变量X和Y存在单调函数关系Y=g(X)，存在唯一反函数X=h(Y)。如果Y在任意小区间(y,y+dy)内变化时，X在(h(y), h(y)+ dy)区间内变化，这两个事件的概率相等，即( )h

56、y( )| ( )|( )|YXfydyfh yh y dy(dy、dx可能为负,但区间的长度是正的,取绝对值),得到( ) ( )|( )|YXfyfh yh y( ,)x xdx( )|( )|YXfydyfxdx湖南大学教学课件：应用统计学与随机过程 概述YaXb22()1( )exp22XXXXxmfx证(附录)：设2222211( ) ( )|( )|exp |22()1exp22|XYXXXXXXybmafyfh yh yayambaa性质：若性质：若X服从正态分布，服从正态分布，Y是是X的线性函数，则的线性函数，则Y也服从正态分布也服从正态分布则有：( )()/Xh YYba(

57、)1/h Ya湖南大学教学课件：应用统计学与随机过程 概述YaXb22()1( )exp22XXXXxmfx附录:实际应用中，可利用上述性质以及概率论中数学期望与方差的性质，直接写出Y的概率密度分布函数222()1 exp22|XYXXyambfyaa则有：YXmE aXbamb2222YXVar aXbVar aXa Var Xa数学期望的性质方差的性质湖南大学教学课件：应用统计学与随机过程 概述2. 多值单变量函数的概率密度分布 设随机变量X和Y存在函数关系Y=g(X)，除个别的Y值外，存在多个反函数(以2个为例)X=h1(Y)、X=h2(Y)。如果Y在任意小区间(y,y+dy)内变化时，

58、则X 可以在两个区间(h1(y),h1(y)+ dy)、(h2(y),h2(y)+ dy)区间内变化，这两个事件的概率相等，即1122( )| ( )|( )|( )|( )|YXXfydyfh yhy dyfh yhy dy得到:1122( ) ( )|( )|( )|( )|YXXfyfh yhyfhyhy1( )hy2( )hy湖南大学教学课件：应用统计学与随机过程 概述随机变量Y和X间的关系为Y=sin(X)，X在区间 -X内服从均匀分布。求随机变量Y的概率密度多值函数概率密度分布函数举例多值函数概率密度分布函数举例解：-1Y1，对于任意一个Y值(0除外)，有两个X值与之对应，有11(

59、 )arcsin( )Xh YY21( )sgn( )arcsin( )Xh YYY121( )1h Yy221( )1hyy 111 ( ) ( )2XXfh yfh y112221( ) ( )|( )|( )|( )|1YXXfyfh yhyfhyhyy-YX值域范围?( 11)y 湖南大学教学课件：应用统计学与随机过程 概述3. 多变量函数的概率密度分布1112221212(,.,)(,.,)(,.,)nnnnnYg XXXYgXXXYgXXX如果存在唯一的反函数1112221212( ,.,)( ,.,)( ,.,)nnnnnXh Y YYXh Y YYXh Y YY对于多维随机变量

60、的函数湖南大学教学课件：应用统计学与随机过程 概述根据高等数学：其中 表示矩阵J的行列式值的绝对值，J为如下的矩阵(雅可比矩阵)1121121121221221221212121212122(,.,)(,.,)(,.,).(,.,)(,.,)(,.,).(,.,)(,.,)(,.,).nnnnnnnnnnnnnnh yyyh yyyh yyyyyyhyyyhyyyhyyyyyyJhyyyhyyyhyyyyyy|J1212.|.nndx dxdxJdy dydy1 212.12.11221212( ,.,) (,.,),(,.,), .,(,.,) |nnYYYnX XXnnnnfy yyfh