随机变量、矢量和序列要点课件

随机变量、矢量和序列1随机变量、矢量和序列1主要内容随机变量统计值常用分布随机矢量随机矢量的线性变换正态随机矢量独立随机变量和离散随机过程2主要内容随机变量2随机变量定义3.1随机变量x(ξ)是一个映射，这个映射为每个来自抽象概率空间的结果ξ赋予一个实数x。该映射满足的如下条件：(1)对于任一x，区间{x(ξ)≤x}为概率空间中的一个事件(2)Pr{x(ξ)=∞}=0,且Pr{x(ξ)=－∞}=03随机变量定义3.1随机变量x(ξ)是一个映射，这个映射为每随机变量随机变量映射示意图抽象空间S实数空间R随机变量x(ξ)ξ1x(ξ1)ξ2x(ξ2)ξ3x(ξ3)ξ4x(ξ4)4随机变量随机变量映射示意图抽象空间S实数空间R随机变量x(ξ分布密度与密度函数分布函数(Cummulativedistributionfunction,cdf)概率密度函数(probabilitydensityfunction,pdf)5分布密度与密度函数分布函数(Cummulativedist分布密度与密度函数对于离散的随机变量，采用概率质量函数(probabilitymassfunction,pmf)概率函数满足：6分布密度与密度函数对于离散的随机变量，采用概率质量函数(pr统计值数学期望数学期望具有线性特征7统计值数学期望7统计值矩(moments)特殊情况8统计值矩(moments)8统计值中心矩特殊情况9统计值中心矩9统计值方差与矩的关系:方差主要表征随机变量围绕中心值的分布（或散布）程度的度量倾斜度(skewness)：表明随机变量与中心分布的不对称程度。向右倾斜，其值为正，向左则其值为负。10统计值方差与矩的关系:方差主要表征随机变量围绕中心值的分布（统计值峰度(kurtosis)：表明随机变量在均值附近的相对平坦程度或峰值程度。相对于正态分布而言，正态分布的峰度值为0，比正态分布陡峭，则峰度值大于0，否则小于0。11统计值峰度(kurtosis)：表明随机变量在均值附近的相对均值、方差、倾斜度和峰度示意fx1(x)µ1fx2(x)µ2数学期望fx1(x)fx2(x)方差σ1σ2fx1(x)fx2(x)倾斜度负正fx1(x)fx2(x)峰度负正12均值、方差、倾斜度和峰度示意fx1(x)µ1fx2(x)µ2切比雪夫(Chebyshev)不等式随机变量偏离其平均值k倍标准偏差的概率，小于或等于1/k2,与概率密度函数的具体形式无关：13切比雪夫(Chebyshev)不等式随机变量偏离其平均值k倍特征函数定义采用s代替将上式的jξ，得到矩的生成函数在s=0处按泰勒级数展开，假设各阶矩存在14特征函数定义14特征函数从上式可知，只要随机变量的所以矩都已知（且存在），那么可以求出生成函数，然后进行拉普拉斯反变换就可以确定密度函数通过生成函数对s的微分可以求出矩15特征函数从上式可知，只要随机变量的所以矩都已知（且存在），那累积量累积量生成函数是矩的生成函数的自然对数用jξ代替s得到第二特征函数累积量为累积量生成函数的导数16累积量累积量生成函数是矩的生成函数的自然对数16累积量零均值随机变量的前5个累积量为17累积量零均值随机变量的前5个累积量为17常用分布——均匀分布概率密度函数pdf累积分布函数cdfabfx(x)x18常用分布——均匀分布概率密度函数pdfabfx(x)x18常用分布——均匀分布特征函数均值与方差abfx(x)x19常用分布——均匀分布特征函数abfx(x)x19常用分布——正态分布概率密度函数pdf特征函数正态分布完全由均值和均方差决定，可表示为µxfx(x)x20常用分布——正态分布概率密度函数pdfµxfx(x)x20常用分布——正态分布正态分布的所有高阶矩可用前两个矩来表示，换言之正态分布高于2阶的矩并不能提供额外的信息。四阶中心矩为21常用分布——正态分布正态分布的所有高阶矩可用前两个矩来表示，常用分布——柯西分布概率密度函数pdf累积分布函数cdf柯西分布的均值为µ。但偏差、矩等不存在22常用分布——柯西分布概率密度函数pdf22MATLAB随机函数采用rand函数模拟0～1均匀分布采用randn函数模拟高斯分布23MATLAB随机函数采用rand函数模拟0～1均匀分布23MATLAB随机函数x=-3.8:0.1:3.8;%随机高斯密度y1=randn(1,30000);z1=hist(y1,x)/(30000*0.1);bar(x,z1),xlabel('bar')%标准高斯密度y2=1/sqrt(2*pi)*exp(-x.^2/2);holdon,plot(x,y2);holdoff%均匀分布y3=rand(1,30000);z3=hist(y3,x)/(30000*0.1);figure,bar(x,z3),xlabel('bar');24MATLAB随机函数x=-3.8:0.1:3.8;24随机矢量M维随机矢量分布函数和密度函数25随机矢量M维随机矢量25随机矢量边缘分布随机变量独立，则有26随机矢量边缘分布26随机矢量均值矢量自相关矩阵27随机矢量均值矢量27随机矢量随机矢量的协方差矩阵（二阶矩）协方差矩阵元素相关系数随机变量独立、正交，则28随机矢量随机矢量的协方差矩阵（二阶矩）28随机矢量随机xi(ξ)、xj(ξ)不相关，则随机xi(ξ)、xj(ξ)正交，则29随机矢量随机xi(ξ)、xj(ξ)不相关，则29随机矢量设x(ξ)、y(ξ)分别是M和L维随机矢量，则这两个随机矢量的互相关矩阵为交叉协方差矩阵30随机矢量设x(ξ)、y(ξ)分别是M和L维随机矢量，则这两个随机矢量若x(ξ)、y(ξ)不相关，则若x(ξ)、y(ξ)正交，则31随机矢量若x(ξ)、y(ξ)不相关，则31随机矢量的线性变换随机矢量x(ξ)、y(ξ)存在如下关系fx(x)为x(ξ)的概率密度,y(ξ)的概率密度为32随机矢量的线性变换随机矢量x(ξ)、y(ξ)存在如下关系3随机矢量的线性变换随机矢量x(ξ)、y(ξ)的统计量关系33随机矢量的线性变换随机矢量x(ξ)、y(ξ)的统计量关系3正态随机矢量x(ξ)是M维的正态随机矢量，则正定二次型为特征函数为34正态随机矢量x(ξ)是M维的正态随机矢量，则34独立随机变量和y(ξ)是M个随机变量的和，即y(ξ)的均值为35独立随机变量和y(ξ)是M个随机变量的和，即35独立随机变量和应用独立性质，则y(ξ)的方差怎么求y(ξ)的概率密度函数pdf？36独立随机变量和应用独立性质，则y(ξ)的方差36独立随机变量和先来看两个特殊的情况：情况一：对应的特征函数为：37独立随机变量和先来看两个特殊的情况：37独立随机变量和对应的特征函数为：根据傅立叶卷积性质，则概率密度为38独立随机变量和对应的特征函数为：38独立随机变量和对应的第二特征函数为：m阶累积量为39独立随机变量和对应的第二特征函数为：39独立随机变量和例3.2.1设xk(ξ)(k=1,2,3,4)是4个独立、具有相同分布的随机变量，在[-0.5,0.5]上均匀分布。试计算M=2,3,4时，y(ξ)的概率密度函数40独立随机变量和例3.2.1设xk(ξ)(k=1,2,3,4独立随机变量和f(x)为随机变量xk(ξ)的概率密度函数，则当M=2时，y(ξ)的概率密度函数为41独立随机变量和f(x)为随机变量xk(ξ)的概率密度函数，则独立随机变量和当M=3时，y(ξ)的概率密度函数为42独立随机变量和当M=3时，y(ξ)的概率密度函数为42独立随机变量和当M=4时，y(ξ)的概率密度函数为43独立随机变量和当M=4时，y(ξ)的概率密度函数为43当M=1，2，3，4时，y(ξ)的概率密度函数图形M=1-0.50.5M=2-11M=3-1.51.5M=3-220.75110.6744当M=1，2，3，4时，y(ξ)的概率密度函数图形M=1-0独立随机变量和情况二：对应的特征函数为：45独立随机变量和情况二：45独立随机变量和根据傅立叶卷积性质，则概率密度为46独立随机变量和根据傅立叶卷积性质，则概率密度为46独立随机变量和对应的第二特征函数为：m阶累积量为47独立随机变量和对应的第二特征函数为：47独立随机变量和综合上述两种情况的特征函数为m阶累积量为48独立随机变量和综合上述两种情况独立随机变量和所以的概率密度函数为49独立随机变量和所以独立随机变量和根据卷积的性质，独立、分布相同的随机变量的和仍然保持为原有的分布有：（1）有限方差：高斯随机变量（2）无限方差：柯西随机变量从上述例子可以看出，高斯与柯西分布都具有不变性。50独立随机变量和根据卷积的性质，独立、分布相同的随机变量的和仍独立随机变量和这种不变性的随机变量具有相同的特征函数形式：

从不变性，我们引出“稳定分布”概念。51独立随机变量和这种不变性的随机变量具有相同的特征函数形式：5稳定分布定义：x1(ξ),x2(ξ),…,xM(ξ)为独立、相同分布的随机变量，分布函数为Fx(x),sM(ξ)=x1(ξ)+x2(ξ)+…+xM(ξ)。如果对于每一个M，存在常数aM>0,且有bM使得下式成立并且Fx(x)不是集中在一个点上。当bM=0时，我们称为严格稳定。52稳定分布定义：x1(ξ),x2(ξ),…,xM(ξ)为稳定分布可以证明，对任何稳定的随机变量x

(ξ),存在一个常数α（0<α≤2），使得aM=M1/α。其中α称为稳定性指标或特征指数。可以称该随机变量α稳定。53稳定分布可以证明，对任何稳定的随机变量x(ξ),存在一稳定分布中心极限定理(CLT)若随机x1(ξ),x2(ξ),…,xM(ξ):(a)相互独立,(b)具有相同的分布,(c)各随机变量的均值与方差都存在且有限；那么当M→∞时，归一化的随机变量和的分布就趋于一个零均值、单位标准偏差的正态随机分布。其中，归一化的随机变量和为：54稳定分布中心极限定理(CLT)若随机x1(ξ),例子M=1-0.50.5M=2-11M=3-1.51.5M=3-220.75110.6755例子M=1-0.50.5M=2-11M=3-1.51.5M=离散时间随机过程存在一个随机变量序列x

(n,ξ),n为离散时间，ξ为随机变量。如果n固定，则可以把x

(n,ξ)视为一个随机变量。如果ξ固定，则可以把x

(n,ξ)视为一个样本序列或一个实现。如果n、ξ都固定，那么x

(n,ξ)为一个数。如果n、ξ都变化，那么x

(n,ξ)为一个随机过程。56离散时间随机过程存在一个随机变量序列x(n,ξ),n为离离散时间随机过程随机过程抽象空间Sξ1x(n,ξ1)ξ2x(n,ξ2)ξ3x(n,ξ3)ξ4x(n,ξ4)nnnnx(n0,ξ)57离散时间随机过程随机过程抽象空间Sξ1x(n,ξ1)ξ2x(离散时间随机过程随机过程x

(n,ξ)独立,则随机过程不相关，则随机过程正交，则58离散时间随机过程随机过程x(n,ξ)独立,则58随机过程平稳性如果随机过程x

(n)与x

(n+k)统计量相等,则该随机过程为平稳。定义：随机过程x

(n)若满足下式，则称为N阶平稳其中k为任意值。如果对所有的阶N=1,2,…,都是平稳的，则称该随机过程为严格意义上的平稳。在实际应用中，通常满足直到二阶平稳，称为广义平稳性。59随机过程平稳性如果随机过程x(n)与x(n+k)统计量相随机过程平稳性广义平稳：（1）数学期望不依赖n的常数,即E{x(n)}=µx（2）方差也是不依赖n的常数,即var[x(n)]=σx2（3）自相关系数仅仅依赖长度l=n1-n2rx(n1,n2)=rx(n1-n2)=rx(l)60随机过程平稳性广义平稳：60随机变量、矢量和序列61随机变量、矢量和序列1主要内容随机变量统计值常用分布随机矢量随机矢量的线性变换正态随机矢量独立随机变量和离散随机过程62主要内容随机变量2随机变量定义3.1随机变量x(ξ)是一个映射，这个映射为每个来自抽象概率空间的结果ξ赋予一个实数x。该映射满足的如下条件：(1)对于任一x，区间{x(ξ)≤x}为概率空间中的一个事件(2)Pr{x(ξ)=∞}=0,且Pr{x(ξ)=－∞}=063随机变量定义3.1随机变量x(ξ)是一个映射，这个映射为每随机变量随机变量映射示意图抽象空间S实数空间R随机变量x(ξ)ξ1x(ξ1)ξ2x(ξ2)ξ3x(ξ3)ξ4x(ξ4)64随机变量随机变量映射示意图抽象空间S实数空间R随机变量x(ξ分布密度与密度函数分布函数(Cummulativedistributionfunction,cdf)概率密度函数(probabilitydensityfunction,pdf)65分布密度与密度函数分布函数(Cummulativedist分布密度与密度函数对于离散的随机变量，采用概率质量函数(probabilitymassfunction,pmf)概率函数满足：66分布密度与密度函数对于离散的随机变量，采用概率质量函数(pr统计值数学期望数学期望具有线性特征67统计值数学期望7统计值矩(moments)特殊情况68统计值矩(moments)8统计值中心矩特殊情况69统计值中心矩9统计值方差与矩的关系:方差主要表征随机变量围绕中心值的分布（或散布）程度的度量倾斜度(skewness)：表明随机变量与中心分布的不对称程度。向右倾斜，其值为正，向左则其值为负。70统计值方差与矩的关系:方差主要表征随机变量围绕中心值的分布（统计值峰度(kurtosis)：表明随机变量在均值附近的相对平坦程度或峰值程度。相对于正态分布而言，正态分布的峰度值为0，比正态分布陡峭，则峰度值大于0，否则小于0。71统计值峰度(kurtosis)：表明随机变量在均值附近的相对均值、方差、倾斜度和峰度示意fx1(x)µ1fx2(x)µ2数学期望fx1(x)fx2(x)方差σ1σ2fx1(x)fx2(x)倾斜度负正fx1(x)fx2(x)峰度负正72均值、方差、倾斜度和峰度示意fx1(x)µ1fx2(x)µ2切比雪夫(Chebyshev)不等式随机变量偏离其平均值k倍标准偏差的概率，小于或等于1/k2,与概率密度函数的具体形式无关：73切比雪夫(Chebyshev)不等式随机变量偏离其平均值k倍特征函数定义采用s代替将上式的jξ，得到矩的生成函数在s=0处按泰勒级数展开，假设各阶矩存在74特征函数定义14特征函数从上式可知，只要随机变量的所以矩都已知（且存在），那么可以求出生成函数，然后进行拉普拉斯反变换就可以确定密度函数通过生成函数对s的微分可以求出矩75特征函数从上式可知，只要随机变量的所以矩都已知（且存在），那累积量累积量生成函数是矩的生成函数的自然对数用jξ代替s得到第二特征函数累积量为累积量生成函数的导数76累积量累积量生成函数是矩的生成函数的自然对数16累积量零均值随机变量的前5个累积量为77累积量零均值随机变量的前5个累积量为17常用分布——均匀分布概率密度函数pdf累积分布函数cdfabfx(x)x78常用分布——均匀分布概率密度函数pdfabfx(x)x18常用分布——均匀分布特征函数均值与方差abfx(x)x79常用分布——均匀分布特征函数abfx(x)x19常用分布——正态分布概率密度函数pdf特征函数正态分布完全由均值和均方差决定，可表示为µxfx(x)x80常用分布——正态分布概率密度函数pdfµxfx(x)x20常用分布——正态分布正态分布的所有高阶矩可用前两个矩来表示，换言之正态分布高于2阶的矩并不能提供额外的信息。四阶中心矩为81常用分布——正态分布正态分布的所有高阶矩可用前两个矩来表示，常用分布——柯西分布概率密度函数pdf累积分布函数cdf柯西分布的均值为µ。但偏差、矩等不存在82常用分布——柯西分布概率密度函数pdf22MATLAB随机函数采用rand函数模拟0～1均匀分布采用randn函数模拟高斯分布83MATLAB随机函数采用rand函数模拟0～1均匀分布23MATLAB随机函数x=-3.8:0.1:3.8;%随机高斯密度y1=randn(1,30000);z1=hist(y1,x)/(30000*0.1);bar(x,z1),xlabel('bar')%标准高斯密度y2=1/sqrt(2*pi)*exp(-x.^2/2);holdon,plot(x,y2);holdoff%均匀分布y3=rand(1,30000);z3=hist(y3,x)/(30000*0.1);figure,bar(x,z3),xlabel('bar');84MATLAB随机函数x=-3.8:0.1:3.8;24随机矢量M维随机矢量分布函数和密度函数85随机矢量M维随机矢量25随机矢量边缘分布随机变量独立，则有86随机矢量边缘分布26随机矢量均值矢量自相关矩阵87随机矢量均值矢量27随机矢量随机矢量的协方差矩阵（二阶矩）协方差矩阵元素相关系数随机变量独立、正交，则88随机矢量随机矢量的协方差矩阵（二阶矩）28随机矢量随机xi(ξ)、xj(ξ)不相关，则随机xi(ξ)、xj(ξ)正交，则89随机矢量随机xi(ξ)、xj(ξ)不相关，则29随机矢量设x(ξ)、y(ξ)分别是M和L维随机矢量，则这两个随机矢量的互相关矩阵为交叉协方差矩阵90随机矢量设x(ξ)、y(ξ)分别是M和L维随机矢量，则这两个随机矢量若x(ξ)、y(ξ)不相关，则若x(ξ)、y(ξ)正交，则91随机矢量若x(ξ)、y(ξ)不相关，则31随机矢量的线性变换随机矢量x(ξ)、y(ξ)存在如下关系fx(x)为x(ξ)的概率密度,y(ξ)的概率密度为92随机矢量的线性变换随机矢量x(ξ)、y(ξ)存在如下关系3随机矢量的线性变换随机矢量x(ξ)、y(ξ)的统计量关系93随机矢量的线性变换随机矢量x(ξ)、y(ξ)的统计量关系3正态随机矢量x(ξ)是M维的正态随机矢量，则正定二次型为特征函数为94正态随机矢量x(ξ)是M维的正态随机矢量，则34独立随机变量和y(ξ)是M个随机变量的和，即y(ξ)的均值为95独立随机变量和y(ξ)是M个随机变量的和，即35独立随机变量和应用独立性质，则y(ξ)的方差怎么求y(ξ)的概率密度函数pdf？96独立随机变量和应用独立性质，则y(ξ)的方差36独立随机变量和先来看两个特殊的情况：情况一：对应的特征函数为：97独立随机变量和先来看两个特殊的情况：37独立随机变量和对应的特征函数为：根据傅立叶卷积性质，则概率密度为98独立随机变量和对应的特征函数为：38独立随机变量和对应的第二特征函数为：m阶累积量为99独立随机变量和对应的第二特征函数为：39独立随机变量和例3.2.1设xk(ξ)(k=1,2,3,4)是4个独立、具有相同分布的随机变量，在[-0.5,0.5]上均匀分布。试计算M=2,3,4时，y(ξ)的概率密度函数100独立随机变量和例3.2.1设xk(ξ)(k=1,2,3,4独立随机变量和f(x)为随机变量xk(ξ)的概率密度函数，则当M=2时，y(ξ)的概率密度函数为101独立随机变量和f(x)为随机变量xk(ξ)的概率密度函数，则独立随机变量和当M=3时，y(ξ)的概率密度函数为102独立随机变量和当M=3时，y(ξ)的概率密度函数为42独立随机变量和当M=4时，y(ξ)的概率密度函数为103独立随机变量和当M=4时，y(ξ)的概率密度函数为43当M=1，2，3，4时，y(ξ)的概率密度函数图形M=1-0.50.5M=2-11M=3-1.51.5M=3-220.75110.67104当M=1，2，3，4时，y(ξ)的概率密度函数图形M=1-0独立随机变量和情况二：对应的特征函数为：105独立随机变量和情况二：45独立随机变量和根据傅立叶卷积性质，则概率密度为106独立随机变量和根据傅立叶卷积性质，则概率密度为46独立随机变量和对应的第二特征函数为：m阶累积量为107独立随机变量和对应的第二特征函数为：47独立随机变量和综合上述两种情况的特征函数为m阶累积量为108独立随机变量和综合上述两种情况独立随机变量和所以的概率密度函数为109独立随机变量和所以独立随机变量和根据卷积的性质，独立、分布相同的随机变量的和仍然保持为原有的分布有：（1）有限方差：高斯随机变量（2）无限方差：柯西随机变量从上述例子可以看出，高斯与柯西分布都具有不变性。110独立随机变量和根据卷积的性质，独立、分布相同的随机变量的和仍独立随机变量和这种不变性的随机变量具有相同的特征函数形式：

从不变性，我们引出“稳定分布”概念。111独立随机变量和这种不变性的随机变量具有相同的特征函数形式：5稳定分布定义：x1(ξ),x2(ξ),…,xM(ξ)为独立、相同分布的随机变量，分布函数为Fx(x),sM(ξ)=x1(ξ)+x2(ξ)+…+xM(ξ)。如果对于每一个M，存在常数aM>0,且有bM使得下式成立并且Fx(x)不是集中在一个点上。当bM=0时，我们称为严格稳定。112稳定分布定义：x1(ξ),x2(ξ),…,xM(ξ)为稳定分布可以证明，对任何稳定的随机变量x

(ξ),存在一个常数α（0<α≤2），使得aM=M1/α。其中α称为稳定性指标或特征指数。可以称该随机变量α稳定。113