计算机视觉课件

六

种

•随程

常高斯机过

见

可程

的•马尔夫过

交增过

随・正量程

机

立程

过•独增量过

平量程

程•稳增过

・过

维纳程

高斯随机过程

高斯分布

•中心极限定理证明：在满足一定条件下，

大量独立、均匀细小的随机变量之和近似

服从是高斯分布。

•实际应用中最常遇到的、最重要的分布。

高斯过程

•特殊地位：无线电技术理论中最重要的概率分

布，如电阻热噪声、晶体管和电子管的散粒噪

声；大气和宇宙噪声；许多积极干扰、消极干扰

（云雨杂波、地物杂波）

•噪声理论、信号检测理论、信息理论

•高斯过程一统计特性最简单，常用作噪声的理

论模型

一、定义

若随机过程X⑴的任意II维概率分布都是高斯分布的,

则称它为高斯过程或正态过程。

f丫(天)=-----士-exp(X-MxyC~\X-Mx)

Jxl1，，…〃)(2乃严21cli/2上2

矶XQJ]n

Ac=n

E[X(tJ]mx9)nxl

cc

cnnnxn

高斯随机过程的n维概率分布完全由均值矢量Mx与协方

差矩阵c所确定

二、高斯随机过程的性质

1、宽平稳C严平稳

证明：

,(—1r(X-M-X-M[)

/x(玉，…，七，'i+£，…，乙+£)—/?,i/2exp①

W2cL2

一»1r(X-Mxyc-\X-Mx)

(、i，，％，，，乙)—।i/2

/x…'i…n/?/2expc

(2^)|c|L2_

上式表明：高斯随机过程的n维概率分布与时间(匕,…，4)

有关的因素，全部包含在C与Mx中。

若X(t)宽平稳则有：mx&i)=mx

衣X(。，■)=Rx(■-4)=RXk-i)

mx=mx(ti

M=Cx(t,3)=RxC，4)—mxmx=Rx(，kTJ-mx

+£,乙+<£,)+£,乙+£)—

Cl\fV—CYI(t{fv—RyI(t-JV

22

=RxK'k+£)_6+£)]_^x=RxQk-ti)~mx=Gk

・・；二•f

•MAAc=c

・・fx(%i，…，+e，…，tn+£)—fx(尤i，…，，’1，…J九

所以，高斯随机过程的宽平稳一等价严平稳。

2、互不相关—互相独立

如果高斯过程X(t)在n个不同时刻乙，…，4的状态X&),…,XQ〃)

两两互不相关，即

品=Cx储3)=仇C亿)-mj(X4)—恤)]=0,(IWk)

则这些状态之间也是互相独立的。

证明：由于G%=0

一/4)0...0-

则：c0/&).••：

C=

•••

••••••

0...0。29)

代定义，并展开得

fX("1xn't]…1rl)

---------expMt

F

(2乃严2皿)・・0(乙)26。2(tj

n]2

[xt-m(rz)]

2b2亿)

=/x（x"i）•…九区;乙）

由互不相关一互相独立。证毕。

例1、已知随机过程X⑺=Acos（690Z）+Bsin（690Z）

其中4为常数，A和3是相互独立的高斯

变量，而且E[A]=E[5]=0,E[A2]=E[B2]=cr2

求X⑺的一、二维概率密度。

解：在任意时刻ti,对过程X(t)进行采样，由于

它是高斯变量A和B的线性组合，因此也是一个

高斯过程。

确定其概率密度的关键在于:求出其均值和协

方差函数。

E[X(t)]=E[Acos^0r+8singt]=E[A]cos+E[B]sinco()t]=0

Rx(t,t+T)=E[X(t)X(t+T)]

=E[A2]cosgtcosg(t+T)+E[B2]sin①sing(t+r)

+E[AB]cos①sin①0(t+r)+E[AB]sin(D^tcos①。(t+r)

因为A与B独立，有E[AB]=E[A]E[B]=O,则

2

Rx(t,t+r)=acos①0T=Rx(r)

可求得X(t)的均方值和方差为

W；=b；=CT2<00

由上可知，X(t)为平稳过程，其一维概率密度为

1X2

其二维均值矢量和协方差矩阵为

则其二维概率密度为

马尔可夫过程

•马尔可夫过程是一类重要的随机过程。在实

际应用中，它是许多工程问题和物理现象的

数学模型。

•广泛应用在物理学、生物学、通信、信息和

信号处理、语音处理以及自动控制等领域。

1马尔可夫过程的定义

・随机过程{XQ)j£T},其值域(状态)可以连续取值，也

可以离散取值，如果它的条件概率满足下列关系，

尸[x(G<%+11X9)=%,X(*)=X&)=%

=P[X(tn+l)<xn+l\X(tn)=xn]

式中"<tx<<tn<tn+i,则称X。)为马尔可夫过程。

马尔可夫过程的特点

•假设在现时刻图的状态是X〃，而在将来某时刻%田

的状态X.+1仅仅与现在的状态X”有关，而与过去

时刻的状态X〃.i，X止2.…，X1和X。无关。

・马尔可夫过程也称为无后效过程。

2马尔可夫过程的分类

按自变量t和状态｛x｝的取值是连续或离散的分类

・离散马尔可夫链：时间，离散取值，即/=0,±1,±2,…;

状态｛X｝也离散取值为0,±1,±2,…。

•连续马尔可夫链：时间t离散取值；状态｛X｝连续取值。

•离散马尔可夫过程：时间恢，取值；状态｛X｝离散取

值

・连续马尔可夫过程：时间t连续取值；状态｛X｝也连续

取值。

3马尔可夫链

定义尸[x〃+i=％+1IX〃=Z，X-1二Z.1,…，X。=x0

=P[X什1=X〃+1IX〃=xn]

其联合概率为

P[X.=居…X〃=%,X0=%一|,・・・，X。=%」

=P[X用=X,"X"=X„]P[Xn=x“IXi=X-]…

尸[X]=2IXo=x0]p[xo=X°]

n+1-i

=P[X0=x0]flP[X"XkIXi=4_J

k=\

其联合概率完全由条件概率和初始概率（P[X。=质D确定。

•当｛X｝也离散取值,即X向力，7=0,1,2,...；X〃口;

1二0,1,2,...；〃=0,12...,时，有

P[X.=Xn+lXn=xJ=P[Xn+l=JXn=i]三c"j）

n

HX用…,x0鹏上月玉=相口与（"川

k=l

ik=0,1/,'',k=0,1,2,…,〃+1

-如果转移概率满足下前关系

「〃（」）=尸（x2=jIx〃=O对所有七ij

=尸（X1=jIX。=i）=7（i,j）---------------

则称该离散马尔可夫链是时间齐次的,或简称齐次的，也

可叫平稳的。

・假定一马尔可夫链现在处于状态3下一时

刻,它可能到达任一状态/，尸。［2…。

.显然，对于齐次马尔可夫链，对任一个，，

有

00

5尸（X角=JIX'=，）=»&J）=1

尸。尸0

•转移概率矩阵:如果某个离散马尔可夫链，其状态仅取

有限个值，或说仅有有限个状态，即

户=0,1,…,则它所有的转移概率可以组成一个矩阵。

•还可以将有限个状态的马尔可夫链用状态图来表示。

例2、假设某个数字通信系统，消息被量化为两

个比特（四个状态），既N=4；取值为0/23。

2

其转移概率矩阵为100

33

111

4444

T=

122

0

555

11

00

22

注意，矩阵中每一行的元素之和恒等于1O

•本例的马尔可夫链其状态图

正交增量过程——定义

设X。堤零均值二阶矩过程，若对任

意tx<t2<t3<tAET，有

现武12)—双4)］丘04HMM=0

则称其为正交增量过程。

对于零均值正交增量过程，其协方差可

由其方差确定

证明：设丁=[〃,们为有限空间，且规定％（〃）=0。

取八=a,弓二%=s,乙=，，则当有

£[x(s)•x(r)-x(s)]=0

Cx(s,t)=Rx(s,t)

=E[x(5)x(f)]

=E[x(5)X(0-x(s)+x(s)]

=E[x(5)X(Z)-X(s)]+E[X(5)X(5)J

=£1[x(s)x(s)]=b；(s)

同理，〃时，有。x（s,/）=%（印）=司⑺

于是C(s,。=c(sj)=cr；[min(s/)]

独立增量过程

•定义：若对任意正整数几和乙＜彳2〈•…〈乙，

随机变量X«2)—X。］)，X«3)—XG2)…,

是相互独立的，则称其为独立增量过程，又称可加过

程。

•特点：该过程在任何一个时间间隔上的过程状

态的改变不影响任何一个与该过程不相重叠时

间间隔上