模式识别随机向量的概率

模式识别随机向量的概率第1页，课件共44页，创作于2023年2月一.事件的概率

令A、B、C…表示事件，这些事件的概率是[0，1]间的实数，记为Pr[A]、Pr[B]、Pr[C]必然事件的概率是1不可能事件的概率是0对任意事件A，（对立事件）

第2页，课件共44页，创作于2023年2月A和B同时发生的概率

如果A1，A2，…，AM是两两互斥的完备事件组，则

第3页，课件共44页，创作于2023年2月二.

概率分布和密度函数

1.单个随机向量的分布和密度函数

令X是一个随机向量，它的每一分量都是一个随机变量。令

是X的一个取值，其中都是固定的实数值第4页，课件共44页，创作于2023年2月则事件：

的概率是的函数。这个函数称为随机向量x的分布函数。定义为：

第5页，课件共44页，创作于2023年2月由上面分布函数的定义，显然有：

概率密度函数定义为分布函数对所有分量的导数：

第6页，课件共44页，创作于2023年2月概率分布函数和密度函数之间还满足如下的积分关系：

由上式和前面的式子，还有：

第7页，课件共44页，创作于2023年2月

对于事件：有：下面看看在某一点的小邻域的概率：第8页，课件共44页，创作于2023年2月上式近似成立的条件是：

要充分小，以使的变化较小这意味着，在点的概率密度正比于随机向量落在附近的小邻域内的概率。密度函数越大，这个概率越大。但等于的概率为0。（连续时）容许奇异时，也有可能第9页，课件共44页，创作于2023年2月2.随机向量的联合分布和密度函数

令X和Y是随机向量，可以把前面定义的对单个随机向量的分布和密度函数的概念推广到X和Y的联合概率分布和密度函数上去。实际上，单个随机向量是它的各个分量的联合，只要再扩展到Y就行了第10页，课件共44页，创作于2023年2月令是一个随机向量，，是的一个实现。则随机向量和的联合分布函数定义为联合事件[]的概率：第11页，课件共44页，创作于2023年2月的联合密度函数定义为：

和上式的一个等价关系是：

第12页，课件共44页，创作于2023年2月由定义，下面的等式成立：

(a)(b)(c)(d)第13页，课件共44页，创作于2023年2月

由（b），有下式：第14页，课件共44页，创作于2023年2月（c）和（d）意味着:x和y的概率密度可以通过对x和y的联合概率密度的积分得到：以上两式得到的称为X和Y的边缘密度函数。第15页，课件共44页，创作于2023年2月联合分布的随机向量x、y的另一个重要关系是：在附近，同时在附近小区域内的概率近似等于和小区域体积的积第16页，课件共44页，创作于2023年2月例1：一个两维随机向量和一个一维随机变量的联合密度函数：

求事件的概率和边缘密度：，第17页，课件共44页，创作于2023年2月解：1.

第18页，课件共44页，创作于2023年2月注意：不要忘记积分区间2.边缘密度为：第19页，课件共44页，创作于2023年2月在上面的计算中，要注意积分的上下限。

密度函数也可以用对分布函数求导而得到

第20页，课件共44页，创作于2023年2月3.

随机向量和事件的联合分布和密度函数一个随机向量和一个事件A的联合分布函数定义为：它是的函数

第21页，课件共44页，创作于2023年2月联合密度函数定义为：

根据定义，下面的关系成立：

事件的联合概率为：

第22页，课件共44页，创作于2023年2月如果A1，A2，…，AM是两两互斥的完备事件集，则边缘分布函数：

边缘密度函数为：

第23页，课件共44页，创作于2023年2月三.条件概率和贝叶斯规则

1.事件的条件概率

令A、B是两个随机事件，B发生后A发生的条件概率为：

如果

，则称A和B是统计独立的。这时由（1）式有：

（1）第24页，课件共44页，创作于2023年2月2.条件分布和密度函数

由（1）式的基本形式，可以推导出下面的几种条件分布和密度函数。下面的公式推导和无条件概率分布与密度函数相似，不再多讲。

（1）以一个事件为条件的分布和密度函数

若A是事件，B是另一个事件，则第25页，课件共44页，创作于2023年2月上式两边微分，可得到密度函数

(2)以随机向量为条件的一个事件的概率

令A是任一事件，B是事件

则在小区域内，A发生的概率为：第26页，课件共44页，创作于2023年2月(3)随机向量的条件密度函数

令A是事件

,B是事件则由前面的定义和公式有：第27页，课件共44页，创作于2023年2月在发生后的条件密度定义为：

当A和B对所有的和的值是独立的时，

,因此有：

第28页，课件共44页，创作于2023年2月3.贝叶斯公式

由于事件A和B的联合概率等于事件B和A的联合概率，所以由条件概率公式有：

（1）

上式称为Bayes公式。是概率和统计中非常重要的一个公式。通过适当定义事件A和B，贝叶斯公式可以有不同的形式。例如：

第29页，课件共44页，创作于2023年2月

（1）如果B是事件则贝叶斯公式的形式为：

（2）

如果是两两互斥且完备的事件组A1，A2，…，AM中的一个事件，则（最优模式分类）（2）（3）第30页，课件共44页，创作于2023年2月(3)如果B是事件，A是事件，则贝叶斯公式的形式为：

(4)由边缘密度的定义，还可写为下式：

(5)第31页，课件共44页，创作于2023年2月上面的几种贝叶斯公式对统计模式识别都是非常重要的如(5)式，称为先验概率，随机向量X和Y间有某种关系，在X发生后Y的密度函数是对先验概率的一种改善，称为后验概率。又如（3）式是一个最佳模式分类规则。是事件类的先验概率，而则是的后验概率。

第32页，课件共44页，创作于2023年2月例：一个两维随机向量的密度函数为：

另一随机向量X，它和Y有关，其条件密度函数为：

第33页，课件共44页，创作于2023年2月求联合密度，并计算后验密度

解：1.联合密度为：

后验概率为：

第34页，课件共44页，创作于2023年2月注意：1.积分限要注意。

2.上式没有显式解，要用数值方法求解。

3.如果Y的先验密度是

则有显式解，是一多元高斯密度

第35页，课件共44页，创作于2023年2月四.数学期望

一个随机向量X的期望（或称均值）是一个常数向量M，定义为

上式是一个向量形式，的第个分量为：

第36页，课件共44页，创作于2023年2月上式对所有的，的分量积分，有：

是边缘密度。

对于随机向量的积的期望，将在复习2中讨论。对于随机向量的各个分量，则和随机变量的定义一样：

第37页，课件共44页，创作于2023年2月性质：1.随机向量或变量和的期望等于期望的和；

2.相互独立的随机变量和的方差等于方差的和

下面考虑只取离散值的随机变量。它没有概率密度函数（除非使用奇异函数）。则期望：若是一随机变量，它取离散值，1，2，…，M。M也可能是无穷的，

第38页，课件共44页，创作于2023年2月方差：均值和方差是随机变量分布的重要参数。均值—分布或密度的中心点，方差则表示了离中心点的分散程度。（分布和密度函数完全刻画了随机向量，而期望和方差刻画了它的主要特征。）

第39页，课件共44页，创作于2023年2月五.小结

这一章复习了随机事件和随机向量的概率，复习了

统计独立、贝叶斯公式（由条件概率）、随机向量和变量的均值、方差。

第40页，课件共44页，创作于2023年2月应该理解这些定义、概念，理解一些公式推导的思路、思想。理解分布函数、密度函数和事件概率间的关系。理解联合概率和条件概率间的区别。理解独立性及其对概率、分布和密度函数的影响。掌握Bayes公式的各种形式。

第41页，课件共44页，创作于2023年2月第二章统计决策理论

最小错误率贝叶斯决策最小风险贝叶斯决策

Neyman－Pearson决策（在限定一类错误率的条件下，使另一类错误率最小的两类决策问题）最小最大决策序贯决策（SequentialDecision）

第42页，课件共44页，创作于2023年2月关于统计学的一个笑话：

有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写道：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次，累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六