模式识别随机向量的概率

1、模式识别随机向量的概率复习1 随机向量的概率这一章复习一些概率和随机变量/向量的概念，这些对于后面的学习是很重要的 模式识别随机向量的概率一. 事件的概率 令A、B、C 表示事件，这些事件的概率是0，1间的实数，记为PrA、PrB、PrC 必然事件的概率是1 不可能事件的概率是0 对任意事件A， （对立事件） AP1APrr模式识别随机向量的概率A和B同时发生的概率 如果A1，A2，AM是两两互斥的完备事件组，则 ABPBAPrrBAP-BA BABABAPrrrrrrPPPP或互斥时和，当 MiMi1rir1irBPBAP 1AP，模式识别随机向量的概率二. 概率分布和密度函数1. 单个随机

2、向量的分布和密度函数 令X X是一个随机向量，它的每一分量都是一个随机变量。 令 是X的一个取值，其中 都是固定的实数值 nxxX1nxx1， nxxx1x 模式识别随机向量的概率 则事件： 的概率是 的函数。这个函数称为随机向量x的分布函数。定义为： nnxxxxxxxx2211，：x xxxxxxn21r，模式识别随机向量的概率由上面分布函数的定义，显然有： 概率密度函数定义为分布函数对所有分量的导数： 10， xxnxxxxxp21模式识别随机向量的概率概率分布函数和密度函数之间还满足如下的积分关系： 121xxxnxndxdxxpdxxpx由上式和前面的式子，还有： 1dxxp模式识别

3、随机向量的概率 对于事件： 有：nnnnxxxxxxxxxxxx1111，： nxxxrxxxxpdxxpxxxx21下面看看在某一点的小邻域的概率：模式识别随机向量的概率上式近似成立的条件是：要充分小，以使 的变化较小 这意味着，在 点的概率密度正比于随机向量 落在附近的小邻域内的概率。密度函数越大，这个概率越大 。 但 等于 的概率为0。（连续时） 容许奇异时，也有可能x xpxx 0 xxrxx 模式识别随机向量的概率2.随机向量的联合分布和密度函数 令X和Y是随机向量，可以把前面定义的对单个随机向量的分布和密度函数的概念推广到X和Y的联合概率分布和密度函数上去。 实际上，单个随机向量是

4、它的各个分量的联合，只要再扩展到Y就行了模式识别随机向量的概率令 是一个随机向量， ， 是 的一个实现。则随机向量 和 的联合分布函数定义为联合事件 的概率：ymyyy1y xyyyyxx，yyxxyx，r模式识别随机向量的概率的联合密度函数定义为： xyyyxxmnyxyyyxxxyxp2121，和上式的一个等价关系是： dxdyyxpyxxy, 模式识别随机向量的概率由定义，下面的等式成立： 0，1， xx， yy，(a)(b)(c)(d)模式识别随机向量的概率 1,dxdyyxp 由（b），有下式：模式识别随机向量的概率（c）和（d）意味着: x和y的概率密度可以通过对x和y的联合概率密

5、度的积分得到： 以上两式得到的称为X和Y的边缘密度函数。 dxyxpypdyyxpxp, 模式识别随机向量的概率联合分布的随机向量x、y的另一个重要关系是： ymxnVyyVxxxyxpyyyyxxxx121，ryy yp，yxVV和 在 附近，同时 在 附近小区域内的概率近似等于 和小区域体积的积模式识别随机向量的概率例1：一个两维随机向量和一个一维随机变量的联合密度函数： 其它， 0 10 3 , 2121yxxyxxypyy p yp 求事件 的概率和边缘密度： ， 模式识别随机向量的概率解：1. dxdyyxpyyyy ,r 1100101032211010 021yyyyydydxy

6、dxxxy 模式识别随机向量的概率注意：不要忘记积分区间 2. 边缘密度为： 其它， 0 21 0 100131321212121xxxxxxydyxxxp模式识别随机向量的概率 其它 0 0 1001213102121yyydxdxyxxyp 在上面的计算中，要注意积分的上下限。 密度函数 也可以用对分布函数 求导而得到 yp y模式识别随机向量的概率3. 随机向量和事件的联合分布和密度函数 一个随机向量 和一个事件A的联合分布函数定义为：AArxxx ，它是 的函数 xx 模式识别随机向量的概率联合密度函数定义为： xxnxxxxxp21AA，根据定义，下面的关系成立： xdxxpx, A

7、A，事件 的联合概率为： Axxxxnxxxxpxxxx21AAr，模式识别随机向量的概率如果A1，A2，AM是两两互斥的完备事件集，则边缘分布函数： M1Aiixx，边缘密度函数为： M1Aiixpxp，模式识别随机向量的概率三. 条件概率和贝叶斯规则 1. 事件的条件概率 令A、B是两个随机事件，B发生后A发生的条件概率为： BBABArrr如果 ，则称A和B是统计独立的。这时由（1）式有： ABArr（1） BABArrr模式识别随机向量的概率2. 条件分布和密度函数 由（1）式的基本形式，可以推导出下面的几种条件分布和密度函数。下面的公式推导和无条件概率分布与密度函数相似，不再多讲。

8、（1）以一个事件为条件的分布和密度函数 若A是事件 ，B是另一个事件，则 xx BBBBBBrrrr, 1xxxxxx模式识别随机向量的概率上式两边微分，可得到密度函数 (2) 以随机向量为条件的一个事件的概率 令A是任一事件，B是事件 BBBr, 1xpxpxxxx则 在小区域内，A发生的概率为： xpxpxxxxpxxxxpxnn2121AAAr，模式识别随机向量的概率(3) 随机向量的条件密度函数 令A是事件 , B是事件 则由前面的定义和公式有：xxxxyyyy nmmnxxxypyxpyyypyyxxxyxp211121， BAr模式识别随机向量的概率在 发生后 的条件密度定义为：

9、yx ypyxpyxp，当A和B对所有的 和 的值是独立的时， xy xpyxp, 因此有： ypxpyxp， 模式识别随机向量的概率3. 贝叶斯公式 由于事件A和B的联合概率等于事件B和A的联合概率，所以由条件概率公式有： BAABBArrrr（1） 上式称为Bayes公式。是概率和统计中非常重要的一个公式。通过适当定义事件A和B，贝叶斯公式可以有不同的形式。例如： 模式识别随机向量的概率 （1）如果B是事件则贝叶斯公式的形式为： xxxx xpxpxAAArr（2） 如果 是两两互斥且完备的事件组A1，A2，AM中的一个事件，则 （最优模式分类）iA（2）Mjjjiiixpxpx1AAAA

10、Arrr（3）模式识别随机向量的概率(3)如果B是事件 ，A是 事件，则贝叶斯公式的形式为： xxxxyyyy xpypyxpxyp(4)由边缘密度的定义，还可写为下式： dyypyxpypyxpxyp(5)模式识别随机向量的概率上面的几种贝叶斯公式对统计模式识别都是非常重要的 如(5)式， 称为先验概率，随机向量X和Y间有某种关系，在X发生后Y的密度函数是对先验概率的一种改善，称为后验概率。又如（3）式是一个最佳模式分类规则。 是事件 类的先验概率，而 则是 的后验概率。 iAriAriiA yp dyypyxpypyxpxypMjjjiiixpxpx1AAAAArrr模式识别随机向量的概率

11、例：一个两维随机向量的密度函数为： 另一随机向量X，它和Y有关，其条件密度函数为： 其它 0,0 1212ayyayp22222212112122exp21yxyxyxp模式识别随机向量的概率求联合密度 ，并计算后验密度 解：1. 联合密度为： yp， yp 其它， 0 0 , 22exp21212222221211221ayyyxyxaypyxpyxp后验概率为： 其它 0 0,22exp22exp21002122222212112222221211ayydydyyxyxyxyxxypaa模式识别随机向量的概率注意：1. 积分限要注意。2. 上式没有显式解，要用数值方法求解。 3. 如果Y的

12、先验密度是 222122exp21yyyp21,- yy则有显式解，是一多元高斯密度 模式识别随机向量的概率四. 数学期望 一个随机向量X的期望（或称均值）是一个常数向量M，定义为 dxxpxxEm- 上式是一个向量形式， 的第 个分量为： mi niiiidxdxdxxpxdxpxxEm21 - 模式识别随机向量的概率上式对所有的 ， 的分量积分，有： jxij iiiidxxpxm- 是边缘密度。 ixp对于随机向量的积的期望，将在复习2中讨论。对于随机向量的各个分量，则和随机变量的定义一样： iiiiiiidxxpmxmxxar-22 EV模式识别随机向量的概率性质： 1. 随机向量或变

13、量和的期望等于期望的和； 2. 相互独立的随机变量和的方差等于方差的和 下面考虑只取离散值的随机变量。它没有概率密度函数（除非使用奇异函数）。 则期望 ：r若 是一随机变量，它取离散值 ， 1，2，M。M也可能是无穷的， iri MiiirrrrEr1Pr模式识别随机向量的概率 21r21r22P PVrrrrrrrrrrErarMiiiMiii方差： 均值和方差是随机变量分布的重要参数。均值分布或密度的中心点，方差则表示了离中心点的分散程度。（分布和密度函数完全刻画了随机向量，而期望和方差刻画了它的主要特征。） 模式识别随机向量的概率五. 小结 这一章复习了随机事件和随机向量的概率，复习了

14、它们间的关系密度函数分布函数条件分布联合分布统计独立、贝叶斯公式（由条件概率）、随机向量和变量的均值、方差。 模式识别随机向量的概率 应该理解这些定义、概念，理解一些公式推导的思路、思想。 理解分布函数、密度函数和事件概率间的关系。 理解联合概率和条件概率间的区别。 理解独立性及其对概率、分布和密度函数的影响。 掌握Bayes公式的各种形式。模式识别随机向量的概率第二章 统计决策理论 最小错误率贝叶斯决策 最小风险贝叶斯决策 NeymanPearson决策（在限定一类错误率的条件下，使另一类错误率最小的两类决策问题） 最小最大决策 序贯决策（Sequential Decision） 模式识别随机向量的概率关于统计学的一个笑话： 有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写道：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次，累计15次；每个气球的平均寿命10秒钟