(完整版)概率论与数理统计知识点总结(免费超详细版)

1、1 概率论与数理统计 第一章 概率论的基本概念 2 样本空间、随机事件 1 1 事件间的关系 A B 则称事件 B B 包含事件 A A，指事件 A A 发生必然导致事件 B B 发生 A B xx A 或 x B称为事件 A A 与事件 B B 的和事件，指当且仅当 A A , B B 中至少有一个发生时，事件 A B发生 A B xx A 且 x B称为事件 A A 与事件 B B 的积事件，指当 A A , B B 同时发生时，事件 A B发生 A B xx A 且 x B称为事件 A A 与事件 B B 的差事件，指当且仅当 A A 发生、B B 不发生时，事件 A B发生 A B ，

2、则称事件 A A 与 B B 是互不相容的，或互斥的，指事件 A A 与事 件 B B 不能同时发生，基本事件是两两互不相容的 A B S 且 A B ，则称事件 A A 与事件 B B 互为逆事件，又称事件 A A 与事件 B B 互为对立事件 2 2 .运算规则 交换律A B B A A B B A 结合律(A B) C A (B C) (A B)C A(B C) 分配律A (B C) (A B) (A C) A (B C) (A B)(A ,C) 徳摩根律A B A B A B A B 3 .频率与概率 定义 在相同的条件下，进行了 n n 次试验，在这 n n 次试验中，事件 A A

3、发生的次数nA称为事 件 A A 发生的频数，比值nA：n称为事件 A A 发生的频率 概率：设 E E 是随机试验，S S 是它的样本空间，对于 E E 的每一事件 A A 赋予一个实数，记为 P( AP( A), 称为事件的概率 1 1 概率P(A)满足下列条件： (1) 非负性：对于每一个事件 A A 0 P(A) 1 (2) 规范性：对于必然事件 S S P(S) 12 (3 3)可列可加性：设AI,A2, ,An是两两互不相容的事件， 有P( Ak) P(Ak) (n可 k 1 k 1 以取 ) 2 2.概率的一些重要性质： (i i)P( ) 0 (iii (iii )设 A A，

4、B B 是两个事件若 A B，则P(B A) (iv) 对于任意事件 A A，P(A) 1 (v) P(A) 1 P(A) (逆事件的概率) (vi(vi)对于任意事件 A A，B B 有 P(A B) P(A) P(B) P(AB) 4 等可能概型(古典概型) 等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同 若事件 A 包含 k k 个基本 事件，即 A 兔 2 ek，里 ，ik是 12 n 中某 k 个不同的数，则有 5.条件概率 (1)(1) 定义：设 A,BA,B 是两个事件，且P(A) 0，称P(B|A) P(AB)为事件 A A 发生的条 P(A) 件下

5、事件 B B 发生的条件概率 (2)(2) 条件概率符合概率定义中的三个条件 1 1。非负性：对于某一事件 B B，有P(B| A) 0 2 2。规范性：对于必然事件 S S，P(S| A) 1 3 3 可列可加性：设 B1,B2, 是两两互不相容的事件，则有 ( (ii ii )若Ai, A2, , An是两两互不相容的事件，则有 n P( Ak) n P(Ak) (n可以取 P(B) P(A)，P(B) P(A) k P(A) Peij j 1 k A 包含的基本事件数 n S 中基本事件的总数 3 P( Bi A ) P(Bi A ) i 1 i 1 (3) 乘法定理 设P(A) 0，则

6、有P(AB) P(B)P(A| B)称为乘法公式4 (4) 全概率公式： P(A) 6 6 .独立性 定义 设 A A , B B 是两事件，如果满足等式 P(AB) P(A)P(B)，则称事件 A,BA,B 相互独立 定理一 设 A A , B B 是两事件，且 P(A) 0,若 A A, B B 相互独立，则 P(B| A) P B 定理二 若事件 A A 和 B B 相互独立，则下列各对事件也相互独立： A A 与B ,A与 B ,A 与 B 第一章 随机变量及其分布 1 随机变量 定义 设随机试验的样本空间为 S e. X X(e)是定义在样本空间 S S 上的实值单值函 数，称X X

7、(e)为随机变量 2 离散性随机变量及其分布律 1.1. 离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随 机变量称为离散型随机变量 P(X Xk) Pk满足如下两个条件(1 1) Pk 0,( 2 2) Pk =1=1 k 1 2.2. 三种重要的离散型随机变量 (1) (0(0- - 1)1)分布 设随机变量 X X 只能取 0 0 与 1 1 两个值，它的分布律是 P(X k) pk(1-p)1-k, k 0,1 (0 p 1)，则称 X X服从以 P P 为参数的(0(0- - 1)1)分布或 两点分布。 (2) 伯努利实验、二项分布 设实验 E E 只有两

8、个可能结果：A A 与A，则称 E E 为伯努利实验设P(A) p (0 p 1), 此时P(A) 1-p . .将E独立重复的进行 n n 次，则称这一串重复的独立实验为 n n 重伯努利实验。 P(X k) n pkqn-k, k 0,1,2, n 满足条件(1 1) Pk 0, (2 2) Pk =1 =1 注意 k k 1贝叶斯公式: P(Bk | A) P(BQP(A|BQ n P(Bi)P(A|Bi) i 1 0 5 到n pkqn-k是二项式(p q)n的展开式中出现pk的那一项，我们称随机变量 X X 服从参数 k 为 n n，p p 的二项分布。 (3 3 )泊松分布 设随机

9、变量 X X 所有可能取的值为 0,1,20,1,2，而取各个值的概率为 ke- P(X k) ,k 0,1,2 ,其中 0是常数，则称 X X 服从参数为 的泊松分布记为 k! X () 3 随机变量的分布函数 定义 设 X X 是一个随机变量，x x 是任意实数，函数 F(x) PX x, - x 称为 X X 的分布函数 分布函数F(x) P(X x),具有以下性质(1) (1) F(x)是一个不减函数 (2 2 ) 0 F(x) 1,且 F( ) 0,F( ) 1 (3 3) F(x 0) F(x),即 F(x)是右连续的 4 连续性随机变量及其概率密度 连续随机变量：如果对于随机变量

10、 X X 的分布函数 F F (x x),存在非负可积函数 f (x)，使 x 对于任意函数 x x 有F(x) f (t) dt,则称 x x 为连续性随机变量，其中函数 f(x)f(x)称为 X X 的概率密度函数，简称概率密度 1 1 概率密度f (x)具有以下性质，满足(1 1) f(x) 2,2,三种重要的连续型随机变量 (1)(1)均匀分布 均匀分布记为X U (a，b) (2)(2)指数分布 服从参数为 的指数分布。 0, (2) f(x)dx 1 ； (3) P(X1 X X2) J(x)dx ； (4 (4 )若 f(x)在点 x x 处连续，则有F(x) f (x) 若连续

11、性随机变量 X X 具有概率密度 f(x) 1 b- a 0 其他 b，则成 X X 在区间(a,b)(a,b)上服从 若连续性随机变量 X X 的概率密度为 f (x) 丄ex ，x. ，其他 0 其中 0为常数，则称 X X 0 6 (3 3 )正态分布7 （X ）2 型随机变量 X X 的概率密度为f （x） 1一， （）厅 （ 0）为常数，则称 X服从参数为， 的正态分布或高斯分布，记为 ，2） 5 随机变量的函数的分布 1 二维随机变量 的随机变量，称 X X（e）为随机变量，由它们构成的一个向量（ X X，Y Y）叫做二维随机变量 设（X X，Y Y ） 是二 维随机变量，对于任意

12、实数 x x， y y， 二元函数 F(x，y) P(X x) (Y y）记成 PX x，丫 y称为二维随机变量（ X X，Y Y ）的 分布函数 如果二维随机变量 （X X， Y Y）全部可能取到的值是有限对或可列无限多对， 则称（X X， Y Y ）是离散型的随机变量。 我们称P（X xi ，Y yj） Pij，i，j 1,2，为二维离散型随机变量（ X X，Y Y ）的 分布律。 对于二维随机变量 （X, X, Y Y）的分布函数F （x，y），如果存在非负可积函数 f(x x, , y y)， y x 使对于任意 x x, , y y 有F （x， y） f （u， v） dudv,则

13、称（X , YX , Y）是连续性的随机变量， 函数 f f （x x，y y）称为随机变量（X X，Y Y）的概率密度，或称为随机变量 X X 和 Y Y 的联合概率密 度。 2 边缘分布 二维随机变量（X X，Y Y ）作为一个整体，具有分布函数F （x，y） 而 X X 和 Y Y 都是随机 变量，各自也有分布函数，将他们分别记为FX（x）, FY（y），依次称为二维随机变量 （X X，Y Y）若连续 其中， 特别，当 0, 1时称随机变量 X X 服从标准正态分布 定理 设随机变量 X X 具有概率密度 fx(x),- ,又设函数g（x）处处可导且恒有 g(x) Y= g(X)是 连续

14、型 变量，其概率密度为 fv(y) fx h(y) 0 h(y), y ，其他 第三章 多维随机变量 定义设 E E 是一个随机试验，它的样本空间是S e. X X（e）和Y Y（e）是定义在 S S 上 8 关于 X X 和关于 Y Y 的边缘分布函数。 Pi? Pij PX Xi, i 1,2, j 1 分别称pi? P?j为(X X，Y Y)关于 X X 和关于 Y Y 的边缘分布律。 fY(y)为 X X, Y Y 关于 X X 和关于 Y Y 的边缘概率密度。 3 条件分布 为在X Xi条件下随机变量 X X 的条件分布律。 fY(y) ，则称f(x, y)为在 Y=yY=y 的条件

15、下 X X 的条件 fy(y) 概率密度，记为fX |Y (x y) = = f (x, y) 1 J(y) 4 4 相互独立的随机变量 定义设F (x，y)及FX (x)，FY(y)分别是二维离散型随机变量(X X，Y Y)的分布函 数及边缘分布函数若对于所有 x,yx,y 有PX x,Y y PX xPY y，即 Fx, y FX (X)FY (y)，则称随机变量 X X 和 Y Y 是相互独立的。 对于二维正态随机变量(X X，Y Y)，X X 和 Y Y 相互独立的充要条件是参数 0 5 两个随机变量的函数的分布 1 1，Z=X+YZ=X+Y 的分布 设(X,Y)(X,Y)是二维连续型

16、随机变量，它具有概率密度 f(X, y). .则 Z=X+YZ=X+Y 仍为连续性 P?j Pij PY yi，j 1,2, fX (x) f (x, y)dy fY(y) f (x, y) dx分别称 fX(x), 定义 设(X X，Y Y )是二维离散型随机变量，对于固定的 若PY yj ， 则称PX 人丫 比 墜空 j j PY yj Pij . ,i P?j 1,2 为在Y y j条件下 随机变量 X X 的条件分布律，同样PY yj X Xi PX Xi,Y yj PX 灯 Pij ,j 1,2, Pi? 设二维离散型随机变量( X X，Y Y)的概率密度为 f (x, y)，( X

17、 X，Y Y )关于 Y Y 的边缘概 率密度为fY(y)，若对于固定的 y y， 9 随机变量，其概率密度为 fX 丫 f (z y, y) dy或fX Y (z) f (x,z x) dx10 又若 X X 和 Y Y 相互独立，设(X X , Y Y )关于 X X , Y Y 的边缘密度分别为 fX (x), fY (y)则 fx Y(z) fx(z y) fY(y)dy 和 fx 丫 fx(x) fy(z x)dx这两个公式称为 fx , fY的卷积公式 有限个相互独立的正态随机变量的线性组合仍然服从正态分布 Y 2 2，Z 的分布、Z XY 的分布 X Y 设(X,Y)(X,Y)是

18、二维连续型随机变量，它具有概率密度 f (x, y)，则Z ，Z XY X 仍为连续性随机变量其概率密度分别为 fY x(z) xf (x,xz)dx fxY (z) 1f (x,-)dx又若 x x 和 Y Y 相互独立，设(X X，Y Y )关于 X X，Y Y 的边缘密度分别 X X 为 fx (x), fY(y)则可化为 fY x (z) fx (x) fY (xz)dx 3 3 M maxX，Y及 N min X ,Y的分布 设 X X，Y Y 是两个相互独立的随机变量，它们的分布函数分别为 M maxX，Y不大于 z z 等价于 X X 和 Y Y 都不大于 z z 故有PM z

19、PX 乙丫 z又 由于 X X 和 Y Y 相互独立，得到 M maxX，Y的分布函数为Fmax(z) FX(Z)FY(z) N minX,Y的分布函数为 Fmin (z) 1 1 FX (z) 1 Fy(z) 第四章 随机变量的数字特征 1 数学期望 Pk, k=1,2k=1,2，若级数 XkPk绝对 k 1 收敛，则称级数 XkPk的和为随机变量 X X 的数学期望，记为E(X),即E(X) xk Pk k 1 i fxY ( z) 7fx(x)fY(J)dx Fx(x),FY(y)由于 定义 设离散型随机变量 X X 的分布律为PX Xk 11 设连续型随机变量 X X 的概率密度为f

20、(X)，若积分 xf(x)dx绝对收敛，则称积分 xf(x)dx的值为随机变量 X X 的数学期望，记为E(X)，即E(X) xf(x)dx 定理 设 Y Y 是随机变量 X X 的函数 Y= Y= g(X)(g(g 是连续函数) ) (i(i)如果 X X 是离散型随机变量，它的分布律为PX xk pk , k=1,2k=1,2，若 g(xk)pk k 1 绝对收敛则有 E(Y) E(g(X) g(xk)pk k 1 (iiii)如果 X X 是连续型随机变量，它的分概率密度为 f (x)，若 g(x) f (x)dx绝对收敛则 有 E(Y) E(g(X) g(x)f(x)dx 数学期望的几

21、个重要性质 1 1 设 C C 是常数，则有E(C) C 2 2 设 X X 是随机变量，C C 是常数，则有E(CX) CE(X) 3 3 设 X,YX,Y 是两个随机变量，则有 E(X Y) E(X) E(Y); 4 4 设 X X, Y Y 是相互独立的随机变量，则有 E(XY) E(X)E(Y) 2 方差 2 2 定义 设 X X 是一个随机变量，若 E X E(X) 存在，则称E X E(X) 为 X X 的方 2 匚 差，记为 D D (x x )即 D D ( x x) = = E X E(X) ，在应用上还引入量,D(x)，记为(X), 称为标准差或均方差。 2 2 2 D(X

22、) E(X E(X)2 E(X2) (EX)2 方差的几个重要性质 1 1 设 C C 是常数，则有D(C) 0, 2 12 2 2 设 X X 是随机变量，C C 是常数，则有 D(CX) C D(X) , D(X C) D(X) 3 3 设 X,Y X,Y 是两个随机变量，则有 D(X Y) D(X) D(Y) 2E(X - E(X)(Y - E(Y)特 别，若 X,YX,Y 相互独立，则有 D(X Y) D(X) D(Y) 4 4 D(X) 0的充要条件是 X X 以概率 1 1 取常数E(X)，即PX E(X) 1 切比雪夫不等式：设随机变量 X X 具有数学期望E(X) 2，则对于任

23、意正数 ，不等式 PX - 成立 3 协方差及相关系数 定义 量EX E(X)Y E(Y)称为随机变量 X X 与 Y Y 的协方差为Cov(X,Y)，即 Cov(X,Y) E(X E(X)(Y E(Y) E(XY) E(X)E(Y) 工 Cov(X，Y) 而 XY - 称为随机变量 X X 和 Y Y 的相关系数 *D(x)佢YT 对于任意两个随机变量 X X 和 Y Y, D(X Y) D(X) D(Y) 2Cov(X,Y) 协方差具有下述性质 l lCov(X,Y) Cov(Y,X), Cov(aX,bY) abCov(X,Y) 2 2Cov(X! X2,Y) COV(X!,Y) COV

24、(X2,Y) 定理 1 1 XY 1 2 2 XY 1的充要条件是，存在常数 a,ba,b 使PY a bx 1 当 XY 0 0 时，称 X X 和 Y Y 不相关 附：几种常用的概率分布表 分布 参数 分布律或概率密度 数学 期望 方差 两点分 布 0 p 1 PX k) pk(1 p)i,k 0,1， p p(1 p) 二项式 分布 n 1 0 p 1 P(X k) Cn pk(1 p)n k,k 0,1, n， np np(1 p) 13 泊松分 布 0 ke P(X k) - ,k 0,1,2, k! 几何分 布 0 p 1 k 1 P(X k) (1 p) p,k 1,2, 丄 p 1 p 2 p 均匀分 布 a b 1