《概率论》1-13章笔记

《概率论》1-13章笔记第一章概率论简介1.1概率论的历史和发展概率论作为数学的一个分支，其历史可以追溯到17世纪。早期的概率论研究主要围绕赌博问题展开。法国数学家布莱斯·帕斯卡（BlaisePascal）和皮埃尔·德·费马（PierredeFermat）之间的通信被认为是现代概率论的开端。他们探讨了如何公平分配赌注的问题，从而引出了概率论的一些基本概念。随着数学的发展，概率论逐渐成为一门严谨的科学，并广泛应用于自然科学、社会科学、工程技术和金融等多个领域。1.2概率论的应用领域概率论的应用非常广泛，包括但不限于以下几个方面：自然科学：物理学、化学、生物学等学科中用来描述不确定性现象。工程技术：可靠性分析、质量控制等领域利用概率模型进行预测和优化。医学与公共卫生：疾病传播模型、药物效果评估等。经济学与金融学：风险管理、投资组合优化等。社会科学：民意调查、市场预测等。信息技术：数据挖掘、机器学习算法中大量使用概率方法。1.3基本概念1.3.1随机试验定义：随机试验是指在同一条件下可以重复进行，并且每次试验的结果事先无法确定，但所有可能结果已知的试验。例如：掷一枚硬币、抛掷骰子等。1.3.2样本空间定义：样本空间是随机试验的所有可能结果组成的集合，通常用SS表示。例如：如果随机试验为掷一枚均匀硬币，则样本空间S={正面,反面}S={正面,反面}。1.3.3事件定义：事件是指样本空间的一个子集，即一次随机试验中可能发生的一种情况或一组情况。例如：在掷骰子的例子中，“出现偶数点”就是一个事件，可以用集合表示为{2,4,6}{2,4,6}。表1-1不同随机试验的样本空间与事件示例随机试验样本空间

SS事件示例掷一枚硬币{正面,反面}出现正面抛掷一颗六面骰子{1,2,3,4,5,6}出现奇数点从一副扑克牌中抽取一张{A,2,...,K}x{♠,♥,♦,♣}抽到红心牌1.4概率的定义和性质1.4.1概率的定义古典定义：对于有限样本空间中的等可能性事件，某一事件AA的概率定义为该事件所包含的基本事件数目除以样本空间中全部基本事件的数目。即P(A)=n(A)n(S)P(A)=n(S)n(A)​。频率定义：当一个试验重复进行很多次时，事件AA发生的次数与总试验次数之比趋向稳定值，这个稳定值就是事件AA的概率。公理化定义：柯尔莫哥洛夫提出的概率公理体系，包括非负性、规范性和可加性三条公理。1.4.2概率的基本性质非负性：对于任意事件AA，有P(A)≥0P(A)≥0。规范性：样本空间SS的概率等于1，即P(S)=1P(S)=1。可加性：如果A1,A2,…,AnA1​,A2​,…,An​是两两互斥的事件，则这些事件并集的概率等于各事件概率之和，即P(A1∪A2∪…∪An)=P(A1)+P(A2)+…+P(An)P(A1​∪A2​∪…∪An​)=P(A1​)+P(A2​)+…+P(An​)。第二章古典概型与几何概型2.1古典概型2.1.1定义古典概型适用于那些样本空间由有限个等可能结果组成的情况。在这种情况下，每个基本事件发生的概率相等。如果某个事件AA包含mm个这样的基本事件，则事件AA的概率为P(A)=mNP(A)=Nm​，其中NN是样本空间中所有基本事件的数量。2.1.2计数原理加法原理：如果有两类不同的选择，第一类中有mm种方式，第二类中有nn种方式，则总共有m+nm+n种方式。乘法原理：如果有两个相继的选择步骤，第一步有mm种选择，每种选择下第二步有nn种选择，则总共的选择方案数为m×nm×n。2.1.3排列与组合排列：从nn个不同元素中取出rr个元素按一定顺序排列的方式数量称为排列数，记作P(n,r)=n!(n−r)!P(n,r)=(n−r)!n!​。组合：从nn个不同元素中取出rr个元素不考虑顺序的方式数量称为组合数，记作C(n,r)=n!r!(n−r)!C(n,r)=r!(n−r)!n!​。2.2几何概型2.2.1定义几何概型适用于那些样本空间由无限多个等可能的结果构成的情况。在几何概型中，事件的概率通常通过测量相应区域的长度、面积或体积来决定。如果某个事件AA对应于样本空间中某区域RARA​，则事件AA的概率为P(A)=测度(RA)测度(S)P(A)=测度(S)测度(RA​)​。2.2.2应用实例长度比例：如果样本空间是一条线段，那么事件的概率可以通过计算事件对应的线段长度占整个线段长度的比例得到。面积比例：当样本空间是一个平面图形时，事件的概率则是该事件对应的图形面积与样本空间总面积的比例。体积比例：对于三维空间内的样本空间，事件的概率则由事件对应体积与总体积的比例给出。第三章条件概率与独立性3.1条件概率的概念3.1.1定义条件概率指的是在给定另一个事件已经发生的情况下，某个事件发生的概率。如果事件BB已经发生，那么事件AA发生的条件概率表示为P(A∣B)P(A∣B)，其定义如下：P(A∣B)=P(A∩B)P(B),当  P(B)>0P(A∣B)=P(B)P(A∩B)​,当P(B)>0这里P(A∩B)P(A∩B)表示事件AA和事件BB同时发生的概率。3.1.2计算示例假设我们有一个装有3个红球和2个蓝球的袋子。如果我们从中随机抽出一个球，然后在不放回的情况下再抽第二个球，那么第一次抽到红球且第二次也抽到红球的概率是多少？第一次抽到红球的概率是3553​。给定第一次抽到红球后，袋子里剩下2个红球和2个蓝球，因此第二次抽到红球的条件概率是24=1242​=21​。因此，两次都抽到红球的概率是35×12=31053​×21​=103​。3.2乘法法则3.2.1定义乘法法则用于计算两个或多个事件同时发生的概率。根据条件概率的定义，可以得出以下公式：P(A∩B)=P(A∣B)⋅P(B)P(A∩B)=P(A∣B)⋅P(B)同样地，P(A∩B)=P(B∣A)⋅P(A)P(A∩B)=P(B∣A)⋅P(A)这两个公式表明，事件AA和事件BB同时发生的概率等于其中一个事件的条件概率乘以其先决事件的概率。3.2.2扩展到多事件对于三个事件A,B,CA,B,C同时发生的概率，可以进一步扩展乘法法则：P(A∩B∩C)=P(A∣B∩C)⋅P(B∣C)⋅P(C)P(A∩B∩C)=P(A∣B∩C)⋅P(B∣C)⋅P(C)3.3全概率公式3.3.1定义全概率公式用来计算一个事件的概率，它通过将样本空间分割成若干个互斥事件，并利用这些事件来表达目标事件的概率。设B1,B2,…,BnB1​,B2​,…,Bn​是样本空间SS的一个划分，即它们互斥且联合覆盖了整个样本空间，则对于任意事件AA，全概率公式为：P(A)=∑i=1nP(A∣Bi)⋅P(Bi)P(A)=∑i=1n​P(A∣Bi​)⋅P(Bi​)3.3.2应用实例考虑一个简单的医疗测试例子，某种疾病的患病率为1%，即P(D)=0.01P(D)=0.01。该疾病有一种检测方法，其准确率为99%，即如果一个人确实患有这种病，测试呈阳性的概率是99%；如果一个人没有患这种病，测试呈阴性的概率也是99%。求一个人测试呈阳性时实际患病的概率。设DD表示患病，DˉDˉ表示未患病，T+T+表示测试阳性。根据题意，P(T+∣D)=0.99,P(T−∣Dˉ)=0.99P(T+∣D)=0.99,P(T−∣Dˉ)=0.99。使用全概率公式，P(T+)=P(T+∣D)P(D)+P(T+∣Dˉ)P(Dˉ)=0.99×0.01+0.01×0.99=⅓%P(T+)=P(T+∣D)P(D)+P(T+∣Dˉ)P(Dˉ)=0.99×0.01+0.01×0.99=⅓%。利用贝叶斯定理，可以求得P(D∣T+)P(D∣T+)。3.4贝叶斯定理3.4.1定义贝叶斯定理是条件概率的一个重要推论，用于更新基于新证据的先验概率。对于事件AA和BB，贝叶斯定理表述为：P(A∣B)=P(B∣A)P(A)P(B)P(A∣B)=P(B)P(B∣A)P(A)​其中P(A)P(A)被称为先验概率，P(A∣B)P(A∣B)是后验概率，而P(B)P(B)可以通过全概率公式来计算。3.4.2应用实例回到前面提到的医疗测试例子中，我们已经知道P(T+∣D)=0.99P(T+∣D)=0.99，P(D)=0.01P(D)=0.01，并且通过全概率公式得到了P(T+)P(T+)。现在我们可以用贝叶斯定理来计算P(D∣T+)P(D∣T+)：P(D∣T+)=P(T+∣D)P(D)P(T+)=0.99×0.010.0198≈0.5025P(D∣T+)=P(T+)P(T+∣D)P(D)​=0.01980.99×0.01​≈0.5025这意味着即使测试结果为阳性，患者真正患病的概率也只有约50.25%。3.5事件独立性3.5.1定义两个事件AA和BB是独立的，如果其中一个事件的发生不会影响另一个事件发生的概率，即：P(A∣B)=P(A)或P(B∣A)=P(B)P(A∣B)=P(A)或P(B∣A)=P(B)等价地说，事件AA和BB独立当且仅当P(A∩B)=P(A)⋅P(B)P(A∩B)=P(A)⋅P(B)。3.5.2性质如果AA和BB是独立的，那么AA与BˉBˉ，AˉAˉ与BB，以及AˉAˉ与BˉBˉ也都是独立的。多个事件相互独立的定义类似，即任意选取的事件集合中任一事件发生的概率都不受其他事件是否发生的影响。第四章随机变量4.1随机变量的定义4.1.1定义随机变量是一种将随机实验的结果映射到实数上的函数。它可以是离散的，也可以是连续的，分别对应着离散型随机变量和连续型随机变量。随机变量的引入使得我们可以用数学工具处理随机现象，并对其进行量化分析。4.1.2分类离散型随机变量：取值为有限个或可数无穷多个的随机变量。例如，掷骰子的结果。连续型随机变量：取值范围是连续区间的随机变量。例如，测量温度或人的身高。4.2分布函数4.2.1定义对于任意随机变量XX，其累积分布函数（CumulativeDistributionFunction,CDF），记作FX(x)FX​(x)，定义为：FX(x)=P(X≤x)FX​(x)=P(X≤x)CDF提供了随机变量小于或等于某个值的概率。4.2.2性质FX(x)FX​(x)是非递减函数。lim⁡x→−∞FX(x)=0limx→−∞​FX​(x)=0

和

lim⁡x→+∞FX(x)=1limx→+∞​FX​(x)=1。FX(x)FX​(x)是右连续的。表4-1不同类型随机变量的分布函数示例随机变量类型分布函数

FX(x)FX​(x)离散型FX(x)=∑k≤xp(k)FX​(x)=∑k≤x​p(k),其中p(k)p(k)是X=kX=k的概率连续型FX(x)=∫−∞xfX(t)dtFX​(x)=∫−∞x​fX​(t)dt,其中fX(t)fX​(t)是概率密度函数4.3概率质量函数与概率密度函数4.3.1概率质量函数(PMF)对于离散型随机变量XX，其概率质量函数pX(x)pX​(x)定义为：pX(x)=P(X=x)pX​(x)=P(X=x)PMF给出了随机变量取特定值的概率。4.3.2概率密度函数(PDF)对于连续型随机变量XX，其概率密度函数fX(x)fX​(x)满足：FX(x)=∫−∞xfX(t)dtFX​(x)=∫−∞x​fX​(t)dtPDF并不直接给出概率，而是概率的“密度”。对于连续型随机变量，XX落在某一小邻域[a,b][a,b]内的概率可以通过积分计算得到：P(a≤X≤b)=∫abfX(x)dxP(a≤X≤b)=∫ab​fX​(x)dx4.4常见离散型随机变量及其分布4.4.1伯努利分布定义：伯努利试验是一个只有两种可能结果的试验，如成功或失败。伯努利随机变量XX只取两个值，0（失败）或1（成功），其PMF为：

pX(1)=p,pX(0)=1−ppX​(1)=p,pX​(0)=1−p

其中pp是成功的概率。4.4.2二项分布定义：若进行nn次独立的伯努利试验，每次成功的概率为pp，则成功的次数XX服从二项分布，记作X∼Binomial(n,p)X∼Binomial(n,p)。其PMF为：

pX(k)=(nk)pk(1−p)n−k,k=0,1,2,…,npX​(k)=(kn​)pk(1−p)n−k,k=0,1,2,…,n4.4.3泊松分布定义：泊松分布用于描述单位时间内随机事件发生次数的概率分布，适用于事件发生具有独立性且均勻分布的情形。若随机变量XX服从参数为λλ的泊松分布，记作X∼Poisson(λ)X∼Poisson(λ)，其PMF为：

pX(k)=λke−λk!,k=0,1,2,…pX​(k)=k!λke−λ​,k=0,1,2,…第五章期望值与方差5.1期望值的定义及性质5.1.1定义对于离散型随机变量XX，其期望值（ExpectedValue）或均值定义为：E[X]=∑xx⋅pX(x)E[X]=∑x​x⋅pX​(x)对于连续型随机变量XX，其期望值定义为：E[X]=∫−∞+∞x⋅fX(x)dxE[X]=∫−∞+∞​x⋅fX​(x)dx5.1.2性质线性性质：对于任意常数a,ba,b，有E[aX+b]=aE[X]+bE[aX+b]=aE[X]+b。单调性：如果X≤YX≤Y几乎处处成立，则E[X]≤E[Y]E[X]≤E[Y]。非负性：如果X≥0X≥0几乎处处成立，则E[X]≥0E[X]≥0。5.2方差与标准差5.2.1定义方差（Variance）是衡量随机变量与其期望值偏离程度的量度。对于随机变量XX，其方差定义为：Var(X)=E[(X−E[X])2]Var(X)=E[(X−E[X])2]方差的平方根称为标准差（StandardDeviation）：σX=Var(X)σX​=Var(X)​5.2.2性质方差总是非负的。对于任意常数a,ba,b，有Var(aX+b)=a2Var(X)Var(aX+b)=a2Var(X)。如果XX和YY是独立随机变量，则Var(X+Y)=Var(X)+Var(Y)Var(X+Y)=Var(X)+Var(Y)。5.3期望值与方差的计算5.3.1离散型随机变量期望值：

E[X]=∑xx⋅pX(x)E[X]=∑x​x⋅pX​(x)方差：

Var(X)=∑x(x−E[X])2⋅pX(x)Var(X)=∑x​(x−E[X])2⋅pX​(x)5.3.2连续型随机变量期望值：

E[X]=∫−∞+∞x⋅fX(x)dxE[X]=∫−∞+∞​x⋅fX​(x)dx方差：

Var(X)=∫−∞+∞(x−E[X])2⋅fX(x)dxVar(X)=∫−∞+∞​(x−E[X])2⋅fX​(x)dx5.4切比雪夫不等式5.4.1定义切比雪夫不等式提供了一个关于随机变量与其均值偏离程度的上界估计。对于任意随机变量XX和任意正实数ϵϵ，有：P(∣X−E[X]∣≥ϵ)≤Var(X)ϵ2P(∣X−E[X]∣≥ϵ)≤ϵ2Var(X)​5.4.2应用切比雪夫不等式可用于估计随机变量偏离其均值的概率上限。在不知道随机变量具体分布的情况下，仍然可以使用切比雪夫不等式来获得一些有用的概率估计。第六章特殊分布6.1二项分布6.1.1定义二项分布描述了nn次独立伯努利试验中成功次数XX的分布。若每次试验成功的概率为pp，则XX的PMF为：pX(k)=(nk)pk(1−p)n−k,k=0,1,2,…,npX​(k)=(kn​)pk(1−p)n−k,k=0,1,2,…,n6.1.2期望值与方差期望值：

E[X]=npE[X]=np方差：

Var(X)=np(1−p)Var(X)=np(1−p)6.2泊松分布6.2.1定义泊松分布用于描述单位时间内随机事件发生次数的概率分布。若随机变量XX服从参数为λλ的泊松分布，则其PMF为：pX(k)=λke−λk!,k=0,1,2,…pX​(k)=k!λke−λ​,k=0,1,2,…6.2.2期望值与方差期望值：

E[X]=λE[X]=λ方差：

Var(X)=λVar(X)=λ6.3正态分布6.3.1定义正态分布（NormalDistribution），也称为高斯分布，是连续型随机变量的一种常见分布。若随机变量XX服从均值为μμ，方差为σ2σ2的正态分布，则其PDF为：fX(x)=1σ2πe−(x−μ)22σ2,−∞<x<+∞fX​(x)=σ2π​1​e−2σ2(x−μ)2​,−∞<x<+∞6.3.2标准正态分布定义：当μ=0μ=0且σ=1σ=1时，称XX服从标准正态分布，记作X∼N(0,1)X∼N(0,1)。性质：标准正态分布的PDF简化为：

fX(x)=12πe−x22fX​(x)=2π​1​e−2x2​6.3.3期望值与方差期望值：

E[X]=μE[X]=μ方差：

Var(X)=σ2Var(X)=σ26.4指数分布6.4.1定义指数分布通常用来描述事件之间的时间间隔，比如设备故障时间、电话呼叫到达间隔等。若随机变量XX服从参数为λλ的指数分布，则其PDF为：fX(x)=λe−λx,x≥0fX​(x)=λe−λx,x≥06.4.2期望值与方差期望值：

E[X]=1λE[X]=λ1​方差：

Var(X)=1λ2Var(X)=λ21​6.5卡方分布6.5.1定义卡方分布（Chi-SquaredDistribution）是kk个独立标准正态随机变量平方和的分布。若随机变量XX服从自由度为kk的卡方分布，则其PDF为：fX(x)=12k/2Γ(k/2)xk/2−1e−x/2,x>0fX​(x)=2k/2Γ(k/2)1​xk/2−1e−x/2,x>0其中Γ(⋅)Γ(⋅)是伽玛函数。6.5.2期望值与方差期望值：

E[X]=kE[X]=k方差：

Var(X)=2kVar(X)=2k6.6t分布6.6.1定义t分布（Student'st-Distribution）是在样本量较小且总体方差未知时使用的分布。若随机变量XX服从自由度为nn的t分布，则其PDF为：fX(x)=Γ(n+12)nπ Γ(n2)(1+x2n)−n+12,−∞<x<+∞fX​(x)=nπ​Γ(2n​)Γ(2n+1​)​(1+nx2​)−2n+1​,−∞<x<+∞6.6.2期望值与方差期望值：

E[X]=0,当  n>1E[X]=0,当n>1方差：

Var(X)=nn−2,当  n>2Var(X)=n−2n​,当n>26.7F分布6.7.1定义F分布（F-Distribution）是两个独立卡方分布变量之比的分布。若随机变量XX服从自由度为d1d1​和d2d2​的F分布，则其PDF为：fX(x)=(d1x)d1d2d2(d1x+d2)d1+d2xB(d12,d22),x>0fX​(x)=xB(2d1​​,2d2​​)(d1​x+d2​)d1​+d2​(d1​x)d1​d2d2​​​​​,x>0其中B(⋅,⋅)B(⋅,⋅)是贝塔函数。6.7.2期望值与方差期望值：

E[X]=d2d2−2,当  d2>2E[X]=d2​−2d2​​,当d2​>2方差：

Var(X)=2d22(d1+d2−2)d1(d2−2)2(d2−4),当  d2>4Var(X)=d1​(d2​−2)2(d2​−4)2d22​(d1​+d2​−2)​,当d2​>4第七章多维随机变量7.1联合分布与边际分布7.1.1联合分布定义：当考虑多个随机变量时，它们共同的分布称为联合分布。对于两个随机变量XX和YY，其联合分布描述了这两个随机变量同时取某些值的概率。离散型：对于离散型随机变量XX和YY，其联合概率质量函数（JointPMF）pX,Y(x,y)pX,Y​(x,y)定义为：

pX,Y(x,y)=P(X=x,Y=y)pX,Y​(x,y)=P(X=x,Y=y)连续型：对于连续型随机变量XX和YY，其联合概率密度函数（JointPDF）fX,Y(x,y)fX,Y​(x,y)满足：

FX,Y(x,y)=∫−∞x∫−∞yfX,Y(u,v) dv duFX,Y​(x,y)=∫−∞x​∫−∞y​fX,Y​(u,v)dvdu

其中FX,Y(x,y)FX,Y​(x,y)是联合累积分布函数（JointCDF）。表7-1不同类型随机变量的联合分布示例随机变量类型联合分布函数离散型pX,Y(x,y)=P(X=x,Y=y)pX,Y​(x,y)=P(X=x,Y=y)连续型fX,Y(x,y)fX,Y​(x,y)满足∫−∞x∫−∞yfX,Y(u,v) dv du=FX,Y(x,y)∫−∞x​∫−∞y​fX,Y​(u,v)dvdu=FX,Y​(x,y)7.1.2边际分布定义：边际分布是从联合分布中提取出单个随机变量的分布。对于两个随机变量XX和YY，XX的边际分布描述了XX的单独行为，而忽略了YY。离散型：XX的边际概率质量函数（MarginalPMF）pX(x)pX​(x)为：

pX(x)=∑ypX,Y(x,y)pX​(x)=∑y​pX,Y​(x,y)连续型：XX的边际概率密度函数（MarginalPDF）fX(x)fX​(x)为：

fX(x)=∫−∞+∞fX,Y(x,y) dyfX​(x)=∫−∞+∞​fX,Y​(x,y)dy7.2条件分布7.2.1定义定义：条件分布描述了在已知另一个随机变量取值的情况下，某个随机变量的分布。离散型：给定Y=yY=y，XX的条件概率质量函数（ConditionalPMF）pX∣Y(x∣y)pX∣Y​(x∣y)为：

pX∣Y(x∣y)=pX,Y(x,y)pY(y)pX∣Y​(x∣y)=pY​(y)pX,Y​(x,y)​连续型：给定Y=yY=y，XX的条件概率密度函数（ConditionalPDF）fX∣Y(x∣y)fX∣Y​(x∣y)为：

fX∣Y(x∣y)=fX,Y(x,y)fY(y)fX∣Y​(x∣y)=fY​(y)fX,Y​(x,y)​7.2.2条件期望定义：条件期望是对给定另一个随机变量取值时，某个随机变量的期望值。对于离散型随机变量，给定Y=yY=y，XX的条件期望E[X∣Y=y]E[X∣Y=y]为：

E[X∣Y=y]=∑xx⋅pX∣Y(x∣y)E[X∣Y=y]=∑x​x⋅pX∣Y​(x∣y)对于连续型随机变量，给定Y=yY=y，XX的条件期望E[X∣Y=y]E[X∣Y=y]为：

E[X∣Y=y]=∫−∞+∞x⋅fX∣Y(x∣y) dxE[X∣Y=y]=∫−∞+∞​x⋅fX∣Y​(x∣y)dx7.3多维随机变量的独立性7.3.1定义定义：两个随机变量XX和YY是独立的，如果它们的联合分布可以分解为其各自边际分布的乘积。对于离散型随机变量，XX和YY独立当且仅当：

pX,Y(x,y)=pX(x)⋅pY(y)pX,Y​(x,y)=pX​(x)⋅pY​(y)对于连续型随机变量，XX和YY独立当且仅当：

fX,Y(x,y)=fX(x)⋅fY(y)fX,Y​(x,y)=fX​(x)⋅fY​(y)7.3.2独立性的性质期望值：如果XX和YY是独立的，那么E[XY]=E[X]⋅E[Y]E[XY]=E[X]⋅E[Y]。方差：如果XX和YY是独立的，那么Var(X+Y)=Var(X)+Var(Y)Var(X+Y)=Var(X)+Var(Y)。条件分布：如果XX和YY是独立的，那么XX的条件分布fX∣Y(x∣y)fX∣Y​(x∣y)实际上等于XX的边际分布fX(x)fX​(x)。第八章极限定理8.1大数定律8.1.1弱大数定律定义：弱大数定律指出，对于一系列独立同分布（IID）的随机变量X1,X2,…,XnX1​,X2​,…,Xn​，其样本均值Xˉn=1n∑i=1nXiXˉn​=n1​∑i=1n​Xi​依概率收敛于这些随机变量的期望值E[Xi]E[Xi​]。即：

lim⁡n→∞P(∣Xˉn−E[Xi]∣≥ϵ)=0limn→∞​P(​Xˉn​−E[Xi​]​≥ϵ)=0

对于任意ϵ>0ϵ>0。8.1.2强大数定律定义：强大数定律是弱大数定律的加强版，指出对于一系列独立同分布（IID）的随机变量X1,X2,…,XnX1​,X2​,…,Xn​，其样本均值XˉnXˉn​几乎必然收敛于这些随机变量的期望值E[Xi]E[Xi​]。即：

P(lim⁡n→∞Xˉn=E[Xi])=1P(limn→∞​Xˉn​=E[Xi​])=18.2中心极限定理8.2.1定义定义：中心极限定理指出，对于一系列独立同分布（IID）的随机变量X1,X2,…,XnX1​,X2​,…,Xn​，其标准化后的样本均值Xˉn−μσ/nσ/n​Xˉn​−μ​（其中μ=E[Xi]μ=E[Xi​]，σ2=Var(Xi)σ2=Var(Xi​)）在nn趋于无穷大时，其分布趋近于标准正态分布N(0,1)N(0,1)。即：

Xˉn−μσ/n→dN(0,1)σ/n​Xˉn​−μ​d​N(0,1)8.2.2应用统计推断：中心极限定理是许多统计推断方法的基础，特别是在样本量较大时，可以近似认为样本均值的分布是正态分布，从而进行置信区间估计和假设检验。质量控制：在工业生产中，中心极限定理用于监控产品质量，通过样本均值的分布来判断生产过程是否处于控制状态。8.3应用实例分析8.3.1投掷硬币实验实验设计：假设我们进行一系列投掷硬币的实验，每次实验投掷一枚均匀硬币，并记录正面出现的次数。设XiXi​表示第ii次投掷硬币的结果，Xi=1Xi​=1表示正面，Xi=0Xi​=0表示反面。期望值与方差：对于单次投掷，E[Xi]=0.5E[Xi​]=0.5，Var(Xi)=0.25Var(Xi​)=0.25。样本均值：设进行了nn次投掷，样本均值Xˉn=1n∑i=1nXiXˉn​=n1​∑i=1n​Xi​。大数定律：根据大数定律，当nn足够大时，XˉnXˉn​会接近0.5。中心极限定理：根据中心极限定理，当nn足够大时，Xˉn−0.50.5/n0.5/n​Xˉn​−0.5​的分布近似于标准正态分布。8.3.2人口平均身高的估计实验设计：假设我们要估计某地区成年人口的平均身高。我们随机抽取nn个人，测量他们的身高，并计算样本均值XˉnXˉn​。期望值与方差：设该地区成年人的平均身高为μμ，身高方差为σ2σ2。样本均值：样本均值Xˉn=1n∑i=1nXiXˉn​=n1​∑i=1n​Xi​。大数定律：根据大数定律，当nn足够大时，XˉnXˉn​会接近μμ。中心极限定理：根据中心极限定理，当nn足够大时，Xˉn−μσ/nσ/n​Xˉn​−μ​的分布近似于标准正态分布。第九章随机过程简介9.1随机过程的基本概念9.1.1定义定义：随机过程是一种随时间变化的随机现象的数学模型。形式上，随机过程可以看作是一个由时间参数tt索引的随机变量族{Xt,t∈T}{Xt​,t∈T}，其中TT是时间集合，可以是离散的或连续的。9.1.2例子布朗运动：粒子在液体中的无规则运动。股票价格：股票价格随时间的变化。天气变化：气温、湿度等气象参数随时间的变化。9.2平稳过程9.2.1定义定义：平稳过程是指随机过程的统计特性不随时间平移而改变的过程。分为严平稳过程和宽平稳过程。严平稳过程：对于所有t1,t2,…,tnt1​,t2​,…,tn​和所有时间平移ττ，联合分布函数相同。宽平稳过程：对于所有时间平移ττ，均值E[Xt]=μE[Xt​]=μ为常数，协方差函数E[(Xt−μ)(Xt+τ−μ)]E[(Xt​−μ)(Xt+τ​−μ)]仅依赖于时间间隔ττ。9.2.2例子白噪声过程：均值为零，方差为常数，且任意两个不同时刻的随机变量不相关。自回归过程：当前时刻的随机变量依赖于过去若干时刻的随机变量。9.3Markov链9.3.1定义定义：Markov链是一种特殊的随机过程，其特点是未来的状态只依赖于当前状态，而不依赖于过去的状态。形式上，如果对于所有的n≥0n≥0和所有状态序列i0,i1,…,in,ji0​,i1​,…,in​,j，都有：

P(Xn+1=j∣X0=i0,X1=i1,…,Xn=in)=P(Xn+1=j∣Xn=in)P(Xn+1​=j∣X0​=i0​,X1​=i1​,…,Xn​=in​)=P(Xn+1​=j∣Xn​=in​)

则称{Xn,n≥0}{Xn​,n≥0}为Markov链。9.3.2转移概率矩阵定义：Markov链的状态转移可以通过转移概率矩阵PP来描述，其中P(i,j)=P(Xn+1=j∣Xn=i)P(i,j)=P(Xn+1​=j∣Xn​=i)。性质：转移概率矩阵的每一行元素之和为1。9.3.3例子天气模型：假设天气只有晴天和雨天两种状态，可以通过Markov链来建模天气的变化。网页浏览：用户在不同网页之间的跳转可以用Markov链来建模。9.4Poisson过程9.4.1定义定义：Poisson过程是一种特殊的计数过程，用于描述在一段时间内随机事件的发生次数。它具有以下特点：事件独立增量：任意两个不重叠的时间间隔内发生的事件数是独立的。事件的平均发生率λλ是常数。在时间间隔[0,t][0,t]内发生的事件数N(t)N(t)服从参数为λtλt的Poisson分布。9.4.2例子电话呼叫：在一段时间内接到的电话呼叫次数可以用Poisson过程来建模。故障发生：设备在一段时间内的故障次数可以用Poisson过程来建模。9.5随机过程的应用9.5.1金融建模股票价格：股票价格的变化可以用随机游走模型或更复杂的随机过程（如几何布朗运动）来建模。期权定价：Black-Scholes模型利用几何布朗运动来定价欧式期权。9.5.2通信网络数据包传输：数据在网络中的传输可以用随机过程来建模，如排队论中的M/M/1队列模型。网络流量：网络流量的变化可以用Poisson过程或其他随机过程来建模。9.5.3生物学神经元发放：神经元的动作电位发放可以用Poisson过程或其他随机过程来建模。基因表达：基因的表达水平随时间的变化可以用随机过程来建模。第十章参数估计10.1点估计10.1.1定义定义：点估计是指使用样本数据来估计总体参数的具体数值。常用的点估计方法包括矩估计、最大似然估计等。估计量：估计总体参数的统计量称为估计量。例如，样本均值XˉXˉ是总体均值μμ的一个估计量。10.1.2估计量的性质无偏性：如果估计量的期望值等于被估计的参数值，则该估计量是无偏的。一致性：随着样本量的增加，估计量的值逐渐趋近于被估计的参数值，则该估计量是一致的。有效性：在所有无偏估计量中，方差最小的估计量是有效的。10.2区间估计10.2.1定义定义：区间估计是指使用样本数据来估计总体参数所在的区间。这个区间通常包含总体参数的真实值，并有一定的置信水平。10.2.2置信区间定义：置信区间是指包含总体参数真实值的概率区间。置信水平通常表示为1−α1−α，其中αα是显著性水平。公式：对于正态分布的总体，总体均值μμ的置信区间可以表示为：

Xˉ±zα/2⋅σnXˉ±zα/2​⋅n​σ​

其中XˉXˉ是样本均值，σσ是总体标准差，nn是样本容量，zα/2zα/2​是标准正态分布的分位数。表10-1不同分布下的置信区间公式分布类型参数置信区间公式正态分布均值Xˉ±zα/2⋅σnXˉ±zα/2​⋅n​σ​t分布均值Xˉ±tα/2,n−1⋅snXˉ±tα/2,n−1​⋅n​s​卡方分布方差[(n−1)s2χα/2,n−12,(n−1)s2χ1−α/2,n−12][χα/2,n−12​(n−1)s2​,χ1−α/2,n−12​(n−1)s2​]10.2.3置信水平定义：置信水平是指置信区间包含总体参数真实值的概率。常用的置信水平有90%、95%和99%。选择：较高的置信水平意味着更宽的置信区间，较低的置信水平意味着较窄的置信区间。10.3最大似然估计10.3.1定义定义：最大似然估计（MaximumLikelihoodEstimation,MLE）是一种常用的方法，通过最大化似然函数来估计总体参数。似然函数：似然函数是样本观测值在给定参数值下的联合概率密度函数或概率质量函数。10.3.2似然函数离散型：对于离散型随机变量，似然函数L(θ∣x1,x2,…,xn)L(θ∣x1​,x2​,…,xn​)为：

L(θ∣x1,x2,…,xn)=∏i=1np(xi∣θ)L(θ∣x1​,x2​,…,xn​)=∏i=1n​p(xi​∣θ)连续型：对于连续型随机变量，似然函数L(θ∣x1,x2,…,xn)L(θ∣x1​,x2​,…,xn​)为：

L(θ∣x1,x2,…,xn)=∏i=1nf(xi∣θ)L(θ∣x1​,x2​,…,xn​)=∏i=1n​f(xi​∣θ)10.3.3最大似然估计的步骤写出似然函数：根据样本数据和假设的分布写出似然函数。对数似然函数：为了简化计算，通常对似然函数取对数，得到对数似然函数。求导并解方程：对对数似然函数关于参数θθ求导，并令导数等于零，解方程得到参数的估计值。10.4应用实例10.4.1估计正态分布的均值和方差均值：假设样本来自正态分布N(μ,σ2)N(μ,σ2)，样本均值XˉXˉ是μμ的最大似然估计。方差：样本方差s2s2是σ2σ2的最大似然估计。10.4.2估计二项分布的成功概率定义：假设样本来自二项分布B(n,p)B(n,p)，样本中成功次数的比例p^=knp^​=nk​是成功概率pp的最大似然估计。第十一章假设检验11.1基本概念11.1.1定义定义：假设检验是一种统计方法，用于判断关于总体参数的假设是否成立。假设检验的基本思想是通过样本数据来检验一个假设是否合理。11.1.2原假设与备择假设原假设（NullHypothesis,

H0H0​）：通常是希望被拒绝的假设，表示总体参数没有显著变化。备择假设（AlternativeHypothesis,

H1H1​）：是与原假设相对立的假设，表示总体参数发生了显著变化。11.2单侧检验与双侧检验11.2.1单侧检验定义：单侧检验是指备择假设只在参数的一侧成立。例如，H1:μ>μ0H1​:μ>μ0​或H1:μ<μ0H1​:μ<μ0​。11.2.2双侧检验定义：双侧检验是指备择假设在参数的两侧都可能成立。例如，H1:μ≠μ0H1​:μ=μ0​。11.3P值11.3.1定义定义：P值是假设检验中用来判断原假设是否应该被拒绝的概率值。P值越小，拒绝原假设的理由越充分。11.3.2解释解释：如果P值小于显著性水平αα（通常取0.05），则拒绝原假设；否则，不拒绝原假设。11.4第一类错误与第二类错误11.4.1第一类错误定义：第一类错误（TypeIError）是指在原假设为真的情况下，错误地拒绝了原假设。第一类错误的概率记为αα。11.4.2第二类错误定义：第二类错误（TypeIIError）是指在原假设为假的情况下，错误地接受了原假设。第二类错误的概率记为ββ。11.4.3功效定义：功效（Power）是指在原假设为假的情况下，正确地拒绝原假设的概率。功效为1−β1−β。11.5检验力11.5.1定义定义：检验力是指假设检验能够正确识别出备择假设的能力。检验力越高，检测到实际存在的效应的能力越强。11.5.2影响因素样本大小：样本越大，检验力越高。效应大小：效应越大，检验力越高。显著性水平：显著性水平越低，检验力越低。第十二章非参数统计方法12.1符号检验12.1.1定义定义：符号检验是一种非参数检验方法，用于检验两个配对样本的中位数是否有显著差异。符号检验只考虑样本差值的符号（正或负），而不考虑差值的大小。12.1.2步骤计算差值：计算两个配对样本的差值。确定符号：统计正差值和负差值的数量。构造检验统计量：构造检验统计量SS，表示正差值的数量。查表或计算P值：根据样本量和符号数量查表或计算P值。决策：根据P值与显著性水平αα比较，做出决策。12.2Wilcoxon秩和检验12.2.1定义定义：Wilcoxon秩和检验（也称为Mann-WhitneyU检验）是一种非参数检验方法，用于检验两个独立样本的中位数是否有显著差异。该方法基于样本值的秩次而不是原始值。12.2.2步骤合并样本：将两个样本合并并排序。分配秩次：