概率论与数理统计教程(华东师范大学)

概率论与数理统计教程(华东师范大学)汇报人：AA2024-01-20CATALOGUE目录概率论基本概念随机变量及其分布多维随机变量及其分布数理统计基本概念和方法方差分析和回归分析初步随机过程简介概率论基本概念01不可能事件空集∅，不包含任何样本点。必然事件包含样本空间中所有样本点的事件，即S本身。基本事件只包含一个样本点的事件。样本空间所有可能结果的集合，常用大写字母S表示。事件样本空间的子集，即某些可能结果的集合，常用大写字母A、B等表示。样本空间与事件概率定义事件A发生的可能性大小的数值度量，记为P(A)。非负性P(A)≥0；规范性P(S)=1；可列可加性对于两两互斥的事件Ai（i=1,2,3,...），有P(∪Ai)=∑P(Ai)。概率定义及性质条件概率与独立性条件概率在事件B发生的条件下，事件A发生的概率，记为P(A|B)。计算公式为P(A|B)=P(AB)/P(B)，其中P(AB)表示事件A和事件B同时发生的概率。事件的独立性如果事件A的发生与否对事件B的发生概率没有影响，即P(AB)=P(A)P(B)，则称事件A与事件B相互独立。全概率公式与贝叶斯公式如果事件B1,B2,...,Bn构成一个完备事件组，即它们两两互斥且其和为全集，则对任一事件A，有P(A)=∑P(Bi)P(A|Bi)。全概率公式在全概率公式的条件下，可以进一步求得事件Bi已发生的条件下事件A发生的概率，即P(Bi|A)=P(ABi)/P(A)=P(Bi)P(A|Bi)/∑P(Bj)P(A|Bj)。贝叶斯公式随机变量及其分布02设随机试验的样本空间为S={e}，X=X(e)是定义在样本空间S上的实值单值函数。称X=X(e)为随机变量。随机变量分为离散型随机变量和连续型随机变量。随机变量定义及分类分类定义0-1分布随机变量X只可能取0和1两个值，且P{X=1}=p,P{X=0}=1-p,其中0<p<1。二项分布在n次独立重复的伯努利试验中，设每次试验中事件A发生的概率为p。用X表示n重伯努利试验中事件A发生的次数，则X的可能取值为0，1，…，n,且对每一个k（0≤k≤n）,事件{X=k}即为“n次试验中事件A恰好发生k次”，随机变量X的离散概率分布即为二项分布。泊松分布泊松分布适合于描述单位时间内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，机器出现的故障数，自然灾害发生的次数等等。离散型随机变量分布律要点三均匀分布在概率论和统计学中，均匀分布也叫矩形分布，它是对称概率分布，在相同长度间隔的分布概率是等可能的。均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为U(a,b)。要点一要点二指数分布在概率理论和统计学中，指数分布（也称为负指数分布）是描述泊松过程中的事件之间的时间的概率分布，即事件以恒定平均速率连续且独立地发生的过程。正态分布正态分布（Normaldistribution），也称“常态分布”，又名高斯分布（Gaussiandistribution），最早由A.棣莫弗在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。要点三连续型随机变量概率密度函数离散型随机变量的函数分布若离散型随机变量X的分布律为P{X=xk}=pk,k=1,2,…。若Y=g(X)为X的函数，则当X取值xk时，Y取值为yk=g(xk),k=1,2,…。此时Y的取值情况可能有以下三种情况：若g(xk)均不相等，则可按下列步骤求出Y的分布律：计算P{Y=yk}=P{g(X)=yk}=P{X=g-1(yk)}，yk是g(x)的值域中的任一元素；求出Y的全部可能取值并确定各取值的概率，即得Y的分布律。要点一要点二连续型随机变量的函数分布设连续型随机变量X的概率密度为fX(x)，若Y=g(X)处处可导且恒有g′(x)>0（或恒有g′(x)<0），则Y为连续型随机变量，其概率密度为fY(y)=fX[h(y)]⋅|h′(y)|，其中h(y)是g(x)的反函数，y∈g(D)，D是随机变量X的取值范围。随机变量函数分布多维随机变量及其分布03二维随机变量联合分布律/密度函数联合分布律定义：对于二维随机变量(X,Y)，其联合分布律描述了X和Y同时取值的概率，即P{X=xi,Y=yj}。02联合密度函数定义：对于连续型二维随机变量(X,Y)，其联合密度函数f(x,y)描述了(X,Y)在点(x,y)处的概率密度。03联合分布律/密度函数的性质：非负性、规范性、可加性。01边缘密度函数定义对于连续型二维随机变量(X,Y)，其边缘密度函数fx(x)和fy(y)分别描述了X和Y的概率密度。边缘分布律/密度函数的计算通过联合分布律/密度函数对另一变量进行求和或积分得到。边缘分布律定义对于二维随机变量(X,Y)，其边缘分布律描述了X或Y单独取值的概率，即P{X=xi}和P{Y=yj}。边缘分布律/密度函数条件分布律定义对于二维随机变量(X,Y)，在已知X=xi的条件下，Y的条件分布律描述了Y取值的概率，即P{Y=yj|X=xi}。条件密度函数定义对于连续型二维随机变量(X,Y)，在已知X=x的条件下，Y的条件密度函数fy|x(y|x)描述了Y的概率密度。条件分布律/密度函数的计算通过联合分布律/密度函数和边缘分布律/密度函数计算得到。010203条件分布律/密度函数VS如果二维随机变量(X,Y)的联合分布律/密度函数可以表示为两个边缘分布律/密度函数的乘积，即P{X=xi,Y=yj}=P{X=xi}P{Y=yj}或f(x,y)=fx(x)fy(y)，则称X和Y是相互独立的。相互独立的性质如果X和Y是相互独立的，那么它们的任何函数也是相互独立的。此外，如果X和Y是相互独立的，且它们分别与其他随机变量相互独立，那么它们的联合分布也是相互独立的。相互独立的定义相互独立随机变量数理统计基本概念和方法04总体研究对象的全体个体组成的集合，具有共同的性质和特征。样本从总体中随机抽取的一部分个体组成的集合，用于推断总体的性质。统计量根据样本数据计算出来的用于描述样本特征的量，如样本均值、样本方差等。总体、样本和统计量用样本矩作为总体矩的估计量，适用于总体分布形式未知的情况。矩估计法根据样本观测值出现的概率最大原则，选择使得似然函数达到最大的参数值作为估计量。最大似然估计法点估计方法根据样本数据构造的总体参数的估计区间，该区间以一定的置信水平包含了总体参数的真值。通过构造包含未知参数的枢轴量，并根据枢轴量的分布性质确定置信区间的方法。置信区间枢轴量法区间估计方法假设检验方法第一类错误是原假设为真时拒绝原假设的错误，第二类错误是原假设为假时接受原假设的错误。第一类错误与第二类错误原假设是研究者想要拒绝的假设，备择假设是研究者想要接受的假设。原假设与备择假设检验统计量是根据样本数据计算出来的用于判断原假设是否成立的量，拒绝域是检验统计量取值的范围，当检验统计量落入拒绝域时，拒绝原假设。检验统计量与拒绝域方差分析和回归分析初步05方差分析的基本思想通过比较不同水平下观测数据的波动情况，推断因素对观测结果是否有显著影响。建立假设、构造检验统计量、确定拒绝域、作出决策。用于展示方差分析的计算过程和结果，包括来源、平方和、自由度、均方、F值等。单因素方差分析的基本步骤方差分析表单因素方差分析双因素方差分析的基本思想同时考虑两个因素对观测结果的影响，通过比较不同水平组合下观测数据的波动情况，推断因素对观测结果是否有显著影响。无交互作用的双因素方差分析当两个因素之间不存在交互作用时，可以分别对每个因素进行单因素方差分析。有交互作用的双因素方差分析当两个因素之间存在交互作用时，需要构造包含交互作用的检验统计量，并进行相应的假设检验。双因素方差分析一元线性回归模型描述一个因变量与一个自变量之间的线性关系，通过最小二乘法进行参数估计。回归方程的显著性检验用于检验自变量对因变量是否有显著影响，通过构造F检验统计量并查表得到对应的p值进行判断。回归系数的显著性检验用于检验自变量对因变量的影响程度是否显著，通过构造t检验统计量并查表得到对应的p值进行判断。一元线性回归分析多元线性回归分析初步多重共线性问题当自变量之间存在高度相关时，会导致回归系数估计不准确，可以通过逐步回归、岭回归等方法进行处理。多元线性回归模型描述一个因变量与多个自变量之间的线性关系，通过最小二乘法进行参数估计。模型选择与评估在构建多元线性回归模型时，需要选择合适的自变量并评估模型的拟合优度、预测精度等指标。常见的评估指标包括决定系数R^2、调整后的决定系数R^2_adj、均方误差MSE等。随机过程简介06随机过程的定义随机过程是一族随时间变化的随机变量，用于描述随机现象随时间的演变。随机过程的分类根据随机变量的取值空间和性质，随机过程可分为离散时间离散状态、离散时间连续状态、连续时间离散状态和连续时间连续状态四类。随机过程的数字特征包括均值函数、方差函数、自相关函数和协方差函数等，用于描述随机过程的统计特性。随机过程基本概念03马尔可夫链的遍历性与平稳分布遍历性是指无论初始状态如何，经过足够长的时间后，马尔可夫链的状态分布将趋于稳定，即达到平稳分布。01马尔可夫链的定义马尔可夫链是一种时间和状态都离散的随机过程，具有无后效性，即未来状态只与当前状态有关，与过去状态无关。02马尔可夫链的转移概率描述从一个状态转移到另一个状态的概率，可通过转移概率矩阵表示。马尔可夫链简介平稳过程是一种统计特性不随时间变化的随机过程，即其均值、方差和相关函数等数字特征不随时间变化。平稳过程的定义严平稳要求随机过程的任何有限维分布都不随时间变化，而宽平稳只要求均值和相关函数不随时间变化。严平稳与