《假设检验基础》课件2

假设检验基础假设检验是统计学中用于检验关于总体参数的假设是否成立的一种方法。它在数据分析、决策制定和科学研究中发挥着至关重要的作用。课程导入数据分析的应用数据分析在各行各业都有广泛的应用，如市场营销、金融、医疗等。假设检验的应用假设检验是数据分析中常用的方法，用于验证假设或推断结论。统计学在数据分析中的作用统计学为数据分析提供了理论基础和方法论支撑。随机变量和概率分布随机变量随机变量是指其值由随机事件决定的变量，可以是离散的或连续的。概率分布概率分布描述了随机变量取值的概率，常见类型包括正态分布、泊松分布等。分布类型不同类型的概率分布适用于不同的随机现象，例如二项分布适用于独立重复试验。随机样本定义随机样本是指从总体中随机抽取的一部分个体，这些个体代表总体，可以用于推断总体特征。随机性每个个体被选中的概率是相等的，确保样本能够反映总体的真实情况。代表性随机样本应具有代表性，能够真实反映总体的特征，避免样本偏差导致推断错误。样本量样本量的大小决定了样本代表性的程度，样本量越大，样本代表性越强。参数估计估计量的定义参数估计是指利用样本数据对总体参数进行推断的过程。根据样本统计量构造的用来估计总体参数的统计量称为估计量。例如，利用样本均值估计总体均值，利用样本方差估计总体方差。估计量的性质估计量的性质决定了估计量的优劣，主要包括无偏性、有效性、一致性。无偏性指估计量的期望等于被估计的参数，有效性指估计量方差最小，一致性指估计量随着样本量增加越来越接近被估计的参数。点估计和区间估计点估计点估计使用样本数据估计总体参数的单个值。区间估计区间估计提供总体参数的可能取值范围，并给出置信水平。置信水平置信水平表示区间估计包含总体参数真实值的概率。统计假设1定义统计假设是关于总体参数的陈述，它可以被数据检验。2零假设零假设是我们要检验的假设，它通常是“没有差异”或“没有关系”。3备择假设备择假设是与零假设相反的假设，它通常是“有差异”或“有关系”。4检验我们使用样本数据来检验零假设，并根据结果做出决定是否拒绝零假设。单个总体参数的检验1构建假设定义原假设和备择假设2选择检验统计量根据数据类型和假设选择合适的检验统计量3确定拒绝域基于显著性水平和检验统计量的分布确定拒绝域4计算检验统计量使用样本数据计算检验统计量的值单个总体参数的检验旨在检验关于总体参数的假设是否成立。正态总体均值的检验1假设检验检验假设是否成立2设定原假设关于总体均值的假设3计算检验统计量基于样本数据的统计量4确定拒绝域拒绝原假设的临界值5得出结论拒绝或不拒绝原假设正态总体均值的检验是假设检验中常见的应用场景。该检验用于判断样本均值是否支持关于总体均值的预设假设，通常使用t检验。检验过程主要包括：设定原假设、计算检验统计量、确定拒绝域和得出结论。通过比较检验统计量与临界值，可以判断是否拒绝原假设，进而得出结论。正态总体方差的检验1假设检验检验正态总体方差是否等于某一特定值。2检验统计量使用卡方分布进行检验。3决策规则根据卡方检验的p值和显著性水平做出决策。双总体参数的检验1均值检验比较两个总体均值是否相等2方差检验比较两个总体方差是否相等3比例检验比较两个总体比例是否相等双总体参数检验用于比较两个总体参数之间是否存在显著差异。例如，我们可以使用双总体均值检验来比较两种不同药物对患者疗效的差异。配对设计的检验1配对数据分析在配对设计中，每个样本中的观察值都与另一个样本中的观察值相配。这允许我们分析两个样本之间的差异，同时控制其他因素的影响。2差异的检验检验配对数据，我们通常关注的是两个样本之间差异的显著性。我们可以使用配对样本t检验来检验差异的显著性。3应用场景配对设计常用于比较两种治疗方法的疗效、比较同一组个体在不同时间点的测量结果，以及比较两种测量方法的准确性。方差分析基础概念方差分析(ANOVA)是一种统计方法，用于比较多个组的均值。原理基于数据的总方差可以分解为不同来源的方差之和，从而进行组间差异的检验。应用应用广泛，可用于比较不同治疗方法的效果，不同产品质量的差异等。ANOVA单因素模型模型概述单因素方差分析（ANOVA）用于比较两组或多组样本的均值，以确定组间均值是否存在显著差异。假设检验通过F检验，检验组间方差之比是否显著大于组内方差之比，判断组间均值是否有差异。应用场景适用于比较不同处理、不同方法或不同组别对某一指标的影响。模型构建模型包含组间效应、组内效应和误差项，用以解释数据中不同变异来源。ANOVA双因素模型1因素交互作用检验不同因素水平组合对响应变量的影响2因素主效应检验单个因素不同水平对响应变量的影响3基本模型建立双因素模型，解释因素对响应变量的影响双因素模型分析两个因素对响应变量的影响，并检验因素之间是否有交互作用。该模型可以用于分析不同因素水平组合对结果的影响，并帮助我们更好地理解因素之间的关系。线性回归模型建立模型通过分析自变量和因变量之间关系，构建线性回归模型。模型中包含回归系数和截距。模型拟合使用最小二乘法拟合回归模型，计算出回归系数和截距的最佳值。模型评估评估模型拟合优度，使用R平方值、F检验等统计指标，检验模型是否有效。模型预测使用训练好的模型，对新的数据进行预测，得到新的数据对应的因变量值。残差分析残差图残差图用于检查模型的线性假设和方差齐性。正态性检验残差应服从正态分布，可以使用Q-Q图或Shapiro-Wilk检验。独立性检验残差之间应相互独立，可以使用Durbin-Watson检验。个体预测区间1预测值利用回归模型进行预测2预测区间预测值围绕的范围3置信水平预测区间准确性的度量个体预测区间是用来估计单个观测值在给定自变量值下的预测值的范围。它反映了预测值的不确定性。个体预测区间考虑了回归模型本身的误差以及随机误差的影响。置信水平则表示预测区间包含真实值的概率。参数的区间估计1确定置信水平通常为95%或99%2计算样本统计量例如样本均值、样本方差3查阅临界值根据置信水平和样本大小4计算置信区间样本统计量±临界值×标准误区间估计的目标是根据样本数据估计总体参数的范围。置信区间是一个随机区间，它有95%的概率包含总体参数的真实值。置信水平越高，置信区间越宽，反之亦然。总体均值的区间估计1样本均值根据样本数据计算样本均值，作为总体均值的估计值。2置信水平确定置信水平，例如95%，表示95%的置信度估计区间包含总体均值。3标准误计算样本均值的标准误，反映样本均值围绕总体均值的波动程度。4临界值根据置信水平和样本大小，查表得到相应的临界值，用于构建置信区间。5置信区间根据样本均值、标准误和临界值，计算置信区间，即总体均值可能存在的范围。总体方差的区间估计1样本方差利用样本方差估计总体方差。2置信水平确定所需的置信水平。3自由度根据样本大小计算自由度。4置信区间利用公式计算总体方差的置信区间。总体方差的置信区间反映了总体方差的可能取值范围，置信水平越高，置信区间越宽。总体比例的区间估计定义总体比例是指总体中具有某一特征的个体所占的比例，通常用字母p表示。置信区间总体比例的置信区间是指在一定置信水平下，总体比例的估计值所在的范围。计算公式总体比例的置信区间可以通过样本比例和置信水平来计算，通常采用正态近似法或二项分布法。应用场景总体比例的置信区间在许多领域都有广泛的应用，例如市场调查、民意调查、质量控制等。秩检验非参数检验方法秩检验是一种非参数检验方法，不依赖于数据分布的假设，适用于数据不服从正态分布或数据尺度为等级资料的情况。比较样本秩秩检验主要通过比较样本数据的秩来判断总体之间的差异或相关性，适用于样本量较小或数据分布不确定。广泛应用秩检验在医学、心理学、社会学、经济学等领域应用广泛，可用于比较不同治疗方案、分析不同群体特征等。易于理解和实施秩检验相对容易理解和实施，不需要复杂的统计软件，可使用手工计算或简单的统计软件进行分析。卡方检验拟合优度检验检验观测频率与理论频率是否相符独立性检验检验两个或多个分类变量之间是否相互独立同质性检验检验不同总体中类别变量的分布是否相同假设检验根据样本数据推断总体特征大样本检验大样本检验的定义当样本容量足够大时，可以使用大样本检验方法。当样本容量大于30时，可以认为样本容量足够大。大样本检验的特点大样本检验方法的优点是，即使总体分布未知，也能得到准确的检验结果。缺点是，可能需要较大的样本容量才能保证检验的精度。多重比较调整多重比较问题多重比较是指在同一组数据中进行多次比较，可能会导致错误累积。调整方法常用的调整方法包括Bonferroni校正、Tukey校正、Scheffé校正等。显著性水平调整后，每个比较的显著性水平会降低，以控制整体错误率。模型评价和选择模型评价指标模型评价指标用于衡量模型的性能，如准确率、精确率、召回率和F1值。评估指标的选择取决于具体问题和目标。模型选择方法交叉验证可用于选择最佳模型参数，并避免过拟合。比较不同模型的性能，选择最优模型，满足实际应用需求。非参数检验数据分布适用于无法假设数据服从特定分布的情况，例如非正态分布数据。等级数据基于数据顺序的检验，适用于无法获得精确数值的数据。比较两组数据无需假设数据分布，适用于比较两组数据的差异。实际案例分析假设检验在实际应用中非常广泛，例如医疗领域中药物有效性评估，金融领域中投资策略优化，以及市场营销领域中广告效果分析等。通过真实案例，可以更好地理解假设检验的具体应用，并体会其在解决实际问题中的重要作用。总结与思考假设检验方法理解假设检验的原理和步骤，并能根据具体问题选择合适的检验方法。数据分析能力利用假设检验对数据进行分析，得出有意义的结论，并能够解释结果。