华科数理统计

华科数理统计汇报时间：2024-01-19汇报人：AA目录数理统计基本概念描述性统计分析推断性统计分析非参数统计方法数据分析与可视化技术数理统计在各领域应用举例数理统计基本概念0101总体研究对象的全体个体组成的集合，通常用一个概率分布来描述。02样本从总体中随机抽取的一部分个体组成的集合，用于推断总体的性质。03样本容量样本中包含的个体数目，通常用n表示。总体与样本010203样本的函数，用于描述样本的特征，如样本均值、样本方差等。统计量统计量的概率分布，描述了统计量在多次抽样中的分布情况。抽样分布由于抽样导致的统计量与总体参数之间的差异。抽样误差统计量与抽样分布一种连续型概率分布，具有钟形曲线特点，广泛应用于各种统计推断。正态分布一种连续型概率分布，常用于检验总体方差或拟合优度的推断。χ^2分布（卡方分布）一种连续型概率分布，用于描述样本均值与总体均值之间的差异分布情况，尤其在样本容量较小且总体标准差未知时。t分布一种连续型概率分布，用于比较两个总体方差是否相等。F分布常用统计分布一种统计推断方法，通过构造检验统计量并根据抽样分布确定拒绝域，从而判断原假设是否成立。假设检验用于衡量假设检验中犯第一类错误的概率，通常表示为α。显著性水平一种区间估计方法，根据样本数据构造一个包含总体参数的区间，并给出该区间包含总体参数的概率（置信水平）。置信区间用于衡量置信区间的可靠程度，通常表示为1-α，其中α为显著性水平。置信水平假设检验与置信区间描述性统计分析0203众数适用于分类数据，表示数据分布的峰值。01算术平均数适用于数值型数据，反映数据的平均水平。02中位数适用于顺序数据，刻画数据的中心位置。数据集中趋势度量最大值与最小值的差，简单但易受极端值影响。极差四分位数间距方差与标准差上四分位数与下四分位数的差，反映中间50%数据的离散程度。衡量数据与其均值之间的平均偏离程度，适用于数值型数据。030201数据离散程度度量01偏态系数02峰态系数刻画数据分布形态的偏斜程度。描述数据分布形态的尖峭或扁平程度。数据分布形态度量3σ原则根据正态分布的性质，与均值偏离超过3倍标准差的数据可视为异常值。箱线图法利用四分位数和异常值截断点识别异常值。数据平滑采用移动平均、指数平滑等方法对异常值进行平滑处理。数据插补对于缺失的异常值，可采用均值、中位数、众数或回归等方法进行插补。异常值识别与处理推断性统计分析03利用样本数据计算出一个具体的数值作为参数的估计值。点估计通过最大化样本数据的联合概率密度函数，得到参数的估计值。极大似然估计根据样本数据和一定的置信水平，构造一个包含参数真值的区间。区间估计在已知先验分布的情况下，利用样本数据更新参数的后验分布。贝叶斯估计参数估计方法及应用假设检验的步骤提出假设、构造检验统计量、确定拒绝域、计算p值、作出决策。第一类错误与第二类错误理解并区分两类错误的含义及影响因素。单侧检验与双侧检验根据备择假设的形式，选择单侧或双侧检验。假设检验的基本原理根据小概率事件原理，对总体参数提出假设，然后利用样本信息判断假设是否成立。假设检验原理及步骤01020304通过比较不同组间的方差与组内方差的大小，判断不同组之间是否存在显著差异。方差分析的基本原理针对一个因素进行方差分析，判断该因素对观测值是否有显著影响。单因素方差分析同时考虑多个因素对观测值的影响，判断各因素的主效应及交互效应是否显著。多因素方差分析适用于多个总体均值是否相等的检验问题，如医学、社会学、经济学等领域的数据分析。方差分析的应用场景方差分析（ANOVA）回归分析的基本原理通过建立因变量与自变量之间的回归方程，描述它们之间的依存关系。线性回归分析当因变量与自变量之间存在线性关系时，采用线性回归模型进行拟合和预测。非线性回归分析当因变量与自变量之间存在非线性关系时，采用非线性回归模型进行拟合和预测。回归分析的应用场景适用于预测、控制、优化等问题，如金融、医学、环境科学等领域的数据分析。回归分析及应用非参数统计方法04非参数检验原理非参数检验是基于样本数据秩或分布形态的统计推断方法，不依赖于总体分布的具体形式，适用于各种数据类型和分布形态。可用于各种数据类型和分布形态，包括连续型、离散型和有序分类数据等。对异常值和偏离假设的数据不敏感，结果较为稳健。相对于参数检验，非参数检验的假设条件较少，更易于满足。相对于参数检验，非参数检验的功效较低，即当原假设为真时，拒绝原假设的概率较小。适用范围广假设条件少功效较低稳健性强非参数检验原理及特点用于检验单个样本中位数是否与某个已知值相等。符号检验在符号检验的基础上，考虑了观测值之间的差异程度，提高了检验功效。符号秩次检验用于检验单个样本的随机性，即观测值是否独立同分布。单样本游程检验单样本非参数检验方法Mood中位数检验与Mann-WhitneyU检验类似，但适用于有序分类数据。两样本游程检验用于比较两个独立样本的随机性是否存在差异。Mann-WhitneyU检验用于比较两个独立样本的中位数是否存在差异。两独立样本非参数检验方法Kruskal-WallisH检验用于比较多个独立样本的中位数是否存在差异。Friedman检验用于比较多个配对样本的中位数是否存在差异。多样本游程检验用于比较多个独立样本的随机性是否存在差异。多独立样本非参数检验方法数据分析与可视化技术05数据清洗数据转换特征选择数据降维数据清洗和预处理技术去除重复、缺失、异常值等过滤式、包裹式、嵌入式等方法标准化、归一化、离散化等主成分分析（PCA）、线性判别分析（LDA）等监督学习无监督学习深度学习强化学习数据挖掘和机器学习算法简介01020304线性回归、逻辑回归、支持向量机（SVM）、决策树等聚类分析（K-means、层次聚类等）、关联规则挖掘（Apriori、FP-Growth等）神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）等Q-Learning、SARSA、DeepQ-Network（DQN）等数据可视化基本概念：图表类型、视觉元素、设计原则等数据可视化在业务分析中的应用：销售分析、用户行为分析、运营分析等常用数据可视化工具：Matplotlib、Seaborn、Plotly等数据可视化在学术研究中的应用：科研数据可视化、学术论文插图等数据可视化技术及其应用0102Python数据分析库…Pandas、NumPy、SciPy等Python数据可视化…Matplotlib、Seaborn、Plotly等案例一电商销售数据分析与可视化案例二用户行为数据分析与可视化案例三学术论文数据可视化实践030405案例数理统计在各领域应用举例06生物标志物识别利用数理统计方法对生物样本数据进行分析，识别与疾病相关的生物标志物，为疾病诊断和治疗提供依据。临床试验设计设计合理的临床试验方案，运用数理统计方法对试验数据进行分析，评估药物或治疗方法的疗效和安全性。生存分析研究生物体的生存时间和相关因素，利用数理统计方法进行生存分析，为生物医学研究和公共卫生政策制定提供数据支持。生物医学领域应用举例运用数理统计方法对金融市场的历史数据进行分析，评估投资组合的风险和收益，为投资决策提供依据。风险评估与管理利用数理统计方法对经济数据进行建模和分析，研究经济变量之间的关系，预测经济发展趋势。经济计量分析基于历史信贷数据，运用数理统计方法构建信用评分模型，对借款人的信用风险进行评估和预测。信用评分010203金融经济领域应用举例政策效果评估基于政策实施前后的相关数据，利用数理统计方法进行政策效果评估，为政策制定和调整提供依据。人口统计学研究运用数理统计方法对人口数据进行建模和分析，研究人口数量、结构、分布等特征及其变化规律。社会调查数据分析运用数理统计方法对社会调查数据进行分析，研究社会现象和问题，为社会科学研究提供数据支持。社会科学领域应用举例