数据挖掘中的统计学

1、参考资料：Wiki：统计学研究者July的CSDN蜗牛向前冲2013年6月2日星期日概率论 条件概率 全概率 贝叶斯公式 离散型随机变量 连续型随机变量 概率论总结数理统计 数学期望 方差 协方差 相关系数 主成分分析 中心极限定理 2分布、t分布、F分布正态分布简史 正态分布简史 误差计算中英文对照 概率分布 集中趋势 离散程度 分布形态2013-06-02 Sunday2条件概率全概率贝叶斯公式离散型随机变量连续型随机变量概率论总结2013-06-02 Sunday3定义：在同一个样本空间中的事件A、B,如果从中随机选出的一个元素属于B，那么这个随机选出的元素也属于A的概率就定义为B条件下

2、A发生的条件概率，即为P(A|B)=|AB|/|B|分子、分母同除以|，得到条件概率的公式：P(A|B)=P(AB)/P(B)亦称为后验概率。P(A|B)与P(B|A)的关系为：P(A|B)P(B)= P(B|A)P(A)2013-06-02 Sunday42013-06-02 Sunday52013-06-02 Sunday6正概率是由原因推结果(现在推未来)，称为概率论某药厂用从甲、乙、丙三地收购而来的药材加工生产出一种中成药，三地的供货量分别占40%，35%和25%，且用这三地的药材能生产出优等品的概率分别为0.65，0.70和0.85，求从该厂产品中任意取出一件成品是优等品的概率。（0

3、.7175）逆概率是由结果推原因(现在推过去)，称为数理统计如果一件产品是优质品，它的材料来自甲地的概率有多大呢？（0.3624）2013-06-02 Sunday72013-06-02 Sunday82013-06-02 Sunday92013-06-02 Sunday10图片来源：大嘴巴漫谈数据挖掘2013-06-02 Sunday11图片来源：概率论与数理统计盛骤版2013-06-02 Sunday12图片来源：概率论与数理统计盛骤版2013-06-02 Sunday13数学期望方差协方差相关系数主成分分析中心极限定理2分布、t分布、F分布2013-06-02 Sunday14随机变量X

4、的期望值vs样本均值积分的本质亦是求和 E XXiiix pExf x dx例：掷色子一次，期望值为3.52013-06-02 Sunday15方差：变量距其期望值的距离；亦称为二阶矩222()()D XVar XEXE XE XE X2013-06-02 Sunday16协方差矩阵两个向量的协方差cov(X,Y)和cov(Y,X)互为转置矩阵2013-06-02 Sunday17而实际上，上述数据的函数关系为y=0.10+0.01x；E(x)=3.8，E(y)=0.138，x-E(x)、y-E(y)得x= (2.8, 1.8, 0.8, 1.2, 4.2)、 y=(0.028, 0.018,

5、 0.008, 0.012, 0.042),得皮尔逊相关系数2013-06-02 Sunday182013-06-02 Sunday19又称主分量分析，PCA指将多个变量通过线性变换以选出较少个数重要变量的方法，在减少数据集维数的同时，保持数据集的对方差贡献最大的特征。 PCA的目的是使变换后的数据有最大的方差，这些性质不同于普通模型为求稳定性往往会减小方差；主要方法：对协方差矩阵进行特征分解，得出数据的主成分(特征向量)和权值(特征值)步骤：1.数据标准化；2.求特征协方差矩阵；3.通过正交变换使非对角线的元素为0，求得特征值和特征向量；4.对特征值降序排列，取最大k个组成特征向量矩阵；5.

6、投影矩阵=原始样本数据特征向量矩阵；(理论依据为SVD)2013-06-02 Sunday20独立变量和2013-06-02 Sunday21独立同分布变量和2013-06-02 Sunday22此定理表明：二项分布的极限是正态分布；二项分布是离散分布，正态分布是连续分布n重伯努利试验在出现第r个A前A不出现的试验次数的概率分布为负二项分布，又称帕斯卡分布。独立同分布2013-06-02 Sunday23若序列满足李雅普若夫条件：独立变量2013-06-02 Sunday24在正态分布、中心极限定理确立之下，20世纪后2分布、t分布、F分布也出现了2013-06-02 Sunday25正态分布

7、简史误差计算2013-06-02 Sunday2617世纪，惠更斯(1629-1695)研究赌博时创立数学期望；18世纪，伯努利(1667-1748)伯努利大数定律：事件发生的频率依概率收敛于事件的概率；1909年由伯莱尔证明；18世纪，棣莫弗(1667-1754)二项概率逼近：用二项分布逼近正态分布，并提出了中心极限定理；18世纪，拉普拉斯(1749-1827)建立了中心极限定理的一般形式；19世纪，勒让德(1752-1833)发明最小二乘法；19世纪，高斯(1777-1855)正态误差理论(以下有详解)；19世纪，拉普拉斯在高斯研究的基础上，用中心极限定理论证了正态分布(高斯分布)；19世

8、纪，海根提出元误差学说，逐步正式确立误差服从正态分布。2013-06-02 Sunday27即可解得系数a、b。2013-06-02 Sunday282013-06-02 Sunday29概率分布集中趋势离散程度分布形态2013-06-02 Sunday30Probability Theory：概率论Mathematical Statistics：数理统计Sample Space：样本空间Random Occurrence：随机事件Fundamental event：基本事件Certain event :必然事件Impossible event ：不可能事件Random Variable：随机

9、变量Discrete Random Variable：离散型Continuous Random Variable:连续型Bayess Formula：贝叶斯公式Probability Distribution：概率分布Distribution Function：分布函数Distribution Law：分布律Probability Density：概率密度Conditional Distribution：条件分布Uniformly Distribution：均匀分布Binomial Distribution：二项分布Bernoulli Distribution：伯努利分布Geometric Distribution：几何分布Poisson Distribution：泊松分布Exponentital Distribution：指数分布Mathematical Expectation：数学期望Variance：方差Covariance：协方差Correlation Coefficient：相关系数Normal Distribution：正态分布Central Limit Therem：中心极限定理Chebyshevs Inequality：切比雪夫不等式Principal Component Analysis：主成分分析2013-06-02 Sunda