第二章 数据分析简介

1、第二章第二章 化学实验数据的统计分析化学实验数据的统计分析一、基本概念一、基本概念1.1.总体和样本：研究对象的全体称为总体总体和样本：研究对象的全体称为总体( (母体母体) )； 自总体中随机抽出的一部分样品称为样本自总体中随机抽出的一部分样品称为样本( (子样子样) )。样本容量：样本中所含样本容量：样本中所含个体个体的数目称为样本容量的数目称为样本容量 ( (样本大小样本大小) )。例如例如: :对某软锰矿中二氧化锰含量的测定对某软锰矿中二氧化锰含量的测定 分析人员按规定对物料进行预处理后，得到大约分析人员按规定对物料进行预处理后，得到大约500g500g样样品，这就是品，这就是总体总体

2、；从；从500g500g试样中取出试样中取出1212份软锰矿样品进行分份软锰矿样品进行分析，得到析，得到1212个测定值，这个测定值，这1212个测定值就构成了本软锰矿样品个测定值就构成了本软锰矿样品总体的一个总体的一个随机样本随机样本，样本容量样本容量为为1212。 统计学中，通常通过研究统计学中，通常通过研究样本样本来研究来研究总体总体，因此，一，因此，一般用来表示统计对象的统计特征的量是相对出现的。般用来表示统计对象的统计特征的量是相对出现的。2.2.位置特征参数位置特征参数算术均值：算术均值：Nii=11x=xN当当NN时，时，x 称为总体平均值，用称为总体平均值，用表示。表示。当当N

3、20N20时，时， 称为样本平均值，又称数学期望。称为样本平均值，又称数学期望。x为了表示为了表示x 和和的差别，我们通常用误差来表示，的差别，我们通常用误差来表示，其差别大小可用来判断位置特征参数的准确性。其差别大小可用来判断位置特征参数的准确性。 误差：误差：i=xi- （i=1，2，N），可分为随机误），可分为随机误 差差 和系统误差。和系统误差。 由于真值由于真值一般不可知，故误差也不好直接计算，一般不可知，故误差也不好直接计算，从而又用偏差来表示测定结果的精密度。从而又用偏差来表示测定结果的精密度。偏差偏差xxd准确度：测定值与真值的差别大小准确度：测定值与真值的差别大小精密度：测定

4、值之间的离散特征精密度：测定值之间的离散特征 可见，误差和偏差是分别用来表示总体和样本位置特可见，误差和偏差是分别用来表示总体和样本位置特征参数的准确度的一对概念，一般偏差用的较多。征参数的准确度的一对概念，一般偏差用的较多。3.3.散度特征参数散度特征参数方差：方差：2211()NiixN标准差：标准差：2 其中其中,当当N时，测定值与真值差的平方和除以测定时，测定值与真值差的平方和除以测定次数称为次数称为总体方差总体方差，用，用2 2表示；其平方根称为表示；其平方根称为总体标总体标准差准差，用，用表示。表示。 当当N20时，测定值与平均值差的平方和除以时，测定值与平均值差的平方和除以自由度

5、自由度（测定次数减（测定次数减1）称为）称为样本方差样本方差，用，用s2表示；其平方根称表示；其平方根称 为为样本标准差样本标准差，用，用s表示。表示。总体标准差又称为总体标准差又称为标准误差标准误差，样本标准差又称为，样本标准差又称为标准偏差标准偏差。4.4.分布特征参数分布特征参数偏度系数和峰度系数偏度系数和峰度系数标准偏度系数标准偏度系数g g1 1= =311()6NiixxNs偏度系数描述了随机变量分布相对其均值的不对称程度，偏度系数描述了随机变量分布相对其均值的不对称程度，又称为又称为偏斜度偏斜度。偏度系数偏度系数000，因为均数在众数之右，是一种右偏的分布，因为均数在众数之右，是

6、一种右偏的分布，又称为又称为正偏正偏。 标准峰度系数标准峰度系数 g g2 2= =411()324NiiNxxNs峰度系数反映了与正态分布相比，随机变量分布的尖锐度峰度系数反映了与正态分布相比，随机变量分布的尖锐度或平坦度。或平坦度。 若一组观察数据的偏斜度、峰值都接近于若一组观察数据的偏斜度、峰值都接近于0 0，则可以，则可以认为这组数据是来自正态总体的；若其峰值为正，则表示认为这组数据是来自正态总体的；若其峰值为正，则表示与正态分布相比，其分布相对尖锐与正态分布相比，其分布相对尖锐( (数据分布相对集中数据分布相对集中) )；若其峰值为负，则表示与正态分布相比，其分布相对平坦若其峰值为负

7、，则表示与正态分布相比，其分布相对平坦( (数据分布相对分散数据分布相对分散) )。 5.5.相关特征参数相关特征参数线性相关系数：线性相关系数：12211()()()()niiinniiiixxyyrxxyy 相关系数是变量之间相关程度的指标，上式表示的是相关系数是变量之间相关程度的指标，上式表示的是样本线性相关系数样本线性相关系数，如果，如果nn时并且其中的平均值用真时并且其中的平均值用真值代替，则表示值代替，则表示总体线性相关系数总体线性相关系数，用，用表示。表示。线性相关系数的物理意义：线性相关系数的物理意义：当当|r|=1|r|=1时，表明两变量之间呈严格的线性关系，可以时，表明两变

8、量之间呈严格的线性关系，可以 用直线方程描述。用直线方程描述。当当r=0时，表明两变量不相关，不能建立线性回归方程。时，表明两变量不相关，不能建立线性回归方程。当当0|r|1时，表明两变量之间有一定的依赖关系，可以时，表明两变量之间有一定的依赖关系，可以 在一定条件下建立回归方程，并且，在一定条件下建立回归方程，并且，|r|越大，两变量的相越大，两变量的相 关程度越大。关程度越大。 上式适用一元线性回归，其它回归类型的相关系数也可以上式适用一元线性回归，其它回归类型的相关系数也可以通过类似的方法计算。通过类似的方法计算。6.6.显著性检验显著性检验 显著性检验是指利用统计学的方法，检验被处理的

9、问题显著性检验是指利用统计学的方法，检验被处理的问题是否存在统计上的明显差别，以确定方法是否可靠以及可靠是否存在统计上的明显差别，以确定方法是否可靠以及可靠的程度。的程度。 例如：当采用一种新方法对某标准试样进行测定时，所得例如：当采用一种新方法对某标准试样进行测定时，所得平均值与标准值不完全一致，这时就要分析新方法引起误差平均值与标准值不完全一致，这时就要分析新方法引起误差的原因以及判断新方法是否可靠，就要用到显著性检验。的原因以及判断新方法是否可靠，就要用到显著性检验。显著性检验常用显著性检验常用置信度（置信度（P P）和和置信期间置信期间来表示。来表示。置信度置信度(P)(P)表示测定值

10、出现在某一置信期间的概率，而落在表示测定值出现在某一置信期间的概率，而落在此范围之外的概率此范围之外的概率(1-P)(1-P)则称为则称为显著性水准显著性水准，用，用a a表示。表示。6.1 6.1 显著性检验的步骤显著性检验的步骤假设不存在显著性差别，即不同测定方法的结果均可信；假设不存在显著性差别，即不同测定方法的结果均可信；确定一个显著性水平，分析工作中多取确定一个显著性水平，分析工作中多取a=0.05a=0.05的显著性的显著性 水平，即置信度为水平，即置信度为95%95%。计算统计量并作出判断。计算统计量并作出判断。显著性检验常用的方法有显著性检验常用的方法有t t检验法检验法和和F

11、 F检验法检验法。6.2.1 t6.2.1 t检验法检验法平均值与标准值平均值与标准值比较比较 t t值计算值计算Nsxt 查的查的t t表表值值 比较比较t t表表和和t t计计，如果，如果t t表表 t t计计，则有显著性差，则有显著性差 异，表示有系统误差。异，表示有系统误差。例：例：采用某种新方法测定基准明矾中铝的质量分数，得到下列采用某种新方法测定基准明矾中铝的质量分数，得到下列9个分析数据个分析数据10.74%，10.77%，10.77%，10.77%，10.81%，10.82%，10.73%，10.86%，10.81%。己知明矾中铝含量的标。己知明矾中铝含量的标准值（以理论值代）

12、为准值（以理论值代）为10.77%。试问采用该新方法后，是否引。试问采用该新方法后，是否引起系统误差（置信度为起系统误差（置信度为95%）?解：解：已知已知 ： N=9N=9， f f =9-1=8=9-1=8求：平均值，标准偏差及求：平均值，标准偏差及 t t 值值43. 19%042. 0|%77.10%79.10|%042. 0,79.10Nsxtsxt t 值表：当值表：当P=0.95P=0.95，f =f =8 8 时，时，t t0.050.05，8 8= 2.31= 2.31结论：结论：t t计计（1.431.43）t t表表（2.312.31）所以所以, ,与与之间不存在显著性差

13、异之间不存在显著性差异6.2.2 t6.2.2 t检验法检验法两组数据的均值比较（同一试样）两组数据的均值比较（同一试样）两个分析人员测定的两组数据或采用不同的方法测得的两个分析人员测定的两组数据或采用不同的方法测得的两组数据两组数据, ,经常出现差别。若要判断这两个平均值之间是经常出现差别。若要判断这两个平均值之间是否有显著性差异，也采用否有显著性差异，也采用t t检验法。设两组数据分别为：检验法。设两组数据分别为：N1 s1N2 s22x1x（N N测定次数，测定次数，s s标准偏差，标准偏差，1 1或或2 2为组别）为组别）解题过程：解题过程：先求合并的标准偏差先求合并的标准偏差S S合

14、合和合并的和合并的t t值值2)1()1(21222211nnSnSnS合212121|nnnnSXXt合合再比较再比较t t计计和和t t表表值值 1.1.在一定置信度时，查出在一定置信度时，查出t t表值（总自由度为表值（总自由度为 f f = n= n1 1 + n + n2 2 - 2 - 2）。）。2.2.若：若：t t计计 t t表表，则两组平均值存在显著性差异。，则两组平均值存在显著性差异。 若：若：t t计计 t t表表，则两组平均值不存在显著，则两组平均值不存在显著 性差异。性差异。注意：注意： S S合合的计算公式中，要求的计算公式中，要求s s1 1和和s s2 2没有显

15、著性差异，判断没有显著性差异，判断s s1 1和和s s2 2有没有显著性要用到有没有显著性要用到F F检验法。检验法。6.3. F6.3. F检验法检验法两组数据的精密度检验两组数据的精密度检验F F检验是将两组数据的检验是将两组数据的s s求得方差求得方差S S2 2 , ,把方差大的记为把方差大的记为S2大大, ,方差小的记为方差小的记为S2小小 , ,按下式求出统计量按下式求出统计量F:F:22小大SSF 把把F值于值于F表值比较表值比较,若若FF表值表值,则两组数据的精密度则两组数据的精密度不存在显著性差异不存在显著性差异,若大小相反若大小相反,则存在显著性差异。则存在显著性差异。二

16、、回归分析二、回归分析 在实际的化学化工问题中，变量之间的约束与依赖关系在实际的化学化工问题中，变量之间的约束与依赖关系有两种：有两种：有明确的函数关系，如有明确的函数关系，如A=bCA=bC ( (当当、b b一定时，单色光一定时，单色光) )非确定的依赖关系，不能严格的用函数关系式表示。非确定的依赖关系，不能严格的用函数关系式表示。回归分析：讨论随机变量和非随机变量之间的关系回归分析：讨论随机变量和非随机变量之间的关系相关分析：讨论随机变量之间的关系相关分析：讨论随机变量之间的关系随机变量：是随机事件所拥有的特征变量，而随机变量：是随机事件所拥有的特征变量，而随机事件随机事件是指在是指在

17、一给定条件下可能发生也可能不发生的事件，具有一给定条件下可能发生也可能不发生的事件，具有 非确定性。非确定性。非随机变量则是具有确定性的事件（非随机变量则是具有确定性的事件（必然事件和不可能事件必然事件和不可能事件）所具有的特征量。所具有的特征量。回归分析和相关分析通常区分不严格。回归分析和相关分析通常区分不严格。从影响某一变量的诸多变量中，判断哪些变量的影响是从影响某一变量的诸多变量中，判断哪些变量的影响是 显著的，从而建立更实用的回归方程。显著的，从而建立更实用的回归方程。根据预测和控制所提出的要求，对实验进行设计。根据预测和控制所提出的要求，对实验进行设计。1.1.回归分析的主要内容回归

18、分析的主要内容从一组观测数据出发，分析变量之间的关系以及建立它从一组观测数据出发，分析变量之间的关系以及建立它 们之间的关系式们之间的关系式回归方程回归方程利用回归方程，根据一个或几个变量的值，预测或控制利用回归方程，根据一个或几个变量的值，预测或控制 某一个变量的值。某一个变量的值。2.2.一元线性回归问题一元线性回归问题 主要讨论两个变量之间的关系，即变量主要讨论两个变量之间的关系，即变量x x和和y y之间是否存之间是否存在相关性，如果大致呈线性关系，则是一元线性回归问题。在相关性，如果大致呈线性关系，则是一元线性回归问题。一元线性回归方程的建立一元线性回归方程的建立 对于单变量模型，例

19、如在吸光光度法测溶液浓度时，对于单变量模型，例如在吸光光度法测溶液浓度时，在一定范围内，吸光度在一定范围内，吸光度A A和溶液浓度和溶液浓度c c之间的关系可以用直之间的关系可以用直线方程来描述。这样，我们在一定条件下测得有限个标准线方程来描述。这样，我们在一定条件下测得有限个标准溶液的吸光度后，就可以建立溶液的吸光度后，就可以建立A A和和c c 的回归方程。的回归方程。A Ai=i=a a+ +b bc ci+i+e ei i e ei i为残差为残差 在分析校正时，可利用不同的在分析校正时，可利用不同的c ci i值测值测A Ai i值，用最小二乘法估计值，用最小二乘法估计a a和和b

20、b值，其目的在于使残差平方和值，其目的在于使残差平方和Q达到最小。达到最小。2211()NNiiiiiQeAabc 显然，欲使显然，欲使Q值最小，应对上式分别求值最小，应对上式分别求a a和和b b的偏微商，使的偏微商，使a a和和b b满足下列方程：满足下列方程：112()02()01,2,NiiiNiiiiQAabcaQc AabcbiN 上两式求解得：上两式求解得：11121()()()NNAiiiiNiiicANcciibcaAbcNcc AASbScc其中，其中，S Scccc为为c c的离差平方和，的离差平方和， S ScAcA为为c,Ac,A的离差平方和。的离差平方和。22111

21、11()1()()NNcciiiiNNcAiiiiiiSccNSc AcAN同样，同样， S SAAAA为为A A的离差平方和。的离差平方和。22111()NNAAiiiiSAAN 这样，利用最小二乘法。我们便可以结合少量的测定数这样，利用最小二乘法。我们便可以结合少量的测定数据给出两个具有线性关系的变量之间的回归方程。据给出两个具有线性关系的变量之间的回归方程。 当然，作图法也可以达到类似的效果，但是比较繁琐，而当然，作图法也可以达到类似的效果，但是比较繁琐，而且缺少统计推断。且缺少统计推断。回归方程的显著性检验回归方程的显著性检验相关系数相关系数r r 对于一元线性回归问题，一般用线性相关

22、系数对于一元线性回归问题，一般用线性相关系数r r来描述两个来描述两个变量之间线性关系的密切程度。变量之间线性关系的密切程度。cAccAASrS Sr r描述的是自变量描述的是自变量c c和函数和函数A A之间的线性相关程度，和前述的相之间的线性相关程度，和前述的相关系数相同。关系数相同。 在一定的测定次数和置信水平下，在一定的测定次数和置信水平下，r必须大于相应的临界值，必须大于相应的临界值，才能认为此线性回归方程是有意义的。才能认为此线性回归方程是有意义的。表表1 1 检验相关系数的临界表值检验相关系数的临界表值f=N-212345678置置信信度度90%0.9980.9000.8050.

23、7290.6690.6220.5820.54995%0.9970.9500.8780.8110.7550.6220.6660.63299%0.99980.9900.9590.9170.8750.7070.7980.76599.9%0.999990.9990.9910.9740.9510.8340.8980.872 一般，对于线性回归问题，因变量一般，对于线性回归问题，因变量A A的离差平方和的离差平方和S SAAAA可以分可以分解成两部分：解成两部分：2121()()NAAiiNiiSAAUQUAAU 称为回归平方和称为回归平方和Q=SAA-U 称为残差平方和称为残差平方和 对于给定的测定值而言，对于给定的测定值而言，A A的离差平方和是不变的，残差平的离差平方和是不变的，残差平方和方和Q Q大则回归平方和大则回归平方和U U小，反之亦然。故小，反之亦然。故Q Q和和U U都可以衡量回归都可以衡量回归效果的好坏，回归平方和效果的好坏，回归平方和U U大或残差平方和大或残差平方和Q Q小，回归效果就好。小，回归效果就好。但由于U和Q的大小依赖于A的计量单位，故引入无量纲