数据处理的基本知识

数据处理的基本知识第1页，课件共61页，创作于2023年2月§3.1误差及其表示方法分析结果应具有一定的准确度，分析过程中的误差是客观存在的.不准确的分析结果会得出错误的结论，导致产品报废、资料浪费。分析工作应该做到既快速又准确。但是，两者同时达到是不太现实的。快速与准确两者之间谁是主要方面，则需视实际需要才能确定。在定量分析中，对于各种原因导致的误差，根据其性质的不同，可以区分为系统误差和偶然误差两大类。第2页，课件共61页，创作于2023年2月3.1.1系统误差系统误差是由某种确定的因素造成的，使测定结果系统偏高或偏低；当造成误差的因素不存在时，系统误差自然会消失。当进行重复测量时，它会重复出现。系统误差的大小，正负是可以测定的，至少在理论上说是可以测定的，所以是可测误差。系统误差的最重要特性是它具有“单向性”。根据系统误差的性质和产生的原因，可将其分为如下几种。第3页，课件共61页，创作于2023年2月

①方法误差：这种误差是由分析方法本身造成的。②仪器和实际误差：仪器误差来源于仪器本身不够精确，如砝码质量、容量器皿刻度和仪表刻度不准确等。③操作误差：操作误差是由分析人员所掌握的分析操作与正确的分析操作有差别引起的。④主观误差主观误差又称个人误差。主观误差有时列入操作误差中。第4页，课件共61页，创作于2023年2月3.1.2偶然误差偶然误差又称随机误差，它是由一些随机的、偶然的原因造成的。例如测量时环境温度、湿度和气压的微小波动，仪器的微小变化，分析人员对各份试样处理时的微小差别等，这些不可避免的偶然原因，都将使分析结果在一定范围内波动，引起偶然误差。

第5页，课件共61页，创作于2023年2月3.1.3过失误差

除系统误差和偶然误差外，还有一类“过失误差”。过失误差是工作中的差错，是由于工作粗心马虎，不按操作规程办事等原因造成的。例如读错刻度、记录和计算错误及加错试剂等。在分析工作中，当出现很大误差时，应分析其原因，如是过失所引起，则在计算平均值时舍去。通常，只要加强责任感，对工作认真细致，过失是完全可以避免的。过失误差一般归于系统误差。第6页，课件共61页，创作于2023年2月§3.2准确度和精密度准确度：分析结果和真实值之间的差值叫误差。误差越小，分析结果的准确度越高，就是说，准确度表示分析结果与真实值接近的程度。精密度：在实际工作中，分析人员在同一条件下平行测定几次，如果几次分析结果的数值比较接近，表示分析结果的精密度高。也就是说，精密度表示各次分析结果相互接近的程度。第7页，课件共61页，创作于2023年2月分析者甲乙丙测量序号l234平均54.3054.3054.2854.2754.2954.4054.3054.2554.2354.3054.3654.3554.3454.3354.35一铁矿石中的铁含量(真实含量54．36％)，各分析四次，测定结果(％)如下：第8页，课件共61页，创作于2023年2月第9页，课件共61页，创作于2023年2月§3.3误差和偏差测定结果(X)与真实值(m0)之间的差值称为误差(E)，即

误差越小，表示测定结果与真实值越接近，准确度越高；反之，误差越大，准确度越低。当测定结果大于真实值时，误差为正值，表示测定结果偏高，反之误差为负值，表示测定结果偏低。第10页，课件共61页，创作于2023年2月

误差可用绝对误差和相对误差表示。

例如测定某食品中蛋白的含量，测定结果为30.45％，已知真实值（期望值）为30.35％，则：绝对误差(E)：相对误差(Er)：第11页，课件共61页，创作于2023年2月偏差(d):

表示测定结果(X)与平均结果()之间的差值，即：

第12页，课件共61页，创作于2023年2月相对平均偏差：平均偏差：第13页，课件共61页，创作于2023年2月当测定次数无限增多时，所得平均值即为总体平均值m

若没有系统误差，则总体平均值m

就是真值m0。此时，单次测量的平均偏差d为第14页，课件共61页，创作于2023年2月第15页，课件共61页，创作于2023年2月

在数理统计学课程中，对于前面两式的关系，通常都给与详细的证明和讨论。在后式中，引入n-1的目的，主要是为了校正以代替m

所引起的误差。很明显，当测量次数非常多时，测量次数n与n-1的区别就很小，此时→m

，即

这时s→s第16页，课件共61页，创作于2023年2月单次测量结果的相对标准偏差(CV，又称变异系数)为第17页，课件共61页，创作于2023年2月[例]用重量法测定钢铁中Ni的百分含量，得到下列结果：10.48，10.37,10.47,10.43,10.40。计算单次分析结果的平均偏差、相对平均偏差、标准偏差和相对标准偏差。Ni含量／％10.4810.3710.4710.4310.40O．05O．06O．04O．00O．03O．0025O．0036O．0016O．0000O．0009平均10.43数据计算列表第18页，课件共61页，创作于2023年2月则平均偏差：相对平均差：样本标准差：

相对标准差：

第19页，课件共61页，创作于2023年2月I+0.3-0.2-0.40.20.10.40.0-0.30.2-0.3II00.1-0.70.2-0.1-0.20.5-0.20.30.1第一批数据的为0.24，第二批数据的亦为0．24，两批数据的平均偏差相同。但明显看出，第二批数据较为分散，因其中有两个较大的偏差。所以，用平均偏差反映不出这两批数据的好坏。但如果用标准偏差来表示，情况便很清楚了。它们的标准偏差分别为可见，第一批数据的精密度较好。第20页，课件共61页，创作于2023年2月用统计学方法可以证明，当测定次数非常多时，标准偏差与平均偏差有下列关系当测定次数较少时，（d）与s之间的关系就可能与此相差很大了。

第21页，课件共61页，创作于2023年2月§3.4系统误差的检测残差观察法:

设某变量的真值为m(未知）,x1，x2，……，xn。为它的一列测得值，任何一个测量值xi有该次测量的系统误差xi与随机误差di，可表示为:则测量值的平均值为：测量次数时，由于，故：第22页，课件共61页，创作于2023年2月任一个测量值与均值之差称为该测量值的残差，即：上式表明，当系统误差较为显著时，残差的大小和符号的变化是由变值系统误差xi的值来确定的，这个原则就是残差观察法计算的理论基础。第23页，课件共61页，创作于2023年2月第24页，课件共61页，创作于2023年2月在等精度测量中，将测量值的残差按观测的先后次序排列，观察残差的数值和符号变化规律。若残差大小向着一个方向递增或递减，且正负始末相反，则可认为测量数列中含有线性规律变化系统误差，如图所示；若残差的大小和符号发生周期性的循环变化，则存在周期性变化系统误差，如图所示；若残差按图所示的规律变化，则可认为存在线性系统误差和周期性变化系统误差；如果残差大小和符号变化无明显规律，且大致正负相同，则可认为系统不存在系统误差，如图所示。第25页，课件共61页，创作于2023年2月§3.5偶然误差的正态分布3.5.1频数分布例如有一矿石试样，在相同条件下用吸光光度法测定其中铜的百分含量，共有100个测量值如表所示。这些测量值彼此独立，属随机变量。

1.361.411.441.371.391.461.371.351.421.421.491.361.421.341.461.451.461.361.401.341.431.401.391.371.39L501.391.391.401.431.411.341.421.461.531.431.451.401.371.421.371.421.42l.441.361.451.311.381.361.411.401.421.301.451.481.431.411.351.461.411.321.451.341.321.401.411.441.42l.371.441.421.341.421.481.391.481.441.431.271.481.47l.421.371.401.381.391.421.421.471.551.391.391.361.451.401.451.471.421.381.37第26页，课件共61页，创作于2023年2月

分组

频数

相对频数1.265~1.2951.295~1.3251.325~1.3551.355~1.385l.385~1.4151.415~1.4451.445~1.4751.475~1.5051.505~1.5351.535~1.565147172424156110.010.040.070.170.240.240.250.060.010.01

总和1001．OO相对频数分布直方图第27页，课件共61页，创作于2023年2月3.5.2分布函数偶然误差一般可按正态分布规律进行，正态分布曲线的数学表达式是:第28页，课件共61页，创作于2023年2月测量值出现在某一范围内的概率，就等于概率密度函数在该范围内的积分数值，即：若令：

即得到“标准正态分布”函数：第29页，课件共61页，创作于2023年2月积分面积积分面积积分面积积分面积O．OO．1O．2O．3O．40．5O．60．7O．0000O．0398O．0793O．11790．1554O．1995O．2258O．2580O．8O．91．01．11．21．31．41．50．2881O．3159O．3413O．3643O．3849O．4032O．4192O．4332

1．61．71．81．92．02．12．22．3O．4452O．4554O．4641O．4713O．4773O．4821O．4361O．48932．42．52．62．72．82．93．O3．1O．49180．4938O．4953O．4965O．4973O．4981O．4987O．4990正态分布概率积分表

第30页，课件共61页，创作于2023年2月第31页，课件共61页，创作于2023年2月§3.6

统计假设检验和参数估计从理论上讲，测量中的系统误差、随机误差与过失误差性质各异，不难分辨。但在实际过程中，例如定量分析过程中，这几种误差总是纠缠在一起，难以区分。统计检验就是利用数理统计方法对误差进行分析，从而正确地评价测量数据，并对如何有效改进试验提供有用的信息。第32页，课件共61页，创作于2023年2月3.6.1离群值检验（4法）

一组测量值总不相同，这是误差所引起的正常现象。通常在一组测量值中总会有个别值明显偏大或偏小，这样的测量值称为离群值或可疑值。离群值虽离群但并未超出随机误差的限度，属正常值，应保留；如果超出随机误差的限度，应舍去。那么，出现异常值的原因是什么?如何判断测量值应舍弃还是保留?离群值检验的目的就在于区分两类不同性质的误差，即随机误差和系统误差。在试验中，如果已经知道存在过失误差，那么有关数据就应舍弃。如果不知道离群值是否存在过失或系统误差，则不应任意取舍，必须进行统计检验。第33页，课件共61页，创作于2023年2月根据测量值的正态概率分布可知，偏差大于3s

的测量值出现的概率约为0.26％，此为小概率事件，而小概率事件在有限次试验中是不可能发生的，如果发生了，则是不正常的。即偏差大于3s

的测量值在有限次检验中是不可能的，如果出现，则为异常值，为过失所致，应舍弃。由于，所以，若用代替d，即为“离群值偏差大于4者舍去”。由于，所以代替d

会产生误差。但因4法比较简便，不用查表，因此仍常被采用。第34页，课件共61页，创作于2023年2月如果离群值与之差的绝对值大于4，即则离群值为异常值，应舍去。否则为正常值，应保留。第35页，课件共61页，创作于2023年2月[例3-1]测定碱灰的总碱量(Na20％)，得到5个数据：40.02，40.13，40.15，40.16，40.20。试问40.02是否应舍去?解:除去40.02后，其余数据的平均值和平均偏差为因为所以，40.02应舍去。第36页，课件共61页，创作于2023年2月应用4法对下列数据进行离群值检验1.10、1.12、1.15、1.03、1.11、1.16、1.12、1.14解:按数据大小重新将上列数据排列为：1.03、1.10、1.11、1.12、1.12、1.14、1.15、1.16。第37页，课件共61页，创作于2023年2月（1）考虑1.03可能为离群值，则：

第38页，课件共61页，创作于2023年2月（2）考虑1.10可能为离群值（3）考虑1.16可能为离群值第39页，课件共61页，创作于2023年2月3.6.2精密度检验（F-检验）F

检验用于比较两个样本的精密度有无显著性差异，其原理如下：假设两个样本来自同一总体，即设：随着测定次数的增多，统计量将趋近于1。在有限次测定中，虽不可能等于1，但应接近于1，在有限的范围内波动。

第40页，课件共61页，创作于2023年2月第41页，课件共61页，创作于2023年2月如果求得的F值大某一临界值，说明波动超出有限范围，原假设不成立，，两个样本精密度存在显著性差异。否则，如果，原假设成立，两个样本的精密度不存在显著性差异。其中，f1为大方差的自由度，f2为小方差的自由度，计算F值时均以大方差为分子，小方差为分母。第42页，课件共61页，创作于2023年2月一分析人员用新方法和标准方法测定了某试样中的含铁量，得到如下结果(％)。新方法：23.28，23.36，23.43，23.38．23.30标准方法：23.44，23.41，23.39，23.35试问新方法与标准方法的精密度之间有无显著性差异(置信度95％)。解：查附录得，说明新方法与标准方法的精密度之间不存在显著性差异。第43页，课件共61页，创作于2023年2月用原子吸收法和比色法同时测定某试样中的铜，各进行了8次测定。比色法，原子吸收法。问两种方法的精密度是否存在显著性差异(置信度95％)?解：

查附录得，

故两种方法的精密度不存在显著性差异。第44页，课件共61页，创作于2023年2月两例情况不同，在前例中，只存在新方法精密度不如标准方法一种情况。而在后例中，可能原子吸收法显著地优于比色法，也可能比色法精度显著地优于原子吸收法。不管是哪种情况，都说明二者的精密度之间存在显著性差异，故属于双侧检验。附录中列出的为单侧检验的F临界值。对于双侧检验，若给定显著性水平a，要在表中查a

／2值。所以本例中

a=1-0.95=0.05，要在表中查F0.025的值。第45页，课件共61页，创作于2023年2月3.6.3准确度检验（平均值检验或t-检验）(1)基本原理对于正态总体N(m，s2)的子样，n次测定结果的平均值为，则有：符合正态N(0，1)。因为P[-1.96，1.96]=0.9500

所以P(-∞，-1.96]+P[1.96，∞)=0.0500

即的概率，这称为小概率事件。对于少数几次测量，出现这种情况的可能性很小。若这种事件发生了，则有95％的把握断定测值有问题。第46页，课件共61页，创作于2023年2月(2)u-检验法，即正态检验法由

可知，进行“检验的先决条件是必须已知总体标准偏差s。方法是用求得的u值与一定概率(若未指明，则取95％)对应的u值比较。若求得的“偏大，则说明测值存在系统误差。否则，在该概率下无系统误差。第47页，课件共61页，创作于2023年2月某工厂实验室经过常年的例行分析，得知一种原材料中含铁量符合正态N(4.55，0.112)。一天，某试验员对这种原材料测定5次，结果为4.38，4.50，4.52,4.45，4.49。试问此测定结果是否存在系统误差?

解m

=4.55，s

=0.11=4.47

即结果可靠，无系统误差。第48页，课件共61页，创作于2023年2月(3)t-检验众所周知，在有限次测定中，由于s

未知，用s代替，测值不符合正态分布而符合t-分布。t-分布的统计量为根据已知条件不同，可以进行不同的t-检验。第49页，课件共61页，创作于2023年2月第50页，课件共61页，创作于2023年2月①平均值与标准值的比较。为了判断一种方法、一种分析仪器、一种试剂以及某实验室或某人的操作是否可靠，即是否存在系统误差，可以将所得样本的平均值与标准值m

进行比较，进行t-检验。如果样本(x1,…,xi

,…,xn)来自正态总体N(m，s2)，假设无系统误差，那么样本均值与标准值m

之间的偏离为随机误差所致(过失误差的数据已舍去)。第51页，课件共61页，创作于2023年2月

可见，随机误差所引起的平均值的波动范围为：即随机误差引起的对m的偏差最大不超过。如果由下式求得的t值大于表中所列值ta

,f，说明对产的偏离已超出随机误差的范围，原假设不成立，必存在系统误差，称与m

之间存在显著性差异。反之，如果求得的t<

ta,f

，原假设无系统误差成立，即与m之间无显著性差异。基于这一原理，统计检验常被称为假设检验。第52页，课件共61页，创作于2023年2月用一种方法测定标准试样中的二氧化硅含量(％)，得以下8个数据：34.30，34.32，34.26，34.35，34.38，34.28，34.29，34.23。标准值为34.33％。问这种新方法是否可靠(P=95％)?解=34.30，s=0.048

故新方法不存在系统误差，可靠。第53页，课件共61页，创作于2023年2月某药厂生产复合维生素丸，要求每50g维生素丸中含铁2400mg。现从一批产品中进行随机抽样检查，5次测定结果分别为2372，2409，2395，2399，2411。产品含铁量是否合格(P=95％)?

解=2397，s=16即这批复合维生素丸的含量合格。第54页，课件共61页，创作于2023年2月②两个平均值的比较在定量分析中，常发现即使同一操作者用同一方法测定由同一总体抽取的样本，所得各种样本的平均值也不相等。如果是不同实验室，不同操作者，用不同方法进行测定，样本平均值的差别也许更大些。这种不相等或者差别，可能实际上并无显著性差异，只是由于在有限次测定中，随机误差不可能完全消除，致使样本平均值之间有些波动；也