传感器原理与应用数据分析章数据分析与处理演示文稿

传感器原理与应用数据分析章数据分析与处理演示文稿当前1页，总共58页。传感器原理与应用数据分析章数据分析与处理当前2页，总共58页。8.1数据分析意义一、数据分析概述数据分析：数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出研究对象的内在规律。数据分析内容：

1）收集信息；

2）选定模型；

3）推断处理：识别真假信号、修正系统误差；分析信号的基本特性和类型，便于选择合理信号处理方法；提高信号处理的可靠性。数据分析的方法通常有：

1)频域分析：傅里叶变换；

2）时域分析：微积分运算；平滑和滤波；统计分析；当前3页，总共58页。1、正态性检验根据被测信号的概率密度分布图判别正态性检验通常把一组数据序列点在一种专用的正态概率纸上，若各点近似地落在一条直线上，则说明样本符合正态分布。通过累积概率分布图的规律也可进行数据正态性的检验。2、平稳性检验如果信号的均值近似是常数，信号的自相关和起始时间无关，仅和时间差有关。目测的话，平稳信号曲线各部分的变化小、波峰波谷分布均匀、变化频率较为一致。平稳信号对应的被测系统的基本特性不随时间改变。分段统计特性分析法（轮次法）二、典型的数据类型当前4页，总共58页。

设有—随机序列X、长度为M,现将其分成N个子区间、求出各子区间的均方值、然后再求这N个均方值的中值、即大小处于中间位置的值。所谓轮次检验是将这N个均方值逐个与中值比较、其大于中值者记为“+’，小于中值者记为“—”、这种从“+’”到“一”和从“一’到“+’的变化次数称为轮次数，用r表示。一个序列的轮次数反映序列的独立性，平稳随机过程的轮次数将满足—定的统计规律式中：N为区间总数；N1均值大于中值的子区间数；N2均值大于中值的子区间数；a为置信度区间；随机序列平稳性检测的轮次法当前5页，总共58页。3、周期性检验根据被测系统的物理力学特性判别如果系统的基本物理力学特性随时间周期性变化，则认为被测信号呈现周期性。目测检验观测被测信号的记录曲线，如果信号曲线成周期性变化，则认为被测信号呈现周期性。自相关分析法：如果自相关函数曲线呈现周期性变化，则认为被测信号呈现周期性。如图所示。当前6页，总共58页。

数据采集所得的原始信号，在分析处理前需要进行预处理。预处理工作主要包括去干扰、消除趋势项、剔除异常数据、平滑、拟合等。一、趋势项

1、趋势项就是在信号中存在线性项或缓慢变化的、周期大于记录长度的非线性成分。

原因：(1)抽样时未对原始信号加以适当的处理，如在A／D转换前未进行必要的高通滤波，使抽样信号中含有不需要的低频成分。

(2)由于外界原因，包括传感器或仪器的零点漂移；传感器安装不当、测试对象的基础运动等原因引起的信号波形漂移；积分放大器后产生的趋势项。8.2数据预处理当前7页，总共58页。2.趋势项的处理方法1）零均值化处理设有序列，即其均值为零均值化后即如图所示。零均值化处理tx(t)预处理前预处理后当前8页，总共58页。2）平均斜率法消除趋势项即：一阶趋势项的零均值化式中——调试所得的原始信号；

——均值；

——平均斜率；

——抽样总时间；

——清除趋势项后的信号；当前9页，总共58页。2）平均斜率法消除趋势项平均斜率法消除趋势项前后曲线变化，如图所示。（a）消除趋势项前的原始数据（b）消除趋势项后的原始数据

平均斜率法消除趋势项当前10页，总共58页。3）有高阶趋势项的零均值化设有序列设高阶趋势项表达式为：根据最小二乘法原理求出则零均值化后，如图所示。tx(t)预处理前预处理后当前11页，总共58页。三．测试数据的五点三次平滑

平滑，即在满足残差平方和最小的前提，对测试数据进行处理，减少因一些偶然因素所造成的数据误差的影响，起到剔除异点的作用。平滑处理是进行分段拟合。五点三次平滑是用三次多项式拟合相邻五个点的数据。8.2数据预处理其中，系数a0~a3通过对分段5点按最小均方标准进行拟合得到。(a)平滑前的波形(b)平滑后的波形数字信号平滑前后的波形当前12页，总共58页。四．奇异点剔除

剔除异常数据是根据统计学原理。统计学认为，大量采样数据值不超过超过标准差的3倍。若以零均值信号的3倍标准差为置信区间，其置信度可达到99.74％，因此大于3倍标准差的信号几乎不存在，可以视为异常点。8.2数据预处理当，该点即为奇异点，应剔除。(a)剔除异点前的波形(b)剔除异点后的波形剔除疑点前后波形的形状当前13页，总共58页。五．噪声与周期性干扰信号的消除1）有效频率以外的噪声与干扰信号的消除低通滤波器（去高频）高通滤波器（去低频）带通滤波器（去高低频）2）有效频率以内的噪声与干扰信号的消除带阻滤波器频域消除法8.1数据预处理当前14页，总共58页。概述：1、误差处理意义：误差是不可避免。1、对被测单个信号进行必要的去误差处理，更便于发现检测信息统计特征，找出实验数据的规律；

2、对多路、多传感器检测信息去误差处理，更便于进行信息融合，实现目标识别。8.3随机信号去误差处理2、误差的来源：1、测量装置误差；2、测量环境误差：温度、湿度、振动；3、测量方法误差：4、测量人员误差：3、减少误差的方法：1、从误差的来源方面去除；2、最终测量值=测量直接读数+修正值；3、测量方法：如：电桥法测电阻；采用正负磁场消除对电表指针印象；合理设计测量步骤和数据处理程序；当前15页，总共58页。8.3随机信号去误差处理一、测量误差的定义误差=测量值-真值真值：观测一个被测物理量，该量本身所具有的真实值大小。真值一般无法获取，除非有两种特殊情况：1、理论值，如：圆周360度2、约定真值，国际基准单位1千克绝对误差：相对误差：8.3.1随机信号的误差当前16页，总共58页。1．系统误差——在同样条件下，对同一物理量无限多次测量值的平均值减去该被测量的真值。系统误差的大小、方向恒定一致或按一定规律变化。2．随机误差——在同样条件下，对同一物理量的测量值减去无限多次测量的平均值。随机误差具有随机性、正负抵偿特性。3．粗大误差——明显超出限定条件下预期的误差，它是统计异常值。应剔除含有粗大误差的测量值。二、测量误差的分类当前17页，总共58页。针对不同类型误差，采用不同的处理方法：1、采样频率很高，测量次数很多，对测量后信号中存在的随机干扰和粗大误差的处理（随机信号去误差处理）；2、采样频率低、测量次数较少，添加测量信号中缺少点的处理（插值处理）；3、由测量给定点的不精确数据求其精确数据（非线性补偿处理）。8.3随机信号去误差处理当前18页，总共58页。当测量次数n充分大时，对N次测量值取平均值，其数学期望为被测量的真值是当测量次数n为无穷大时的统计期望值。算术平均值的标准误差为：由上式可见：测量值的算术平均值的标准误差是各测量值的标准误差σ的倍。因此，以算术平均值作为检测结果，测量精度将随着采样次数的增加而提高。（8-3-1）（8-3-2）8.3随机信号去误差处理8.3.2随机信号去误差的处理1、通过测量值求平均，减少随机误差当前19页，总共58页。对系统输出值估算时，先对直接检测值算术平均，再按函数关系求测量结果的误差较小，比先对多个检测值按函数关系计算出每次采样结果，然后求采样结果的算术平均值效果好。再设（8-3-3）（8-3-4）将（8-3-4），在真值X0

附近展开泰勒级数，保留二次项得：（8-3-5）（8-3-6）2、先求直接测量值的平均，后求测量值的函数，减少随机误差设：测量值当前20页，总共58页。分析：当测量次数n较大时，（8-3-5）可以认为但（8-3-6）不可能为零。结论：当采样次数n不受限制时，可以认为平均值因此应采用：。当前21页，总共58页。1)标准误差是在采样次数n足够大得到的，但实际测量只能有限次，测量次数n如何确定？说明：实际测量中的有限次测量只能得到标准误差的近似值2)采用测量序列的剩余误差通过贝塞尔公式求标准误差的近似值3）采用近似值通过谢波尔德公式确定测量次数n。8.3随机信号去误差处理3、测量次数n的确定以减少随机误差步骤：当前22页，总共58页。贝塞尔（Bessel）公式对于测量列{}中的一次测量结果标准差有：

剩余误差为：真差：由式（8-2-9）、(8-2-8)有：由此可推导出用剩余误差计算近似标准误差的贝塞尔公式：（8-3-7）（8-3-8）（8-3-9）（8-3-10）（8-2-11）3、测量次数n的确定以减少随机误差2）利用贝塞尔公式求标准误差的近似值当前23页，总共58页。谢波尔德公式a.给出了标准误差、近似误差以及检测设备分辨率之间的关系：

b.当测量次数n增加，利用随机误差的抵偿性质，使随机误差的大小减小到与相近的数量时，测得到标准误差就趋于稳定，此时测量次数n为选定值。（8-2-12）2）利用谢波尔德公式确定测量次数一般n=10~20之间当前24页，总共58页。粗大误差（或称疏失误差）是指显然与事实不符的误差，它对测量结果是一种严重的歪曲。这种误差主要是由于失误、系统过度疲劳、偶然故障、外界突发性干扰或系统内部故障等众多随机原因造成的。

判断是否是粗大误差的两个准则：

(1)莱特准则：当N有限时，特别是当N<10时,采用莱特准则作为判据就不可靠了。即使在测量数据中含有疏失误差，也无法判定剔除。8.3.3粗大误差的剔除当前25页，总共58页。(2)格罗贝斯准则（略）设:对某一被测样品作等精度的多次独立检测，得到一个测量列：服从正态分布，则有：（8-3-14）格罗贝斯统计量g的确切分布，即：（8-2-15）α为置信概率，通常取5%8.3.3粗大误差的剔除当前26页，总共58页。(2)格罗贝斯准则1）用查表法找出统计量的临界值：测量顶端值X1或Xn所对应的格罗贝斯统计量2）判断：注意：（1）对于次数较少的疏失误差剔除的准确性高；（2）但每次只能剔除一个可疑值。（8-2-16）当前27页，总共58页。【例】对某种样品进行8次检测采样，测得长度值为Xi：8次测量结果由小到大排列顺序为：8次测量的平均值为：计算相应的剩余误差为：剔除疏失误差前的近似误差为：（8-2-17）（8-2-18）8.2.3粗大误差的剔除当前28页，总共58页。由表看出:值得怀疑。由数值表查得:取（8，0.01）=2.22于是有:因故为可疑值剔除。在余下的7个数据中，故余下7个测量数据中已无疏失误差值存在，后续计算时可用。疏失误差剔除对于提高虚拟仪器系统的一致性有很重要作用。当前29页，总共58页。一．最小二乘法及其应用某物理量有一组测量值为，则该物理量的最佳估计值a满足“剩余误差平方和为最小”，即：（8-3-23）8.3随机信号去误差处理8.3.4平滑及拟合（重要）令：应用：例如：有一组测量值（xi，yi）近似呈线性关系，求其拟合直线方程。设直线方程为y＝kx＋b，即求k、b，使得（8-2-24）即可求得相应的k、b值。当前30页，总共58页。最小二乘法及其应用例如：有一组测量值（xi，yi）近似呈线性关系，求其拟合直线方程。即可求得相应的k、b值。设直线方程为y＝kx＋b，使得1234xi0.350.400.650.43yi0.30.450.470.52解：得：当前31页，总共58页。

插值是用已知点测量值估计未知点的近似值。定义：测量到y=f（X）在一系列点X0，X1，X2，……，Xn处的函数值Y0，Y1，Y2，……Yn，通过构造一个简单函数P（X）作为y=f（X）的近似表达式：y近似等于满足插值条件：Pn(Xi)=Yii=1，2，3，…….n，其中：f（X）称为被插函数；P（X）称为插值函数；Xi称为插值节点；Yi称为插值条件。应用：1）系统采样频率的限制；2）为了节省硬件成本，以软代硬。3）远距离大量数据通信需要 4）数据、图象解压缩。5）计算函数值、零点、极值点、导数、积分方法：（1）拉格朗日插值法；（2）牛顿插值法；（3）样条插值法8.2随机信号去误差处理二、插值处理当前32页，总共58页。1、拉格朗日插值拉格朗日插值就是求插值代数多项式，推导思路：两点一次插值（线性插值）多项式就是在满足求在n=1时的一次多项式P1(X）。从几何上看，就是过两点（x0，y0）（x1，y1）作直线y=P1（x），用点斜式表示为：（8-2-25）（8-2-27）有如下性质:当前33页，总共58页。一般插值问题:

已知n+1个互不相同的点X0，X1，X2，……，Xn处的函数值Y0，Y1，Y2，……Yn，求次数不超过n的多项式Pn(x)，其系数Ln(x),使几何上就是求作n次曲线，使n+1个点(X0,Y0),(X1,Y1),…..,(Xn,Yn)通过该曲线。函数满足条件:（8-2-29）于是函数y=f（X）的n次插值多项式，即拉格朗日插值多项式:简写为:（8-2-31）当前34页，总共58页。拉格朗日插值多项式的误差估计（8-2-36）1）零次插值误差为：2）两点一次插值(线性插值)误差为：3）三点二次插数值（抛物插值）多项式：（8-2-38）（8-2-39）（8-2-37）当前35页，总共58页。二、牛顿插值通过一组测量数据求表达该组数据的近似表达式，并通过该表达式求任意给定点的函数值。设已知函数y(x)在点X0，X0+h，X0+2h，…..，X0+nh上的函数值为（Y0，Y1，Y2，…..，Yn），求满足插值条件的代数多项式。牛顿插值法的优点是运算次数少，节点改变时使用方便。另外，牛顿插值也可采用不等节距。牛顿插值是通过计算差商和差分实现的。具体步骤：当前36页，总共58页。一阶差分为：二阶差分为：三阶差分为：（8-2-41）（8-2-42）（8-2-40）8.2随机信号去误差处理一阶差商：（8-2-43）二阶差商：（8-2-44）

（8-2-44）当前37页，总共58页。（8-2-45）牛顿插值n次代数多项式为：当增加一个节点时，牛顿插值公式只需增加一项，有如下递推公式：（8-2-46）8.2随机信号去误差处理当前38页，总共58页。【例】：对某种产品进行检测1）已知检测自变量电流I为：0、0.93、2.73、4.27、6.50对应的位移值M分别为：0、0.96、2.27、3.13、4.32，2）检测数据差商表：8.2随机信号去误差处理当前39页，总共58页。（8-2-47）（3）四次牛顿插值多项式为：（4）将各差商点及其差商值代入上式（8-2-48）8.2随机信号去误差处理（8-2-47）（5）设，计算出相应的位移为：（6）适用于采样频率不高、传输速率低、插值点数较少的场合当前40页，总共58页。三、多项式插值（拉格朗日、牛顿插值）的缺陷与分段插值例：已知区间[-5，5]函数，分别取n=5，n=15（等距节点）时，拉格朗日插值多项式的图象在区间中部多节点比少节点逼近误差小，但在端点附近多节点插值反而变坏（Runge现象）。经证明，当节点无限加密时，在两端的波动越来越大。拉格朗日插值多项式次数n与误差的关系8.3随机信号去误差处理当前41页，总共58页。分段样条插值分段样条实质上是分段多项式的光滑连接。条件：S(x)在每个区间(Xj-1，Xj)(j=1，，……,N)上是m次多项式；

S(x)及其直到m-1阶导在数[a，b]连续则:S(x)是关于分段：a=X0<X1<X2<……<XN=b

的m次样条函数。当m=3时为常用的三次样条函数。

（1）三次样条函数插值已知函数y=f(x)在节点X0，X1，X2，……，Xn处的函数值等于Y0，Y1,Y2，…，Yn

，求分段三次样条函数S(x),在分段a=X0<X1<X2<……<Xn=b

上都满足S(xj)=yjj=1，2，……,N，且二阶导连续。

则:S(x)称为y=f(X)的三次插值样条函数。当前42页，总共58页。解法：

因为：

S(x)子区间[Xj-1，Xj]是三次多项式，且光滑，表明它二级可导，假设已知：二阶导数代入拉格朗日插值公式有积分后得：两个未知参数Ci/Di：当前43页，总共58页。S(x)保证了逐段三次插值，保证了在节点的连续性，S(x)在节点处的二阶导数值M0，M1，……，MN实际上是未知数。求M关系式：用在节点的连续性求参数Mj。（8-2-50）当前44页，总共58页。推得M关系式：（8-2-51）（3）端点条件M关系式是N+1个未知数的N-1个方程，通过端点可减少2个未知数1）给定M0、MN：2）在[X0，X1]与[XN-1，XN]上S(X)为二次多项式，此时M0=M1，MN=MN-1。3）特别可取M0=0、MN=0，此时称S(X)为自然三次插值样条。当前45页，总共58页。【例】：已知Xi，yi值如下表，求自然三次插值样条函数S(X)设M0=M4=0，当前46页，总共58页。4．样条插值当前47页，总共58页。（8-2-52）8.2随机信号去误差处理当前48页，总共58页。8.4.1开环非线性补偿算法开环非线性补偿算法

把一个适当的非线性补偿环节（或称线性化环节）串接到测量通道中，使测量通道的输入—输出特性整体得到线性化关系。通常：X与U0为非线性关系。U0经线性调节放大为U1，所以X与U1之间仍为非线性关系。测量通道加入线性化环节（利用线性化环节本身的非线性特性来补偿（抵消）传感器环节的非线性特性），从而使测量通道的输入X与输出U2之间成为线性关系，称为非线性补偿。8.4非线性补偿（略）

实际系统的特性函数通常为非线性，采用非线性补偿技术，使输出与输入关系呈线性关系。当前49页，总共58页。设计方法：

1、设传感器环节输入—输出关系为：U0=f1(x)则放大环节输入—输出关系为：

U1=a+K*U0其中K、a均为常量线性化环节的输出为：U2=b+S*X由式（8-2-53）（8-2-54）（8-2-55）得通道输入—输出关系为：（8-2-53）（8-2-54）（8-2-55）（8-2-56）8.4.1开环非线性补偿算法8.4非线性补偿由（8-2-55）可确定线性化系统的输入与输出关系。当前50页，总共58页。【例】：如对镍铬—考铜热电偶

镍铬—考铜热电偶开环非线性补偿已知热电偶的解析表达式为:其中：a、b均为常数（可求出），T为温度，Et为热电势若Tmax=400度，则（8-2-57）（8-2-58）当前51页，总共58页。放大环节的表达式为： U1=K*Et测量通道的输入—输出特性要求为：U2=S*T由上式得线性补偿环节的输入—输出关系表达式为：（8-2-59）其中：K、a、b、S均为已知常数，函数关系唯一确定。8.4非线性补偿当前52页，总共58页。传感器为非线性环节；调节放大环节的放大倍数足够大；反馈网络为非线性环节，利用它的非线性特性可以补偿传感器的非线性；使测量通道的输入—输出特性具有线性关系（U2与X）。采用闭环式线性化的关键：

1）根据已知的传感器非线性特性和测量通道的线性特性求出非线性反馈环节的非线性特性。

2）根据非线性反馈环节的非线性特性，设计非线性反馈网络。8.4.2闭环非线性补偿算法8.4非线性补偿当前53页，总共58页。设计闭环非