传感器原理与应用数据分析第11讲8章 数据分析与处理

内容提纲8.1数据分析意义8.2数据预处理

8.2随机信号去误差处理

第1页8.1数据分析意义一、数据分析概述数据分析：数据分析目标是把隐没在一大批看起来杂乱无章数据中信息集中、萃取和提炼出来，以找出研究对象内在规律。数据分析内容：1）搜集信息；2）选定模型；3）推断处理：识别真假信号、修正系统误差；分析信号基本特性和类型，便于选择合理信号处理办法；提升信号处理可靠性。数据分析办法一般有：1)频域分析：傅里叶变换；2）时域分析：微积分运算；平滑和滤波；统计分析；第2页1、正态性检查根据被测信号概率密度分布图鉴别正态性检查一般把一组数据序列点在一种专用正态概率纸上，若各点近似地落在一条直线上，则说明样本符合正态分布。通过累积概率分布图规律也可进行数据正态性检查。2、平稳性检查假如信号均值近似是常数，信号自有关和起始时间无关，仅和时间差有关。目测话，平稳信号曲线各部分变化小、波峰波谷分布均匀、变化频率较为一致。平稳信号对应被测系统基本特性不随时间变化。分段统计特性分析法（轮次法）二、典型数据类型第3页设有—随机序列X、长度为M,现将其提成N个子区间、求出各子区间均方值、然后再求这N个均方值中值、即大小处于中间位置值。所谓轮次检查是将这N个均方值逐一与中值比较、其大于中值者记为“+’，不大于中值者记为“—”、这种从“+’”到“一”和从“一’到“+’变化次数称为轮次数，用r表达。一种序列轮次数反应序列独立性，平稳随机过程轮次数将满足—定统计规律式中：N为区间总数；N1均值大于中值子区间数；N2均值大于中值子区间数；a为置信度区间；随机序列平稳性检测轮次法第4页3、周期性检查根据被测系统物理力学特性鉴别假如系统基本物理力学特性随时间周期性变化，则以为被测信号展现周期性。目测检查观测被测信号统计曲线，假如信号曲线成周期性变化，则以为被测信号展现周期性。自有关分析法：假如自有关函数曲线展现周期性变化，则以为被测信号展现周期性。如图所示。第5页数据采集所得原始信号，在分析处理前需要进行预处理。预处理工作主要包括去干扰、消除趋势项、剔除异常数据、平滑、拟合等。一、趋势项1、趋势项就是在信号中存在线性项或迟缓变化、周期大于统计长度非线性成份。

原因：(1)抽样时未对原始信号加以合适处理，如在A／D转换前未进行必要高通滤波，使抽样信号中具有不需要低频成份。(2)由于外界原因，包括传感器或仪器零点漂移；传感器安装不当、测试对象基础运动等原因引发信号波形漂移；积分放大器后产生趋势项。8.2数据预处理第6页2.趋势项处理办法1）零均值化处理设有序列，即其均值为零均值化后即如图所示。零均值化处理tx(t)预处理前预处理后第7页2）平均斜率法消除趋势项即：一阶趋势项零均值化式中——调试所得原始信号；——均值；——平均斜率；——抽样总时间；——清除趋势项后信号；第8页2）平均斜率法消除趋势项平均斜率法消除趋势项前后曲线变化，如图所示。（a）消除趋势项前原始数据（b）消除趋势项后原始数据

平均斜率法消除趋势项第9页3）有高阶趋势项零均值化设有序列设高阶趋势项体现式为：根据最小二乘法原理求出则零均值化后，如图所示。tx(t)预处理前预处理后第10页三．测试数据五点三次平滑

平滑，即在满足残差平方和最小前提，对测试数据进行处理，减少因某些偶尔原因所造成数据误差影响，起到剔除异点作用。平滑处理是进行分段拟合。五点三次平滑是用三次多项式拟合相邻五个点数据。8.2数据预处理其中，系数a0~a3通过对分段5点按最小均方标准进行拟合得到。(a)平滑前波形(b)平滑后波形数字信号平滑前后波形第11页四．奇异点剔除

剔除异常数据是根据统计学原理。统计学以为，大量采样数据值不超出超出标准差3倍。若以零均值信号3倍标准差为置信区间，其置信度可达成99.74％，因此大于3倍标准差信号几乎不存在，能够视为异常点。8.2数据预处理当，该点即为奇异点，应剔除。(a)剔除异点前波形(b)剔除异点后波形剔除疑点前后波形形状第12页五．噪声与周期性干扰信号消除1）有效频率以外噪声与干扰信号消除低通滤波器（去高频）高通滤波器（去低频）带通滤波器（去高低频）2）有效频率以内噪声与干扰信号消除带阻滤波器频域消除法8.1数据预处理第13页概述：1、误差处理意义：误差是不可避免。1、对被测单个信号进行必要去误差处理，更便于发觉检测信息统计特性，找出试验数据规律；2、对多路、多传感器检测信息去误差处理，更便于进行信息融合，实现目标识别。8.3随机信号去误差处理2、误差起源：1、测量装置误差；2、测量环境误差：温度、湿度、振动；3、测量办法误差：4、测量人员误差：3、减少误差办法：1、从误差起源方面清除；2、最后测量值=测量直接读数+修正值；3、测量办法：如：电桥法测电阻；采取正负磁场消除对电表指针印象；合理设计测量步骤和数据处理程序；第14页8.3随机信号去误差处理一、测量误差定义误差=测量值-真值真值：观测一种被测物理量，该量本身所具有真实值大小。真值一般无法获取，除非有两种特殊情况：1、理论值，如：圆周360度2、商定真值，国际基准单位1千克绝对误差：相对误差：8.3.1随机信号误差第15页1．系统误差——在同样条件下，对同一物理量无限数次测量值平均值减去该被测量真值。系统误差大小、方向恒定一致或按一定规律变化。2．随机误差——在同样条件下，对同一物理量测量值减去无限数次测量平均值。随机误差具有随机性、正负抵偿特性。3．粗大误差——显著超出限定条件下预期误差，它是统计异常值。应剔除具有粗大误差测量值。二、测量误差分类第16页针对不一样类型误差，采取不一样处理办法：1、采样频率很高，测量次数很多，对测量后信号中存在随机干扰和粗大误差处理（随机信号去误差处理）；2、采样频率低、测量次数较少，添加测量信号中缺乏点处理（插值处理）；3、由测量给定点不精确数据求其精确数据（非线性赔偿处理）。8.3随机信号去误差处理第17页当测量次数n充足大时，对N次测量值取平均值，其数学盼望为被测量真值是当测量次数n为无穷大时统计盼望值。算术平均值标准误差为：由上式可见：测量值算术平均值标准误差是各测量值标准误差σ倍。因此，以算术平均值作为检测成果，测量精度将伴随采样次数增加而提升。（8-3-1）（8-3-2）8.3随机信号去误差处理8.3.2随机信号去误差处理1、通过测量值求平均，减少随机误差第18页对系统输出值估算时，先对直接检测值算术平均，再按函数关系求测量成果误差较小，比先对多种检测值按函数关系计算出每次采样成果，然后求采样成果算术平均值效果好。再设（8-3-3）（8-3-4）将（8-3-4），在真值X0附近展开泰勒级数，保存二次项得：（8-3-5）（8-3-6）2、先求直接测量值平均，后求测量值函数，减少随机误差设：测量值第19页分析：当测量次数n较大时，（8-3-5）能够以为但（8-3-6）不也许为零。结论：当采样次数n不受限制时，能够以为平均值因此应采取：。第20页1)标准误差是在采样次数n足够大得到，但实际测量只能有限次，测量次数n如何确定？说明：实际测量中有限次测量只能得到标准误差近似值2)采取测量序列剩下误差通过贝塞尔公式求标准误差近似值3）采取近似值通过谢波尔德公式确定测量次数n。8.3随机信号去误差处理3、测量次数n确定以减少随机误差步骤：第21页贝塞尔（Bessel）公式对于测量列{}中一次测量成果标准差有：

剩下误差为：真差：由式（8-2-9）、(8-2-8)有：由此可推导出用剩下误差计算近似标准误差贝塞尔公式：（8-3-7）（8-3-8）（8-3-9）（8-3-10）（8-2-11）3、测量次数n确实定以减少随机误差2）利用贝塞尔公式求标准误差近似值第22页谢波尔德公式a.给出了标准误差、近似误差以及检测设备辨别率之间关系：

b.当测量次数n增加，利用随机误差抵偿性质，使随机误差大小减小到与相近数量时，测得到标准误差就趋于稳定，此时测量次数n为选定值。（8-2-12）2）利用谢波尔德公式确定测量次数一般n=10~20之间第23页粗大误差（或称疏失误差）是指显然与事实不符误差，它对测量成果是一种严重歪曲。这种误差主要是由于失误、系统过度疲劳、偶尔故障、外界突发性干扰或系统内部故障等众多随机原因造成。判断是否是粗大误差两个准则：

(1)莱特准则：当N有限时，尤其是当N<10时,采取莱特准则作为判据就不可靠了。虽然在测量数据中具有疏失误差，也无法判定剔除。8.3.3粗大误差剔除第24页(2)格罗贝斯准则（略）设:对某一被测样品作等精度数次独立检测，得到一种测量列：服从正态分布，则有：（8-3-14）格罗贝斯统计量g确切分布，即：（8-2-15）α为置信概率，一般取5%8.3.3粗大误差剔除第25页(2)格罗贝斯准则1）用查表法找出统计量临界值：测量顶端值X1或Xn所对应格罗贝斯统计量2）判断：注意：（1）对于次数较少疏失误差剔除精确性高；（2）但每次只能剔除一种可疑值。（8-2-16）第26页【例】对某种样品进行8次检测采样，测得长度值为Xi：8次测量成果由小到大排列次序为：8次测量平均值为：计算对应剩下误差为：剔除疏失误差前近似误差为：（8-2-17）（8-2-18）8.2.3粗大误差剔除第27页由表看出:值得怀疑。由数值表查得:取（8，0.01）=2.22于是有:因故为可疑值剔除。在余下7个数据中，故余下7个测量数据中已无疏失误差值存在，后续计算时可用。疏失误差剔除对于提升虚拟仪器系统一致性有很主要作用。第28页一．最小二乘法及其应用某物理量有一组测量值为，则该物理量最佳估计值a满足“剩下误差平方和为最小”，即：（8-3-23）8.3随机信号去误差处理8.3.4平滑及拟合（主要）令：应用：例如：有一组测量值（xi，yi）近似呈线性关系，求其拟合直线方程。设直线方程为y＝kx＋b，即求k、b，使得（8-2-24）即可求得对应k、b值。第29页最小二乘法及其应用例如：有一组测量值（xi，yi）近似呈线性关系，求其拟合直线方程。即可求得对应k、b值。设直线方程为y＝kx＋b，使得1234xi0.350.400.650.43yi0.30.450.470.52解：得：第30页插值是用已知点测量值估计未知点近似值。定义：测量到y=f（X）在一系列点X0，X1，X2，……，Xn处函数值Y0，Y1，Y2，……Yn，通过构造一种简单函数P（X）作为y=f（X）近似体现式：y近似等于满足插值条件：Pn(Xi)=Yii=1，2，3，…….n，其中：f（X）称为被插函数；P（X）称为插值函数；Xi称为插值节点；Yi称为插值条件。应用：1）系统采样频率限制；2）为了节省硬件成本，以软代硬。3）远距离大量数据通信需要 4）数据、图象解压缩。5）计算函数值、零点、极值点、导数、积分办法：（1）拉格朗日插值法；（2）牛顿插值法；（3）样条插值法8.2随机信号去误差处理二、插值处理第31页1、拉格朗日插值拉格朗日插值就是求插值代数多项式，推导思绪：两点一次插值（线性插值）多项式就是在满足求在n=1时一次多项式P1(X）。从几何上看，就是过两点（x0，y0）（x1，y1）作直线y=P1（x），用点斜式表达为：（8-2-25）（8-2-27）有如下性质:第32页一般插值问题:已知n+1个互不相同点X0，X1，X2，……，Xn处函数值Y0，Y1，Y2，……Yn，求次数不超出n多项式Pn(x)，其系数Ln(x),使几何上就是求作n次曲线，使n+1个点(X0,Y0),(X1,Y1),…..,(Xn,Yn)通过该曲线。函数满足条件:（8-2-29）于是函数y=f（X）n次插值多项式，即拉格朗日插值多项式:简写为:（8-2-31）第33页拉格朗日插值多项式误差估计（8-2-36）1）零次插值误差为：2）两点一次插值(线性插值)误差为：3）三点二次插数值（抛物插值）多项式：（8-2-38）（8-2-39）（8-2-37）第34页二、牛顿插值通过一组测量数据求体现该组数据近似体现式，并通过该体现式求任意给定点函数值。设已知函数y(x)在点X0，X0+h，X0+2h，…..，X0+nh上函数值为（Y0，Y1，Y2，…..，Yn），求满足插值条件代数多项式。牛顿插值法长处是运算次数少，节点变化时使用方便。另外，牛顿插值也可采取不等节距。牛顿插值是通过计算差商和差分实现。详细步骤：第35页一阶差分为：二阶差分为：三阶差分为：（8-2-41）（8-2-42）（8-2-40）8.2随机信号去误差处理一阶差商：（8-2-43）二阶差商：（8-2-44）

（8-2-44）第36页（8-2-45）牛顿插值n次代数多项式为：当增加一种节点时，牛顿插值公式只需增加一项，有如下递推公式：（8-2-46）8.2随机信号去误差处理第37页【例】：对某种产品进行检测1）已知检测自变量电流I为：0、0.93、2.73、4.27、6.50对应位移值M分别为：0、0.96、2.27、3.13、4.32，2）检测数据差商表：8.2随机信号去误差处理第38页（8-2-47）（3）四次牛顿插值多项式为：（4）将各差商点及其差商值代入上式（8-2-48）8.2随机信号去误差处理（8-2-47）（5）设，计算出对应位移为：（6）适用于采样频率不高、传输速率低、插值点数较少场所第39页三、多项式插值（拉格朗日、牛顿插值）缺陷与分段插值例：已知区间[-5，5]函数，分别取n=5，n=15（等距节点）时，拉格朗日插值多项式图象在区间中部多节点比少节点逼近误差小，但在端点附近多节点插值反而变坏（Runge现象）。经证明，当节点无限加密时，在两端波动越来越大。拉格朗日插值多项式次数n与误差关系8.3随机信号去误差处理第40页分段样条插值分段样条实质上是分段多项式光滑连接。条件：S(x)在每个区间(Xj-1，Xj)(j=1，，……,N)上是m次多项式；S(x)及其直到m-1阶导在数[a，b]连续则:S(x)是有关分段：a=X0<X1<X2<……<XN=bm次样条函数。当m=3时为常用三次样条函数。

（1）三次样条函数插值已知函数y=f(x)在节点X0，X1，X2，……，Xn处函数值等于Y0，Y1,Y2，…，Yn，求分段三次样条函数S(x),在分段a=X0<X1<X2<……<Xn=b上都满足S(xj)=yjj=1，2，……,N，且二阶导连续。

则:S(x)称为y=f(X)三次插值样条函数。第41页解法：

由于：

S(x)子区间[Xj-1，Xj]是三次多项式，且光滑，表白它二级可导，假设已知：二阶导数代入拉格朗日插值公式有积分后得：两个未知参数Ci/Di：第42页S(x)确保了逐段三次插值，确保了在节点连续性，S(x)在节点处二阶导数值M0，M1，……，MN事实上是未知数。求M关系式：用在节点连续性求参数Mj。（8-2-50）第43页推得M关系式：（8-2-51）（3）端点条件M关系式是N+1个未知数N-1个方程，通过端点可减少2个未知数1）给定M0、MN：2）在[X0，X1]与[XN-1，XN]上S(X)为二次多项式，此时M0=M1，MN=MN-1。3）尤其可取M0=0、MN=0，此时称S(X)为自然三次插值样条。第44页【例】：已知Xi，yi值如下表，求自然三次插值样条函数S(X)设M0=M4=0，第45页4．样条插值第46页（8-2-52）8.2随机信号去误差处理第47页8.4.1开环非线性赔偿算法开环非线性赔偿算法把一种合适非线性赔偿步骤（或称线性化步骤）串接到测量通道中，使测量通道输入—输出特性整体得到线性化关系。一般：X与U0为非线性关系。U0经线性调整放大为U1，因此X与U1之间仍为非线性关系。测量通道加入线性化步骤（利用线性化步骤本身非线性特性来赔偿（抵消）传感器步骤非线性特性），从而使测量通道输入X与输出U2之间成为线性关系，称为非线性赔偿。8.4非线性赔偿（略）实际系统特性函数一般为非线性，采取非线性赔偿技术，使输出与输入关系呈线性关系。第48页设计办法：1、设传感器步骤输入—输出关系为：U0=f1(x)则放大步骤输入—输出关系为： U1=a+K*U0其中K、a均为常量线性化步骤输出为：U2=b+S*X由式（8-2-53）（8-2-54）（8-2-55）得通道输入—输出关系为：（8-2-53）（8-2-54）（8-2-55）（8-2-56）8.4.1开环非线性赔偿算法8.4非线性赔偿由（8-2-55）可确定线性化系统输入与输出关系。第49页【例】：如对镍铬—考铜热电偶

镍铬—考铜热电偶开环非线性赔偿已知热电偶解析体现式为:其中：a、b均为常数（可求出），T为温度，Et为热电势若Tmax=400度，则（8-2-57）（8-2-58）第50页放大步骤体现式为： U1=K*Et测量通道输入—输出特性要求为：U2=S*T由上式得线性赔偿步骤输入—输出关系体现式为：（8-2-59）其中：K、a、b、S均为已知常数，函数关系唯一确定。8.4非线性赔偿第51页传感器为非线性步骤；调整放大步骤放大倍数足够大；反馈网络为非线性步骤，利用它非线性特性能够赔偿传感器非线性；使测量通道输入—输出特性具有线性关系（U2与X）。采取闭环式线性化关键：1）根据已知传感器非线性特性和测量通道线性特性求出非线性反馈步骤非线性特性。2）根据非线性反馈步骤非线性特性，设计非线性反馈网络。8.4.2闭环非线性赔偿算法8.4非线性赔偿第52页设计闭环非线性赔偿算法：设：传感器输入—输出特性为：U1=f1(x)放大器输入—输出特性为：U2=K*△U测量通道输入—输出特性为：