传感器原理与应用---数据分析第11讲(8章)-数据分析与处理概要.ppt

内容提要8 1数据分析的意义8 2数据预处理8 2随机信号去误差处理 8 1数据分析意义 一 数据分析概述 数据分析 数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的信息集中 萃取和提炼出来 以找出研究对象的内在规律 数据分析内容 1 收集信息 2 选定模型 3 推断处理 识别真假信号 修正系统误差 分析信号的基本特性和类型 便于选择合理信号处理方法 提高信号处理的可靠性 数据分析的方法通常有 1 频域分析 傅里叶变换 2 时域分析 微积分运算 平滑和滤波 统计分析 1 正态性检验根据被测信号的概率密度分布图判别正态性检验通常把一组数据序列点在一种专用的正态概率纸上 若各点近似地落在一条直线上 则说明样本符合正态分布 通过累积概率分布图的规律也可进行数据正态性的检验 2 平稳性检验如果信号的均值近似是常数 信号的自相关和起始时间无关 仅和时间差有关 目测的话 平稳信号曲线各部分的变化小 波峰波谷分布均匀 变化频率较为一致 平稳信号对应的被测系统的基本特性不随时间改变 分段统计特性分析法 轮次法 二 典型的数据类型 设有 随机序列X 长度为M 现将其分成N个子区间 求出各子区间的均方值 然后再求这N个均方值的中值 即大小处于中间位置的值 所谓轮次检验是将这N个均方值逐个与中值比较 其大于中值者记为 小于中值者记为 这种从 到 一 和从 一 到 的变化次数称为轮次数 用r表示 一个序列的轮次数反映序列的独立性 平稳随机过程的轮次数将满足 定的统计规律 式中 N为区间总数 N1均值大于中值的子区间数 N2均值大于中值的子区间数 a为置信度区间 随机序列平稳性检测的轮次法 3 周期性检验根据被测系统的物理力学特性判别如果系统的基本物理力学特性随时间周期性变化 则认为被测信号呈现周期性 目测检验观测被测信号的记录曲线 如果信号曲线成周期性变化 则认为被测信号呈现周期性 自相关分析法 如果自相关函数曲线呈现周期性变化 则认为被测信号呈现周期性 如图所示 数据采集所得的原始信号 在分析处理前需要进行预处理 预处理工作主要包括去干扰 消除趋势项 剔除异常数据 平滑 拟合等 一 趋势项1 趋势项就是在信号中存在线性项或缓慢变化的 周期大于记录长度的非线性成分 原因 1 抽样时未对原始信号加以适当的处理 如在A D转换前未进行必要的高通滤波 使抽样信号中含有不需要的低频成分 2 由于外界原因 包括传感器或仪器的零点漂移 传感器安装不当 测试对象的基础运动等原因引起的信号波形漂移 积分放大器后产生的趋势项 8 2数据预处理 2 趋势项的处理方法1 零均值化处理设有序列 即其均值为零均值化后即如图所示 零均值化处理 2 平均斜率法消除趋势项即 一阶趋势项的零均值化 式中 调试所得的原始信号 均值 平均斜率 抽样总时间 清除趋势项后的信号 2 平均斜率法消除趋势项 平均斜率法消除趋势项前后曲线变化 如图所示 a 消除趋势项前的原始数据 b 消除趋势项后的原始数据平均斜率法消除趋势项 3 有高阶趋势项的零均值化设有序列 设高阶趋势项表达式为 根据最小二乘法原理求出 则零均值化后 如图所示 三 测试数据的五点三次平滑平滑 即在满足残差平方和最小的前提 对测试数据进行处理 减少因一些偶然因素所造成的数据误差的影响 起到剔除异点的作用 平滑处理是进行分段拟合 五点三次平滑是用三次多项式拟合相邻五个点的数据 8 2数据预处理 其中 系数a0 a3通过对分段5点按最小均方标准进行拟合得到 a 平滑前的波形 b 平滑后的波形数字信号平滑前后的波形 四 奇异点剔除剔除异常数据是根据统计学原理 统计学认为 大量采样数据值不超过超过标准差的3倍 若以零均值信号的3倍标准差为置信区间 其置信度可达到99 74 因此大于3倍标准差的信号几乎不存在 可以视为异常点 8 2数据预处理 当 该点即为奇异点 应剔除 a 剔除异点前的波形 b 剔除异点后的波形剔除疑点前后波形的形状 五 噪声与周期性干扰信号的消除1 有效频率以外的噪声与干扰信号的消除低通滤波器 去高频 高通滤波器 去低频 带通滤波器 去高低频 2 有效频率以内的噪声与干扰信号的消除带阻滤波器频域消除法 8 1数据预处理 概述 1 误差处理意义 误差是不可避免 1 对被测单个信号进行必要的去误差处理 更便于发现检测信息统计特征 找出实验数据的规律 2 对多路 多传感器检测信息去误差处理 更便于进行信息融合 实现目标识别 8 3随机信号去误差处理 2 误差的来源 1 测量装置误差 2 测量环境误差 温度 湿度 振动 3 测量方法误差 4 测量人员误差 3 减少误差的方法 1 从误差的来源方面去除 2 最终测量值 测量直接读数 修正值 3 测量方法 如 电桥法测电阻 采用正负磁场消除对电表指针印象 合理设计测量步骤和数据处理程序 8 3随机信号去误差处理 一 测量误差的定义 误差 测量值 真值真值 观测一个被测物理量 该量本身所具有的真实值大小 真值一般无法获取 除非有两种特殊情况 1 理论值 如 圆周360度2 约定真值 国际基准单位1千克 绝对误差 相对误差 8 3 1随机信号的误差 1 系统误差 在同样条件下 对同一物理量无限多次测量值的平均值减去该被测量的真值 系统误差的大小 方向恒定一致或按一定规律变化 2 随机误差 在同样条件下 对同一物理量的测量值减去无限多次测量的平均值 随机误差具有随机性 正负抵偿特性 3 粗大误差 明显超出限定条件下预期的误差 它是统计异常值 应剔除含有粗大误差的测量值 二 测量误差的分类 针对不同类型误差 采用不同的处理方法 1 采样频率很高 测量次数很多 对测量后信号中存在的随机干扰和粗大误差的处理 随机信号去误差处理 2 采样频率低 测量次数较少 添加测量信号中缺少点的处理 插值处理 3 由测量给定点的不精确数据求其精确数据 非线性补偿处理 8 3随机信号去误差处理 当测量次数n充分大时 对N次测量值取平均值 其数学期望为 被测量的真值是当测量次数n为无穷大时的统计期望值 算术平均值的标准误差为 由上式可见 测量值的算术平均值的标准误差是各测量值的标准误差 的倍 因此 以算术平均值作为检测结果 测量精度将随着采样次数的增加而提高 8 3 1 8 3 2 8 3随机信号去误差处理 8 3 2随机信号去误差的处理1 通过测量值求平均 减少随机误差 对系统输出值估算时 先对直接检测值算术平均 再按函数关系求测量结果的误差较小 比先对多个检测值按函数关系计算出每次采样结果 然后求采样结果的算术平均值效果好 再设 8 3 3 8 3 4 将 8 3 4 在真值X0附近展开泰勒级数 保留二次项得 8 3 5 8 3 6 2 先求直接测量值的平均 后求测量值的函数 减少随机误差 设 测量值 分析 当测量次数n较大时 8 3 5 可以认为 但 8 3 6 不可能为零 结论 当采样次数n不受限制时 可以认为平均值 因此应采用 1 标准误差是在采样次数n足够大得到的 但实际测量只能有限次 测量次数n如何确定 说明 实际测量中的有限次测量只能得到标准误差的近似值2 采用测量序列的剩余误差通过贝塞尔公式求标准误差的近似值3 采用近似值通过谢波尔德公式确定测量次数n 8 3随机信号去误差处理 3 测量次数n的确定以减少随机误差步骤 贝塞尔 Bessel 公式对于测量列 中的一次测量结果标准差有 剩余误差为 真差 由式 8 2 9 8 2 8 有 由此可推导出用剩余误差计算近似标准误差的贝塞尔公式 8 3 7 8 3 8 8 3 9 8 3 10 8 2 11 3 测量次数n的确定以减少随机误差2 利用贝塞尔公式求标准误差的近似值 谢波尔德公式a 给出了标准误差 近似误差以及检测设备分辨率之间的关系 b 当测量次数n增加 利用随机误差的抵偿性质 使随机误差的大小减小到与相近的数量时 测得到标准误差就趋于稳定 此时测量次数n为选定值 8 2 12 2 利用谢波尔德公式确定测量次数 一般n 10 20之间 粗大误差 或称疏失误差 是指显然与事实不符的误差 它对测量结果是一种严重的歪曲 这种误差主要是由于失误 系统过度疲劳 偶然故障 外界突发性干扰或系统内部故障等众多随机原因造成的 判断是否是粗大误差的两个准则 1 莱特准则 当N有限时 特别是当N 10时 采用莱特准则作为判据就不可靠了 即使在测量数据中含有疏失误差 也无法判定剔除 8 3 3粗大误差的剔除 2 格罗贝斯准则 略 设 对某一被测样品作等精度的多次独立检测 得到一个测量列 服从正态分布 则有 8 3 14 格罗贝斯统计量g的确切分布 即 8 2 15 为置信概率 通常取5 8 3 3粗大误差的剔除 2 格罗贝斯准则1 用查表法找出统计量的临界值 测量顶端值X1或Xn所对应的格罗贝斯统计量 2 判断 注意 1 对于次数较少的疏失误差剔除的准确性高 2 但每次只能剔除一个可疑值 8 2 16 例 对某种样品进行8次检测采样 测得长度值为Xi 8次测量结果由小到大排列顺序为 8次测量的平均值为 计算相应的剩余误差为 剔除疏失误差前的近似误差为 8 2 17 8 2 18 8 2 3粗大误差的剔除 由表看出 值得怀疑 由数值表查得 取 8 0 01 2 22于是有 因故为可疑值剔除 在余下的7个数据中 故余下7个测量数据中已无疏失误差值存在 后续计算时可用 疏失误差剔除对于提高虚拟仪器系统的一致性有很重要作用 一 最小二乘法及其应用某物理量有一组测量值为 则该物理量的最佳估计值a满足 剩余误差平方和为最小 即 8 3 23 8 3随机信号去误差处理 8 3 4平滑及拟合 重要 令 应用 例如 有一组测量值 xi yi 近似呈线性关系 求其拟合直线方程 设直线方程为y kx b 即求k b 使得 8 2 24 即可求得相应的k b值 最小二乘法及其应用例如 有一组测量值 xi yi 近似呈线性关系 求其拟合直线方程 即可求得相应的k b值 设直线方程为y kx b 使得 解 得 插值是用已知点测量值估计未知点的近似值 定义 测量到y f X 在一系列点X0 X1 X2 Xn处的函数值Y0 Y1 Y2 Yn 通过构造一个简单函数P X 作为y f X 的近似表达式 y近似等于 满足插值条件 Pn Xi Yii 1 2 3 n 其中 f X 称为被插函数 P X 称为插值函数 Xi称为插值节点 Yi称为插值条件 应用 1 系统采样频率的限制 2 为了节省硬件成本 以软代硬 3 远距离大量数据通信需要4 数据 图象解压缩 5 计算函数值 零点 极值点 导数 积分方法 1 拉格朗日插值法 2 牛顿插值法 3 样条插值法 8 2随机信号去误差处理 二 插值处理 1 拉格朗日插值拉格朗日插值就是求插值代数多项式 推导思路 两点一次插值 线性插值 多项式就是在满足求在n 1时的一次多项式P1 X 从几何上看 就是过两点 x0 y0 x1 y1 作直线y P1 x 用点斜式表示为 8 2 25 8 2 27 有如下性质 一般插值问题 已知n 1个互不相同的点X0 X1 X2 Xn处的函数值Y0 Y1 Y2 Yn 求次数不超过n的多项式Pn x 其系数Ln x 使 几何上就是求作n次曲线 使n 1个点 X0 Y0 X1 Y1 Xn Yn 通过该曲线 函数满足条件 8 2 29 于是函数y f X 的n次插值多项式 即拉格朗日插值多项式 简写为 8 2 31 拉格朗日插值多项式的误差估计 8 2 36 1 零次插值误差为 2 两点一次插值 线性插值 误差为 3 三点二次插数值 抛物插值 多项式 8 2 38 8 2 39 8 2 37 二 牛顿插值通过一组测量数据求表达该组数据的近似表达式 并通过该表达式求任意给定点的函数值 设已知函数y x 在点X0 X0 h X0 2h X0 nh上的函数值为 Y0 Y1 Y2 Yn 求满足插值条件的代数多项式 牛顿插值法的优点是运算次数少 节点改变时使用方便 另外 牛顿插值也可采用不等节距 牛顿插值是通过计算差商和差分实现的 具体步骤 一阶差分为 二阶差分为 三阶差分为 8 2 41 8 2 42 8 2 40 8 2随机信号去误差处理 一阶差商 8 2 43 二阶差商 8 2 44 8 2 44 8 2 45 牛顿插值n次代数多项式为 当增加一个节点时 牛顿插值公式只需增加一项 有如下递推公式 8 2 46 8 2随机信号去误差处理 例 对某种产品进行检测1 已知检测自变量电流I为 0 0 93 2 73 4 27 6 50对应的位移值M分别为 0 0 96 2 27 3 13 4 32 2 检测数据差商表 8 2随机信号去误差处理 8 2 47 3 四次牛顿插值多项式为 4 将各差商点及其差商值代入上式 8 2 48 8 2随机信号去误差处理 8 2 47 5 设 计算出相应的位移为 6 适用于采样频率不高 传输速率低 插值点数较少的场合 三 多项式插值 拉格朗日 牛顿插值 的缺陷与分段插值 例 已知区间 5 5 函数 分别取n 5 n 15 等距节点 时 拉格朗日插值多项式的图象在区间中部多节点比少节点逼近误差小 但在端点附近多节点插值反而变坏 Runge现象 经证明 当节点无限加密时 在两端的波动越来越大 拉格朗日插值多项式次数n与误差的关系 8 3随机信号去误差处理 分段样条插值分段样条实质上是分段多项式的光滑连接 条件 S x 在每个区间 Xj 1 Xj j 1 N 上是m次多项式 S x 及其直到m 1阶导在数 a b 连续则 S x 是关于分段 a X0 X1 X2 XN b的m次样条函数 当m 3时为常用的三次样条函数 1 三次样条函数插值已知函数y f x 在节点X0 X1 X2 Xn处的函数值等于Y0 Y1 Y2 Yn 求分段三次样条函数S x 在分段a X0 X1 X2 Xn b上都满足S xj yjj 1 2 N 且二阶导连续 则 S x 称为y f X 的三次插值样条函数 解法 因为 S x 子区间 Xj 1 Xj 是三次多项式 且光滑 表明它二级可导 假设已知 二阶导数代入拉格朗日插值公式 有 积分后得 两个未知参数Ci Di S x 保证了逐段三次插值 保证了在节点的连续性 S x 在节点处的二阶导数值M0 M1 MN实际上是未知数 求M关系式 用在节点的连续性求参数Mj 8 2 50 推得M关系式 8 2 51 3 端点条件M关系式是N 1个未知数的N 1个方程 通过端点可减少2个未知数1 给定M0 MN 2 在 X0 X1 与 XN 1 XN 上S X 为二次多项式 此时M0 M1 MN MN 1 3 特别可取M0 0 MN 0 此时称S X 为自然三次插值样条 例 已知Xi yi值如下表 求自然三次插值样条函数S X 设M0 M4 0 4 样条插值 8 2 52 8 2随机信号去误差处理 8 4 1开环非线性补偿算法 开环非线性补偿算法 把一个适当的非线性补偿环节 或称线性化环节 串接到测量通道中 使测量通道的输入 输出特性整体得到线性化关系 通常 X与U0为非线性关系 U0经线性调节放大为U1 所以X与U1之间仍为非线性关系 测量通道加入线性化环节 利用线性化环节本身的非线性特性来补偿 抵消 传感器环节的非线性特性 从而使测量通道的输入X与输出U2之间成为线性关系 称为非线性补偿 8 4非线性补偿 略 实际系统的特性函数通常为非线性 采用非线性补偿技术 使输出与输入关系呈线性关系 设计方法 1 设传感器环节输入 输出关系为 U0 f1 x 则放大环节输入 输出关系为 U1 a K U0其中K a均为常量线性化环节的输出为 U2 b S X由式 8 2 53 8 2 54 8 2 55 得通道输入 输出关系为 8 2 53 8 2 54 8 2 55 8 2 56 8 4 1开环非线性补偿算法 8 4非线性补偿 由 8 2 55 可确定线性化系统的输入与输出关系 例 如对镍铬 考铜热电偶 镍铬 考铜热电偶开环非线性补偿 已知热电偶的解析表达式为 其中 a b均为常数 可求出 T为温度 Et为热电势若Tmax 400度 则 8 2 57 8 2 58 放大环节的表达式为 U1 K Et测量通道的输入 输出特性要求为 U2 S T由上式得线性补偿环节的输入 输出关系表达式为 8 2 59 其中 K a b S均为已知常数 函数关系唯一确定 8 4非线性补偿 传感器为非线性环节 调节放大环节的放大倍数足够大 反馈网络为非线性环节 利用它的非线性特性可以补偿传感器的非线性 使测量通道的输入 输出特性具有线性关系 U2与X 采用闭环式线性化的关键 1 根据已知的传感器非线性特性和测量通道的线性特性求出非线性反馈环节的非线性特性 2 根据非线性反馈环节的非线性特性 设计非线性反馈网络 8 4 2闭环非线性补偿算法 8 4非线性补偿 设计闭环非线性补偿的算法 设 传感器的输入 输出特性为 U1 f1 x 放大器的输入 输出特性为 U2 K U测量通道输入 输出特性为 U2 S x由上图有方程组 由方程组得 闭环非线性补偿结构框图 8 2 60 一个具有非线性的传感器敏感元件或系统特性的级数表示形