数据处理技术数据处理技术课件

1、第四章 数据处理技术华中科技大学主要内容一、 数据处理技术概述 二、 标度变换处理与程序设计三、 数字滤波及其程序设计四、数字线性化技术与程序设计五、零点漂移与增益误差处理六、控制技术及其算法 七、相关测量及其算法 一、数据处理技术概述 数据是信息的核心。通过信号的变换（包括解密、解码、解调等）求得测量数据，就解决了信息获取的关键问题。数据处理是含义广泛的术语，可指信号变换处理，也可指由表及里、求真求是的进一步处理。智能仪表的数据处理当然要用数字信号处理形式。数字信号处理（DSP-Digital Signal Processing）已有几十年的发展历史，已建立起一套较成熟的理论基础。智能仪表的

2、数据处理首先是指对测量数据作一些基本的处理，诸如信号的平均、平滑、微积分、换算、线性化、比较、判断，以及显示、控制等 。一、数据处理技术概述 智能仪表的数据处理其次是指频谱分析、相关计算、统计与评估等较复杂的分析计算。 虽然传统的仪表也能进行信号处理，也能做算术运算，对数、指数运算，微分、积分运算以及滤波、线性化等处理，但必须用复杂的模拟电路或数字电路才能完成。与这些常规的方法相比，智能仪表的数据处理具有如下突出优点： 用程序代替各种电路进行运算处理，可简化硬件，降低成本，提高可靠性； 数据处理精度高、综合性强； 可以进行硬件电路很难实现的信号处理（如数字滤波、极性相关处理等其它统计处理）；可

3、根据对象的变化和外界的情况改变处理方法，实现智能处理。 云计算和数据库数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的使用。在信息化社会，充分有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件。数据库技术是管理信息系统、办公自动化系统、决策支持系统等各类信息系统的核心部分，是进行科学研究和决策管理的重要技术手段。云计算和数据库数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。这种数据集合具有如下特点：云计算和数据库（1）尽

4、可能不重复；（2）以最优方式为某个特定组织的多种应用服务；（3）数据结构独立于使用它的应用程序；（4）对数据的增、删、改、查由统一软件进行管理和控制。云计算和数据库数据库的基本结构分三个层次，反映了观察数据库的三种不同角度。以内模式为框架所组成的数据库叫作物理数据库。以概念模式为框架所组成的数据叫概念数据库。以外模式为框架所组成的数据库叫用户数据库。数据库不同层次之间的联系是通过映射进行转换的。云计算和数据库云计算和数据库（1）物理数据层：它是数据库的最内层，是物理存储设备上实际存储的数据的集合。这些数据是原始数据，是用户加工的对象，由内部模式描述的指令操作处理的位串、字符和字组成。（2）概念

5、数据层：它是数据库的中间一层，是数据库的整体逻辑表示。指出了每个数据的逻辑定义及数据间的逻辑联系，是存贮记录的集合。它所涉及的是数据库所有对象的逻辑关系，而不是它们的物理情况，是数据库管理员概念下的数据库。（3）用户数据层：它是用户所看到和使用的数据库，表示了一个或一些特定用户使用的数据集合，即逻辑记录的集合。关系型数据库在现代的计算系统上每天网络上都会产生庞大的数据量，这些数据有很大一部分是由关系数据库管理系统来处理的。1970年 E.F.Codd提出的关系模型数据库的论文 A relational model of data for large shared data banks，使得数据

6、建模和应用程序编程更加简单。数据库准则关系数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。现实世界中的各种实体以及实体之间的各种联系均用关系模型来表示。一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。通过应用实践证明，关系模型非常适合于用户服务器编程，是结构化数据存储在网络和商务应用的主导技术。数据库准则当前主流的关系型数据库有Oracle、DB2、PostgreSQL、Microsoft SQL Server、Microsoft Access、MySQL、K-DB等。关系模型是由埃德加科德（EdgarF.Codd）于1970年首先提出，

7、由关系数据结构、关系操作集合、关系完整性约束三部分组成。埃德加科德（EdgarF.Codd）提出的“科德十二定律”是数据存储的传统标准。数据库准则准则0：一个关系形的关系数据库管理系统必须能完全通过它的关系能力来管理数据库。准则1：信息准则，关系数据库管理系统的所有信息都应该在逻辑一级上用表中的值这一种方法显式的表示。准则2：保证访问准则，依靠表名、主码和列名的组合，保证能以逻辑方式访问关系数据库中的每个数据项。准则3：空值的系统化处理，全关系的关系数据库管理系统支持空值的概念，并用系统化的方法处理空值。数据库准则准则4：基于关系模型的动态的联机数据字典，数据库的描述在逻辑级上和普通数据采用同

8、样的表述方式。准则5：统一的数据子语言，一个关系数据库管理系统可以具有几种语言和多种终端访问方式，但必须有一种语言，它的语句可以表示为严格语法规定的字符串，并能全面的支持各种规则。准则6：视图更新准则，所有理论上可更新的视图也应该允许由系统更新。准则7：高级的插入、修改和删除操作，系统应该对各种操作进行查询优化。数据库准则准则8：数据的物理独立性，无论数据库的数据在存储表示或访问方法上作任何变化，应用程序和终端活动都保持逻辑上的不变性。准则9：数据逻辑独立性，当对基本关系进行理论上信息不受损害的任何改变时，应用程序和终端活动都保持逻辑上的不变性。准则10：数据完整的独立性，关系数据库的完整性约

9、束条件必须是用数据库语言定义并存储在数据字典中的。准则11：分布独立性，关系数据库管理系统在引入分布数据或数据重新分布时保持逻辑不变。准则12：无破坏准则，如果一个关系数据库管理系统具有一个低级语言，那么这个低级语言不能违背或绕过完整性准则。数据库准则实体关系模型是Peter P.S Chen在关系模型的基础上，于1976年提出的一套数据库的设计工具，他运用真实世界中事物与关系的观念，来解释数据库中的抽象的数据架构。实体关系模型利用图形的方式来表示数据库的概念设计，有助于设计过程中的构思及沟通讨论。ACID原则（1）原子性A(Atomicity)：事务里的所有操作要么全部做完，要么都不做，事务

10、成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。如银行转账，从A账户转100元至B账户，分为两个步骤：从A账户取100元；存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。ACID原则（2）一致性C(Consistency)：数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。例如现有完整性约束a+b=10，如果一个事务改变了a，那么必须得改变b，使得事务结束后依然满足a+b=10，否则事务失败。 一、数据处理技术概述 智能仪表对数据处理的要求 功能 精度 速度近年来，随着VLS

11、I技术的发展，出现了一批高速的专用单片数字信号处理器件芯片，特别适合于在智能仪表中使用，Texas仪表公司新近推出的TMS320C6000系列DSP，基于TMS320C6000平台的32位浮点DSP处理器： 时钟频率最高可达到1.1GHz 包含两个通用的寄存器组A和B 8个运算功能单元 六个算术逻辑单元 在现代测量中，数据处理必然包括数值计算，因此智能仪表常常采用逻辑运算和算术运算乃至分析运算的方法进行必要的数据处理。本节主要介绍逻辑运算技术及其程序设计。二、标度变换与程序设计 逻辑运算是简单而又十分有用的一种数据处理手段，智能仪表常用它进行极值判别与报警，测量范围分段，根据测量结果对物体进行

12、分选控制等工作。例如进行极值判别时，仪表先对数据采集的结果进行适当处理，然后将处理结果与预先设定的上、下限极值（极大值和极小值）进行比较，如果测量结果超过预定的极值，微机将转而执行报警处理程序，使仪表产生声、光报警和保护措施。 二、标度变换与程序设计 1极值判断、分段测量技术1极值判断、分段测量技术下面是一段极值判断程序 CONSEQU 40H 测量结果存放寄存器 DZEROEQU 4008H 设定极限值存放单元地址 FULLEQU 400AH ALARM: LD AX, DZERO0 取设定的下限值 CMPCONS, AX 比较测量结果与设定下限 JNHCLOW 小则转越下限报警程序 LD

13、AX, DFULL0 CMPCONS, AX JH CHIGH 采取量程分段和自动量程处理技术时，各量 程段的上、下限值的确定值得设计者注意。确定 各量程段上、下限值的原则是能提高数据采集的 分辨率，保证测量的应有精度。 二、标度变换与程序设计二、标度变换与程序设计 1极值判断、分段测量技术 下面是量程处理程序框图图4.1二、标度变换与程序设计 1极值判断、分段测量技术 进行生产加工测量和标定工作时，常常要先判断工件和被标定设备是否到位，到位后再进行数据采集。工位测量可由光电开关完成，仪表根据光电开关输出的信号，即可判别工件是否到位。多个工位的光电开关输出信号将组成一个多位二进制的位置判别信号

14、，仪表通过测位指令，或比较指令，即可以确定位置情况，从而转入相应的处理程序。工业过程的各种被测量不仅量纲不同，其数值 变化范围往往也相差很大。为了数据采集，不管用 何种传感器测量何种被测量所得的信号，都要处理 成与A/D转换器输入特性相匹配的电压信号（如0 5V） ，然后经过（例如8位）A/D转换后才能成为 （例如000FFH）数字量进入仪表的微型计算机。 为使仪表的显示、记录、打印等结果能反映被测量 的实际数值，就必须对A/D转换后的数字信号进行 变换。这种测量结果的数字变换就是标度变换。 二、标度变换与程序设计 2标度变换及其程序设计 (1)线性仪表的标度变换对于具有线性特性的仪表，其标度

15、变换可用如下公式表示： 二、标度变换与程序设计 2标度变换及其程序设计 AX为实际测量值； Am为测量上限； A0为测量下限； NX为实际测量值所对应的数字量； Nm为上限所对应的数字量； N0为下限所对应的数字量。 式中式4-1一般测量下限A0所对应的数字量N0为0，即N0=0，这样式（4-1）可简化为： 式42二、标度变换与程序设计 2标度变换及其程序设计 例如某热处理炉温度测量仪表的量程设定为200800，在某一时刻仪表进行数据采集所得结果为CDH (8位)。按标度变换公式（4-2）可知，A0=200, Am=800,Nm=FFH, NX=CDH，因此通过标度变换计算可以确定此时的温度为

16、：标度变换需要进行加、减、乘、除算术运算。为了实现上述运算，可以设计一个专用的标度变换子程序，需要时调用这一子程序即可。变换运算中所需常数可由程序到存储器中约定单元提取。例如约定A0 、Am 、 A0 、 Nm 分别存放在以符号ALOWER、AUPPER、NLOWER、NOPPER表示的内存单元中，和分别存放在符号SAMP、DATA表示的单元中，于是可用图4.2所示程序框图设计程序进行适合式（4-1）的标度变换。程序全部采用字型操作数指令。 二、标度变换与程序设计 2标度变换及其程序设计图4.2(2)非线性测量的标度变换 当测量传感器的特性为非线性时，仪表进行标度变换就不能再用式（4-1）或式

17、（4-2）了，而必须根据具体情况确定标度变换公式。例如流量与差压的关系为：二、标度变换与程序设计 2标度变换及其程序设计 那么，根据差压变送器的信号进行数据采集的结果与差压呈线性关系，与流量就不是线性关系，因此不能用线性标度变换公式计算流量。由于差压变送器的输出信号与差压间有线性关系NX=Cp，因此用数据采集的结果（数字量）代表差压时可将系数1/C（p=NX/C）移出与k合并为K0这样，将p作为一个复变量，利用两点式方程建立方法，有式43二、标度变换与程序设计 2标度变换及其程序设计可得差压式流量测量时的标度变换公式为： 式44式中，QX为实测流量值； NX为实际测得数据； QM为测量上限；

18、NM为与上限对应的数字量； Q0为测量下限； N0为与下限对应的数字量。 如果下限取0，即Q0=0, N0=0，则式（4-4）变为:式45 根据式（4-5） ，可绘出流量标度变换的程序框图: 二、标度变换与程序设计 2标度变换及其程序设计图4.3 说明:非线性测量的标度变换也是一种线性化措施。只要有确定的输入、输出非线性特性模型，通过变换计算，就能获得正确的被测量，这相当于进行了线性化处理。三、数字滤波及其程序设计 工业过程测量环境十分恶劣，干扰源很多，如大型动力设备、动力输电线路、变压器等造成的电磁场干扰、环境温度大幅度变化、安装位置发生振动等引起的干扰；另外从传感器、变送器到其它仪表之间有

19、相当一段距离，电磁干扰信号难免地会从电源、输入通道、输出通道、空间等途径混入仪表。为了消除或减轻干扰的影响，常规模拟仪表大都采用了模拟滤波的措施。智能仪表也要采用这种滤波方式。为了提高滤波性能，还应该采用数字滤波的方法，即采用模拟滤波和数字滤波相结合的技术。 工业仪表，必须经受各种恶劣环境的考验，克服来自信号源、电源、传感器与检测电路内部以及输入输出通道带来的噪声和干扰的影响。为了提高可靠性和测量精度，数字滤波及其它数字处理技术是常采用的有效措施。 与传统模拟滤波相比，数字滤波有几个突出优点： 不要增加硬件设备，只要在适当的时候附加一段数字滤波的程序，就可提高性能价格比，对于滤波要求不同的多通

20、道测量，这一优点更突出。 数字滤波不用硬件，因此稳定性和可靠性高，不存在阻抗匹配问题。 改变参数、选择不同的滤波方式均很方便、灵活，并可以对模拟滤波无能为力的低频干扰进行滤波。三、数字滤波及其程序设计 数字滤波的效果亦可用信号噪声改善比SNIR表示，即输出信噪比SNRO与输入信噪比SNRI之比， ， 或 。若滤波器为单位增益(S0=S1)，输入白噪声带宽为Bn1，输出噪声带宽为Bn0，则 可见，滤波器带宽愈窄，信号噪声改善比愈大，滤波效果愈好。三、数字滤波及其程序设计 大多数作为“噪声”来处理的信号，其振幅和相位随时间变化是不规则的。为了确定这种不规则波形的性质，需采用统计方法进行分析。时间平

21、均和总体平均都是基本的统计方法。时间平均是对一个不规则的波形在充分长的时间内进行平均。对于图4.4所示的波形x1(t)，其时间平均图4.4 不规则波形的时间平均和统计平均式4-6三、数字滤波及其程序设计 1噪声的分析方法和分类 总体平均是对多个在完全相同条件下测得的不规则波形在某个时刻进行平均。对于图4.4所示的x1(t)、x2(t)、xn(t)波形，它们在t1时刻的总体平均如下： 根据噪声的统计分析结果，可以按图4.5将其分类图4.5 噪声的分类式4-7三、数字滤波及其程序设计 1噪声的分析方法和分类 时间平均和总体平均描述了随机信号的平均水平(即静态分量)，而方差则描述了随机信号波动情况(

22、即动态分量)。方差表示如下： 自相关函数描述了随机信号在相隔时间为的各信号成分间的相关程度。自相关函数表示如下： 式4-8式4-9三、数字滤波及其程序设计 1噪声的分析方法和分类 叠加平均法：如果噪声的频谱高于或低于测量信号的频谱，则用一般模拟滤波技术足可以将测量信号从噪声中分离出来。如果二者频谱相互重叠，则模拟滤波技术已无能为力。这时用时域信号的平均技术可以明显提高信噪比。在相同条件下进行多次重复测量，然后进行叠加平均处理，这就是叠加平均法。 叠加平均法包括功率平均和总体平均。若扰动是随机的，信号有重复特性（周期信号），且二者互不相关，则在多次测量值的叠加过程中噪声会相互抵消，测量值的平均值

23、将趋于被测量的真值。三、数字滤波及其程序设计 2叠加平均（总体平均）滤波法 设被测量时间信号为S(t)，随机噪声也用一个随机函数n(t)表示。这样，混有噪声的时间信号可以表示为 。取样间隔为T，则第i个取样点的第k次取样值为 共重复测定m次，即对第i点取样m次，采用线性叠加平均后有 输出信号幅度在m次叠加后为输入的m 倍，而随机信号由于其随机性应按矢量叠加，m 次叠加的强度之和为 即 。显然m次叠加平均前，信号噪声比为S/n, m次平均后信噪比为式410式411式412三、数字滤波及其程序设计 2叠加平均（总体平均）滤波法 比较二者可知，经处理后信噪比提高了 倍，它与重复测量次数m有关，m愈大

24、，信噪比提高愈大。这种方法要求用同步信号触发采样信号的起始点。这样，输入信号周期（重复）部分在每个时间记录波形中总是完全相同的，而白噪声在每个时间采集波形上总是变化的，同步采集的波形叠加起来就可恢复并记录一个完整的信号波形。但多次同步测量，麻烦费时，严重限制了这种技术的应用。 叠加在直流缓变信号上的随机噪声往往是各态遍历的，其时间平均与总体平均一样，随叠加平均次数的增加而趋于减小，而有用信号短时间内将基本不变。因此，对采样信号进行时间平均数据处理的技术，类似于在相同的条件下对被测量进行多次测量，然后以数学期望作为近似真值的实验数据处理技术。三、数字滤波及其程序设计 2叠加平均（总体平均）滤波法

25、 （1） 算术平均滤波程序 将顺序m次采样值相加，取其算术平均值作为一次采样真值，即 可以采取采样一次累加一次的方法求和，即DX(DX+SAMP)，也可以在连续采样中将结果依次存入数据缓存器（区），达到实际次数再集中求和并平均。m取决于平滑度、速度和灵敏度，因为随m值的增大，平滑度可提高，但速度降低，灵敏度降低。采样次数m太小则效果不明显，滤除脉冲干扰的效果不好。还应注意，若取m=2n，则除法运算转成二进制数的逻辑右移，可提高处理速度。式413三、数字滤波及其程序设计 3几种常用的静态滤波算法 (2) 中值滤波程序 中值滤波就是对某一被测量连续采样n次（一般为奇数次），然后将n个采样数据进行排

26、序，而取中间值作为本次采样真值。 程序框图如图4.6所示。程序的主要工作是清单排序，要占用比较多的时间。此滤波程序对消除脉冲性质的干扰影响比较有效。如果时间允许，可在排序后将最大和最小的n个数去掉，再求剩余数据的算术平均值。 图4.6三、数字滤波及其程序设计 3几种常用的静态滤波算法 (3) 加权平均滤波程序 为了提高滤波效果，将各采样值取不同的比例，然后相加得一次采样真值，这称为加权平均法。一个n项加权平均式为 式中，C0、C1、Ci、Cn-1为常数， i=0,1, n-1，并满足下列关系： 一般，i取值愈大， Ci取的权重愈大，这样可增加新的采样值在平均值中的比重。这种方法可以根据需要，突

27、出信号的某一部分，抑制信号的另一部分。式414式415三、数字滤波及其程序设计 3几种常用的静态滤波算法 (4) 程序判断滤波程序 由于采样周期很短，而被测量变化缓慢，根据测量经验，可以确定出两次采样信号之间可能出现的最大偏差值。数据采集后，对偏差值进行判断，若超过此值，则认为新采样输入信号为干扰严重信号，应该舍去，若偏差小于此值，则将后一次采样结果作为有用信号。可用式子表示如下： 式中，y(k)为第k次采样值；y(k-1)为第k-1次采样值；y为两次采样值之间允许的最大偏差值，根据采样周期T、信号幅度的变化情况等决定。式416三、数字滤波及其程序设计 3几种常用的静态滤波算法 (4) 程序判

28、断滤波程序 图4.7是程序判断滤波程序流程框图。图4.7三、数字滤波及其程序设计 3几种常用的静态滤波算法 理论上讲，频带很窄的带通滤波器可以从强躁声中提取微弱信号，但要求滤波器的中心频率与信号频率相同。当滤波器已经确定，而信号频率发生变化时，效果就会发生变化。 白噪声的自相关函数除=0点外均为0，而确定性信号在所有的位移时间上都存在自相关函数，因而自相关函数可用于检测有随机噪声的确定性信号。设确定性信号为x(t)，随机躁声信号为(t)，两者为叠加关系，即信号叠加躁声后为：式417三、数字滤波及其程序设计 4自相关滤波法 取其自相关函数: 式中，Rxv和 Rvx为信号与躁声、躁声与信号的互相关

29、函数，若信号与躁声不相关（彼此独立），则这些互相关函数为零，因此 又因： 得到： 式418式419式420三、数字滤波及其程序设计 4自相关滤波法 对于有n个采样点的X(j), j=1, 2, , n, 其自相关函数为： 如将原始数据用数值D(J)表示，结果用数值R(I)表示，用程序计算相关函数的式子为： 式421式422三、数字滤波及其程序设计 4自相关滤波法 图4.8所示的是用该程序对一个叠有噪声的正弦波进行自相关计算处理的情况。结果说明，噪声除t=0以外的自相关函数均为0，周期信号的自相关函数仍为周期信号，从而滤除了噪声，保留了周期信号。图4.8三、数字滤波及其程序设计 4自相关滤波法相关滤波器性能实验测试平台三、数字滤波及其程序设