总进度文献综述

1、北京化工大学毕业设计（文献综述）文献综述基于旋转门压缩算法的流程工业时序数据存储程序实现班级：自控1105 学号：2011014151 姓名：顾扬 指导老师：于涛摘要：基于旋转门（SDT）压缩工业时序数据存储在工业生产中是应用较为普遍的数据压缩存储方式，采用基于旋转门压缩算法可以很好的提高数据压缩效率和存储精度。旋转门算法是一种比较快速的线性拟合算法，常常用于实时数据库中对数据进行压缩，使存储容量大大的减少。旋转门算法作为线性拟合的一种简便算法，具有效率高、压缩比高、实现简单、误差可控制的优点，现在已成为一种专门算法。基于旋转门压缩算法的数据存储具有很大的发展前景。关键词：旋转门（SDT）；流

2、程工业；数据存储Abstract: Process industry time-series data storage based on Swinging door compression lgorithm is applied in industrial production of common data compression storage model, based on the Swinging door compression algorithm can well improve the efficiency of data compression and storage preci

3、sion. Swinging door algorithm is a relatively fast linear fitting method, often used in real-time database data compression, reduce storage capacity greatly. Swinging door algorithm as a simple linear fitting algorithm, and has high efficiency, high compression ratio, the advantages of simple implem

4、entation, error can be controlled, has now become a specialized algorithm. Data storage based on Swinging door compression algorithm has great prospects for development. Key words: Swinging door(SDT), Process industries, Data Storage引言流程工业是指在我国国民经济中占有重要经济地位的石化、炼油、化工、治金、制药、建材、轻工、造纸、采矿、环保、电力等工业行业，并且流程

5、工业在生产控制过程中会产生海量数据，因此如何解决流程工业时序数据存储问题是非常关键的。因此在先进的工业实时数据库存储中广泛采用数据压缩技术。目前，压缩算法通常采用旋转门压缩算法、基于斜率比较的旋转门压缩算法和死区限值压缩算法1-3，其中，比较流行的是旋转门压缩算法4，该算法是通过减少存储数值的数量来实现压缩，对于过程数值的压缩率有限且不适用于数据值分布不均匀的压缩场合。数据压缩技术普遍面临两个关键问题：首先，压缩算法必须能够提供较高的数据压缩率以支持实时数据库海量存储的特点；其次，实时数据库的实时记录和查询功能要求压缩算法在压缩和解压缩两个过程都必须具有较好的速度性能，尤其在解压过程中。这两个

6、问题的解决是相互矛盾的，因此，在实时数据库中应用数据压缩技术必须找到两者恰当的平衡点。1 实时数据库及数据压缩算法数据库理论和技术的发展极其迅速，应用日益广泛。以关系型为代表的三大经典(层次、网状、关系)型数据库在理论和技术方面已经比较成熟，在传统的应用领域，尤其是商务和管理的事务型应用方面取得了极大成功。然而随着软硬件技术的发展，计算机应用的深入，产生了许多新的应用领域，对数据库系统提出的新的要求，由此产生了一大批新的数据库技术，实时数据库就是其中之一5-7。数据库技术发展很快，使用范围很广，以数据模型的发展演变作为依据和标志可以将数据库技术分为三个阶段8-10。第一代数据库系统是指层次和网

7、状数据库系统，它们的数据模型都是格式化数据模型。第二代是支持关系数据模型的关系数据库系统，关系模型建立在严格的数学概念基础上，概念简单、清晰，易于用户理解和使用，因此在实际的应用中获得极大的成功。第三代的数据库系统将是以更加丰富的数据模型和更强大的数据管理功能为特征，从而满足传统数据库系统难以支持的新的应用要求。实时数据库系统首先要提供高速的数据采集和数据处理。在整个流程企业所集成的数据采集点数通常有几千到十几万，数据采集间隔要达到秒级，数据量很大。因此，各个设备和流程的实时信息要被存储在内存中，保证每秒钟大量的数据存储和读取速度。当数据写入数据缓冲池前，需要进行压缩处理，以确定当前的数据点是

8、否需要存人数据库文件中。为了确保高效的数据存储，在一定的精度指标下，尽量减少数据的存储。为了提高磁盘存储效率必须对历史数据进行数据压缩。系统不仅要求有较高的压缩率，同时也要有快速的、高精度的数据解压，这就要求系统能够提供有效的历史数据压缩算法。过程数据的压缩方法有3类：分段线性法，矢量量化法以及信号变换法。其中，分段线性法的优点突出，算法精炼，执行速度快，应用也最为广泛。对分段线性法的研究有：文献11提出的矩形波串法和后向斜率法；文献4提出的旋转门趋势(Swinging Door Trending，SDT)算法l文献12提出的PLOT法。压缩过程包括：数据预处理对数据序列中的噪声点进行平滑处理

9、，以减少传感器测量误差带来的影响。接下来根据不同的数据类型进行压缩，开关量和整型量采用较为成熟的变化压缩算法，压缩的同时保证了数据的准确性；模拟量是主要的过程数据存储类型，有一定的变化规律。如图1所示，以数据点1为起始点，在垂直方向上距离数据点1为E的地方有两个支点。两个支点和过程数据之间的连线U，L构成了两扇虚拟的以支点为轴的“门”。算法开始时两扇门都是关闭的。在算法执行过程中两扇门只能开启不能关闭。对采集到的每个数据点，作以下处理： 如果上支点和当前数据点连线的斜率大于u的斜率，逆时针旋转U使U穿过新的数据点； 如果下支点和当前数据点连线的斜率小于L的斜率，顺时针旋转L使L穿过新的数据点；

10、 否则维持原状。图1、SDT算法操作示例当U的斜率大于L的斜率时，结束当前轮压缩，以当前数据点为起始点开始新一轮的压缩。图1中，在处理完数据点7后，U的斜率大于L的斜率，结束当前轮压缩，以数据点7为起点开始新一轮的压缩。一轮压缩结束后，算法需要记录压缩区间的起点和终点，数据用来在解压缩时进行数据重建。为了减小压缩误差，记录压缩区间终点时一般不直接记录终点处的原始数据，而是记录在处理完压缩区间终点时直线U，L在终点处函数值的均值(例如图1中M处的y值)。SDT算法在压缩时，一般是对每个测点产生的数据分别压缩。这样，如果某测点数据变化很慢可能会出现一轮压缩持续时间过长的现象，这就无法保证在线趋势提

11、取的实时性。为了避免此类情况发生，预先设定强制记录限FSRL(Forced Storage-RecordingLimit)。一旦当前压缩区间的长度达到FSRL，就强行结束当前轮压缩并重新开始一轮压缩13。如果所有数据都需要相同的存储空间，则SDT算法的压缩比CR(compression ration)为14:SDT算法本质上是一种利用直线对过程数据进行拟合以实现数据压缩的算法。容易证明，SDT算法中记录限E是用户能容忍的最大误差。SDT算法可以在最大误差不超过E的条件下，找到尽可能最长的直线趋势。由于SDT算法中的拟合直线经过压缩区间起始数据点，拟合直线的斜率是唯一的未知量。SDT算法的执行过

12、程就是确定拟合直线的斜率的过程。事实上，SDT算法可以看成求解在压缩误差不超过记录限E的条件下令每轮压缩生成的压缩区间最长的拟合直线的斜率问题的一种解法。2 基于旋转门算法的实时数据存储应用工业实时数据库广泛采用数据压缩技术。目前，压缩算法通常采用旋转门压缩算法、基于斜率比较的旋转门压缩算法和死区限值压缩算法。其中，比较流行的是旋转门压缩算法，该算法是通过减少存储数值的数量来实现压缩，对于过程数值的压缩率有限且不适用于数据值分布不均匀的压缩场合。在国外，PI、ESPiSYS、Industrial SQL Server和InfoPlus.21实时数据库采用的都是旋转门压缩算法，Intellufi

13、on Dynamics iHistorian同时采用旋转门和死区限值两种压缩算法。在国内，中国科学院软件研究所开发的Agilo实时数据库系统应用于海湾智能建筑组态管理系统和中国石油华北炼油厂生产管理系统中，采用基于斜率比较的旋转门压缩算法15。浪潮软件公司设计和开发的移动专用实时数据库LCMD(LangChao Mobile Database)采用基于斜率比较的旋转门压缩算法。数据压缩技术面临两个关键问题：首先，压缩算法必须能够提供较高的数据压缩率以支持实时数据库海量存储的特点；其次，实时数据库的实时记录和查询功能要求压缩算法在压缩和解压缩两个过程都必须具有较好的速度性能，尤其在解压过程中。这

14、两个问题的解决是相互矛盾的，因此，在实时数据库中应用数据压缩技术必须找到两者恰当的平衡点。在分析旋转门压缩算法和基于斜率比较的旋转门压缩算法原理的基础上，针对钢铁企业轧钢生产过程对实时数据库中数据压缩的要求，提出了比例压缩算法和改进的基于斜率比较的旋转门压缩算法。新算法是两者的结合，提高了数据压缩率和压缩解压缩速度和性能。3 结论基于旋转门压缩算法的流程工业时序数据存储程是必然的发展趋势。随着工业发展的越来越现代化，所需要记录和存储的数据量也就越来越多，因此对于数据存储的方式研究也就越来越重要，随着近些年旋转门数据压缩算法的研究和使用，使得该算法也愈加趋向成熟，当然其中还存在着非常大的发展空间

15、，因为在未来工业生产中会产生更大的数据量，如何有效的将该压缩算法应用在其中，还需要不停的改进。但是由此我们可以看出旋转门压缩算法的重要性和发展潜力。参考文献吴文传，张伯明，王鹏一体化系统的分布式实时数据库管理系统J中国电力，2003，33(10)：8589高宁波，金宏，王宏安历史数据库实时压缩方法研究J计算机工程与应用，2004，28(8)：167173康荣学，张优云，贾海波远程试验系统中的数据压缩研究J小型微型计算机系统，2003，24(5)：884886Bristol E H, Swinging door trending: adaptive trend recording?CProcee

16、dings of ISA National Conference,S l : IEEE Press,1990: 749-753赵光煜，赵平实时数据库的现状及发展趋势J天津农学院学报，2002，9(3)：5052BEN KAO，KAM-YIU LAMMaintaining Temporal Consistency of Discrete Objects in Soft Real-Time Database SystemsJIEEE Transactions on Computers，2003，52(3)：373-388MARIA LBPERKUSICHObject-Odented Real-Ti

17、me Database Design Based on Petri NetsJIEEE，1 998：202-207LEI ZHOU，ELKE ARUNDENSTEINERSchema Evolution ofan Object-Oriented Real-Time Database System for Manufacturing AutomationJIEEE Transactions 011 Knowledge and Data Engineering，1997，9(6)：956977JoHN ASTANKOVIC，SANG HSON，CHI DNGUYENThe Cogency MonitorAn External Interface Architecture For a Distributed Object-Oriented Real-Time Database SystemJIEEE，2003：1 2221 226叶彤，吴钦章，蒋平实时数据库的应用研究J光电工程，2004，31(6)：7072Hale J C,Sellars H L.Historical Data Recording for