实时数据库和历史数据库

实时数据库实时数据库系统体系结构设计和描述作为流程工业自动控制系统的综合数据平台，实时数据库在企业生产信息的集成、存储和处理环节均起着关键作用，是流程工业信息化的核伯基础设施。实时数据库具有强大的多源异构数据采集接口，优异的实时数据存储与巧问性能，高效的历史数据压缩与条件检索能力，以及数据与服务的高可靠性和高可用性。关系数据库服务器应用服务器设备管理安全管理调度管理实时管理作站工作站工作站工作站工关系数据库服务器应用服务器设备管理安全管理调度管理实时管理作站工作站工作站工作站工工作站DCS化工、石化工作站工作站DCS化工、石化工作站SCADA 机台长输管线智能仪表HMIPLC密炼、准备、成型图1.1实时数据库在流程工业信息化架构中的定位由图1.1可见，实时数据库位于流程工业信息化架构中的MES层，对PCS层的工业现场过程数据进行实时采集、可靠存储和高效处理，为同层的实时管理、调度管理、设备管理、安全管理等应用提供高效的数据服务。工程数据系统分析流程工业的实时数据库中需要管理的数据有:位号实时数据、位号的历史数据、服务器信息、位号的属性信息、系统状态信息、角色权限信息、批次信息、计算结果信息等。主要的时态关系包括服务器的有效性和位号的有效性位号的暂态属性；实时数据和历史数据的时态，位号的有效性和相关实时数据和历史数据的有效性系统的暂态信息服务器的状态信息等。这些数据之间的关系如图1.2所示。服务器j——r服务器属性I 1自定义组位号代 其他索引位号属性 实时数据 内存历史数据图1.2实时数据库系统功能数据模型现存实时数据库系统数据管理模型分析目前现存的一些实时数据库产品有Wonderware公司的IndustrialSQLServer\AspenTech公司的InfoPlus、HoneyWell公司的UnifomreneepHD、OSI公司的PI等。它们的实时数据库模型主要采用如下两类方法来建模。使用关系数据库的数据模型这种数据模型可以方便地表达复杂的逻辑关系,但是关系数据库很难支持对数据对象的描述，其查询和访问速度也很难满足高实时性的要求。W6ndersare公司的nldusitralsQLsverer就是这样的一个实时关系数据库系统。按照传统的功能模块式的数据管理模型这种方式在数据管理上,它根据功能的需要添加相应的数据单元管理模块,根据需要与其他模块建立联系。这种方式使得各种数据单元模块清晰,在一定程度上方便了扩展。但是,模块之间关系复杂,同实时数据库的事务处理的模型很难集成,因而实时数据库事务的处理实现更加复杂。目前普遍使用的是这种方式。位号映射模型在位号的数据管理模型中,我们采用位号映射的方法来组织管理各种位号数据。基于流程工业需求的考虑,我们将位号分为4类:源位号、目标位号、虚拟位号、无源位号。这些位号的逻辑关系和存储结构如图1.3所示。1.3位号映射结构数据设计根据流程工业的需求我们首先确定位号属性、服务器属性、实时数据中包含的内容等(这里只列出主要的信息项)。参见表1.1-1.3：

表1.1服务器属性表服务器静态属性和定义描述服务器名称服务器节点名服务器PROGID服务器描述接口软件名称节点名称节点ID接口软件类型服务器类型服务器句柄服务器运行状态服务器运行状态标志服务器的启动时间当前时间上次更新的时间服务器状态服务器名称，具有唯一性服务器节点名，具有唯一性服务器PROGID,具有唯一性服务器描述接口软件名称，具有唯一性节点名称节点ID1-OPC2-DDE3-otherOPC，DDE,other服务器句柄，具有唯一性服务器运行状态服务器运行状态标志服务器的启动时间当前时间上次更新的时间服务器状态表1.2位号属性表项目内容和说明标准属性使能属性采集属性数据处理属性报警属性类型属性数据的工程类型位号的工程类型位号名、位号ID、上下限、位号单位、想成、来源等使能标志采样频率等数据处理相关参数哪种情况报警位号类型无、累计、给定、阈值、测量值开关量输入、开关量输出等变换、吹风器、合成等表1.3实时数据表项目描述工程量实际值标准量0-1之间的值时间位号数据改变的时间报警类型见位号的报警属性说明质量码标志位号的实时数据的可信程度流程工业大型实时数据库的数据管理模型设计数据模型总体设计数据管理的总体模型中,按照实时数据库的标准数据模型的建模方法,划分数据模块,在模块内部按照功能组织数据,而且同一模块内部的数据具有相同类型的时态特性,满足事务处理和调度的需要。数据管理模型总体构成的示意图如图1.4所示。

目林效空（静态）历史戮据目标嫩转；幼态1图1.4实时数据库数据管理分类示意图不变数裾霞像效据目林效空（静态）历史戮据目标嫩转；幼态1图1.4实时数据库数据管理分类示意图不变数裾霞像效据管理区数据殍出粕据过程数相数据的存储和多层索引在本实时数据库中,采用内存实时数据库的策略。为了满足数据访问的实时性,还要设计优良的存储和索引结构,同时使用高效的实现技术。实时数据库中的位号数据按照表集的方式来组织,除建立位号级的索引外，同时给这些表建立相应的索引,从而形成多级索引的结构。根据实时数据库的数据活动的分析,数据按照来源和数据类型进行分类,更加适合位号刷新活动和位号数据的存储。所以可以根据来源和数据类型组织数据表,位号的静态数据、实时数据、历史数据采用相同的索引方式,可以共享同一套索引结构。在该模型中,采用位号的实时数据和静态数据分别存储的方式,将位号的静态数据独立处理可以支持更多的应用,方便扩展,如支持批次管理等。数据备份和恢复技术目前实时数据库和内存数据库理论中恢复技术都是基于事务提交方式设计的系统恢复技术,这通常是在强实时系统环境下的事务管理方式。在流程工业的实时数据库系统中,事务是规定在某个时间长度内的,事务的提交方式不如强实时环境下的复杂,因而需要提出系统的基于工程数据安全的数据备份和恢复技术。在简化强实时内存数据库系统恢复技术后,分析了工程数据安全的需求,采用了一种增量备份和启动恢复的策略,如图1.5所示。苗粉数据图1.5备份示意图稚聆点操作区段管理苗粉数据图1.5备份示意图稚聆点操作区段管理实时数据库 〈:U志文件查询模型和查询优化这里指的查询功能体系是指整个实时数据库系统的查询。其中查询可以在几个部件中进行。首先是实时数据库核心部件,它提供实时数据库中所有工程数据包括组态信息的查询其次是组态软件中的查询,这里的查询针对组态信息的查询,完全按照关系数据库的方式来组织，不仅包括各种条件查询还可进行SQL语句查询最后是Web服务器中的查询。本节研究的重点是实时数据库核心部分的查询，在这部分中,查询任务具有一定的复杂性,而且需要满足实时性。实时数据库的事务调度策略及其并发控制协议事务调度、并发访问控制策略及其实现方法实时数据库模块的核心部件是实时事务调度器。实时事务调度器主要解决事务的优先级分配策略、超载管理以及并发事务的冲突处理等,实时事务调度器对多个客户端和数据采集接口发来的实时事务请求合理地调度,使尽可能多的实时事务在其截止期内完成。主要有以下几个模块:接收、暂存信息模块。负责接收多个客户端发来的请求信息,并将它们暂时存放到一内存缓冲区一邮箱R中，每个信息成为一个邮件。填写事务信息模块。该模块负责清查、处理内存缓冲区。实时事务调度模块。该模块通过对系统中某时刻所有请求调度的事务进行优先级比较、冲突加锁处理等一系列操作后,最终选择出本次调度将投入运行的事务。4.优先级分配管理模块。该模块根据一定的原则对到达系统的事务分配优先级,使得系统调度的事务有一定的尺度。并发控制模块。避免并发访问冲突。模块之间的关系如图1.6所示:优轮级分配管理模块实时事用谒度模块并发控制模坡事务消息接收模块消息队列处理模块1.6事务调度模块间的关系优轮级分配管理模块实时事用谒度模块并发控制模坡事务消息接收模块消息队列处理模块1.6事务调度模块间的关系1.3.2流程工业实时数据库并发控制协议先分析流程工业实时数据库中并发访问发生的情况,实时数据库系统中的事务有客户端访问事务、数据采集事务、组态事务。针对不同的数据这些事务还可细分。并发访问示意如图1.7所示。客户端访问事务客户端访问事务图1.7实时数据库系统的并发访问事务关系历史数据库历史数据库系统概述DCS历史数据库最主要的功能是对历史数据进行存储和查询，它按一定的周期大小对实时数据库的实时数据进行采集、存储，以记录模拟量点和开关量的变化过程。DCS历史数据最主要的作用是用于操作员站的趋势查看和数值显示，对于历史数据分析，可分为在线形式和离线形式两种，在线形式主要是对历史趋势的分析，而转储到光盘或者磁带的部分则只能采用离线分析形式。DCS历史数据库体系结构图2.1历史数据库系统框架图DCS历史数据库系统框架如图2.1所示，历史数据库主要由初始化模块、数据收集模块、数据存储模块以及数据查询模块组成，这些是DCS历史数据库的核心功能模块。历史数据库通过API调用从实时数据库采集实时数据。数据收集模块：包括模拟量点和开关量的收集。模拟量点收集按照组态设定好的收集周期对各点依次执行收集，并依次存储到内存缓冲区中。开关量开始收集时，先从实时库读取各个点的初始值，之后等待消息队列有新消息通知时才从定长消息队列取出变位信息并转换成变位结构体存放在开关量的内存缓冲区。数据存储模块：数据存储模块在内存缓冲区的数据收集满十分钟或者程序退出时，将内存缓冲区的数据转储为一个相应大小和相同时间段的磁盘文件。它要根据规则进行一系列操作，包括根据内存缓冲区的整十分钟起始时间计算出十分钟序号并作为文件名、创建文件并按数据文件结构的设计将相关信息从内存复制到文件、文件重名时的处理、存储完要对所用内存缓冲区初始化。开关量和模拟量点的存储分别用一个线程执行。数据查询模块：根据信息指定的查询类型、查询方向、查询时间长度等判断是执行模拟量点查询还是开关量查询，是从内存缓冲区查询还是从磁盘文件查询。并执行响应的查询操作。历史库初始化：每次在历史库刚开启时，需要历史数据库初始化模块来负责一些初始化操作，为后面的数据收集、存储、查询做好准备。数据收集模拟量点收集方式模拟量点收集时按照工程师站组态好的固定大小的周期进行收集，用一个以收集周期为计数周期的变量来控制，当该变量能被周期整除时，就对所有模拟量点执行收集。收集时，由模拟量点收集线程调用实时库提供的API接口，依据需要收集的所有点的点号排列顺序依次读取模拟量点的实时值。每个模拟量点只存储采集值和质量位，总共5字节。这样的存储结构如表2.1所示。表2.1模拟量点历史数据存储结构字段名字段类型描述dwValueDWORD采集时刻的值bStatBYTE历史状态开关量点收集方式DCS历史数据库对开关量点采用有变才存的策略，即任何一个开关量点，假如它原来是“0”状态，那么下一次收集要等到它变成“1”状态才收集。DCS历史数据库的开关量点变位存储结构如表2.2所示。其中历史值包括1bit历史状态，“无效标志位”、“可疑标志位”、“禁止标志位”分别只需1bit，因而每个开关量的历史数据值只需一个字节。表2.2开关量点变位结构体字段名字段类型描述iTimetime_t发生变位的时间shMsshort发生变位时间的毫秒数shPidunsignedshort发生变位的开关量点的点号bValueBYTE历史值数据存储历史数据具有一次存储，多次读取的特点，设计思想是按日期来命名文件夹，文件夹里存放当天的所有数据文件。现有的DCS历史数据库按整十分钟来划分每天的历史数据，这样每个十分钟在当天144个十分钟里都有自己的序号，以此

序号命名相应的文件。然后在当天文件夹下，创建该文件，最后根据文件结构的设计将内存缓冲区的数据写入到文件。长期大量的数据并不影响历史数据库的搜索速度，因为增加的数据只是多一个文件夹，而文件夹得名字都是有规律的，可以根据查询时间，直接打开对应的文件夹。同时用户在需要获取某个时间段的数据文件时能够快速找到。历史库存储路i/xx年1月1日//历史库存储路i/xx年1月1日//xx年1月2日/xx年2月1日文件夹xx年2月2日数据文件1;DIG143.dat图2.3历史数据文件磁盘存储目录结构数据查询在查询数据时，系统会依次查看内存数据库、二级缓存区和磁盘历史数据库，数据查询流程如图2.4所示，具体步骤为：（1）根据查询条件遍历内存数据库中的实时数据，对内存数据库中的数据进行筛选判断，若所查数据都存在于内存数据库中，则读取符合条件的数据并返回；（2）进入二级缓存中查询缓存区中的历史数据，若所查数据都在二级缓存区中，则读取符合条件的数据并返回；（3）根据查询记录点的记录方式，进入时间索引文件，先按照顺序查询起始时间所在的信息单元，再查询结束时间所在的信息单元，将所有满足查询条件的历史文件组名记录；根据历史文件组名在二级索引文件进一步查询，先在数据块文件中查询满足符合时间条件的历史数据块信息，包括历史数据块的起止时间、起始位置；（5）进入对应的信号点索引信息文件，查询记录点所在数据块的历史数据信息，包括记录点在对应历史数据块中的位置和压缩后的历史数据量；（6）根据信号点索引信息文件查询到符合条件的历史数据文件，读取相应的历史数据和“相对时间”。

下一数据块图下一数据块图2.4历史数据查询流程图系统测试验证实时数据库管理实时数据库编辑实现实时数据库的管理，创建、删除变量，设置、修改变量属性，包括变量的基本属性（变量名、读写属性、变量类型、物理描述、工程单位、最大值、最小值、变量转换系数等）、报警属性（界限值报警和变化率报警）和数据采集属性（数据来源、数据设备、寄存器、寄存器类型），其中数据报警

属性设置报警方式，数据采集属性设置变量值的来源与输出。实时数据库管理界面如图3.1示。1- . . Iflfll^等*里属性设置报警方式，数据采集属性设置变量值的来源与输出。实时数据库管理界面如图3.1示。1- . . Iflfll^等*里•・#・敦■:.laiztll!K”1T*WTtiILCFsi,flhf行吗H?住，l?t«k4：!!*! 9■OMR理“Ml则」.■i>惴■■翌上白■吧旧 .:科 1 =i..1TF4EFriCI：.:<11 ・U£ii1 FUJ-：■!HIk2"n-iiii«-:"s~in-WLWX1HHiWfgqBld：C■GUI■“■4 iU-J中 E；144r^1」，都|imHF・1；• !«BFW"3i3.il；：lk£HI-jL1"eL-M>喉&<Th-.-lEK4E>m-1，■看：7LWa;：::■■闺/Eu'■wvrp-^iilwi-一..d-E1Ifcti1 ,庆外上一；早“w<F"；”.-<I%*n।-;h|r<i-jWW『Ifflilr-lSfRI-.h：.----■,--ii，l”吗i.4 113以i：\-1R^l«a---fal-PE-4KP-B：aKHLE4e<141-UPEH<n-l；-CJLM■bj 怔一!叫j”犀鹏，3M*110■匕 ■%!：•=1ti,2"*叫t.*酎t]X二二E，t：“甲u.IF图3.1实时数据库管理界面历史记录配置历史记录配置软件界面如图2.6示，主要包括了窗口标签、菜单栏、工具栏、导航栏、详细信息列表显示区和状态栏等。其中，窗口标签显示了当前历史数据库的状态。导航栏显示了历史记录方式及其分组。详细信息列表显示区以列表形式显示所有历史记录点的详细信息，包括工作站、TagID、变量名、变量类型、记录方式等。配置信息中可以设置存储路径、添加/删除记录点，用来完成历史数据存储路径的设置和记录点的添加、删除和查询功能。

配置信息⑥:存储踹径配置(的=*=整度配置信息⑥:存储踹径配置(的=*=整度RME制"宝端/翱［3］：■,M同磨密idM：r0出第舶记录［5~寿命名箱口口1-「：I举荒期记胤|浦4?金席总相口可i3233440]2m1510611?段投量悭拟量」也忖田植养盅图3.2历史记录配置界面实时监控实时历史数据库需要长时间稳定、在线运行，为组态软件的运行提供数据支持，系统每隔1秒从实时数据库读取实时数据刷新到组态画面上，用户可以看到记录点的最新实时数据，实现电站管理、设备管理，查看设备数据、气象数据。系统运行时候实时数据更新如图3.3示。:.•二;”g.句运回ljZ=JJ文W旧组㈤GV)上地㈢:二件或城M斯 p-"1，hEKkkP.-n自~日头的史可心465)n电横■『为捌C军撷TO-(32)□五拇-X-£32)C主换-四-辞公 .口去换-3C3>Q室拉-叶[T>Q底风爵f[-二代)□吹风m-AO-■:加卜■G我区*-DJ<32J.七qR^ffl-UCi-{32}-G也义科内-4门©收鸿乖-，-心一£政风iltTA(t>2')G白磁(L)-Al-(-368-c什成：L)-Afl-d电,o号或fl)-I>I-《盟》-cfrS!：1j-DO-(32)-c合或LL)-MA-(17).■■-n吉成(：)-j©-<J7)；，电告情(2)-U-(22fi■-娘]1■■♦■H ・!■■■■—■■Bl■■■■口■ne■—，I序号 学将Ml!掖料站毡量电2t 量程上闽 播号哭n 俏号昊生 和蚓_”；-m;用 ?：Bj44＞;a型A5.=S陀. 她烟5把jaos :曲㈤.gja坤a r也过用ihil-sir/融皿ys 葬？恸导T闻帚 t;.：'：^ 岩岂瑰花上" MOFEAmw 4, r *如强 u门抬*醇而酣m |IK TLW榔1!后二部用二十力 wwi-j&ftffli 就如 S ,心照 炳：哮徘:喃皿叼欣 密播33睛I图蝎 flJWft已粘Mldu 期网HH"端 帆细 晒 期U居 小E郡电察应”石 等唐赤号1爆交 TiJH。,方声£同!S3 除掰中32斓• 飘抽 t 制tUE禺M出如 2?市„用工j；=+：-： ei麻《■郑区iaq whmMq泳 州^健 、 才届器11用士毒写keT血 寻育和m母剧 口■洲|力 受上唱itJ 常tewqow 凯询h । 口不事割包场mp二空 赤f西口工二嘶阂 EJ_M烟 时汽/制&巾 加＞:二期＞哨野 演僦 I 削W我 ”也£毋*柚1「二端m 游ma懵Iri^ffib IftA 蚪*值此4嶙..柳EWE®Hj!更网忧事耐电*I哪闾 IIJW方 上知母£［Q＜1 WMS^^IliEKi EDLEKfiO t 制tU登R川*』♦『电虏出LHHf 空片卡靠用工・2»&二I&H «&轴沔冷。|工度 第1.随｝ t ♦加拉？小：1:后雨1：融讪1TMi£ 填件M用I:二「：a 3I.M9泌 电五辐lidnil wwn-'jaaw 血山 上m *如金・川:山考第麻(H1f£皿0 笠:手懦用工南；驶 力小1除 於3W忡t 阶劭一 r ，肛1；号1HE用标国F?二的 ，〒酊司I般阳 口朋心JEU la11 常倒拗a皑！ 作网