（水利水电工程专业论文）基于unix系统的dts数据支撑平台的应用与研究.pdf

华中科技大学硕士学位论文 摘要 1 q 6 j 调度员培训仿真系统( d i s p a t c h e rt r a i n i n gs i m u l a t o r ，简称d t s 系统) 是一套 数字仿真系统。【它针对传统的调度员培训方法效率低、周期长、效果差等缺点， 运用现代计算机技术，在计算机土仿真出实际的电力系统的运行状态，为培训调 度员提供t - - + 本文详细阐述了如何将大型关系型数据库与实对共 享数据库相结合，并应用到u n 环境下的d t s 。在实际的开发中，d t s 系统使 用了o r a c l e 数据库作为其数据支撑的主平台；同时也为d t s 开发了一个专用的实 时共享库来解决o r a c l e 数据库平台不适合实时仿真的问题。本文的研究分为以下 几个部分： i ) 本文分析了d t s 系统功能特点，给出其硬件体系结构，进而划分了d t s 系统的各软件模块。( 在对d t s 各个软件模块的数据流的分析的基础上本文提出 d t s 的数据库系统的解决方案。，9 2 ) 本文介绍了关系数据库理论基础，主要包括关系数据结构，基于关系代数、 关系演算的关系操作理论，以及数据库的规范化设计理论。( 介绍了数据库设计中 一些基本理论、原则和方法，主要包括数据的存储理论，数据库的并发控制理论。 本章的最后介绍实时共享库的基本理论矿1 3 ) 本文介绍了基于u n i x 实时共享库的应用研究和实现技术，包括实时共享 库的数据存储解决方案，数据检索的优化方法，并发访问的控制策略，以及数据 库网络接口的实现方法。( 其中主要应用到的技术有u n i x 进程通信机制( i p c ) 、 u n i x 系统远过程调用( r p c ) 等。少7d 本文的最后详细地介绍了d t s 数据支撑平台的实用化设计。主要内容有d t s 系统数据库结构设计、实时共享库的设计与实现、离线数据库的管理与规划、离 线数据库与e m s 系统的一体化的实现方案。 关键词：d t s ，u n i x ，o r a c l e ，实时共享库，关系数据库 华中科技大学硕士学位论文 a b s t r a c t d t si sas u i to f d i g i t a ls i m u l a t i o ns y s t e mw h i c h c a l le m u l a t et h en m n i n gs t a t u so f r e a lp o w e rs y s t e ma n dp r o v i d eav i v i de n v i r o n m e n tf o rt r a i n i n gd i s p a t c h e rb yu s i n g m o d e m c o m p u t et e c h n o l o g y t ot h e q u e s t i o n a b o u t l o w - e f f i c i e n c y , l o n g c y c l e ， b a d e 丘e c ti nt h et r a d i t i o n a lm e t h o do fd i s p a t c h e rt r a i n i n g i ti se x p a t i a t e dt h a th o wt o c o m b i n eg r e a tr e l a d o nd a t a b a s ew i t hr e a l - t i m es h a r ed a t a b a s ea n da p p l yi tt od t si n u n d ( e n v i r o n m e n ti nt h i sp a p e r i nt h ec o u r s eo f p r a c t i c ed e v e l o p m e n t o r a c l ed b m s i su s e da sm a i n s u p p o r tp l a t f o r mo f d t s ，a n d ar e a l - t i m es h a r ed a t a b a s ei sd e v e l o p e dt o s o l v et h es h o r t c o m i n gt h a to r a c l ed a t a b a s ei sn o tf i tf o rr e a l t i m es i m u l a t i o n n l em a i n c o n t e n t so f t h i sp a p e ra r ea sf o l l o w s 1 1n l ef u n c t i o n so fd t sa r ea n a l y z e di nt h ep a p e r t h eh a r d w a r ea r c h i t e c t u r ea n d s o f t w a r em o d u l e so fd t sa l ei n t r o d u c e di nt h ec h a p t e r 0 nt h eb a s i so fa n a l y z i n gt h e d a t af l o wo fa l lk i n d so fd t ss o f t w a r em o d u l e s ，as o l u t i o no fd t si sp r o v i d e di nt h e l a s to f t h e c h a p t e r 2 ) 1 h et h e o r yo fr e l a t i o nd a t a b a s ei si n t r o d u c e di nt h i sp a p e li tc o n t a i n sr e l a t i o n d a t as t r u c t u r et h e o r y , a n dr e l a t i o no p e r a t i o nt h e o r yb a s e do nr e l a t i o na l g e b r a , a n dt h e n o r m a l i z et h e o r yo fd a t a b a s e s o m eb a s et h e o r i e s ，p r i n c i p l e s ，a n dm e t h o do fd a t a b a s e d e s i g na r ei n t r o d u c e di nt h ec h a p t e r i tc o n t a i n ss t o r a g eo f d a t at h e o r y , t h ec o n t r o lo f c o n c u r r e n c yt h e o r y n l et h e o r yo fr e a l t i m ed a t a b a s ei s i n t r o d u c e di nt h el a s to ft h e c h a p t e r 3 ) t h er e s e a r c ho fr e a l - t i m es h a r ed a t a b a s ei nii n d ( e n v i r o n m e n ti si n t r o d u c e di n t h ep a p e r , i tc o n t a i n st h es o l u t i o no fd a t as t o r a g e ，o p t i m i z eo fd a t ai n d e x , p o l i c yo f c o n c u r r e n c yc o n t r o l 。a n dn e t w o r ki n t e r f a c eo fr e a l t i m ed a t a b a s e u n i p c & r p c p r o g r a m m i n gt e c h n o l o g y a r e a p p l i e d i nt h ed e s i g no f r e a l - t i m es h a r ed a t a b a s e a tl a s to ft h ep a p e rd t sd a t as u p p o r tp l a t f o r mi si n t r o d u c e d i tc o n t a i n st h e a r c h i t e c t u r ed e s i g no fd a t a b a s e ，d e s i g na n dr e a l i z a t i o no fr e a l t i m es h a r ed a t a b a s e ， m a n a g e m e n ta n dl a y o u to fo m i n ed a t a b a s e a n dt h e s o l u t i o no fo m i n ed a t a b a s e i n t e g r a t i o n s u m m a r i z ea n d p r o s p e c ta r en a r r a t e di nt h el a s tc h a p t e r k e y w o r d s ：d t s ，u n i x ，o r a c l e ，r e a l - t i m es h a r ed a t a b a s e ， r e i a t i o nd a t a b a s e 华中科技大学硕士学位论文 1 1 课题概述 1 1 1 课题的来源 1绪论 调度员培训仿真系统( d i s p a t c h e rt r a i n i n gs i m u l a t o r 简称d t s ) 是一套全数字 仿真系统，它模拟实际电力系统，为调度员提供一个逼真的培训环境，以达到既 不影响实际电力系统的运行而又使调度员得到身临其境的实战演练的目的【7 1 。 河南省电力公司的调度通信中心与华中科技大学共同开发河南电网d t s ，其 目标是建立一个能够反映河南电网真实运行状况、稳态和动态功能完备、操作灵 活、维护简便、并且与e m s 一体化好的新一代d t s 系统。 1 1 2 课题的提出 河南省电力调通中心于九十年代末期更新了当时的s c a d a e m s 系统，采用 加拿大c a e 公司的s c a d a e m s 系统。必须为其配备与其相适应的d t s 系统， 才能更好的培训调度员以适应新一代的调度系统。 d t s 是一个较复杂的软件系统，其核心包括三个部分： 电力系统计算模型，它模拟实际的电力系统的运行状况。 人机接口及控制中心系统，它反映了电力计算模型的计算结果并为其提供 了操作灵活的人机对话接口。 数据库支撑平台，它是d t s 数据管理的中心，也为d t s 其它核心模块提 供了数据通信的平台。 本论文就是为d t s 系统数据库支撑平台的研制而提出的。首先，电力系统模 型计算需要大量的元件参数数据，网络分析数据，同时培训功能也需要大量的数 据存储，修改，交换等。数据的维护最好的办法就是用数据库来管理。近年来， 在国外电力系统中有一种新的发展趋势，采用典型商用数据库代替以前使用的层 次型数据库。采用商用数据库到d t s 中也是必然的，因为商用数据库在数据的存 华中科技大学硕士学位论文 储、管理、备份、恢复、安全机制、以及数据库的调用接口可扩展性、方便灵活 的优势是很明显的。然而，仅仅使用商用数据库作为d t s 数据库的平台有很大的 缺陷，因为d t s 的数据库有其特殊性，由于其要求较高的存储效率，即需要一个 能够快速存储数据而又能实现数据共享特点的数据库，这一点对于商用数据库来 说是不可能的，因为商用数据库本身设计就不是一个实时数据库。本课题也就是 为解决这一对矛盾而提出的。 1 1 3 课题的目的和意义 电网调度员培训模拟的概念早在1 9 7 2 1 9 7 3 年美国威思康星电力公司能量管 理系统( e m s ) 的设计中就形成了。以美国控制数据公司为代表的一派致力于以 数字模拟计算机为基础的d t s 系统的研究。而1 9 7 7 年纽约大停电则迫使各电力 公司重新衡量改进调度员培训的需要，上世纪7 0 年代中诞生了第一台以c d c 1 7 为硬件平台的c d c 系统，电力系统模拟基于潮流解法。上世纪8 0 年代是d t s 在世界范围内逐步得到大发展的时代，小型机开始作为硬件平台，电力系统模拟 以长过程仿真为基础。 我国电网调度员培训模拟工作起步较晚，但发展较快。1 9 9 0 年第一台d t s 系 统在东北电管局投入运行。目前，全国不少省级调度系统的d t s 相继投入运行， 各大电力公司对d t s 也越来越感兴趣。其主要原因有：目前许多省、地区电网中 新调度员占8 0 9 0 ，这些人通过课堂教育、岗位培训、见习值班，一般需要 2 3 年才能独立值班。至于事故处理的经验，由于电力系统事故很少发生，因此 积累起事故处理、恢复操作的经验需要很长时间。用d t s 加快运行人员知识与经 验积累过程，是迅速提高调度员素质，提高系统安全运行水平的一个好途径。 随着国民经济的发展，我国电网总装机容量已达数亿千瓦，电网电压等级为 5 0 0 k v ，2 2 0 k v ，1 1 0 k v 。电是各行各业发展的动力，电网的安全运行对国民经济 有重大影响。我国又是一个发展中国家，一方面电力工业装机容量以高速度增长， 另一方面由于各方面的原因，例如资金较紧，电网结构比较薄弱，加上我国地域 辽阔，资源分布不均衡，水力与煤炭资源远离沿海负荷中心，长距离大容量输电 使稳定问题比发达国家严重。再加上用电紧张使我国电网大面积停电事故时有发 华中科技大学硕士学位论文 生。如1 9 8 5 年安徽对华东失步再同步，1 9 8 6 年陡和事故切机1 1 5 0 m w 、切负荷 6 4 6 m w 。之后还有山东青岛、贵州电网、广东省网等大停电事故。这些事故造成 的经济损失是十分巨大的。利用d t s 研究事故原因及反事故对策，对提高系统安 全运行水平有重大的意义。 电网的迅猛发展扩大，使电网运行越来越复杂。多级电磁环网的出现，如 5 5 0 k v 与2 2 0 k v 环网运行，省网的互联使许多新的物理现象和新问题出现，如电 网环流、区域功率交换及联络线的控制、低频振荡、次同步谐振。大容量新机组 安装到小网中去，给电网运行带来了新问题。新设备、新技术的应用，如超高压 直流、原子能发电厂的投运，都迫使调度运行人员要迅速通过在职教育，熟悉电 网中的新事务、新现象，以保证电网安全运行。 我国四大电网华东、华北、东北、华中已引进电网自动化s c a d a 系统，各 省的s c a d a 系统也先后投入运行。这些系统建成后，必须加强对调度员的培训， 使他们能够熟练地掌握这些设备，充分发挥这些先进设备的作用。 河南电力调度中心为新一代的s c a d a 系统建立新型的d t s 也是为适应调度 员培训的趋势，更好的培训调度员，增加调度员处理事故的经验，提高调度员的 处理事故应变能力，这对河南电网的安全高效的运行有非常实际的意义。 1 1 4 课题的主要内容 d t s 课题内容包括以下几个部分： ( 1 ) 电力系统计算模型：包括电力系统元器件模型、电力系统稳态模型、电力 系统动态模型、自动装置和继电保护模型 ( 2 ) 教员台学员台操作接口设计 ( 3 ) 控制中心模块 ( 4 ) 图形编辑器 ( 5 ) 数据库支撑平台 ( 6 ) d t s 系统与e m s 系统一体化( 包括图形和数据) ( 7 ) 曲线生成及历史数据的处理 本论文主要是数据库支撑平台的研究及开发，以及数据库一体化的解决方案 华中科技大学硕士学位论文 及其实现。 1 2 课题的文献及技术要求 d t s 是一个较复杂的软件系统，因此设计d t s 应该按照软件工程的方法和原 则来实旋程序的编制。本课题的软件工程规范按照1 9 9 6 年中国标准出版社出版的 计算机软件工程规范国家标准汇编来实行。 而技术规范按照1 9 9 8 年清华大学，国家电力公司电力科学研究院，国家电力 公司电力自动化研究院，国家电力调度通信中心共同编制的调度员培训模拟系 统( d t s ) 功能规范( 简称功能规范) 。 d t s 的总体要求依据功能规范有以下几点： ( i ) 真实性，要求d t s 系统应能逼真地再现学员( 受训的调度员) 所在的电 网的静态或动态过程，d t s 应与实际系统有一样多的发电机( 对外部网的发电机 及网络或多个小机组，允许作等值处理) 、调速器、励磁机、线路、变压器、电抗 器、电容器、母线、开关、刀闸、负荷等发、输、变、用电设备，继电保护、安 全自动装置等二次设备，应能选择各种不同的运行方式进行研究分析。在发生负 荷变化、发电机出力及电压变化、变压器分接头的调节、刀闸及开关投切、联络 线潮流变化以及各种事故时，d t s 应能忠实地再现各种运行方式下的潮流分布和 系统的动态过程，同时对操作或扰动应能有快速的实时响应。 ( 2 ) 一致性，要求d t s 能逼真地再现学员所在电网控制中心s c a d a 尼m s 系 统环境，产生一个数据采集和处理手段与调度相近似的培训环境，即与调度有相 同或相近的显示器、操作台、监控内容和通信设备的培训环境。学员在培训室受 训时就有一种身临其境的感觉，从而取得比较好的培训效果。这样，学员可以受 到使用同样的调度工具的培训，尽快熟悉他所负责的工作，在培训中获得系统故 障时的快速反应能力。受训时的调度工作对他将来的实际工作是大有好处的。 ( 3 ) 灵活性，d t s 要有灵活的培训支持功能，教员( 主演调度员或其助手) 可 很方便地模拟各厂站值班员或外部电力公司的调度员执行学员( 被演调度员) 下 达的各种调度命令，也可根据培训需要任意设置故障，操作应灵活方便，使系统 4 华中科技大学硕士学位论文 能尽快进入新的运行状态；教案制作灵活方便，可设置足够的教案进行演示，并 可进行必要的培训控制和培训评估，以满足各种要求的运行方式研究和培训的需 要以提高效率。 ( 4 ) 实用性，实用性使d t s 更富有生命力。系统总体功能和各模块的具体功 能都应按照用户的要求设计，操作接口和操作方式均应由最终用户调度员裁 决。主要体现在：要能满足调度培训和运方在线分析的需要，应可以重复演示、 分析；实际电网设备发展扩充时，各种资料的录入应方便灵活、简便易行；要有 较长的生命周期，能适应将来电网发展。以实际系统各种设备年增长率7 计， 数据库设计规模应比当前实际规模至少大倍以上，以保障有1 0 年以上的生命 期。 ( 5 ) 开放性，要使d t s 能适应计算机技术的飞速发展、仿真系统的软件有更 长的生命期，d t s 应有良好的开放性。在计算机硬件不断更新的今天，d t s 必须 遵循开放式标准，它的操作系统、网络通信协议、人机接口、数据库、开发工具等， 应具有下列开放式特点：与硬件无关；可移植性好；可扩展性好( 指硬件的扩充) ； 连续可升级性好( 指性能的改进和扩充) 。其中最为关键的是可移植性好，应能做 到d t s 系统在s c a d a e m s 系统更新时，维持d t s 其它硬件不变，以保护d t s 的投资。 1 3 本文的主要内容 本文研究的主要内容是关于d t s 的数据支撑平台的方案设计，应用研究以及 实现技术。d t s 的数据支撑平台是其核心模块之一，整个d t s 是构建在数据库 平台的基础之上。本文先分析了d t s 的整体功能，提出了新一代的d t s 数据库 支撑平台的设计方案。然后介绍了数据库的设计理论，在基于数据库设计的理论 上对实时共享库做了应用研究。最后作者给出了d t s 数据支撑平台的实用化设 计。 华中科技大学硕士学位论文 2 1 硬件结构 2 d t $ 系统的体系结构 d t s 的硬件结构有多种方式，主要分为独立型和非独立型两种。独立型的 d t s 自成一个系统，从实时s c a d a e m s 系统取得系统资料，和实时电网资料： 非独立型的d t s 只是s c a d a e m s 系统的部分。 河南电网d t s 系统采用开放式d t s 系统结构形式。d t s 系统作为电网 s c a d a e m s 系统的一个网络结点。系统结构如图2 1 所示。 d t s 硬件系统由一台a l p h ad s 2 0 服务器和一台a l p h ax p l 0 0 0 工作站组成， 采用基于t c p i p 的1 0 0 m 带宽e t h e m e t 网络将服务器与客户机连接起来，通过集 线器( h u b ) 连接到实际的s c a d a e m s 系统上，一体化的数据通过网络传送到 服务器中。服务器和工作站都可以接投影仪模拟实际系统中的潮流模拟盘。 培训过程中，教员启动服务器上的d t s 系统，通过设置教案和事件模拟实际 系统中的事故，事故后的系统数据通过工作站上的界面反映到学员面前，学员则 观察当前仿真的电力系统状态，如果发现了当前系统已经出现了异常或不稳定的情 况，学员通过电话向教员发出操作指令，教员再接受到指令后并按照学员的指令在 教员台上操作，新的系统数据( 操作的结果) 反映到教员台和学员台的晃面上，从 而可以对学员的操作的正确性进行评估，整个过程也可以在界面上回放再现。 6 华中科技大学硕士学位论文 2 2 软件结构 d t s 的软件按功能分为四大模块。它包括电力系统仿真模块，培训控制模块， 数据库模块，一体化模块 3 1 1 4 6 1 。 电力系统仿真模块，它由以下几块组成： ( 1 ) 网络拓扑模块 ( 2 ) 稳态潮流计算模块 ( 3 ) 动态潮流计算模块 ( 4 ) 频率计算模块 ( 5 ) 长期动态仿真模块 ( 6 ) 继电保护和动态装置仿真模块 培训控制模块包括以下一些功能软件： ( 1 ) 进程管理模块 ( 2 ) 培训初始化和教案准备模块 ( 3 ) 培训控制模块 ( 4 ) 培训评估模块 ( 5 ) 曲线生成模块 ( 6 ) 事件调度和操作仿真模块 数据库模块由以下几项组成： ( 1 ) 模拟e m s 数据库 ( 2 ) 模拟s c a d a 实时共享库 ( 3 ) 电力系统图形库 ( 4 ) 培训教案评估、操作事件库 一体化模块主要由两项组成： ( 1 ) 图形数据一体化模块 ( 2 ) e m s 数据一体化模块 ( 3 ) 实时断面数据一体化模块 以上各模块的关系可见图2 2 所示 华中科技大学硕士学位论文 2 3 数据库设计方案 图2 2 系统软件模块及其关系 制 d t s 数据库设计方案采用了大型商用数据库与实时共享库相结合的办法。如 图2 2 所示，用o r a c l e 数据库管理系统维护模拟e m s 数据库，图形库和培训 教案库，而用实时共享库仿真实际s c a d a 实时数据库。 采用0 r a c l e 数据库主要目的是利用其管理二维关系数据表的强大功能。电 力系统的数据包括图形数据，d t s 的培训信息数据都可以存储为不同的关系型表 中。采用o r a c l e 使维护简便，可靠，数据安全。另外o r a c l e 提供强大编程 接口和网络功能使程序设计简便。利用o r a c l e 提供的网络层n e t 8 完全可以实 现教员台与学员台的c s 访问模式。如图2 3 所示。 用o r a c l e 来管理离线模拟e m s 数据，和实时性要求不高的培训信息数据。离 线数据库设计包括以下几部分： ( 1 ) 系统数据库的设计：系统数据库标志了一个o r a c l e 数据库的实例，系统的 华中科技大学硕士学位论文 设计应考虑d t s 数据库的特点，避免不需要o r a c l e 后台服务进程占用大量的系 统资源，同时规划好o r a c l e 数据的系统全局区，在满足离线数据库性能要求的基 础上，尽量少的占用内存资源。 ( 2 ) d t s 数据库的表空间设计：表空间是数据存储的空间，应充分考虑分配较 大的数据空间，提高磁盘操作的效率，应考虑不同的表空间的不同存储特性，将 临时表空间和回滚表空间单独存放。 ( 3 ) d t s 数据库的安全设计：合理设计d t s 数据库用户的权限，定义合理的 d t s 数据库用户的角色。 ( 4 ) d t s 数据库网络设计：利用o r a c l en e t 8 提供的网络功能设计c s 数据库访 问体系。 ( 5 ) d t s 数据库的数据段对象设计：d t s 数据库段对象包括数据表段、索引段、 回滚段以及簇段的设计。 ( 6 ) d t s 数据库用户视图设计：视图是一个虚拟表段，建立合适的视图有利于 提高数据的安全，简化数据查询和处理操作。 ( 7 ) d t s 数据库的备份和恢复设计：备份和恢复是数据库管理非常重要的部分， 采用合理的备份和恢复策略将有利于数据的安全。 o r a c l e 数据库在管理非实时数据是可行的解决方案，但是将o r a c l e 数据库应 用于d t s 的实时计算则有一个致命的缺点：实时性差，存取速度慢，因为磁盘操 作速度慢，另外o r a c l e 数据库本身体系结构复杂，它是专为信息管理设计的数据 管理系统，它需要保证在任何恶劣情况下数据的安全、完整、一致。因此，频繁 的大量的存取o r a c l e 数据库中的数据将使系统开销很大，使得访问数据不仅速度 华中科技大学硕士学位论文 不陕，而且拖慢了整个系统运行的效率。u n i x 提供的共享内存机制可以较好的 解决数据的共享存储和快速访问的问题。一方面，在程序运行时，数据库中的数 据被调入内存中的共享存储器中，因此无需磁盘操作，速度可达最快( 访问速度为 访问本程序内自定义数据的9 8 ) ，充分满足实时要求：另一方面，共享内存中的 数据可以实现不同进程共享，它可以作为不同进程数据通信的平台。 实时共享库的提出和设计参照了实际的s c a d a 系统数据采集方式。实际的 s c a d a 系统中，前置机将各个厂站的r t u 采集的数据存储在本地实时共享库中， 然后广播到s c a d a e m s 系统的各个结点上，供调度员观察到系统运行的状态和 e m s 高级分析应用。d t s 系统的实时共享库就是仿真实际的系统的数据采集的方 式。如图2 4 所示，电力系统计算模型仿真的是物理的电力系统，它的计算结果 相当于由r t u 采集的数据，而模拟s c a d a 共享库就是仿真前置机采集数据的方 式，不同的是在d t s 系统模拟s c a d a 共享库不是采用广播的方式，把数据传送 到其它结点的共享库上，而是采用c s 的模式，即客户机通过向服务器发送数据 请求来取得需要的数据，或请求服务器修改其上共享库的数据。 图2 4 共享内存厍示意图 d t s 的教员台服务器主存达到5 1 2 m ，而实际使用的共享数据目前仅为2 m ， 所以在该系统资源下完全有条件建立实时共享库。 实时共享库的设计主要包括以下几部分： ( 1 ) 数据的存储设计：合理的存储结构设计使实时共享库能够有效地利用宝贵 的内存资源，提高内存资源利用率。 1 0 华中科技大学硕士学位论文 ( 2 ) 数据库索引的设计：良好的索引技术的应用，将大大提高共享库的存储效 率，尽可能避免在查找上浪费系统宝贵的时间。 ( 3 ) 并发访问的分析与设计：由于任何对共享空间的访问，都会出现并发访问 的问题，合适的并发访问控制将保证数据的完整和致，也系统运行的更加正常， 避免出现意外的冲突。 ( 4 ) 支持网络访问：支持客户断通过局域网访问实时共享库，这是构建基于c s 的d t s 的必要条件。 ( 5 ) 接口函数库的设计：接口函数的设计要保证用户使用的方便、快捷、安全。 并且考虑各种出错情况的处理。 ( 6 ) 与o r a c l e 数据库的联接：实时共享库与o r a c l e 数据库的接口采用 p r o + c c + + 技术。p r o + c c + + 是o r a c l e 提供的数据库应用程序专用接口开发工具， 使用它能够在c c + + 程序中嵌入s q l 语句，进行数据库操作。实时共享库需要提 供与o r a c l e 数据库接口的函数库。 实时共享库虽然在存储效率上是o r a c l e 不可比的，但是实时共享库的数据结 构是面向记录类型的，而o r a c l e 数据库是面向关系型的数据库，因此实时共享库 要处理大量具有关系型数据结构的离线数据是不太可能的。而且实时共享库要用 到共享内存的存储方式，其存储容量也是有限的。因此综合实时共享库和o r a c l e 数据库的优势将是一个较好的解决方案。 2 4 本章小结 本章分析了d t s 的软硬件体系结构。在基于d t s 软件模块的划分和其关系 的分析的基础上提出了数据库的解决方案，即利用o r a c l e 管理d t s 非实时数据， 而专门开发一个实时共享库解决d t s 实时计算的需要，并将其作为d t s 各个模 块数据通信的平台。实时共享库提供与o r a c l e 数据库的接口库，以便于o r a c l e 数 据库相连接。 华中科技大学硕士学位论文 3 1 数据组织简介 3数据库基本理论 数据的物理组织就是要解决在存储设备中安排和组织数据以及对数据实施具 体访问的方式【1 3 】。物理组织的主要内容是把有关联的数据组织成一个个的物理文 件，故又称之为文件组织，是操作系统、文件系统的扩展，它是数据库的基础。 3 1 1 文件组织 所谓文件组织，就是按一定的逻辑结构( 如顺序结构、树结构、h a s h 结构 等) 把有关联的数据记录组织成为文件( 称为逻辑文件) ，并用体现这种逻辑结 构的物理存储形式把文件中的数据存放到存储设备上，使之构成物理文件的机 构【1 3 】。物理文件是数据库物理存在的基本单位，是数据库访问程序的操作对象。 对数据库的任何检索、插入、删除、修改访问，最终都将转换为在物理文件上的 相应操作。 文件组织的目标是，根据用户和系统设计的要求，组织时空综合性能最佳、 易于维护的文件，为数据库提供方便、灵活的文件访问。文件性能的衡量包括文 件的存储空间利用率、在文件上执行操作的时间耗费、维护文件和重新组织文件 的耗费等几个方面。 ( 1 ) 文件存储空间利用率。文件占有的存储空间由两部分组成：一部分为文件 数据实际存放的空间：另一部分为组织文件时在该文件范围内没有存储数据而别 的文件也不能使用的空间。文件对存储空间的利用率定义为： 文件包含的数据信息量( 折合成字节数) 蟊飘磊丽蚕不甬爵丽九孚罚西一 利用率最高的是稠密文件，相反为稀疏文件。数据的冗余导致文件的利用率 降低。 ( 2 ) 操作的时间耗费。这是文件组织中性能度量的一个重要方面。通常要考虑 1 2 华中科技大学硕士学位论文 以下几点： 从文件中找到任一记录的平均时间 把一个记录插入到文件中的平均时间 修改、删除文件中的一个记录的平均时间 读取整个文件的时间 显然，文件的操作时间越短越好。但时间和空间既相互矛盾，又可相互转化， 增加存储空间可以缩短操作时间，反之亦然。故在组织文件时往往对时空性能采 取“折衷”策略，并视具体情况而有所偏重。 ( 3 ) 文件的重新组织。系统经过一段时间的运行后，由于不断的对文件进行操 作，可能使文件的时空性能变坏到用户或系统不能容忍的程度，或原文件组织方 法不适应新的应用要求，需要重新组织文件。也就是说，系统应周期性地把文件 中现存的记录按原来的或新的组织方法和内部结构重新组织起来。 3 1 2 文件组织的方法 文件组织按照其数据逻辑组织的结构和操作方法分为简单无索引文件、索引 文件、h a s h 文件。 ( 1 ) 简单无索引文件。例如流水文件，顺序文件属于此类。流水文件是最简单 的文件组织方法，它是按照数据到达文件的时间顺序依次连续地存储数据，记录 的类型即可相同，也可不同。显然对其进行查找操作费时，因为不管记录位于文 件何处，查找一个记录平均要读取半个文件。而顺序文件的记录逻辑上是按主关 键字值的顺序排列的，文件记录的查找可以利用分块、二分等算法查找，这样更 大的提高查询速度，但对于插入一个新的记录却比较困难，因为即要保持文件的 记录按主关键字值顺序排列，又要保持向量结构，而向量结构并没有为插入记录 保留空间，所以要把插入点以后的所有记录顺序后移，以便为新记录腾出空间。 因此，插入一个新纪录，在找到插入点后平均还要读、写文件中的半数记录，也 非常耗费时间。 ( 2 ) 索引文件。索引文件按其组织方法分为：索引顺序文件和索引无序文件。 索引文件就是在简单无索引文件的基础上加上一层索引文件和几层索引文件，提 华中科技大学硕士学位论文 高查询效率。典型的顺序索引文件有i b m 的i s a m ( i n d e x e ds e q u e n t i a la c c e s s m e t h o d ) 和v s a m ( v i r t u a l s t o r a g ea c c e s sm e t h o d ) ，前者依赖于具体的设备，后 者独立于具体的设备。用于组织大型索引文件主要运用了b 一树、b + 树索引文件 等方法。 ( 3 ) h a s h 文件。h a s h 方法较普遍地用于造表，其涵义为“散列”，又称之为 散列表。其思想就是把关键码送给一个散列函数，产生一个散列值，这个值平均 分布在个适当的整数区间中。散列值被用作存储信息的表的下标。 假定h a s h 文件准备的存储空间分为主数据区与溢出区。设主数据区由m 个 桶( b u c k e t ) 组成，编号为0 、1 、m 1 。每个包含个或多个数据块，各个 桶的体积相等如图3 1 所示。 桶号地址 o 、 l 一 一 2 o - - m l 图3 1 散列文件的存储空间 当文件有n 个记录时，h a s h 方法利用记录的主关键字来直接计算它的存储地 址。以记录的主关键字k 为自变量，构造一个h a s h 函数h ( k ) 或h a s h 算法， 该函数之值即为记录存储的桶号。由于h a s h 函数不是一一对应，不同的关键字 可能对应于相同的h a s h 函数值，即存在：k l k 2 ，但h ( k i ) = h ( k 2 ) 的情况。故处 理溢出是h a s h 文件面临的一个重要问题。传统的解决方法有以下三种： ( 1 ) 开寻地址( o p e na d d r e s s i n g ) 这种方法不设立溢出区，只有主数据区。当记录k 应放入的桶h ( 1 【) 已满时， 将记录k 放到h ( k ) 以后的第j 个桶中，若桶h + j 也满，则放到桶号h ( k ) + 2 j 的 华中科技大学硕士学位论文 桶中，直到把记录k 放下为止。如果出现h ( k ) + n j m l ，则改为按桶号( h ( k ) + r d ) m o d m 存放。 ( 2 ) 分离溢出区 这种方法是把溢出桶集中到一个与主数据区相分离的溢出区中，当主数据区 某个桶i 已满，而新纪录k ( h ( k ) = i ) 又要放入其中时，选取一个溢出桶存放记录k ， 并在桶i 中填上指向该溢出桶的指针。如果溢出桶已满则再找一个溢出桶，把溢 出链伸向新的溢出桶。 ( 3 ) 分布式溢出空间 这种办法是把溢出桶分布到主数据区中。在主数据桶有溢出时，把记录放迸 紧接于其后的溢出桶中，若溢出桶也溢出，再放到下一个溢出桶中，以此类推。 e ai - - - 种方法是传统解决冲突的办法，在本文第四章，结合实时共享库的设 计要求，提出新的实用于实时共享存库的解决方法。 3 1 3 h a s h 文件溢出分析 首先引入概念存储密度s d 。在给文件分配存储空间时，要使主数据区的空间 体积等于或大于文件占用的空间体积。 存储密度= 苎笃矗翥纛群 例如，文件的记录总数为n ，主数据桶个数为m ，每个主数据桶可放记录个 数等于nb 则文件的存储密度为： 只2 嵩 现在将n 个记录等概率地投入m 个桶中，由二项式分布可知，在个给定桶 中落入j 个记录的概率为： )：茄与(上卜”圳1p(jm m = 0 1 1 ， ) = 烈一川、7 、 7”。 【o ，j n 华中科技大学硕士学位论文 设投入操作由均匀随机变换实现，一个桶中可放n b 个记录，超过n b 个记录 为溢出，因此在一个给定桶中产生i 次溢出的概率为p ( n b + i ) 。所以在一个给定 桶中产生的平均溢出次数( 期望值) 为： e o = i p ( m + f ) 这样在m 个桶中总平均溢出次数为m e o ，即n 个记录等概率投入到m 个 桶中，有m e o 个记录会溢出，其溢出的百分比为： 堕：等兰即(m+f)()ns d nb 鼍一 j?。 从上式可知，为了减少溢出，应该增大桶体积，降低存储密度；而要节约空 间，则应加大存储密度。 3 2 关系数据库及其理论 关系数据库应用数学方法来处理数据库中的数据。最早将这类方法用于数据 处理的是1 9 6 2 年c o d a s y l 发表的“信息代数”，之后1 9 6 8 年d a v i dc h i l d 在7 0 9 0 机上实现了集合论数据结构，但系统而严格地提出关系模型的是美国i b m 公司的 e e c o d d 。他从1 9 7 0 年起连续发表多篇论文，奠定了关系数据库的理论基础。 3 2 1 关系数据结构 关系模型的数据结构非常单一，在用户看来，关系模型中数据的逻辑结构是 一张扁平的二维表。但关系模型的数据结构能够表达丰富的语义，描述出现实世 界的实体以及实体间的各种联系。从集合论角度给出关系数据结构的形式化定义 如下。 ( 1 ) 域( d o m a i n ) 定义3 1 域是一组具有相同数据类型的值得集合。 ( 2 ) 笛卡儿积( c a r t e s i a np r o d u c t ) 定义3 _ 2 给定一组域d l ，d 2 ，d 。，其笛卡儿积为 1 6 华中科技大学硕士学位论文 d 1 d 2 ”见= 【d l ，d 2 ，以) r d , 历，f = 1 , 2 ，nj 其中每一个元素( d l ，d 2 ，d n ) 叫作一个n 元组( n t u p l e ) ( 3 ) 关系( r e l a t i o n ) 定义3 3d 1 d z d 。的子集叫作在域d l ，d 2 ，d 。上的关系，用 r ( d i ，d 2 ，d n ) 表示a 这里r 表示关系的名字，n 是关系的目或度( d e g r e e ) 。 着关系中的某一属性组的值能唯一地标识一个元组，而其真子集不行，则称 该属性组为候选码( c a n d i d a t e k e y ) 。 若一个关系有多个候选码，则选定其中一个为主码( p r i m a r yk e y ) 。候选码的 诸属性称为主属性( p r i m ea t t r i b u t e ) 。不包含在任何候选码中的属性称为非码属性 ( n o n k e y a t t r i b u t e ) 。 3 2 2 关系的完整性 关系的完整性有以下三个规则： ( 1 ) 实体完整性( e m i t yi n t e g r i t y ) 规则3 1 若属性a 是基本关系r 的主属性，则属性a 不能取空值。 ( 2 ) 参照完整性( r e f e r e n t i a li n t e g r i t y ) 定义3 4 设f 是基本关系r 的一个或一组属性，但不是关系r 的码，如果f 与基本关系s 的主码鼬相对应，则称f 是基本关系r 的外码( f o r e i g nk e y ) 并称 基本关系r 为参照关系( r e f e r e n c i n gr e l a t i o n ) ，基本关系s 为被参照关系( r e f e r e n c e d r e l a t i o n ) 。 规则3 2 若属性( 或属性组) f 是基本关系r 的外码，它与基本关系s 的主 码k s 相对应，则对于r 中每个元组在f 上的值必须为： 者取空值( f 的每个属性值均为空值) ； 者等于s 中某个元组的主码值。 ( 3 ) 用户定义的完整性( u s e r d e f i n e d i n t e g r i t y ) 用户定义的完整性就是根据某一具体关系数据库的约束条件，它反映某一具 体应用所涉及的数据必须满足的语义要求。关系模型应提供定义和检验这类完整 华中科技大学硕士学位论文 性的机制。 3 2 3 关系操作 关系操作采用集合操作方式，即操作的对象和结果都是集合。关系模型中的 关系操作能力通常是用代数方式或逻辑方式来表示，分别称为关系代数和关系演 算。关系代数是用对关系的运算来表达查询要求的方式。关系演算是用谓词来表 达查询要求的方式。关系演算又可按谓词变元的基本对象是元组变量还是域变量 分为元组关系演算和域关系演算。关系代数、关系演算在表达能力上是完全等价 的 6 1 。 现代关系数据库的标准语言s q l 就是介于关系代数和关系演算之间的语言。 s q l 不仅具有丰富的查询功能，而且具有数据定义和数据控制功能，是集查询、 d d l ( 数据定义语言) 、d m l ( 数据操作语言) 和d c l ( 数据控制语言) 于一体 的关系数据语言。 3 2 4 数据库规范化 规范化理论致力于解决关系模式中不合适的数据依赖问题。下面介绍4 个概 念： ( 1 ) 函数依赖 定义3 5 设r ( u ) 是一