第1章数据库系统导论

1、logo高级数据库系统及其应用高级数据库系统及其应用2021-11-22第第1章章 数据库系统导论数据库系统导论数据模型数据模型1.1数据库方法特点与应用简史数据库方法特点与应用简史1.2数据库系统体系结构数据库系统体系结构1.3数据库系统的发展与演化数据库系统的发展与演化1.42021-11-231.1 数据模型数据模型1.1.1 数据模型的定义与分类 1.1.2 一些典型的数据模型特点综述 模型是人类学习知识、认识世界的基本手段方模型是人类学习知识、认识世界的基本手段方法，是系统知识的抽象表示，使我们可以把精力集法，是系统知识的抽象表示，使我们可以把精力集中在问题的主要方面中在问题的主要方

2、面只反映系统某些选定的方只反映系统某些选定的方面，如结构、行为（操作）和约束等特征。面，如结构、行为（操作）和约束等特征。 是可精确、抽象描述是可精确、抽象描述数据如何表示数据如何表示的的一组一组概念概念集集（包括描述数据类型结构、数据关系和数据约束（包括描述数据类型结构、数据关系和数据约束等数据结构化部分），并等数据结构化部分），并可选地可选地包括包括一组描述数据一组描述数据如何操纵的操作方法集如何操纵的操作方法集。2021-11-241.1.2 数据模型分类数据模型分类 通常按通常按描述描述db结构概念的抽象层次结构概念的抽象层次进行分类进行分类 v 高级数据模型高级数据模型(概念数据模型

3、概念数据模型) 所提供的概念抽象层次比较高，与领域用户理解数据的方式较接所提供的概念抽象层次比较高，与领域用户理解数据的方式较接近，能更好隐藏数据存储组织和操作的细节。近，能更好隐藏数据存储组织和操作的细节。 典型代表包括：典型代表包括：e-r模型、扩展模型、扩展e-r模型模型(eer模型模型)和和uml类图等。类图等。v 低级数据模型低级数据模型(物理数据模型物理数据模型) 所提供的概念描述了数据如何在计算机上存储的具体细节。对应所提供的概念描述了数据如何在计算机上存储的具体细节。对应dbms底层实现部分，没有底层实现部分，没有/也不需要有统一的标准实现也不需要有统一的标准实现 主要感兴趣者

4、：主要感兴趣者：db系统开发专家。系统开发专家。v 逻辑数据模型逻辑数据模型 介于概念和物理两类数据模型之间，是介于概念和物理两类数据模型之间，是db系统的主要工作模型。系统的主要工作模型。典型代表包括关系模型、典型代表包括关系模型、oo模型和模型和o-r数据模型，以及早期数据模型，以及早期db系统中用的层次模型和网状模型。系统中用的层次模型和网状模型。2021-11-25一些典型数据模型特点综述一些典型数据模型特点综述 关系模型关系模型(1)2021-11-26一些典型数据模型特点综述一些典型数据模型特点综述 关系模型关系模型(2)2021-11-27一些典型数据模型特点综述一些典型数据模型

5、特点综述 er模型模型2021-11-28一些典型数据模型特点综述一些典型数据模型特点综述 eer模型模型v 是是er模型的扩展模型模型的扩展模型（enhanced/exented er），它在它在er模型的基础上，扩展了以下概念：模型的基础上，扩展了以下概念： 类、超类类、超类/子类子类(isa)关系、特化与泛化关系。关系、特化与泛化关系。 eer的特化，能混合表达的特化，能混合表达重叠重叠/不相交不相交约束，以及约束，以及完全完全/部分部分约束。约束。 union子类或类别。子类或类别。 eer的的union子类，可表达完全和部分约束。子类，可表达完全和部分约束。 多值属性和复合结构属性；

6、多值属性和复合结构属性；v 与基本与基本er模型相比，模型相比，eer模型表达能力更强，能表达更模型表达能力更强，能表达更多的数据语义。多的数据语义。3.2节将详细介绍节将详细介绍eer模型。模型。2021-11-29一些典型数据模型特点综述一些典型数据模型特点综述 uml类图类图v uml是一种基于是一种基于oo范型的建模语言范型的建模语言定义了一个用于建模的概念框架定义了一个用于建模的概念框架用符号表示概念用符号表示概念连接符号（路径）表示概念间的联系。连接符号（路径）表示概念间的联系。uml常用于对软件系统进行描述和可视化构常用于对软件系统进行描述和可视化构造，允许基于不同的视点，建立描

7、述系统体造，允许基于不同的视点，建立描述系统体系结构的各种视图系结构的各种视图,其中：其中：uml类图也可作为一种有效的概念数据模型。类图也可作为一种有效的概念数据模型。 v 所属类型所属类型概念模型，它是一种视图表达模型。概念模型，它是一种视图表达模型。v 数学基础：无。数学基础：无。 2021-11-210一些典型数据模型特点综述一些典型数据模型特点综述 odmg模型（模型（1）2021-11-211一些典型数据模型特点综述一些典型数据模型特点综述 odmg模型（模型（2）2021-11-212一些典型数据模型特点综述一些典型数据模型特点综述 odmg模型（模型（3）2021-11-213

8、1.2 数据模型数据模型1.2.1 数据模型方法特点 1.2.2 书刊技术发展简史2021-11-2141.2.1 数据库方法特点数据库方法特点v 与利用与利用os文件进行简单的数据管理相比，利用文件进行简单的数据管理相比，利用db进行数进行数据管理至少具有以下优势：据管理至少具有以下优势： 具有更好的数据独立性具有更好的数据独立性 具有更好的数据存储有效性具有更好的数据存储有效性 更便于数据共享更便于数据共享 可以更好确保数据的完整性和安全性。可以更好确保数据的完整性和安全性。 具有并发存取和崩溃恢复功能。具有并发存取和崩溃恢复功能。 更有利于减小应用开发时间更有利于减小应用开发时间, 提高

9、应用的健壮性。提高应用的健壮性。v 不适合使用不适合使用db的一些应用举例的一些应用举例 只有几个严格定义的关键操作，必须用高效风格的代码只有几个严格定义的关键操作，必须用高效风格的代码来实现。应用并不关心灵活查询、安全性、并发存取和来实现。应用并不关心灵活查询、安全性、并发存取和崩溃恢复等性能时。崩溃恢复等性能时。 应用可能需要以应用可能需要以dbms不支持的方式来查询数据。不支持的方式来查询数据。2021-11-2151.2.2 数据库技术发展简史数据库技术发展简史(1)v1960s年代初期年代初期 通用电气的巴克曼通用电气的巴克曼1973年的年的acm图灵奖获得图灵奖获得者者等人设计成功

10、第一个通用等人设计成功第一个通用dbms系统系统 这个模型后来被这个模型后来被codasyl (the conference on data systems languages)进一步标准化，进一步标准化，并强烈影响了整个并强烈影响了整个1960s年代的年代的db系统技术系统技术.v1960s年代后期年代后期 ibm成功开发成功开发ims系统系统(information management system) ims是网状数据模型之外的另一个重要数据表是网状数据模型之外的另一个重要数据表示模型示模型(即即层次数据模型层次数据模型)的基础的基础.2021-11-2161.2.2 数据库技术发展简史

11、数据库技术发展简史(2)v1970s年初期年初期 ibm san jose研究室的研究室的e.f.codd提出了新一提出了新一代的数据表示框架代的数据表示框架关系数据模型，定义了关系数据模型，定义了关系数据库的基本概念。该成果被认为是数据关系数据库的基本概念。该成果被认为是数据库系统发展的一个分水岭库系统发展的一个分水岭v1970s中后期中后期 数据库作为一个学科分支开始逐步走向成熟，数据库作为一个学科分支开始逐步走向成熟， 关系关系dbms也变得十分流行，其优点已被人们也变得十分流行，其优点已被人们广泛认可。广泛认可。 利用利用dbms管理公司管理公司/组织的数据逐渐开始成为组织的数据逐渐开

12、始成为趋势。趋势。 2021-11-2171.2.2 数据库技术发展简史数据库技术发展简史(3)v1980s年代年代 关系数据模型成为关系数据模型成为dbms的主流数据模型，并的主流数据模型，并进一步巩固了其领域地位。进一步巩固了其领域地位。 sql在在1986年被美国国家标准信息委员会年被美国国家标准信息委员会(ansi)和国际标准化组织和国际标准化组织(iso)采纳为关系数采纳为关系数据库语言的标准。据库语言的标准。 该时期，最广泛使用的并发程序形式是可并发该时期，最广泛使用的并发程序形式是可并发执行的、被称为执行的、被称为“事务事务”的的db程序。程序。2021-11-2181.2.2

13、数据库技术发展简史数据库技术发展简史(4)v从从1980s后期到后期到1990s年代初期年代初期 db领域在许多方面领域在许多方面-从更强有力的查询语言到从更强有力的查询语言到各种新型数据模型，都得到了广泛且深入的研各种新型数据模型，都得到了广泛且深入的研究并取得了重要进展。究并取得了重要进展。 很多著名的很多著名的dbms开发商，都增加了对大型图开发商，都增加了对大型图像、文本等新数据类型的支持，增强了针对复像、文本等新数据类型的支持，增强了针对复杂数据集进行数据分析处理和回答更复杂查询杂数据集进行数据分析处理和回答更复杂查询的能力，增强了支持创建数据仓库的特性。的能力，增强了支持创建数据仓

14、库的特性。 该时期另一个重要进展是关于该时期另一个重要进展是关于“对象数据库系对象数据库系统统(odbms)”研究和开发。研究和开发。 但该时期，但该时期，odbms相关技术及产品由于没相关技术及产品由于没有统一标准，缺乏可移植性，故大都属于原有统一标准，缺乏可移植性，故大都属于原型产品。型产品。 2021-11-2191.2.2 数据库技术发展简史数据库技术发展简史(5)v从从1990s年代中期开始，年代中期开始，db进入了或许进入了或许是最重要的是最重要的internet时代。时代。 几乎几乎所有所有dbms开发商都在他们的产品中增加开发商都在他们的产品中增加了更适合在了更适合在inter

15、net上部署的特性。上部署的特性。2021-11-2201.2.2 数据库技术发展简史数据库技术发展简史(6)v1993年，年，odmg提出了第一个对象数据提出了第一个对象数据管理标准管理标准odmg 1.0。 该标准后续修订版包括该标准后续修订版包括odmg 2.0(1997)和和odmg 3.0 (2000)。odmg标准出现，不仅改标准出现，不仅改善对象数据库系统的可移植性，而且进一步促善对象数据库系统的可移植性，而且进一步促进了进了odbms的规范健康发展。的规范健康发展。 新一代的新一代的ordbms不仅能提供了更为丰富的不仅能提供了更为丰富的类型系统，包括复杂数据类型和面向对象，而

16、类型系统，包括复杂数据类型和面向对象，而且还在且还在sql-99标准的框架下，扩展了传统的标准的框架下，扩展了传统的关系查询关系查询/关系数据操纵语言，以适应更丰富的关系数据操纵语言，以适应更丰富的类型系统。类型系统。 2021-11-2211.3 数据库系统体系结构数据库系统体系结构1.3.1 db数据的三层抽象模型 1.3.2 一种典型的dbms实现体系结构1.3.3 五层dbms体系结构模型2021-11-2221.3.1 db数据的三层抽象模型数据的三层抽象模型 2021-11-2231.3.2 一种典型的一种典型的dbms实现体系结构实现体系结构2021-11-2241.3.3 五层

17、模型体系结构五层模型体系结构2021-11-2251.4 数据库系统的发展与演化数据库系统的发展与演化1.4.1 五层模型体系结构的发展综述1.4.2 层次模型与事务模型1.4.3 体系结构变体1.4.4 可靠性与可适应性1.4.5 结论与展望2021-11-2261.4.1 五层模型体系结构的发展综述五层模型体系结构的发展综述v过去的过去的20多年中，多年中，db系统无论是在功能还是在系统无论是在功能还是在性能方面，都已经发生了巨大变化。性能方面，都已经发生了巨大变化。 虽然其中大部分的增强和改变，已被五层体系虽然其中大部分的增强和改变，已被五层体系结构模型所容纳。结构模型所容纳。 但由于许

18、多新特征但由于许多新特征/新特性引入，五层模型的各新特性引入，五层模型的各层次也不可避免需要进行一定的调整和变化。层次也不可避免需要进行一定的调整和变化。v20多年前，多年前，sql尚未标准化，关系模型也很简尚未标准化，关系模型也很简单。今天，我们必须引用单。今天，我们必须引用sql-99，或引用对象，或引用对象-关系模型，它们的各部分通常较复杂且不那么关系模型，它们的各部分通常较复杂且不那么好理解。好理解。 2021-11-227l5层的演化发展层的演化发展v用户定义类型、嵌套子表用户定义类型、嵌套子表/类型、递归等新特性类型、递归等新特性引入，须在引入，须在l5层进行调整。层进行调整。v通

19、过增强利用各类实例统计数据，基于代价的查通过增强利用各类实例统计数据，基于代价的查询优化器得到了更成功的改进，但对标志性新概询优化器得到了更成功的改进，但对标志性新概念念-用户定义类型，尚缺乏通用且有效的处置方用户定义类型，尚缺乏通用且有效的处置方法。法。v在为动态在为动态qep 建立更有效优化器，以更好处理建立更有效优化器，以更好处理新资源适用性问题，以及减少查询引擎的新资源适用性问题，以及减少查询引擎的“刹车刹车距离距离”等方面，已取得了一定进展，但还远未达等方面，已取得了一定进展，但还远未达到可实用的程度。到可实用的程度。2021-11-228l4层的演化发展（层的演化发展（1）vl4层

20、适配技术，不仅与单个算法处理有关，而且层适配技术，不仅与单个算法处理有关，而且与单个查询的多个操作符，或与多个并发查询处与单个查询的多个操作符，或与多个并发查询处理有关。理有关。v较新出现的、影响操作符实现的重要自适应技术较新出现的、影响操作符实现的重要自适应技术: 根据当前工作集设置和调整并行度；根据当前工作集设置和调整并行度； 对重复进入的索引进行重排序或范围整合；对重复进入的索引进行重排序或范围整合； 在多个查询之间共享表扫描等技术。在多个查询之间共享表扫描等技术。 v某些特定的查询类型，如某些特定的查询类型，如top/bottom n查询、查询、olap查询，往往存在新的可动态优化机会

21、。查询，往往存在新的可动态优化机会。2021-11-229l4层的演化发展（层的演化发展（2）v在针对一些已有标准操作的优化处理方面，也已在针对一些已有标准操作的优化处理方面，也已提出了一些改进、建议和扩展算法，其中很多成提出了一些改进、建议和扩展算法，其中很多成果已被集成到商业果已被集成到商业dbms系统中。系统中。v一些原先被认为是非标准应用的操作，被重新利一些原先被认为是非标准应用的操作，被重新利用并扩展了它们的使用范围。用并扩展了它们的使用范围。 如空间连接，或一些支持如空间连接，或一些支持olap的功能。的功能。v但仅通过调整已有的或增加新操作符，似乎并不但仅通过调整已有的或增加新操

22、作符，似乎并不足以或不可能应对呈足以或不可能应对呈爆炸性爆炸性增长的新类型集。增长的新类型集。2021-11-230l3层的演化发展层的演化发展vl3层是在过去层是在过去20多年中，一项很多年中，一项很“火爆火爆”的研的研究热点。通过提供更合适的存取路径和存取结构，究热点。通过提供更合适的存取路径和存取结构，l3层中的操作已变为更加有效。层中的操作已变为更加有效。vvolker gaede等人详细分析对比了等人详细分析对比了1998年以年以前提出的各种存取结构。前提出的各种存取结构。 但除了无处不在的但除了无处不在的b+树，以及它的一些变体树，以及它的一些变体外，它们中只有少数结构被成功集成到

23、特殊的外，它们中只有少数结构被成功集成到特殊的数据处理系统。数据处理系统。2021-11-231l2层的演化发展层的演化发展v最剧烈改进发生在并不需最剧烈改进发生在并不需db研究者下太多功夫研究者下太多功夫的的l2层。层。 moore定律已为他们完成了大部分工作。定律已为他们完成了大部分工作。v巨大缓存容量也使平滑实现巨大缓存容量也使平滑实现预取缓存分区预取缓存分区成成为可能。为可能。v隔离隔离l2层的层的“段段/页页”与与l1层的层的“文件文件/块块”，为复杂的数据映射和更新传播提供了机会。为复杂的数据映射和更新传播提供了机会。 但至今，这方面体系结构还没有任何变化发生。但至今，这方面体系结

24、构还没有任何变化发生。2021-11-232l1层的演化发展层的演化发展vl1层通常不是层通常不是db研究者们感兴趣的焦点。操作研究者们感兴趣的焦点。操作系统系统(os)研究者对文件系统处理的各种改进，研究者对文件系统处理的各种改进，只有部分会对只有部分会对db管理有用。管理有用。v至今，对于至今，对于l1层抽象，仍未得到任何事务支持。层抽象，仍未得到任何事务支持。但标准的文件映射已更为精细，能支持但标准的文件映射已更为精细，能支持2g字节字节的长字段和大对象。的长字段和大对象。v许多新出现的设备或技术的使用，已被能被透明许多新出现的设备或技术的使用，已被能被透明地集成到体系的地集成到体系的l

25、1层中。层中。raid技术及存储设备技术及存储设备支持并行存取能力提高，为在支持并行存取能力提高，为在l1l3层支持不层支持不同的存储策略和优化提供了新的机会。同的存储策略和优化提供了新的机会。2021-11-2331.4.2 层次模型与事务模型层次模型与事务模型v所谓的事务，指的是所谓的事务，指的是dbms中一个可执行的、具中一个可执行的、具有一定偏序的动作有一定偏序的动作/操作序列。操作序列。 任何事务，都具有以下四个基本特性，即原子任何事务，都具有以下四个基本特性，即原子性、一致性、孤立性和持久性，简称性、一致性、孤立性和持久性，简称acid特特性。性。 v进一步考虑进一步考虑acid，

26、层模型能更好帮助我们清晰，层模型能更好帮助我们清晰描述概念和引出一些更合适的解决方案。描述概念和引出一些更合适的解决方案。 2021-11-2341.4.3 体系结构变体体系结构变体 v在过去的在过去的20多年中，出现了很多较特殊的新型多年中，出现了很多较特殊的新型数据管理应用场景。如何将它们纳入五层或简化数据管理应用场景。如何将它们纳入五层或简化的的dbms体系？体系？v一个很好的观察切入点是：一个很好的观察切入点是：dbms结构变化决定结构变化决定于体系结构中于体系结构中“映射步映射步”的变化。的变化。v我们应能通过标识相关层中变体组件和扩展映射，我们应能通过标识相关层中变体组件和扩展映射

27、，并通过解释并通过解释db处理中的相似性和特殊性，来平处理中的相似性和特殊性，来平滑处理各种体系结构变体问题。滑处理各种体系结构变体问题。2021-11-235db处理的横向分布变化：分布式处理的横向分布变化：分布式dbms系统系统 图图1.5 dbmss沿水平分布扩展后演化成分布式沿水平分布扩展后演化成分布式dbmss系统系统 2021-11-236dbmss处理的垂直分布变化：处理的垂直分布变化：c/s dbms v这类这类dbms体系结构的典型代表是所谓的体系结构的典型代表是所谓的c/s dbmss ( client/server dbmss)。它们的。它们的主要目标是：使应用或客户机能

28、有效使用主要目标是：使应用或客户机能有效使用dbms的处理能力。的处理能力。vc/s dbmss通常被用在需要较长事务，且需要通常被用在需要较长事务，且需要对数据进行检查对数据进行检查/校验的场合。校验的场合。图图1.6中给出了中给出了三种常见的三种常见的c/s体系结构变体体系结构变体。v这方面面临的主要挑战是：如何利用当前查询缓这方面面临的主要挑战是：如何利用当前查询缓存结果内容，来处理声明性的、面向集合的查询。存结果内容，来处理声明性的、面向集合的查询。 2021-11-2371.4.3.3 新的体系结构需求新的体系结构需求v 五层或其简化体系结构已能很好满足面向集合操作的、五层或其简化体

29、系结构已能很好满足面向集合操作的、记录式的数据库管理，使得它们能以不变或稍许变化的记录式的数据库管理，使得它们能以不变或稍许变化的方式，重用已有标准方式，重用已有标准dbms或其简单变体来实现。然而，或其简单变体来实现。然而，近年来，需求已有强烈偏离这种规范的倾向。近年来，需求已有强烈偏离这种规范的倾向。v 一个最引人关注的进展是：基于组件体系的、松散耦合一个最引人关注的进展是：基于组件体系的、松散耦合的数据库系统研制与应用，这种体系现已被广泛应用到的数据库系统研制与应用，这种体系现已被广泛应用到对象对象-关系数据库系统（关系数据库系统（ordbmss）中。）中。 例如，例如，informix 的数据刀片（的数据刀片（datablades）、）、oracle的盒式插件（的盒式插件（cardridges）等框架结构。）等框架结构。 但目前这类方法尚未达到真正无缝集成的要求，也没但目前这类方法尚未达到真正无缝集成的要求，也没有达到所期许的性能和可伸缩性。将来的挑战可能仍有达到所期许的性能和可伸缩性。将来的挑战可能仍主要是