《智能产品》 课件 第6章智能产品中的数据存储与检索

智能产品第六章智能产品中的数据存储与检索1内容纲要26.1大数据存储的种类和优缺点6.2数据库系统的原理和基础模型6.3数据检索与存储应用案例36.1.1大数据存储类型大数据存储类型关系型数据库NoSQL数据库云数据库分布式文件系统46.1.1大数据存储类型关系型数据库关系型数据库(RelationalDatabase)是基于数据关系模型的数据库，而用于维护关系数据库的数据库管理系统是关系型数据库管理系统(RDBMS)。许多关系数据库系统都配备了使用

SQL(结构化查询语言)来查询和更新数据库的选项。56.1.1大数据存储类型在关系型数据库中，数据以行和列的形式组织，每行表示一个记录，每列表示一个属性。这种结构使得数据之间可以通过键值（主键和外键）建立关系，从而方便进行复杂的查询和数据分析。66.1.1大数据存储类型关系型数据库具有以下特点：数据结构化数据以表格形式存储，每个表具有预定义的结构，包括列名、数据类型和约束等。ACID事务关系型数据库支持事务，保证数据的原子性、一致性、隔离性和持久性。SQL查询语言关系型数据库通常使用结构化查询语言（SQL）进行数据查询和操作，SQL提供了丰富的查询和操作功能，包括选择、插入、更新、删除等操作。76.1.1大数据存储类型服务端关系型数据结构图86.1.1大数据存储类型

关系型数据库适用于许多不同的应用场景，尤其是需要数据结构化和复杂查询的应用程序。然而，在处理大规模数据和高并发访问方面，关系型数据库可能会面临一些挑战，因此，在选择数据库时需要根据具体的需求和场景进行权衡。常用的关系型数据库MySQL：一个流行的开源关系型数据库管理系统，广泛用于Web应用程序的数据存储。PostgreSQL：一个功能丰富的开源关系型数据库管理系统，具有高度的可扩展性和灵活性。OracleDatabase：一个商业的关系型数据库管理系统，被广泛用于企业级应用程序的数据存储和管理。MicrosoftSQLServer：一个由微软提供的关系型数据库管理系统，适用于Windows环境，与其他Microsoft产品集成良好。96.1.1大数据存储类型关系数据库术语和相应的

SQL

术语SQL术语关系数据库术语描述RowTupleorrecord表示某个项目的数据集ColumnAttributeorfield元组的标记元素，例如“地址”或“出生日期”TableRelationorBaserelvar一组共享相同属性的元组；一组列和行VieworresultsetDerivedrelvar任何元组集；来自RDBMS的数据报告，用于响应查询106.1.1大数据存储类型分布式文件系统相对于传统的本地文件系统而言，分布式文件系统是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式文件系统的设计一般采用“客户端/服务器”模式，客户端以特定的通信协议通过网络与服务器建立连接，提出文件访问请求，客户端和服务器可以通过设置访问权来限制请求方对底层数据存储块的访问。目前，已得到广泛应用的分布式文件系统主要包括GFS和HDFS等，后者是针对前者的开源实现。普通的文件系统只需要单个计算机节点就可以完成文件的存储和处理，单个计算机节点由处理器、内存、高速缓存和本地磁盘构成。分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。116.1.1大数据存储类型分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，如图所示。这些节点分为两类：一类叫“主节点”(MasterNode)，或者被称为“名称节点”(NameNode)；另一类叫“从节点”(SlaveNode)，或者被称为“数据节点”(DataNode)。126.1.1大数据存储类型136.1.1大数据存储类型HBase的系统架构图146.1.1大数据存储类型NoSQL数据库NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系数据库的统称，它所采用的数据模型并非传统关系数据库的关系模型，而是类似键值、列族、文档等非关系模型。NoSQL数据库没有固定的表结构，通常也不存在连接操作，也没有严格遵守ACID约束。因此，与关系数据库相比，NoSQL具有灵活的水平可扩展性，可以支持海量数据存储。此外，NoSQL数据库支持MapReduce风格的编程，可以较好地应用于大数据时代的各种数据管理。NoSQL数据库的出现，一方面弥补了关系数据库在当前商业应用中存在的各种缺陷，另一方面也撼动了关系数据库的传统垄断地位。NoSQL数据库代表有Cassandra、MongoDB、Redis。156.1.1大数据存储类型典型的NoSQL数据库通常包括键值数据库、列族数据库、文档数据库和图数据库。文档数据库中的数据包含字符串、数字等各个类型，并且其结构通常与开发者在代码中使用的对象保持一致。键值数据库包含键和值。因为应用可以完全控制value字段中存储的内容，没有任何限制。宽列存储数据库非常适合需要存储大量的数据。图形数据库旨在轻松构建和运行与高度连接的数据集一起使用的应用程序。166.1.1大数据存储类型云数据库云数据库是一种托管在云平台上的数据库服务，它提供了可伸缩的存储和计算资源，使用户能够轻松地存储、管理和访问数据。云数据库通常以服务形式提供，用户无需关心底层硬件和软件的维护，只需通过网络访问和使用数据库服务。在云数据库中，所有数据库功能都是在云端提供的，客户端可以通过网络远程使用云数据库提供的服务，如图6-5所示。客户端不需要了解云数据库的底层细节，所有的底层硬件都已经被虚拟化，对客户端而言是透明的，客户端就像在使用一个运行在单一服务器上的数据库一样，非常方便、容易，同时可以获得理论上近乎无限的存储和处理能力。176.1.1大数据存储类型常见的云数据库服务提供商包括亚马逊AWS的AmazonRDS、微软Azure的AzureSQLDatabase、谷歌Cloud的GoogleCloudSQL等。186.1.2数据库优缺点对比196.1.2数据库优缺点对比206.1.2数据库优缺点对比216.1.2数据库优缺点对比内容纲要226.1大数据存储的种类和优缺点6.2数据库系统的原理和基础模型6.3数据检索与存储应用案例236.2.1数据库的基本要素数据库、数据库管理系统以及数据库系统是数据库技术中不可或缺的三个要素，它们之间紧密相连，但也各具特点和功能。数据库是一组统一管理的相关数据集合。这些数据按照一定的结构存储在存储介质中，通常是磁盘。数据库具有以下基本特点：能够为各种用户共享数据、具有最小的冗余度、数据与程序之间具有独立性，并由数据库管理系统统一管理和控制。需要注意的是，数据库本身并不是独立存在的，而是数据库系统的一部分。246.2.1数据库的基本要素数据库管理系统是对数据库进行管理的软件，是数据库系统的核心。它位于用户与操作系统之间，为用户或应用程序提供访问数据库的方法，包括数据库的创建、更新、查询、统计、显示、打印以及各种数据控制操作。数据库系统是一个由计算机软件、硬件、数据和人员组成的系统，用于有组织地、动态地存储大量相关数据，并方便用户访问。它由数据库、数据库管理系统、数据库管理员、数据库应用程序和用户五个部分组成。256.2.1数据库的基本要素266.2.1数据库的基本要素要素地位作用数据库数据库系统处理的对象存放在计算机硬件中的相关联同时满足应用需求的数据数据库管理系统数据库系统的核心软件，用于管理数据库数据库管理员工作人员负责规划、设计、协调、维护和管理数据库数据库应用程序应用程序用于满足数据处理需求用户数据库系统的使用和操作人员通过数据库管理系统直接操纵数据库数据结构完整性约束条件数据操作数据模型276.2.2数据模型数据模型是一种抽象的结构化描述，包含数据结构、数据操作和完整性约束条件三个要素。它有助于理解和组织数据，并为数据库的设计和管理提供指导。数据库系统中常用的数据模型包括层次模型、网状模型和关系模型。286.2.2数据模型层次模型层次模型采用树形结构来表示各类实体及其之间的联系。每个结点表示一个记录类型，结点之间的联系通过有向边表示。层次模型中，满足以下两个条件的基本层次关系构成了层次模型：1）存在且仅存在一个结点没有双亲结点，称为根结点；2）根以外的其他结点有且只有一个双亲结点。296.2.2数据模型在层次模型中，记录以节点表示，节点之间的联系以连线表示，通常表现为父子之间的一对多实体关系。具有相同父节点的子节点称为兄弟节点（也称为双胞胎或同级节点），而没有子节点的节点则称为叶节点。层次模型类似倒立的树，只有一个根结点和多个叶结点，结点的双亲唯一。如图所示，T1为根结点，T2和T3都是T1的子女结点，T2和T3为兄弟结点；T4和T5是T3的子女结点，T4和T5也为兄弟结点；T2、T4和T5为叶结点。306.2.2数据模型网状模型在网状模型中，数据以图形结构的方式组织，每个节点表示一个记录类型，而边则表示记录之间的联系。与层次模型不同，网状模型中的记录之间可以形成复杂的网络关系，而不受单一层次结构的限制。在数据库中，满足以下两个条件的基本层次联系构成了网状模型：1)允许一个以上结点没有双亲；2)结点可以有多个双亲。316.2.2数据模型网状模型与层次模型相似，使用记录和记录值表示实体集和实体。每个结点表示一个记录，每个记录可以包含多个字段。网状模型中的联系用有向线段表示，每个有向线段表示记录间的一对多关系。这种关系在网状模型中称为“系”。由于网状模型中的系比较复杂，两个记录之间可以存在多种系，一个记录允许有多个双亲记录，因此在网状模型中，系必须命名以标识不同的系。另外，网状模型中允许存在复合链，即两个记录之间可以有两种以上的联系。326.2.2数据模型关系数据模型关系模型建立在严格的数学概念基础上，是最重要的一种数据模型。当前流行的数据库系统大多是关系数据库系统。在关系模型中，现实世界的实体以及实体间的各种联系均用单一的结构关系来表示，每个关系的数据结构是一张规范化的二维表。关系模型要求关系必须是规范化的，关系的每一个分量都是不可分的数据项。336.2.2数据模型关系模型的术语与说明术语说明关系一个关系对应通常说的一张表元组表中的一行即为一个元组属性表中的一列即为一个属性，给每一个属性起一个名称即属性名码表中的某个属性组，它可以唯一确定一个元组域域是一组具有相同数据类型的值的集合，属性的取值范围来自某个域分量元组中的一个属性值关系模式对关系的描述，一般表示为关系名346.2.2数据模型关系操作的对象和结果都是集合。常用的关系操作包括查询操作和插入、删除、修改操作两大部分。查询是关系操作中最主要的部分，包括选择、投影、并、差、笛卡尔积等基本操作。其他操作可以用基本操作来定义和导出。早期的关系操作通常用关系代数或关系演算方式来表示。关系代数使用对关系的运算来表达查询要求，而关系演算则使用谓词来表达查询要求。关系演算根据谓词变元的基本对象分为元组关系演算和域关系演算。此外，还有一种介于关系代数和关系演算之间的结构化查询语言SQL，SQL综合了集查询、数据定义语言、数据操纵语言和数据控制语言于一体。关系的完整性约束条件包括实体完整性、参照完整性和用户定义的完整性。实体完整性确保关系中的每个实体都有一个唯一的标识符，参照完整性确保关系中的引用完整性，即每个引用关系中的外键必须与被引用关系中的主键值匹配。用户定义的完整性是用户根据特定业务规则定义的约束条件，确保数据的一致性和正确性。356.2.3事务管理事务管理定义：保证事务在并发执行时满足ACID准则的技术称为并发控制；保证事务在故障时满足ACID准则的技术称为恢复。并发机制和恢复是保证事务正确执行的两项基本措施，它们合称为事务管理（transactionmanagement）。366.2.3事务管理故障故障情况恢复措施事务失效发生在事务提交完成前执行撤销（undo）操作；从事务日志中删除该事务的事务标识符（TID），并释放其占用的资源。系统失效内存数据全部丢失，但外存上的数据库未遭到破坏将操作系统和数据库管理系统重启；商业智能——undo，人工智能——redo。介质失效外存上的数据已遭到破坏，一切已提交的事务对数据库的影响全部丢失维护系统的健康，包括必要时替换磁盘；重新启动操作系统和数据库管理系统；加载最近的备份副本；利用人工智能技术，重新执行所有已提交事务自备份后的更新操作。376.2.4数据库索引数据库索引是数据库管理系统中一种排序的数据结构，用于加快对数据库表数据的查询和更新。除了存储数据外，数据库系统还维护着一种特定查找算法的数据结构，这些数据结构以某种方式引用数据，即索引。简而言之，索引就像是书本或字典的目录，方便快速定位所需内容。386.2.4数据库索引索引的作用

通过创建索引，可以提高系统的性能；创建唯一性索引可以保证数据库表中每一行数据的唯一性；在使用分组和排序子句进行数据检索时，可以减少查询中分组和排序的时间。创建索引和维护索引要耗费时间，而且时间随着数据量的增加而增大；索引需要占用物理空间，如果要建立聚簇索引，所需要的空间会更大；对表中的数据进行增删改时，索引需要动态地维护，因此可能会增加操作的时间开销。索引的缺点

内容纲要396.1大数据存储的种类和优缺点6.2数据库系统的原理和基础模型6.3

数据检索与存储应用案例406.3数据检索与存储应用案例智慧医疗案例智慧医疗通过整合各类医疗信息资源，构建了包括药品目录数据库、居民健康档案数据库、影像数据库（即影像存储与传输系统，PACS）、检验数据库（即实验室信息系统，LIS）、医疗人员数据库以及医疗设备数据库等六大基础数据库。这些数据库覆盖了卫生领域的关键信息，为医疗服务提供了坚实的基础。416.3数据检索与存储应用案例智慧医疗中的数据库应用案例426.3数据检索与存储应用案例智慧医疗案例智慧医疗系统的建立，为医疗行业的数字化转型提供了重要支持，促进了医疗资源的优化配置和医疗服务的智能化提升。436.3数据检索与存储应用案例智能物流案例智能物流是大数据在物流领域的典型应用，融合了大数据、物联网和云计算等新兴IT技术。它使物流系统具备了类似人类智能的能力，实现了物流资源的优化调度、有效配置和系统效率的提升。大数据技术是智能物流发挥重要作用的基础和核心。智能物流中的数据库应用案例446.3数据检索与存储应用案例（1）深刻认识物流规律：物流行业在货物流转、车辆追踪、仓储等各个环节中产生海量数据。通过分析这些物流大数据，可以深刻认识物流活动背后的规律，优化物流过程，提升物流效率。（2）个性化服务提升：大数据技术推动了物流行业从粗放式服务向个性化服务的转变。通过收集、整理和分析物流企业内外部相关信息，可以为每