数据库基础知识

数据库基础知识数据库的基本概念口数据库(Database,DB)的定义·定义1:数据库，就是存放数据的仓库。·定义2:数据库，是数据及数据间逻辑关系的集合体。·定义3:数据库，是按照某种模型组织起来的，可以被各种用户或应用共享的数据的集合。·数据的解释是对数据的说明。数据需要经过解释才能明确其表达的含义。口数据库管理系统(DBMS)·DBMS对数据进行统一控制管理，以保证数据的完整性和安全性。DBA终端用户终端用户应用程序口数据库管理系统(DBMS)·数据库管理员：拥有所有对象的所有权限，根据实际情况不同的权限授予不同的用户。数据库应用程序数据库(DB)口数据库管理系统(DBMS)的主要功能口数据库的作用口数据库的特点数据库可以将数据持久地存储在硬盘上。即使关机或断电，数据也不会丢失。数据库提供了强大的查询语言和索引功能，可以轻松地检索和更新存储的数据。数据库提供了各种机制来确保数据的完整性。可以定义约束条件，例如主键约束、唯一约束和外键约束，以防止数据的重复、不一致或无效。数据库提供了安全性功能。可以设置访问权限和用户身份验证机制，控制读取、写入或修改权限。口数据管理技术的发展阶段1950年代后期-1960年代可以将数据交给系统进行程序和数据有了一定的独需要更加高效的数据管理口数据库的发展阶段分析型数据库1993分析型数据库199319981970年代数据库市场化开始萌芽；对象型、分析型2022混合事务/分析处理20052014200520142011开源、分布式、非关系型2000年代互联网进一步推动数据库可扩展、高性能、云口数据库的发展阶段：关系型数据库崛起(1960-2000)口数据库的发展阶段：非关系型数据库崛起(2000-2010)NoSQL数据库)。口数据库的发展阶段：新兴数据库技术涌现(2010-现在)口数据库的模型文档模型(Document-OrientedModel)时序模型(Time-SeriesModel)口数据库的模型(1)—层次数据模型·层次数据模型：是用树状“层次”结构来组织数据的数据模型。·图形表示就是一个倒立生长的树。·每个节点表示一个记录类型对应与实体的概念，记录类型的各个字段对应实体的各个属性。各个记录类型及其字段都必须记录。医生编号医生姓名病历号病人姓名病历单口数据库的模型(2)—网状数据模型部门公司项目参与者工作记录口数据库的模型(3)—关系数据模型借阅时间小明男3月4日女5月7日男10月11日男12月3日口数据库的模型(3)—关系数据模型口数据库的模型(3)—关系数据模型SQL语句的分类口数据库的模型(3)—关系数据模型ACID特性口数据库的模型(4)—非关系数据模型口数据库的模型(4)—非关系数据模型口数据库的模型(4)—非关系数据模型规模数据处理需求。同时，部分非关系型数据库，在金融证券、公共卫生、社交网络等涉及复杂关系溯源、关系链条跟踪等关系表数据集(键值JSON文档/哈希表/其他)模式结构结构化、提前定义表结构动态调整模式，非结构化扩展方式纵向扩展，提高处理能力横向扩展、增加分布式节点数据查询标准通用的查询语言SQL非标准非结构化的查询语言(UnQL)ACIDCAP、BASE主要优势结构化、事务处理、易于维护使用扩展性、灵活调整、大数据分析主要劣势扩展性、高并发场景、大数据分析事务支持较弱，标准不统一口数据库的模型(4)—非关系数据模型主要的非关系型数据库数据库类型主要特点应用场景典型开源产品键值数据库使用哈希表存储键和指向特定的数据的指针内容缓存、购物车Redis列族数据库键仍然存在，但指针指向多个列，以列簇式存储相关数据分布式文件系统、大数据分析HBase文档数据库以文档形式(JSON/BSON/XML)存取数据，Schema-Free弱模式结构应用日志系统、网站/博客平台MongoDB以图存储数据、实体顶点，边代表关系社交网络、推荐引擎Neo4J时序数据库按时间顺序收集、存储和处理数据物联网应用/事件跟踪搜索引擎数据库搜索保存在其他存储和服务中的数据网页、索引查询口数据库的模型(4)—非关系数据模型ValueValueValueValue口数据库的模型(4)—非关系数据模型口数据库的模型(4)—非关系数据模型文档数据库Tables口数据库的模型(4)—非关系数据模型口数据库的模型(4)—非关系数据模型时序数据库TimeTime11:21:2311:21:3511:21:3811:21:42 ValueValue口数据库的业务承载类型·主要任务是确保数据库的完整性和一致性，并执行大量的读写操作(简短的、小规模);用户进程服务器进程共享池Java池stream池数据库高速缓存大池重做日志缓冲区后台进程结构参数文件密码文件控制文件数据文件重做日志文件归档日志文件口数据库的部署方式口数据库的架构分类单机数据库架构口数据库的架构分类主从复制架构从数据库主数据库从数据库口数据库的架构分类分布式数据库架构口数据库的架构分类需要处理分片之间的数据分布和一致性问题。Collection1Collection1256GBCollection1Collection1256GB256GB256GB256GB口数据库的架构分类多主复制架构口数据库的架构分类混合架构口数据库的分类(按存储介质)·特点：内存访问速度快，适合需要高性能的场景。数据在断电或故障后会丢失，需要定期持久化到磁盘。口数据库的设计和部署流程架构规划产品选型容灾规划安全规划2集群部署容灾部署数据库迁移数据库整合十3应急演练技能培训性能优化口数据库的设计流程·需求分析：准确了解和分析用户需求(包括数据和处理)。·概念结构设计：通过对用户需求进行综合、归纳与抽象，形成一个独立于具体DBMS的概念模型。·逻辑结构设计：将概念结构转换为某个DBMS所支持的数据模型，并对其进行优化。·物理结构设计：为逻辑数据模型选取一个最适合应用环境的物理结构(包括存储结构和存取方法)。·数据库实施：根据逻辑设计和物理设计的结果建立数据库，编制与调试应用程序，组织数据入库并·数据库运行和维护：在数据库投入正式使用后，不断地对其进行评价、调整与修改。口数据库的安全机制审计制度(Auditsystem)启用一个专用的审计日志(AuditLog),将用户对数据库的所有操作记录在上面。审计员利用审计日志监控数据库中的各种行口数据库的典型产品RSI(甲骨文公司前身)MySQLAB(瑞典)。2008年，MySQL被Oracle加州大学伯克利分校(UCB)微软与Ashton-Tate和Sybase合作推出键值数据库Powerset公司，后成为ApacheHadoop项目的一个子项目基于云的数据仓库平台Teradata(NCR的一个部门，2007年独立出来)Greenplum公司(2010年被EMC收购，现为VMware的一部分)Databricks公司分布式数据库分布式数据库口数据库的典型产品VersantHadapt即服务aaS即服务aaSDynamo列储存 Dynamo列储存 形r口数据库的产业链传统数据库厂商新兴数据库厂商云厂商ICT跨界厂商事务型数据库分析型数据库键值型内存数据库搜索型数据库时序数据库时空数据库全密态数据库数据库迁移工具数据库备份恢复工具数据库管理平台数据库开发工具数据库服务规划设计实施部署运维运营用户个人家庭消费者政府部门金融证券教育医疗工业制造农林牧渔交通运输科学研究口数据库的市场规模部分数据来源：《数据库发展研究报告(2024年)》,中国通信标准化协会口国内数据库的发展历程口国产数据库的代表产品类别厂商产品传统数据库厂商达梦数据库DMB人大金仓KSOne,KingbaseES,KingbaseAnalyticsDBGBASEGbase8a,Gbase8s,Gbase8c,GbaseXDM万里数据库GreatDBCluster神舟通用神通数据库，OSCAR新兴数据库厂商PingCAPTiDB巨杉数据库SequoiaDB星环科技TRANSWARPArgoDB,KunDB热璞科技HOTPUHotDB极数云舟ArkDBOCEANBASEOceanbase易鲸捷EsgynDB天云数据Hubble云和恩墨MogDB爱可生ACTION云树RDS,云树Shard云厂商腾讯云TDSQL,TencentDB,TcaplusDB阿里云PolarDB,Lindorm,AnalyticDB华为GaussDB,OpenGauss,TaurusDB金山云Dragonbase,KingDB,KRDS百度智能云GaiaDB,Palo京东云StarDB天麗云TeleDBICT跨界厂商ZTE中兴GoldenDBInspur浪潮ZNBase,K-DB新华三H3CSeaSQL口数据库的发展趋势·21世纪以来，非关系型数据库发展非常迅猛。但根据目前最新的数据，关系数据库仍占据80%以上的市场份额。在可预见的数据库市场中，关系型数据库仍将占据主导地位。·目前的传统主流数据库，都以关系模型为主，同时可支持其它非关系模型的数据库类型。·在信创战略下，国产数据库厂商和品类不断增加，技术不断走向成熟，市场份额有显著的提升。口数据库发展所面临的挑战(1)——数据量急剧增长口数据库发展所面临的挑战(2)——实时性要求口数据库发展所面临的挑战(3)——安全与隐私口数据库发展所面临的挑战(4)——一致性和可靠性口数据库发展所面临的挑战(5)——多模与跨平台口数据库发展所面临的挑战(6)——管理和运维挑战解决方案口开源数据库·开源数据库通常是免费的社区数据库，其源代码对外开放，开发人员可以在其原始设计基础上修改或使用。·优势：规避了高昂的授权费用和服务费用，成本较低、产品丰富，有活跃的社区支持。·劣势：易用性不足，配套能力、服务能力跟不上，产品功能完善度不足。·当前全球开源关系型数据库主要有MySQL和PostgreSQL,开源非关系型数据库主要有MongoDB、Hbase、Cassandra、CouchDB、Redis等。口数据库+云计算·在商业模式上，其可简单划分为公有云部署和私有云部署模式。·公有云数据库多以云厂商自有产品和开源产品为主。在金融、政府、运营商等关键应用领域中，本地部署(含私有云)的优势较为明显，成为客户的首选。口多模数据库(Multi-ModelDatabase)·多模数据库是指能够支持处理多种数据模式混合(例如关系、KV、文档、图、时序等)的数据库。·多模数据库支持灵活的数据存储类型，将各种类型的数据进行集中存储、查询和处理，可以同时满足应用程序对于结构化、半结构化和非结构化数据的统一管理需求。·未来多模数据