第11章分布式数据库

1、第11章 分布式数据库与分布数据处理n 什么是分布式数据库？什么是分布式数据库？n SQL Server的分布数据管理方法的分布数据管理方法北京信息科技大学什么是分布式数据库？v 分布式数据库是一个物理上分布于计算机分布式数据库是一个物理上分布于计算机网络的不同地点、而逻辑上又属于同一系网络的不同地点、而逻辑上又属于同一系统的数据集合。网络上每个地点的数据库统的数据集合。网络上每个地点的数据库都有自治能力，能够完成局部应用；同时都有自治能力，能够完成局部应用；同时每个地点的数据库又属于整个系统，通过每个地点的数据库又属于整个系统，通过网络也可以完成全局应用。网络也可以完成全局应用。2北京信息科

2、技大学分布式应用的例子n假设某大型企业的总部设在上海，在北京、广州、重庆等地设有分公司。n以采购业务为例，一般采购业务分公司都可以自主独立完成，而关键部件的重要采购则需要得到总公司的批准。n假设重庆分公司需要采购一批货物，本地完成申请、审批后，发现这批货物属于关键部件的重要采购，需要提交上海总公司审批。n而上海总公司审核时，又需要了解各分公司的库存，如果各分公司库存不够，就同意采购，否则直接由其他分公司调配给重庆分公司。3北京信息科技大学基本概念n分布式数据库把整个分布式数据库把整个企业的所有数据管理企业的所有数据管理纳入一个统一的数据纳入一个统一的数据库进行管理，但是很库进行管理，但是很多数

3、据物理地分布存多数据物理地分布存储在各分公司的数据储在各分公司的数据库中。库中。n分布式数据库就是要分布式数据库就是要解决如何实现数据的解决如何实现数据的分布存储和数据的高分布存储和数据的高效利用。效利用。4总公司分公司1分公司2局部自治整体统一整体统一北京信息科技大学5n数据的物理分布性数据的物理分布性n数据的逻辑整体性数据的逻辑整体性n数据的分布透明性数据的分布透明性n场地自治和协调工作场地自治和协调工作n数据冗余数据冗余分布式数据库的基本特点分散式数据库和分布式数据库？北京信息科技大学分布式数据库的数据分布方式分布式数据库的数据分布方式n集中式集中式集中式是将所有数据安排在一台服务器上。

4、集中式是将所有数据安排在一台服务器上。n分割式分割式分割式是将全部数据分割成若干部分，分别存放在若干场地的分割式是将全部数据分割成若干部分，分别存放在若干场地的计算机上，或者说是将一个整体数据库分成若干子集，每个子计算机上，或者说是将一个整体数据库分成若干子集，每个子集放在一个数据库服务器上。集放在一个数据库服务器上。n复制式复制式复制式是将一个数据库复制多个副本，在每个数据库服务器上复制式是将一个数据库复制多个副本，在每个数据库服务器上都有一个完整的数据库副本。都有一个完整的数据库副本。n混合式混合式即分割式与复制式的混合。即分割式与复制式的混合。6北京信息科技大学7分布式数据库的数据分布方

5、式分布式数据库的数据分布方式n集中式集中式n分割式分割式n复制式n混合式北京信息科技大学数据分片n水平分片水平分片通过关系代数的选择操作，按一定的条件将全局关系通过关系代数的选择操作，按一定的条件将全局关系划分成若干个子集，每个子集可以看作是一个数据分划分成若干个子集，每个子集可以看作是一个数据分片。片。n垂直分片垂直分片通过关系代数的投影操作将关系按属性划分成若干个通过关系代数的投影操作将关系按属性划分成若干个子集，同样，每个子集也可以看作是一个数据分片。子集，同样，每个子集也可以看作是一个数据分片。n混合型分片混合型分片先按水平分片、再按垂直分片，或先按垂直分片、再先按水平分片、再按垂直分

6、片，或先按垂直分片、再按水平分片，依此种方法可以将一个全局关系划分成按水平分片，依此种方法可以将一个全局关系划分成若干子集，或从一个全局关系划分出若干子集。若干子集，或从一个全局关系划分出若干子集。8北京信息科技大学11.2 SQL Server的分布数据管理概述n复制技术复制技术n出版、订阅和发行出版、订阅和发行n紧凑一致和松散一致紧凑一致和松散一致n两阶段提交两阶段提交9北京信息科技大学SQL Server提供的分布数据管理策略复制式分布策略复制式分布策略集中式集中式分割式分割式复制式复制式混合式混合式n存储代价的降低和网速的不断提高，人们想以最快的速度得到任何一地的数据，用复制式分布策略

7、来支持分布数据管理是目前最普遍的方法。 北京信息科技大学复制技术n复制是要在不同的数据库服务器中存储多个相同的数是要在不同的数据库服务器中存储多个相同的数据副本，这些副本要保持同步和一致。据副本，这些副本要保持同步和一致。11复制技术带来的主要问题？复制技术带来的主要问题？更新传播更新传播n基于事务的复制l在复制的开始传送一次副本，使相关数据库服务器在复制的开始传送一次副本，使相关数据库服务器上的数据同步；上的数据同步；l然后通过传送和执行事务使分布的数据保持一致。然后通过传送和执行事务使分布的数据保持一致。北京信息科技大学副本12复制的过程 复制开始前：同步复制开始前：同步副本副本更新更新事

8、务传播更新更新复制开始：复制事务复制开始：复制事务所有数据完仍然完全一致所有数据完仍然完全一致所有数据库完全一致北京信息科技大学复制哪些内容？n只复制需要复制的内容，其他站点永远不只复制需要复制的内容，其他站点永远不需要的数据不用复制。需要的数据不用复制。n用数据分片的方式产生要复制的内容。用数据分片的方式产生要复制的内容。北京信息科技大学术语出版、订阅和发行nSQL Server通过数据通过数据出版出版产生数据的副本，通产生数据的副本，通过数据过数据发行发行传送数据的副本，通过传送数据的副本，通过订阅订阅获得数据获得数据的副本。的副本。14出版订阅发行出版数据订阅数据发行数据出版数据库订阅数

9、据库发行数据库出版服务器订阅服务器发行服务器北京信息科技大学15出版服务器发行服务器订阅服务器出版数据库出版物发行数据库订阅数据库存放被复制数据的源存放被复制数据的源服务器。服务器。出版服务器、出版数出版服务器、出版数据库、出版物、项目。据库、出版物、项目。与出版服务器相对应，与出版服务器相对应，是存放复制数据的目是存放复制数据的目标服务器。标服务器。扮演的是扮演的是“存储和转存储和转发发”的角色，在发行的角色，在发行服务器上有发行数据服务器上有发行数据库，它存储来自出版库，它存储来自出版服务器的出版数据，服务器的出版数据，并将这些数据转发到并将这些数据转发到订阅服务器。订阅服务器。北京信息科

10、技大学SQL Server的复制的灵活性n从订阅的角度，可以有选择地订阅出版物或出版物中从订阅的角度，可以有选择地订阅出版物或出版物中的项目。的项目。l订阅出版物是指订阅服务器可以订阅由出版服务器提供的订阅出版物是指订阅服务器可以订阅由出版服务器提供的所有或部分出版物（也可以不订阅）；所有或部分出版物（也可以不订阅）；l订阅出版物中的项目是指订阅服务器可以订阅一个出版物订阅出版物中的项目是指订阅服务器可以订阅一个出版物的所有或部分项目。的所有或部分项目。n从出版的角度，可以选择垂直分片出版、水平分片出从出版的角度，可以选择垂直分片出版、水平分片出版或混合分片出版。从订阅的角度，可以选择垂直分版

11、或混合分片出版。从订阅的角度，可以选择垂直分片订阅、水平分片订阅或混合分片订阅。片订阅、水平分片订阅或混合分片订阅。北京信息科技大学紧凑一致和松散一致n分布数据的一致性可以分为实时一致和延时一致分布数据的一致性可以分为实时一致和延时一致两种，即复制有两种模式：两种，即复制有两种模式：l紧凑一致（紧凑一致（tight consistency）l松散一致（松散一致（loose consistency北京信息科技大学两阶段提交n所谓两阶段提交就是在多个数据库上连续地所谓两阶段提交就是在多个数据库上连续地修改同一数据库的副本，如果在修改同一数据库的副本，如果在一个服务器一个服务器上事务提交上事务提交失

12、败失败了，则已经提交事务的也必了，则已经提交事务的也必须须撤消撤消事务（第一阶段）；只有事务（第一阶段）；只有所有的数据所有的数据库库的（第一阶段）事务提交都的（第一阶段）事务提交都成功成功了，才最了，才最后后确认确认事务成功（第二阶段）。事务成功（第二阶段）。北京信息科技大学11.3 SQL Server的复制实现技术nSQL复制类型复制类型l快照复制快照复制l事务复制事务复制l合并复制合并复制nOracle的复制机制的复制机制北京信息科技大学快照复制是事务复制和合并复制的基础n快照复制：将某一时刻的副本传送到订阅快照复制：将某一时刻的副本传送到订阅服务器。服务器。n事务复制：通过快照复制完

13、成初始同步，事务复制：通过快照复制完成初始同步，然后启动基于事务的复制然后启动基于事务的复制紧凑一致。紧凑一致。n合并复制：通过快照复制完成初始同步，合并复制：通过快照复制完成初始同步，然后各副本独立工作，事后协调事务冲突然后各副本独立工作，事后协调事务冲突松散一致。松散一致。北京信息科技大学21复制是通过各种代理实现的n快照代理快照代理n发行代理发行代理n日志读取代理日志读取代理n合并代理合并代理n北京信息科技大学22快照复制基本概念n快照复制可以简单的理解为将某一时刻的数据的快照复制可以简单的理解为将某一时刻的数据的副本传送到订阅服务器上。副本传送到订阅服务器上。n快照复制是特定时刻的拷贝

14、，它不监视对数据的快照复制是特定时刻的拷贝，它不监视对数据的更新。更新。 北京信息科技大学23快照复制涉及的代理程序n快照代理程序快照代理程序l根据出版数据库创建模式和数据文件根据出版数据库创建模式和数据文件l并将它们存储在快照文件夹中并将它们存储在快照文件夹中n发行代理程序发行代理程序l将保存在发行数据库中的快照将保存在发行数据库中的快照传递传递到订阅服务器。到订阅服务器。北京信息科技大学第第14章章 分布式数据库与分布数据管理分布式数据库与分布数据管理24快照复制执行步骤快照代理快照代理的工作的工作发行代理发行代理的工作的工作建立发行服务器到出版服务器的连接设置共享锁建立出版服务器到发行服

15、务器的连接将复制项目写入快照文件夹连接发行数据库读相关信息将结果送到订阅数据库北京信息科技大学25快照复制的操作n配置出版服务器配置出版服务器n创建复制数据库创建复制数据库n配置发行服务器配置发行服务器n配置订阅服务器配置订阅服务器北京信息科技大学26快照复制适用情况n主要是静态数据，数据很少更改。主要是静态数据，数据很少更改。n在短期内出现大量更改，基于事务复制代在短期内出现大量更改，基于事务复制代价更高。价更高。n在一段时间内允许具有相对于发布服务器在一段时间内允许具有相对于发布服务器已过时的数据副本。已过时的数据副本。n复制少量数据。复制少量数据。北京信息科技大学27事务复制 基本概念n

16、首先使用快照复制完成初始同步。首先使用快照复制完成初始同步。n然后捕获已出版数据中发生的修改，即监视然后捕获已出版数据中发生的修改，即监视INSERT、UPDATE和和DELETE语句或其它语句或其它数据修改，并将这些修改存储到发行数据库中，数据修改，并将这些修改存储到发行数据库中，然后再将这些修改传播到订阅服务器上。然后再将这些修改传播到订阅服务器上。北京信息科技大学28事务复制涉及代理程序n快照代理程序快照代理程序n发行代理程序发行代理程序n日志读取器代理程序日志读取器代理程序 日志读取器代理程序监视源数据库的事务日志，该日志读取器代理程序监视源数据库的事务日志，该事务日志记载了对出版表的

17、修改，当一个事务发生事务日志记载了对出版表的修改，当一个事务发生在出版的表上时，就被在出版的表上时，就被“刻上刻上”复制标志，并最终复制标志，并最终被送到订阅服务器，订阅服务器根据这些事务日志被送到订阅服务器，订阅服务器根据这些事务日志来更新订阅的表。来更新订阅的表。北京信息科技大学 快照代理程序准备快照文件，其中包含了已出版表和数据库对象的模式和数据，然后将这些文件存储在快照文件夹中，并在发行服务器上的发行数据库中记录同步作业。 29事务复制执行步骤 发行代理程序将保存在发行代理程序将保存在发行数据库表中的事务和初发行数据库表中的事务和初始快照作业移动到订阅服务始快照作业移动到订阅服务器上。

18、器上。 日志读取器代理程序监视已为日志读取器代理程序监视已为事务复制配置的每个数据库的事务事务复制配置的每个数据库的事务日志，并将已设复制标记的事务从日志，并将已设复制标记的事务从事务日志复制到发行数据库中。事务日志复制到发行数据库中。北京信息科技大学30事务复制适用情况n希望更新及时传播到订阅服务器上。希望更新及时传播到订阅服务器上。n异构数据库之间的复制。异构数据库之间的复制。北京信息科技大学31合并复制 基本概念n首先使用快照复制完成初始同步。首先使用快照复制完成初始同步。n同步后许多不同的站点可以自主工作，然后在同步后许多不同的站点可以自主工作，然后在稍稍晚晚的适当时候再将更新合并成一

19、个统一的结果。的适当时候再将更新合并成一个统一的结果。 n稍晚稍晚的合并更新可能会出现的合并更新可能会出现冲突冲突。北京信息科技大学合并复制的方式n首先在订阅服务器上应用首先在订阅服务器上应用初始快照初始快照，然后，然后SQL Server在在出版服务器上和订阅服务出版服务器上和订阅服务器上跟踪器上跟踪已出版数据的更改。数据或是连已出版数据的更改。数据或是连续地、或是按调度时间或是按需在服务器续地、或是按调度时间或是按需在服务器之间同步。之间同步。 合并复制的关键是协调冲突合并复制的关键是协调冲突北京信息科技大学33合并复制涉及的代理n快照代理程序快照代理程序l准备快照文件准备快照文件l将快照

20、文件存储在快照文件夹中将快照文件存储在快照文件夹中l在出版数据库中插入同步作业在出版数据库中插入同步作业n合并复制代理程序合并复制代理程序l将保存在出版数据库表中的初始快照作业应用到订阅服务器将保存在出版数据库表中的初始快照作业应用到订阅服务器上。上。l合并那些创建初始快照之后在出版服务器或订阅服务器上发合并那些创建初始快照之后在出版服务器或订阅服务器上发生的增量数据更改生的增量数据更改l根据配置的规则或者使用创建的自定义冲突解决程序协调冲根据配置的规则或者使用创建的自定义冲突解决程序协调冲突。突。北京信息科技大学34合并复制的执行步骤北京信息科技大学35合并复制适用的情况n多个订阅服务器需要在不同时刻更新数据并将这多个订阅服务器需要在不同时刻更新数据并将这些更改传播到些更改传播到出版服务器出版服务器和其它和其它订阅服务器订阅服务器。 n订阅服务器需要接收数据，订阅服务器需要接收数据，脱机更改脱机更改数据，然后数据，然后将更改同步到出版服务器和其它订阅服务器。将更改同步到出版服务器