数据库技术发展与演进

1、 数据库技术原理与数据库技术原理与Oracle发展历程发展历程 电信企业在数据管理面临的主要问题与应对电信企业在数据管理面临的主要问题与应对 当前业界主流数据库的体系架构当前业界主流数据库的体系架构 数据库技术发展趋势和方向数据库技术发展趋势和方向 数据库规划和安装部署数据库规划和安装部署数据存储的不同组织方法数据存储的不同组织方法电子表格电子表格文件柜文件柜数据库数据库关系数据库的数据交互和访问关系数据库的数据交互和访问SQL statement is entered.Statement is sent to Oracle server.OracleserverSELECT departme

2、nt_name FROM departments;ACID模型：关系型（模型：关系型（SQL）数据库的理论基础）数据库的理论基础ACID是Atomicity（原子性）, Consistency（一致性）, Isolation（隔离性）, and Durability（持久性）的缩写。 Atomicity（原子性）：事务的原子性是指事务中包含的所有操作要么全做，要么全不做（all or none）。 Consistency（一致性）：在事务开始以前，数据库处于一致性的状态，事务结束后，数据库也必须处于一致性状态。 Isolation（隔离性）：事务隔离性要求系统必须保证事务不受其他并发执行的事务

3、的影响，也即要达到这样一种效果： 对于任何一对事务T1 和 T2，在事务 T1 看来，T2 要么在 T1 开始之前已经结束，要么在 T1 完成之后才开始执行。这样，每个事务都感觉不到系统中有其他事务在并发地执行。 Durability（持久性）：一个事务一旦成功完成，它对数据库的改变必须是永久的，即便是在系统遇到故障的情况下 也不会丢失。数据的重要性决定了事务持久性的重要性。关系数据库管理系统关系数据库管理系统User tablesData dictionaryOracleserver数据库数据库体系结构体系结构Storage structuresMemory structuresProces

4、s structuresInstanceSystem Global Area (SGA)Background processesDatabaseDatabaseOracle数据库体系结构数据库体系结构 PMONSMONOthersData filesOnline redo log filesControl filesInstance RECOARCn DBWn LGWRCKPTStorage structuresUserprocessServerprocessMemory structuresProcessesDatabasebuffercacheShared poolData diction

5、arycacheLibrarycacheSGARedo logbuffer数据库数据库IO特点分析特点分析数据库基于磁盘设计数据库基于磁盘设计- Sequential logging 顺序写入- In-place update 就地更新日志文件顺序写日志文件顺序写- 同步写入，响应延迟低- 连续位置的随机写IO 数据文件随机写数据文件随机写- 异步写入- 大量的随机写IO瓶颈分析瓶颈分析- IOPS：小IO，数据文件随机读，随机写，日志文件写- 吞吐量：大IO，数据文件连续读时间表时间表OracleIBMSybase其他其他19701970前前多为文件数据存储、网状数据库、层次数据库19701

6、970Edgar Frank Codd发表了业界第一篇关于关系数据库理论的论文A Relational Model of Data for Large Shared Data Banks，首次提出了关系模型的概念19731973开始着手SystemR项目研究Berkeley大学也开始开发关系数据库系统Ingres19741974Don Chamberlin和Ray Boyce将Codd关系数据库的12条准则的数学定义以简单的关键字语法表现出来，里程碑式地提出了SQL（Structured Query Language）语言19771977Larry Ellison 成立了软件开发Relatio

7、nal Software公司19791979Oracle 1, 为美国军方开发。用汇编语言开发，基于RSX操作系统，运行在128KB内存的PDP-11小型机上SystemR完成， 完成了第一个实现SQL的DBMS19801980Oracle2 ，世界上第一个整合了完整SQL的商用关系型数据库(RDBMS)商用数据库仍在坚持其层次数据库产品IMS(Information Management System)19821982发布了Oracle3，主要用C语言开发，具有事务处理的功能。 实现跨平台，实现非阻塞查询。19831983Relational Software公司改名为Oracle公司DB2

8、 for MVS V1 正式发布时间表时间表OracleIBMSybase其他其他19841984Oracle 4, 实现读一致性。扩充了数据一致性支持，并开始支持更广泛的平台， Oracle的销售额是1270万美元Haderle领导成立了 DBTI（DB2 技术研究所），这是一个集研究、开发、市场推广于一身，致力于发展 DB2 的部门。Sybase公司创立。公司名称Sybase取自system和database相结合的含义Ingres 是当时主要的数据库厂家。Ingres是900万美元19851985Oracle 5, 支持客户机/服务器模式(C/S)，支持Parallel Server，成

9、为第一个具有分布式特性的数据库产品IBM发布了第一款商用关系数据库DB2,采用了和Ingres不同的数据查询语言SQL, Ingres用的是QUELOracle和Ingres两者销售额都翻了一倍以上，只是Ingres增长得更快，如果照此发展,Ingres将会超越对手19861986ANSI把SQL作为关系数据库语言的美国标准，同年公布了标准SQL文本。 SQL在1986年成为了正式工业标准,Ingres的老板简直无法相信Ellison的运气,但这正是Ellison的精明之处19881988Oracle 6, 实现行级锁。性能极大突破。IBM 发布了SQL/400，为集成了关系型数据库管理系统的

10、AS/400服务器提供了SQL支持 ，处理能力和稳定性得到了业界的广泛认可。Sybase发表Sybase Open Client/Open Server应用程序接口，对不同的客户端设备及Sybase Grows和Expands等数据来源，提供一般性的通讯功能。从1986年到1990年虽然Ingres的销售额每年增长高于50%，但Oracle远远跑在了前面，每年增长率超过100%1989-1989-19901990Oracle 6.2, Oracle Parallel Server (OPS是RAC的前身)IBM 定义了 Common SQL 和 IBM 分布式关系数据库架构（DRDA），并在

11、IBM 所有的关系数据库管理系统上加以实现Sybase推介第一个将IBM MVS大型主机整合到局域网络主从环境的产品。美国财富(Fortune)杂志将Sybase列入美国成长最快速企业的前十名之内。19921992Oracle 7, 功能全面的第一个著名版本Sybase发布了SQLServer10.0和一系列的新产品. 将SQLServer从一个Client/Server系统推进到支持企业级的计算环境。Sybase将此产品系列叫做 System10SQL-92包括模式操作，动态创建和SQL语句动态执行、网络环境支持等增强特性。时间表时间表OracleIBMSybase其他其他1994-1994

12、-19951995Oracle 7.1, 支持并行操作（OPS）DB2 并行版 V1，DB2 从此有了能够适应大型数据仓库和复杂查询任务的可扩展架构；IBM 将 DB2 Common Server 扩展到 HP-UX 和 Sun Solaris 上。DB2 开始支持其他公司开发的 UNIX 平台。Sybase推出了SybaseSQLServer11.0。除了继续对联机事务提供强有力的支持之外，Sybase在 11.0中增加了不少新功能以支持联机分析处理和决策支持系统。19971997Oracle 8, 对象-关系型数据库，支持多媒体；融合数据仓库方案1998-1998-19991999Orac

13、le 8i R1 (8.1.5, i 代表 Internet), 内嵌JVM；Oracle 8i R2 (8.1.6)，支持XMLDB2 UDB V5.2 增加了对 SQLJ、Java 存储过程和用户自定义函数的支持 ;IBM发布了 Intel 平台上的 DB2 UDB for Linux 推出了ASE11.9.2。这一版本引入了新的锁机制来保证系统的并发性和性能：数据页锁和数据行锁。20002000Oracle 8i R3 (8.1.7)IBM发布了 DB2 XML Extender，成为在数据库提供内置 XML 支持的厂商 ASE12提供了对Java和XML的支持时间表时间表OracleI

14、BMSybase其他其他20012001Oracle 9i R1 (9.0.1), RAC (RAC是OPS的换代产品)发布了 DB2 UDB for OS/390 ASE1320022002Oracle 9i R2 (9.2.0)IBM 宣布计划收购 Rational Software Corp，从而使得 IBM 软件能够支持从设计、开发、部署到管理和维护的完整过程 2003-2003-20042004Oracle 10g R1 (10.1.0, g 代表 Grid 网格)DB2 UDB V8ASE1420052005Oracle 10g R22006-2006-20072007Oracle

15、 11g R1DB2 UDB V9ASE152002008 8Oracle Exadata V12002009 9Oracle Exadata V2PureScale （OLTP）、IASA（DW）20102010Oracle Exadata X2-2Oracle引领数据库发展概览引领数据库发展概览第一款商用的关系型数据库，历史最悠久数据库第一款商用的关系型数据库，历史最悠久数据库最早支持最早支持SQL数据库数据库最早跨平台数据库最早跨平台数据库第一个引入行级锁管理第一个引入行级锁管理第一个引入对象概念第一个引入对象概念第一个引入多媒体等多种数据格式第一个引入多媒体等多种数据格式第一个引入第一

16、个引入JAVA第一个引入第一个引入XML第一个引入数据分区第一个引入数据分区第一个引入并行技术第一个引入并行技术第一个引入自动化管理第一个引入自动化管理第一个引入网格第一个引入网格技术技术第一个混合数据库架构（第一个混合数据库架构（Share Nothing和和Share Disk）第一个数据库第一个数据库PaaS云平台云平台Oracle是当前是当前TPC-C、TPC-H的的世界纪录保持世界纪录保持者者IDC：Oracle DB 11g 至少领先其他数据库至少领先其他数据库2年年 Exadata一体机一体机 审计审计保管库保管库 数据库保管库数据库保管库 网格计算网格计算 自我管理的数据库自我

17、管理的数据库 XML数据库数据库 Oracle数据卫士数据卫士 真正应用集群真正应用集群 闪回查询闪回查询 虚拟专用数据库虚拟专用数据库 内置的内置的Java虚拟机虚拟机 分区支持分区支持 内置的消息内置的消息 对象关系型支持对象关系型支持 多媒体支持多媒体支持 数据仓库优化数据仓库优化 并行操作并行操作 分布式分布式SQL和事务支持和事务支持 集群和大规模并行处理支持集群和大规模并行处理支持 多版本读一致性多版本读一致性 客户客户/服务器支持服务器支持 跨平台可移植跨平台可移植 商业化商业化SQL实现实现1977Oracle 2Oracle 9iOracle 5Oracle 6Oracle

18、7Oracle 8Oracle 8iOracle 10gOracle 11gTeredata, 3.6%Oracle48.0%IBM, 20.7%Microsoft, 17.6%SAP/Sybase, 3.5%Others, 6.3% RDBMS Total Market Share 2011Vendor20102011Share of2010Share of2011Growth2011Oracle9990.50 11787.00 48.2%48.8%18.0%IBM4300.40 4870.40 20.7%20.2%13.3%Microsoft3641.20 4098.90 17.6%17.

19、0%12.6%Sap/Sybase744.40 1101.10 3.6%4.6%47.9%Teradata754.70 882.30 3.6%3.7%16.9%Other Vendors1315.30 1389.70 6.3%5.8%5.7%Grand Total20746.60 24129.50 100.0%100.0%16.3%Source: Gartner(March 2012)Teredata, 3.4%Oracle48.0%IBM, 21.7%Microsoft, 17.4%Sybase, 3.5%Others, 6.0% RDBMS Total Market Share 20090

20、%10%20%30%40%50%60%70%80%90%2006200720082009Marketshare (%)OracleOthers82.6%RDBMS Vendor on Linux 数据库技术原理与数据库技术原理与Oracle发展历程发展历程 电信企业在数据管理面临的主要问题与应对电信企业在数据管理面临的主要问题与应对 当前业界主流数据库的体系架构当前业界主流数据库的体系架构 数据库技术发展趋势和方向数据库技术发展趋势和方向 数据库规划和安装部署数据库规划和安装部署电信企业在数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服

21、务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间提供极限的数据响应时间 自动自动监控数据库运行、自动发现监控数据库运行、自动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构Oracle大容量大容量1000 Columns8Exabyte(254) 1 EB = 1024 PB 1 PB = 1024 TB 1 TB = 1024 GB 1 GB = 1024 MB数万个并发用户支持数万个并

22、发用户支持记录数量大记录数量大记录内容复杂记录内容复杂Oracle 10g/11g 8 EBOracle 9i 512 PB21数据分区功能数据分区功能 - 根据范围分区- 哈希分区- 混合分区（范围-哈希，范围-列表）- 列表分区- 间隔分区 - 系统分区 - 组合分区增强功能 - 基于虚拟列的分区 - 引用分区 数据分区技术大大提高访问速度数据分区技术大大提高访问速度 “有的放矢、有的放矢、并行处理并行处理” 分区可以显著提高访问分区可以显著提高访问大表时的大表时的性能性能 分区的存在对应用系统分区的存在对应用系统是透明的是透明的分区忽略技术分区忽略技术系统核心自动根据分区情况优化系统核心

23、自动根据分区情况优化数据访问，忽略无关的数据分区数据访问，忽略无关的数据分区January销售情况表PartitionFebruary销售情况表PartitionMarch销售情况表Partition客户计费表select sum(amount)From 销售情况表 Where 日期between 20-JAN-2004and 5-FEB-200423Oracle 自动存储管理自动存储管理-ASM存储扩展和虚拟化存储扩展和虚拟化大幅度简化数据库存储管理大幅度简化数据库存储管理消除对专业存储管理产品的需求消除对专业存储管理产品的需求实现真正的按需增加容量实现真正的按需增加容量提供最佳的提供最佳的

24、 I/O 吞吐率吞吐率卷管理系统卷管理系统文件管理系统文件管理系统可以有：可以有： 镜像（基于文件作不同的镜像） 条带化（对文件可指定不同的条带大小） 动态平衡（可控）ASM是数据库自带功能，完全免费ASM的新概念 ASM并没有阻碍已经存在的数据库功能。新的文件可以被创建作为ASM文件，同时已经存在的由旧的方法管理的文件可以被迁移到ASM中。图中描述了Oracle Database中各种存储部件的关系。图的左边和中部显示的是以前发布的版本中的存储关系，右边显示了ASM引入的新概念，并且这些新概念只是针对文件的存储。Database files可被作为ASM文件存储。在ASM中的存储层次上，顶层

25、是ASM 磁盘组，每个ASM file都只能包含在一个disk group中。然而，一个disk group可能包含的files是属于几个Databases的，并且一个Database可以使用多个disk groups存储data。如图所示，一个disk group是有多个ASM disks组成的，每个ASM disk只能属于一个disk group。一个ASM files总是被分配到同一个disk group的所有ASM disks中。ASM disks被分配成每1MB为一个分配单元（AU）。一个AU是ASM分配的最小的连续逻辑空间。ASM不允许物理 blocks 被分开存储在不同的AUs中

26、。3）ASM的一般结构 消除消除IO热点热点(快速重新同步快速重新同步)Node 2Node 3Node 1Storage cell 2Storage cell1Storage cell 3数据自动分布，提供最高性能当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持消除消除IO热点热点数据自动分布，提供最高性能当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持Storage cell 4Storage cell2Storage cell 3Storage cell1Add new storage cell电信企业在

27、数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间提供极限的数据响应时间 自动自动监控数据库运行、自动发现监控数据库运行、自动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构高可用性传统解决方法高可用性传统解决方法双机热备双机热备高可用性高可用性Oracle的解决之道的解决之道RACCo

28、mputerCComputerDComputerAComputerB所有节点访问同一个数据库所有节点访问同一个数据库Oracle Real Application ClusterOracle Real Application Cluster 在在SMPSMP集群体系结构集群体系结构中，实现一个共中，实现一个共享数据库，享数据库， 支持并行处理，支持并行处理， 均分负均分负载，保证故障时数据库的不间断运行载，保证故障时数据库的不间断运行 多多个节点同时工作个节点同时工作 节点均分负载节点均分负载动态的负载均衡动态的负载均衡数据库启动时，向监听进程注册数据库启动时，向监听进程注册节点向监听进程报告

29、节点向监听进程报告 CPU 的使用情况的使用情况当建立连接时，监听进程选择最空闲的节点处理请求当建立连接时，监听进程选择最空闲的节点处理请求NodeDispatchersNodeDispatchersListenerListenerCPU LoadCPU Load资源自动化适配资源自动化适配 作业执行会依据资源需求和系统繁忙程度，自动进行资源调配和协调，实现跨节点的任务分配和作业合并。执行执行 协调程序协调程序并行并行 执行执行 服务器服务器共享磁盘共享磁盘节点节点 4节点节点 1节点节点 2节点节点 3作业自动化并行处理作业自动化并行处理任务分解任务分解R1RnRAC1RACn节点是否可运行

30、节点是否可运行?R1完成计算完成计算Rn运行完成运行完成 1 1 2 2 3 3 4 4实现数据量增长实现数据量增长实现用户数量增长实现用户数量增长实现处理能力增长实现处理能力增长缓存融合缓存融合Oracle RAC -高可扩展性的完美体现高可扩展性的完美体现用户用户缓存融合缓存融合: 共享内存体系结构的出众性能共享内存体系结构的出众性能电信企业在数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间提供极限的数据响应时间 自动自动监控数据库运行、自动发现监控数据库运

31、行、自动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构34事务查找开销事务查找开销磁盘磁盘数据库数据库Disk-OptimizedRDBMS EngineAPI、ODBC JDBC等等应用应用磁盘磁盘闪盘闪盘硬件设备改进硬件设备改进MDBData PageProcess or Shared Memory内存数内存数据库据库数据库技术改进数据库技术改进事务查找开销事务查找开销磁盘磁盘数据库数据库Disk-Optimi

32、zedRDBMS Engine应用应用磁盘磁盘/闪盘闪盘内存内存数据数据库库常用提升数据检索速度的技术常用提升数据检索速度的技术内存数据库内存数据库高伸缩性高伸缩性/高可用性高可用性即时响应即时响应/高可用性高可用性紧密集成紧密集成基于磁盘的集群式数据库基于磁盘的集群式数据库高可用性服务高可用性服务集群管理器集群管理器内存数据库内存数据库36数据库引擎数据库引擎Run-Time DatabaseMDB内存复制开销内存复制开销 事务查找开销事务查找开销内存管理开销内存管理开销 磁盘数据库磁盘数据库Data PageDisk-OptimizedRDBMS Engine应用程序应用程序Process

33、 or Shared Memory内存数据库内存数据库IPC 连接开销连接开销I/O开销开销API、ODBC JDBC等等API、ODBC JDBC等等应用应用应用应用对比：对比：1.内存数据库无与磁盘间内存数据库无与磁盘间交互产生的交互产生的I/0开销开销2.内存数据库无磁盘数据内存数据库无磁盘数据库必需事务查找、内存库必需事务查找、内存管理和复制产生的开销管理和复制产生的开销内存数据库与磁盘数据库的比较内存数据库与磁盘数据库的比较数据库特性数据库特性Oracle DatabaseOracle TimesTen In-Memory Database目标应用关键业务应用关键业务应用关键业务应用

34、关键业务应用数据模型关系型关系型 - SQL关系型关系型 - SQL优化磁盘为中心磁盘为中心内存为中心内存为中心典型部署方式数据库层数据库层应用层应用层架构客户机客户机/服务器服务器嵌入式（直接数据访问嵌入式（直接数据访问）响应时间毫秒到秒级毫秒到秒级微秒到毫秒级微秒到毫秒级数据容量TB到到PB级级GB级级可扩展性Cluster (RAC) & SMPSMP电信企业在数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间提供极限的数据响应时间 自动自动监控数据库运行、

35、自动发现监控数据库运行、自动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构40存储存储备份备份内存内存应用应用/SQL模式模式 RAC恢复恢复复制复制自动调优自动调优顾问顾问方法方法电信企业在数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间提供极限的数据响应时间 自动自动监控数据库运

36、行、自动发现监控数据库运行、自动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构数据归档数据归档原来位于原来位于 数据块缓数据块缓Undo dataDML操作操作存区里的数据存区里的数据后台进程收集原来的内存数据并把它们写入到后台进程收集原来的内存数据并把它们写入到闪回数据归档里闪回数据归档里闪回数据归档闪回数据归档历史表里历史表里的数据的数据数据归档数据归档11:0011:10 employees employee

37、ssalary = 4,400 employeessalary = 5,200salary = 4,840Tx3Tx1Tx2TimeFlashback数据生命周期管理：数据生命周期管理：Oracle ILM Assign Data Partitions to Storage TiersAll OrdersQ1OrdersQ2OrdersQ3OrdersQ4OrdersPreviousOrdersActiveHigh PerformanceStorage TierLess ActiveLow CostStorage TierHistoricalOnline ArchiveStorage Tier

38、Long-term HistoricalOffline ArchiveTapeHistoricalOrders12341. 定义数据类型定义数据类型2. 为不同数据建立相为不同数据建立相应存储级别应存储级别3. 建立数据访问和迁建立数据访问和迁移策略移策略4. 定义和执行策略定义和执行策略46数据生命周期管理：数据生命周期管理：Oracle ILM Cost Savings by Storage Tier电信企业在数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间

39、提供极限的数据响应时间 自动自动监控数据库运行、自动发现监控数据库运行、自动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构系统系统数据的自动收集及清单报告数据的自动收集及清单报告系统整体配置系统整体配置主机配置清单主机配置清单OSOS配置清单配置清单系统系统比较和历史变更跟踪比较和历史变更跟踪*配置变更跟踪配置变更跟踪配置对比配置对比数据库重演数据库重演 -系统架构系统架构: 捕获捕获数据库堆栈数据库堆栈产品库产品

40、库数据库备份数据库备份捕获文件所在的目录捕获文件所在的目录记录基础架构记录基础架构影子进程影子进程影子进程影子进程影子进程影子进程影子进程影子进程影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件后台进程后台进程后台进程后台进程数据库重演数据库重演 -系统架构系统架构: 重演重演数据库堆栈数据库堆栈测试测试数据库数据库数据库数据库备份备份捕获目录捕获目录影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件影子进程捕获的文件进程捕

41、获文件进程捕获文件重演重演客户端客户端重演重演客户端客户端影子进程影子进程影子进程影子进程影子进程影子进程影子进程影子进程后台进程后台进程后台进程后台进程在测试在测试系统系统上应用上应用变化变化重演重演系统系统1.数据库参数更改数据库参数更改2.操作系统升级操作系统升级3.应用补丁应用补丁4.对象更改对象更改5.数据库升级数据库升级电信企业在数据管理所面临的挑战电信企业在数据管理所面临的挑战 管理管理超超大大数据数据容容量量(VLDB) 提供多服务器高扩展和高可用保护提供多服务器高扩展和高可用保护 提供极限的数据响应时间提供极限的数据响应时间 自动自动监控数据库运行、自动发现监控数据库运行、自

42、动发现问题问题 实现数据生命周期管理实现数据生命周期管理 系统变更和系统测试管理系统变更和系统测试管理 有效防止人为错误有效防止人为错误 有效防止自然灾难，提供最大可用性保护的有效防止自然灾难，提供最大可用性保护的系统架构系统架构人为错误造成的问题人为错误造成的问题 可能是最大的宕机原因可能是最大的宕机原因 需要快速的定位并且解决需要快速的定位并且解决 局部的破坏- 需要外部的检测和恢复- 例子 错误的删掉了叫Smith的人 扩散的破坏- 需要很大的恢复操作才能避免长时间宕机- 例如 批处理删掉了这个月的订单 使用传统的恢复进行分析和纠正是很慢的使用传统的恢复进行分析和纠正是很慢的 重新载入数

43、据库到某个时间点并且抽取数据 Oracle 数据库在人为错误的恢复方面是有突破性的数据库在人为错误的恢复方面是有突破性的人为错人为错误误其它原因其它原因Oracle的解决之道的解决之道Flashback 各种级别的闪回恢复技术各种级别的闪回恢复技术 闪回数据库闪回数据库 将将整个数据库恢复到过去某整个数据库恢复到过去某个个时间；时间； 闪回表闪回表 恢复被删除的表；恢复被删除的表； 闪回行闪回行 恢复表中各行至过去某个时恢复表中各行至过去某个时间；间； 查询表中的行在过去某个时查询表中的行在过去某个时间的数据。间的数据。 订单订单数据库数据库客户客户Oracle 数据库的闪回技术数据库的闪回技

44、术 令令“时光倒流时光倒流” ，及，及时挽回人为错误时挽回人为错误 如同数据库的如同数据库的 “倒回倒回”按钮按钮 数据恢复的新战略 高效高效 只恢复更改的数据 快捷快捷 在几分钟、而非几小时之内即完成恢复 简单简单 只须一个命令即可进行恢复操作 200;DB主机确定表主机确定表的存储分区的存储分区发起发起I/Os请请求求79 存储层：存储层：1）数据量不断增加，带来的）数据量不断增加，带来的IO瓶颈；瓶颈；2）随着数据长时间运行带来）随着数据长时间运行带来的数据分布不均匀，存在的数据分布不均匀，存在IO热点热点网络层：网络层：传输带宽不足，无法快速传输大量数据到服务器传输带宽不足，无法快速传

45、输大量数据到服务器服务器层：服务器层：接收过多数据进行处理，内存优势无法发挥接收过多数据进行处理，内存优势无法发挥任何部件配置不均衡会导致任何部件配置不均衡会导致系统瓶颈系统瓶颈数据库配置需要考虑下面所数据库配置需要考虑下面所有部件配置有部件配置: CPU: 数量和速度数量和速度 HBA (Host Bus Adapter):数量和数量和速度速度 Switch speed Controller:数量和速度数量和速度 Disk:数量和速度数量和速度FC-Switch1FC-Switch2DiskArray 1DiskArray 2DiskArray 3DiskArray 4DiskArray 5

46、DiskArray 6DiskArray 7DiskArray 8HBA1HBA2HBA1HBA2HBA1HBA2HBA1HBA2每台机器有每台机器有2 个个2 Gb HBA卡卡所有所有 8个个 HBA卡能处理数据：卡能处理数据：8 * 200MB/s = 1600 MB/s每个交换机口能够支持每个交换机口能够支持2Gbit 的吞吐能力的吞吐能力，每个交换机能够支持总共，每个交换机能够支持总共800MB/s的数的数据处理能力，两台一共支持据处理能力，两台一共支持1600 MB/s每个磁盘组每个磁盘组DA有一个有一个2Gbit的的控控制器。所有制器。所有8个磁盘控制器能处理个磁盘控制器能处理数据

47、：数据：8 * 200MB/s = 1600 MB/s每台机器有每台机器有2 个个CPU。所有所有4个服务器一共能同时处理数据个服务器一共能同时处理数据：2 * 200MB/s * 4 = 1600 MB/s每块磁盘的数据处理能力为每块磁盘的数据处理能力为20MB/s，所以一个磁盘组至少需，所以一个磁盘组至少需要要10快磁盘来达到快磁盘来达到200MB/s的数的数据处理能力据处理能力均衡化配置方法论均衡化配置方法论分区分区和和HA规划规划网络互联配置规划网络互联配置规划数据库存储规划数据库存储规划传统数据库架构解决思路：传统数据库架构解决思路：1. 加宽通道、增加通道数量加宽通道、增加通道数量

48、2. 减少需要传送到服务器处理的数据量减少需要传送到服务器处理的数据量3.增加系统并行处理增加系统并行处理Oracle数据库云数据库云发展趋势发展趋势1：架构兼容性架构兼容性兼备兼备Shared Nothing 、Shared Disk、分片式数据库、读写分离数据库架构、分片式数据库、读写分离数据库架构Exadata CellInfiniBand 交换网络交换网络数据库服务池数据库服务池A数据库服务池数据库服务池BExadata CellExadata Cell智能存储层智能存储层(Shared Nothing)存储资源池存储资源池数据库处理层数据库处理层(Shared Disk)数据库资源池

49、数据库资源池超高速并发网络层超高速并发网络层880Gb/s/机架机架.n Exadata提供一种混合式的数据库架构提供一种混合式的数据库架构,能够有效解决两者的冲突能够有效解决两者的冲突,吸取两种架构吸取两种架构长处长处; 既可以满足既可以满足OLTP的高并发、高可用特点；又可以满足的高并发、高可用特点；又可以满足OLAP的大数据量处的大数据量处理要求；理要求；具备良好的普适性架构具备良好的普适性架构:Shared Nothing and Shared Disk84SunFireSunFireSunFireOracle 数据库网格Oracle数据库云发展趋势数据库云发展趋势2：存储智能化预处理

50、：存储智能化预处理Smart Scan 处理技术处理技术问题：昨天的销售业绩如何？Exadata 智能存储层SUMSelect sum(sales) whereDate=24-Sept Smart Scan 在在TB 级数据级数据中扫描匹配中扫描匹配请求的数据请求的数据构建并发构建并发Smart Scan请请求求仅仅返回满足仅仅返回满足条件的数据条件的数据智能扫描智能扫描SmartScanROW使用使用“where”谓词筛选行谓词筛选行COLUMN列筛选列筛选JOIN联接筛选联接筛选增量备份筛选增量备份筛选：虚拟化资源池虚拟化资源池“大分小大分小”和和“小合大小合大”Data Warehous

51、eData Mart/VGOPESOP/Data MiningFreeData WarehouseData Mart/VGOPESOP/Data MiningFreeRAC One Node Dcpu_count=1RAC One Node Ccpu_count=1RAC One Node Bcpu_count=2RAC One Node Acpu_count=48 core server虚拟化资源池虚拟化资源池Database Server PoolsOSS 服务器池服务器池BSS 服务器资源池服务器资源池MSS 服务器池服务器池空闲资源池空闲资源池 通过业务策略动态管理数据库服务资源 可以

52、通过制定最大资源、最小资源、重要程度策略等，动态管理服务可用性和服务质量 统一管理跨大规模、多主机的复杂数据库环境，易于实现“大分小”和“下合大”两种资源管理需求87：快速和线性扩展能力：快速和线性扩展能力Scale Up and Scale Out Total Compute Cores 1408 20 IBM Power 595s TB of Disk 2640 13 Rack EMC Symmetrix InfiniBand Ports 864 4300 FC Ports8 Rack ExadataComparable To水平扩展水平扩展垂直扩展垂直扩展仅通过增加仅通过增加Cables

53、 扩展扩展Exadata Racks可抵御任何单元的故障可抵御任何单元的故障跨存储单元的数据镜像跨存储单元的数据镜像：高可靠：高可靠全双工设计全双工设计避免数据库、网络、磁盘、避免数据库、网络、磁盘、Cell和电源的单点故障和电源的单点故障lASM镜像用于保护磁盘故障，可支持热插拔lASM failure groups 用于保护存储Cell故障l双路网络交换lRAC TAF用于保护数据库服务器故障，做到应用零中断l双路电源模块Exadata CellExadata CellHotHotHotHotHotHotColdColdColdColdColdColdASM Disk GroupASMFa

54、ilure GroupASM Failure Group全双工系统架全双工系统架构构,完全消除单完全消除单点故障点故障InfiniBand 交换网络（双路）交换网络（双路）RAC TAF： 平衡且优化配置平衡且优化配置客户化系统无法达到最佳性能客户化系统无法达到最佳性能-组件不平衡, 错误配置，瓶颈Exadata 端到端优化端到端优化-从磁盘到数据库传输是两倍的GB/sec- 磁盘，闪存，控制器，总线，HBA, 网络，CPU等 -数据库从固件，驱动，操作系统，网络的优化 -多年的调优经验-没有瓶颈将将IT 智慧转化成业务需求智慧转化成业务需求-而不要设计，调优，维护，硬件配置端到端优化端到端优

55、化数据库数据库最新最新技术发展方向技术发展方向Exadata集众多优势技术于一身集众多优势技术于一身- Shared Nothing或或Shared Disk架构架构- Shared Nothing与与Shared Disk混合架构混合架构- 纵向构建独立数据库单元纵向构建独立数据库单元- 数据库虚拟化、资源池数据库虚拟化、资源池- 按照均衡化配置手工配置按照均衡化配置手工配置- 一体机、零配置、高扩展能力、快速部署一体机、零配置、高扩展能力、快速部署- 主机和存储交换机互联主机和存储交换机互联- 通过通过Infiniband高速主机和存储互联高速主机和存储互联- 传统磁盘传统磁盘IO- Smart Scan IO+Flash闪存闪存IO，提升，提升IO性能性能- 行压缩或列压缩行压缩或列压缩- 混合压缩混合压缩91