通过OracleDatabasec进行内存数据库处理学习教案

1、会计学1通过通过 Oracle Database c 进行内存进行内存(ni cn)数据库处理数据库处理第一页，共32页。第2页/共33页第二页，共32页。内存容量内存容量 增加增加(zngji)2002256 MB/DIMM201216 GB/DIMM内存成本内存成本降低降低2002$0.2/MB2012$0.009/MB内存速度内存速度大增大增磁盘5 毫秒响应速度DRAM100 纳秒响应速度容量增加容量增加 64 倍倍价格便宜价格便宜 25 倍倍速度提高速度提高 50,000 倍倍更快的 OLTP 和分析、更多用户、更多数据DRAM：2012$0.0005/MB2012100 GB/DOM

2、闪存0.25 毫秒响应速度容量增加容量增加 400 倍倍价格便宜价格便宜 400 倍倍速度提高速度提高 20 倍倍闪存：闪存：第3页/共33页第三页，共32页。应用程序应用程序应用程序内存内存(ni cn)(ni cn)数数据库据库（中间层）（中间层）内存数据库内存数据库 （数据库层）（数据库层）第4页/共33页第四页，共32页。InfiniBand第5页/共33页第五页，共32页。在内存中缓存在内存中缓存活动数据活动数据(shj)保存在内存中保存在内存中带宽带宽/socket：30GB/s 纵向扩展和横向扩展纵向扩展和横向扩展 跨内核、cpu 和集群扩展 压缩压缩 更多数据更多数据(shj)

3、装入装入内存内存 更加高效的更加高效的 内存带宽内存带宽 列存储列存储高效列式处理第6页/共33页第六页，共32页。在在内存内存中中缓存缓存 活动数据保持在内存中 带宽/socket：30GB/s20092010用作数据仓库的内存列存用作数据仓库的内存列存储储(Oracle 11g 第第 2 版版)内存并行查询内存并行查询 (Oracle 11g 第第 1 版版)2007 OLTP 内存横向扩展：内存横向扩展：RAC，缓存融合，缓存融合2007客户端和服务器上的内存结果集缓存客户端和服务器上的内存结果集缓存 (Oracle 11g 第第 1 版版)2007 年前年前智能内存扫描智能内存扫描 （

4、11g 第第 2 版）版）第7页/共33页第七页，共32页。技术技术大小大小容量，容量，10 倍压缩倍压缩成本成本/TB速度速度磁盘磁盘504TB5 PB1 倍18 GB/s闪存闪存22 TB220 TB10 倍75 GB/sDRAM4 TB40 TB100 倍200 GB/s磁盘磁盘闪存闪存D-RAM第8页/共33页第八页，共32页。2011超过超过 10 年的年的 RAC 纵向扩展优化纵向扩展优化经验经验内存并行查询内存并行查询 （11g 第第 1 版）版） 纵向扩展和横向扩展纵向扩展和横向扩展 多核并行 跨集群的资源池超过超过 20 年的纵向扩展优化年的纵向扩展优化经验经验2007 年前

5、年前20072009内存内存 PQ 增强增强 （11g 第第 2 版）版）缓存融合增强缓存融合增强并行内存关联并行内存关联 （11g 第第 2 版）版）第9页/共33页第九页，共32页。集群范围并行处理大大受益于内存处理前，数据从磁盘读取到内存每个节点拥有一个已处理的数据子集集群范围内存可用于单个并行操作数据存入内存后无需输入(shr)/输出表缓存 2缓存 3缓存 1内存内存(ni cn)列列式压缩式压缩第10页/共33页第十页，共32页。第11页/共33页第十一页，共32页。19992002200720091997基本表压缩基本表压缩（Oracle 9i 第第 2 版）版）表表 (IOT)

6、压缩压缩 (Oracle 8i)位图索引压缩位图索引压缩 (Oracle 8) OLTP 表压缩表压缩（Oracle 11g 第第 1 版）版）非结构化数据压缩非结构化数据压缩 （Oracle 11g 第第 1 版）版）混合列式压缩混合列式压缩 （Oracle 11g 第第 2 版）版）2010 压缩压缩 更多数据装入内存 更加高效地使用 内存带宽前缀索引压缩前缀索引压缩 (Oracle 8i)第12页/共33页第十二页，共32页。20102011用于数据仓库的磁盘列式存储用于数据仓库的磁盘列式存储用于归档的磁盘列式存储用于归档的磁盘列式存储（11g 第第 2 版）版）针对列式处理的内存优化针

7、对列式处理的内存优化（11g 第第 2 版）版）2009用作数据仓库的内存列存储用作数据仓库的内存列存储列式闪存缓存列式闪存缓存 （11g 第第 2 版）版） 列存储列存储 高效的列式处理第13页/共33页第十三页，共32页。缓存缓存Exadata 写回闪存缓存写回闪存缓存改进改进(gijn)用于数据仓库内存缓存的用于数据仓库内存缓存的替换算法替换算法内存全局临时表内存全局临时表针对非结构化数据的内存缓存和处理针对非结构化数据的内存缓存和处理 压缩压缩 压缩优化查询 使用自动数据优化的自动压缩 宽表压缩列存储列存储行集行集 内存优化的，内存优化的，set-at-a-time查询处理方查询处理方

8、式式扩展到文本、空间、扩展到文本、空间、XML 和和 12.1针对针对(zhndu) OLTP 的列式存储的列式存储自动列化自动列化EHCC 行级锁行级锁 纵向扩展和横向扩展纵向扩展和横向扩展 内存 PQ 优化 缓存融合协议增强 Exadata Exafusion第14页/共33页第十四页，共32页。用例用例在在 11g 中重做中重做在在 12c 中重做中重做GTT 上上 的的 OLTP 10,000 个事务447MB零零第15页/共33页第十五页，共32页。第16页/共33页第十六页，共32页。第17页/共33页第十七页，共32页。第18页/共33页第十八页，共32页。数据库实例(shl)数

9、 已占用内存第19页/共33页第十九页，共32页。 压缩(y su)数据查询 内存扫描 数据在内存中不解压缩(y su) 在 12.1 中，对非重复值数量较少的列进行复杂谓词内存扫描，速度最多提高 3 倍select from Customers where name like %C%Bank第20页/共33页第二十页，共32页。随着数据逐渐变旧：活动降低数据量增加旧数据主要 用于编制(binzh)报告本季度本季度本年度本年度前几年前几年OLTP编制编制(binzh)报报告告合规性和合规性和编制报告编制报告行存储 以实现快速 OLTP压缩的 列存储以实现快速分析10 倍压缩倍压缩15 倍压缩倍

10、压缩随着数据归于沉寂，高级数据优化会自动将数据联机 转换成压缩列归档采用压缩 列存储以实现最大压缩alter table 添加策略添加策略无修改长达无修改长达 3 个月后，压缩个月后，压缩以备查询以备查询 1 年后，压缩以备归档年后，压缩以备归档第21页/共33页第二十一页，共32页。自动列化当分区(fn q)变旧时，会自动转换成 HCC 压缩格式使 HCC 适用于 OLTP 数据ALTER TABLE sales ILM ADD CompressionPolicy 针对查询的列存储压缩针对查询的列存储压缩创建创建 120 天后天后；当数据变旧时当数据变旧时更新本季度本季度本年度本年度第22页

11、/共33页第二十二页，共32页。第23页/共33页第二十三页，共32页。第24页/共33页第二十四页，共32页。第25页/共33页第二十五页，共32页。12c 第第 1 版版大内存集群和大内存集群和 Exadata 上超过上超过 2 倍的索引压倍的索引压缩缩行集处理行集处理针对非结构化数据的内存列存储针对非结构化数据的内存列存储(cn ch)OLTP 宽表压缩宽表压缩HCC 行级锁定行级锁定Oracle 在内存中运行在内存中运行任何任何 OLTP 应用程序，应用程序，不不加改动加改动组合使用组合使用 DRAM、闪存和磁盘、闪存和磁盘内存速度和磁盘成本内存速度和磁盘成本数据库大小不受限数据库大小

12、不受限200720122007 年前年前20092008超过超过 20 年的纵向扩展优化经验年的纵向扩展优化经验超过超过 10 年的横向扩展优化经验年的横向扩展优化经验前缀索引压缩前缀索引压缩位图索引压缩位图索引压缩基本和基本和 IOT 表压缩表压缩等等等等内存并行查询内存并行查询 OLTP 压缩压缩非结构化数据压缩非结构化数据压缩客户端客户端 SQL/PL/SQL 结果缓存结果缓存服务器服务器 SQL/PL/SQL 结果缓存结果缓存用作数据仓库的内存列存储用作数据仓库的内存列存储列式压缩列式压缩列式压缩列式压缩缓存融合优化缓存融合优化内存并行查询优化内存并行查询优化 Exadata 存储上的

13、内存存储索引存储上的内存存储索引第26页/共33页第二十六页，共32页。快速启动恢复无需等待undo操作完成就可启动数据库并行和后台恢复所有数据可立即查询，无需等待加载完成数据保护零数据丢失快速故障切换到备用数据库压缩redo文件的传输自动检测和修复(xif)主数据库上损坏的数据块增量备份文件内并行备份和恢复块级介质恢复人为错误恢复细粒度的行和表级闪回DB 级闪回从回收站恢复删除数据事务回滚联机表重新定义和重建无读取锁、无写入锁，甚至行级亦无可在表、索引或分区级完成联机安装补丁和联机升级 DB用版本控制进行联机应用程序升级分布式事务和分布式恢复无需在添加/删除节点时重新分配数据还可列出 100 多项企业 HA 特性第27页/共33页第二十七页，共32页。性能可管理性安全性高级(goj)队列分布式事务复制优化程序 SQL 特性 SQL 预编译共享游标 存储过程语言 触发器 限制 第28页/共33页第二十八页，共32页。分布式和集群：分布式事务与 XA 合规性、分布式查询、分布式多版本读取一致性、集群范围并行事务与读取一致性（带全球时钟)高可用性： 恢复时间与未恢复事务的大小无关，联机 DDL：添加列、分区移动(ydng)、索引重建