Oracle数据库技术交流课件

1、Oracle数据库技术交流第1页，共86页。Oracle 数据库产品介绍Oracle数据安全方案介绍Oracle数据容灾方案介绍Oracle数据库DB 12C新特性Oracle In-Memory Option议程第2页，共86页。Oracle Database 发展简史第3页，共86页。Oracle Database 发展简史第4页，共86页。Oracle Database 发展简史第5页，共86页。Oracle 数据库技术领导者 Exadata Storage Real Application Testing Advanced Compression Automatic Storage M

2、anagement Transparent Data Encryption Self Managing Database XML Database Oracle Data Guard Real Application Clusters Flashback Query Virtual Private Database Built in Java VM Partitioning Support Built in Messaging Object Relational Support Multimedia Support Data Warehousing Optimizations Parallel

3、 Operations Distributed SQL & Transaction Support Cluster and MPP Support Multi-version Read Consistency Client/Server Support Platform Portability Commercial SQL ImplementationOracle 2Oracle 9iOracle 5Oracle 6Oracle 7Oracle 8Oracle 8iOracle 10gOracle 11g2009年9月正式发布Oracle数据库11gR2第6页，共86页。Oracle Data

4、base 11g2001年Oracle9i发布，在的诸多新特性中，最重要的就是Real Application Cluster(RAC)2003年9月，Oracle发布了Oracle 10g这一版的最大的特性就是加入了网格计算的功能Oracle11g以甲骨文公司30年的设计经验为基础，为企业提供了下一代信息管理能力，是Oracle数据库功能强大的新版本2006年9月开始Beta测试2007年下半年产品化第7页，共86页。高可用高性能易管理维护性安全性 大数据和数据仓库特性 其他Oracle 数据库产品一览表第8页，共86页。Oracle Confidential9系统 故障数据 故障系统 变更

5、数据 变更意外 停机计划 停机真正应用集群（RAC）自动存储管理、闪回、Log Miner、RMAN 与快速恢复区Active Data Guard、Secure Backtup联机重新配置滚动升级联机重定义Oracle最大高可用体系架构第9页，共86页。RAC: 集群数据库 集群的数据库服务器镜像的磁盘子系统高速的交换或互连集线器或交换机网络集中的管理控制台充分利用了行业先进的集群技术用户没有单一故障点Interconnect共享缓冲区存储区域网络第10页，共86页。ServiceRAC架构共用网络节点1Operating SystemOracle Clusterware集群内部互联网络in

6、stance 1ASM节点nOperating SystemOracle Clusterwareinstance nASMRedo / Archive logs all instances共享 存储Database / Control filesOCR and Voting DisksVIP1VIPnASM管理的存储裸设备ListenerListenerService第11页，共86页。集成的集群软件CRS和存储管理模块ASM集成的Oracle 集群管理软件解决方案，提高了性能集成的自动存储管理功能，提高了性能，增强了系统可用性，简化了存储管理的复杂程度单一供应商的技术支持，简化了系统的复杂程

7、度降低成本无须购买额外的软件安装管理简单Hardware- / OS-KernelCFSOracle ASMRAW LVM第三方集群OracleClusterwareOracle ASMOracleClusterware第12页，共86页。RAC的自动数据库诊断监视器Database ADDMAWR Instance ADDMSelf-diagnostic EngineInst1Instn第13页，共86页。Oracle国内集群数据库案例-4节点以上用户名称节点数平台版本河南移动 24/4*2HP PCSrv/HP SuperDome(32 C)11gR1/淘宝20/4HP PC Server

8、/SUN Linux/11gR1上海超级计算中心 6eGenera(4 way)国家互联网信息安全中心 6Lenovo/Dawning way)中国彩票在线 5IBM p570(8 way Power) 中石化 5/4IBM AIX/HP UX10R2/10gR2江西林业局 4IBM AIX东风富通汽车公司 4IBM AIX浙江移动4*3HP10gR2山东地税 4LangChao/ Lenovo, Linux河南地税4Dell/HP10g济南公安4Dawning10gTravelsky4 IBM AIX10gR2广东移动4IBM AIX10R2第14页，共86页。数据分区的概念大型表数据持续增

9、长难以管理分区分而治之简化管理提高性能组合分区提高性能增强满足业务需求的灵活性ORDERSORDERS一月二月ORDERS一月二月欧洲USA对应用程序透明第15页，共86页。Oracle 分区数据库版本核心功能Oracle8 数据库范围分区Oracle8i 数据库散列和组合分区Oracle9i 数据库列表分区Oracle9i 数据库第 2 版范围-列表组合分区Oracle 数据库 10g全局散列索引Oracle 数据库 10g 第 2 版每个表 1M 分区Oracle 数据库 11g间隔分区虚拟列分区引用分区完全组合分区第16页，共86页。Partitioning改善性能：分区允许将大表分解成

10、单独管理的更小的部分，同时保留应用程序级的单个数据视图将会被跳过不需要的分区，极大的减少了磁盘访问的数据量，从而缩短了处理时间，提高了查询效率和资源利用率提高关键数据的可用性：当部分数据由于故障或其它原因不可用时，其它分区内的数据可以不受影响继续使用分区方法：范围分区(Range Partition)列表分区(List Partition)散列分区(Hash Partition)各种分区组合的复合分区(Composite Partition)分区第17页，共86页。EM：新一代企业管理“利”器，数据库运维平台EM方法论与关键特性解决问题(Tuning Pack)发现顶级SQL（实时）定期、自动

11、SQL优化（无需人工参与）无缝部署（无需修改应用）联机重组数据库云化(Cloud mgt. Pack)整合规划自服务供应自动扩展与收缩（RAC节点，主机资源等）资源隔离（DBRM/IORM）计量计费 发现、诊断问题(Diag Pack) 预警通知（短信、邮件、iPhone） 紧急处理（挂起分析） 智能诊断（完全自动化、专家知识库） 精确分析（秒级）防范问题(DBLM Pack)配置管理补丁管理（补丁建议、冲突检测、打补丁）合规管理（上千条规则、预定义/自定义框架）变更管理AMS（Apps的端到端管理）EM for Exadata（软硬件一体化管理）第18页，共86页。19Oracle Appl

12、ication ServerOracle DatabaseOracle ApplicationsOracle EnterpriseManagerGridControlReportsManagementConsoleRepositoryCustom &Packaged AppsMiddlewareand AppServersDatabaseHostAll trademarks are the property of their respective ownersStorage,Network,HardwareCustomAppsBusinessFlowsWebLogicWebLogic&Orac

13、le Enterprise Management第19页，共86页。 Real Application Clusters Partitioning Spatial Advanced Security Label Security Database Vault OLAP Data Mining Warehouse Builder Enterprise ETL, Data Quality Content DB Suite, Record DB In-Memory Database Cache Active Data Guard Advanced Compression Real Applicati

14、on Testing Total Recall Enterprise Manager Secure Backup Secure Enterprise Search Audit Vault11g New OptionsOracle11g 数据库新增组件第20页，共86页。Oracle 数据库产品介绍Oracle数据安全方案介绍Oracle数据容灾方案介绍Oracle数据库DB 12C新特性Oracle In-Memory Option议程第21页，共86页。2011年12月21日: CSDN密码泄密第22页，共86页。什么原因导致数据被侵犯第23页，共86页。Database VaultLabe

15、l SecurityIdentity ManagementAdvanced SecuritySecure BackupData Masking数据库安全性纵深防御Oracle 数据库安全性整体解决方案AVDF 数据库防火墙Configuration Management加密与屏蔽访问控制审计AVDF（Audit Vault and DB Firewall）数据库防火墙监视与阻止监视威胁并且在其到达数据库之前阻止它们跟踪更改并审计数据库活动控制对数据库中数据的访问防止非数据库用户访问数据库从非生产数据库中删除敏感数据第24页，共86页。Oracle Database Firewall and A

16、udit Vault第一道防线第25页，共86页。第二道防线第26页，共86页。第三道防线第27页，共86页。第28页，共86页。关于数据安全技术的小结数据安全对企业IT系统是高风险、高危害、高技术含量，具有重大意义的IT重要任务之一多维度分步骤实施MSA，可以全面最为完善的实现数据合规安全可以根据需求布署数据库，并重点实施集中审计(AVDF)和权限管理(DV)，且具有安装部署方便，无需修改应用的特点配置管理(CM)、透明加密(ASO)与数据脱敏(DM)，具有成本低，布署简单，立即见效的特点第29页，共86页。Oracle 数据库产品介绍Oracle数据安全方案介绍Oracle数据容灾方案介绍

17、Oracle数据库DB 12C新特性Oracle In-Memory Option议程第30页，共86页。容灾的目标 避免大集中部署架构下的风险集中各种灾难和故障情况下保证应用系统的数据安全减少升级,例行维护等情况下的计划停机次数/时间将备用数据中心接管业务的时间控制在可以接受的范围内,降低RPO和RTO,保证业务的连续性实现备用数据中心的软硬件设备和数据的复用 ,分担主生产中心的业务压力第31页，共86页。集成化简单化标准化模块化+成长型的容灾架构:业务适应性应用适应性IT 基础架构适应性减少客户化工作; 控制项目工作量;采用成熟的技术方案, 减少项目风险; 便于客户维护;采用标准的技术和接

18、口: 数据库复制和DNS等;采用统一的架构将紧密联系的架构分割为独立的模块: 数据库复制、应用切换技术和网络设计;注重整体的逻辑架构的设计将业务和IT统筹考虑;保证未来的可扩展性.容灾技术方案的设计原则第32页，共86页。容灾方案构成两地三中心的容灾系统 同城容灾对象: 防范生产中心机房或楼宇发生的灾难 特点: 在北京,网络状况好,可分担生产中心业务压力,相比异地容灾,具有投资成本低,建设速度快,运维管理简单,可靠性更高等优点.异地容灾对象:防范大规模区域性灾难特点: 在异地,因网络带宽和距离限制等因素影响，异地容灾一般采用异步的方式。相比同城容灾，其投资成本较高，灾难恢复速度与数据保障能力略

19、低，但可以应付广泛的灾难风险.第33页，共86页。灾备中心的资源使用三种方式双活可将部分应用的主点设置在备份中心两个中心互为主备可缓解资源紧张,如Memory不足的问题日常管理维护工作,如备份可卸载到备点执行主备将一些只读的report应用跑在备份中心将一些对于数据库的日常管理维护工作,如备份在备点执行.双活主备两种方式结合第34页，共86页。复制技术选择数据库复制技术复制对象:保存在数据库中的数据特点:变化大，同步的量大实时性:高重要程度:高采用技术：Oracle Active Data Guard, Oracle GodenGate应用复制技术复制对象:应用或者系统日志等文件信息特点:变化

20、小同步的量小实时性:低重要程度:中采用技术:存储复制技术，第三方软件,Scirpt,开发应用等第35页，共86页。WAN全面的高可用保障: 服务器 , 存储, 网络,站点活动的灾难备份: 实时的容灾备份,且备点在线,可分担生产节点业务压力避免人为错误: 闪回功能,database, table, row, transaction在线数据库配置在线滚动升级Real Application ClustersASMFast Recovery AreaActive Data GuardGoldenGateOracle Secure BackupOracle MAA Maximum Availabili

21、ty Architecture第36页，共86页。Oracle 数据库的数据可用性和数据保护零应用系统宕机时间的自动数据块修复备份数据库可以用于查询、报表生成，测试及备份Active Data Guard 允许对实时数据进行查询Active Data Guard 备份数据库主数据块Oracle 活动数据卫士最佳的数据保护同步/ 异步 Redo 日志传送Oracle Confidential第37页，共86页。传统镜像方式不能识别数据库信息，占用网络带宽大ControlFiles filOnline LogsArchive LogsFlashback LogsData FilesSYSTEM U

22、SERTEMPUNDO生产数据库ControlFiles filOnlineLogsArchive LogsFlashback LogsDataFilesSYSTEM USERTEMPUNDO业务操作Network I/O灾备数据库第38页，共86页。Oracle Active Data Guard方式仅复制日志，占用网络带宽小ControlFiles filOnline LogsArchive LogsFlashback LogsData FilesSYSTEM USERTEMPUNDO生产数据库灾备数据库业务操作Oracle ApplyOracle validation*/technolo

23、gy/deploy/availability/htdocs/DataGuardRemoteMirroring.htmlNetwork I/O7X less volume*27X fewer network I/Os*第39页，共86页。提供多种数据保护模式保护模式数据丢失保护传输方式当无法传输log到Standby时最大保护模式(Max Protection)零数据丢失双重故障保护性能影响最大同步主数据库将挂起，等待直到log传输成功最大可用模式(Max Availability)零数据丢失单重故障保护同步主数据库将暂时挂起，等待直到log传输成功或到达超时(net_timeout)最大性能模

24、式(Max Performance)最少的数据丢失对性能影响最小异步主数据库将不受影响NET_TIMEOUT parameter of LOG_ARCHIVE_DEST_n Data Guard 11g default = 30 seconds第40页，共86页。Active Data Guard的部署模式SYNCPrimaryASYNC(Max Availability Mode)Active Data Guard(Max Performance Mode)Active Data GuardActive Standby DatabaseActive Standby Database生产中心同

25、城容灾中心异地容灾中心同城容灾采用最大可用模式异地容灾采用最大性能模式所有中心都可以做Flashback，预防人为误操作RMAN备份可以卸载到备份中心采用OEM做整个系统的图形化监控灾备中心可以支撑查询等操作ASYNCBackupBackupDWDWDW第41页，共86页。支持在备点采用RMAN block change tracking增量备份速度提升20 x Active Data Guard备点分担主点访问压力Real-time Queries容灾数据库生产数据库磁带或磁盘备份只读应用第42页，共86页。活动的备点分担压力将报表，分析查询等操作在备点运行读/写总体吞吐量翻倍提升读吞吐量

26、70%消除读写间的相互影响使得系统的调优更加简单2901,5302,610standby630primaryTransactions / sec仅主点工作R/OR/W有备点分担压力第43页，共86页。Standby 数据库在测试的时候可以read-write 方式打开 测试完成后继续做数据同步Snapshot Standby功能支持测试Real-time QueriesSnapshot Standby 生产数据库QATesting第44页，共86页。网络压缩提升传输速度实现更好的数据保护网络传输速度提升3x更好的数据保护需CPU资源对相应时间影响可忽略不计对吞吐量的影响可忽略不计impact

27、on throughput要求配置Oracle 11g高级压缩选项seconds第45页，共86页。46Oracle GoldenGate 提供了在异构的环境下实现高效、实时的数据捕获、传输、以及交付的能力。性能可扩展性 &灵活性可靠性主要特点:秒级的延时、Non-intrusive, 对源系统的影响小开放、松耦合的体系架构 支持异构的源和目标保证交易的一致性 稳定、可靠、具备各种故障下的恢复能力GoldenGate ：实时数据同步软件的领导者第46页，共86页。GoldenGate 工作原理网络源数据库 目的数据库双向复制队列文件: 暂存数据变化.传输: 数据经过压缩和加密传送到目的地. C

28、apture: 实时读取交易日志捕捉数据变化并可实现过滤.Delivery:执行所需的数据变化，然后将数据变化提交到目的库.CaptureSource TrailTarget TrailSource TrailTarget TrailDeliveryDeliveryCapture第47页，共86页。GoldenGate 实时数据同步能力基于日志的实时变化数据捕捉能力只复制成功提交的事物。数据压缩能力，最高达9倍的压缩比数据库日志网络CaptureSource TrailTarget TrailDeliveryData PumpJMS Message Bus第48页，共86页。GoldenGat

29、e 保证交易的一致性和完整性同逻辑卷复制等技术相比：效率更高 : 传输更少的数据量,压缩后的trailfile ; 逻辑卷复制无法区分出无效的IO，如大量临时表操作、排序操作等产生的IO保证交易的一致性和完整性 :不复制主点的存储故障投入更少: 网络带宽占用少灵活性 : 支持主备异构,支持全备和发布/订阅只复制成功提交的事务防止源和目标的不一致性基于日志的，不基于规则或者触发器，对源点影响最小第49页，共86页。GoldenGate 具备断点续传能力Primary ExtractTrailData PumpTrailTrailTrailTrail File和CheckPoint机制有效屏蔽复制

30、过程中的网络和主机故障 主点宕掉 网络传输故障 备点宕掉第50页，共86页。安全性: 加密机制 ExtractReplicatServerCollectorNetwork(TCP/IP)TrailMessage Encryption(Blowfish)Trail or Extract File Encryption(GoldenGate)ParametersParametersDatabase Password Encryption支持全程数据加密 参数文件加密 Trail File加密 消息传输加密第51页，共86页。DatabasesO/S and PlatformsOracle Gold

31、enGate Capture: Oracle DB2 for v 9.7 Microsoft SQL Server for v 2008 Sybase ASE Teradata Enscribe SQL/MP SQL/MX MySQL JMS message queuesOracle GoldenGate Delivery: All listed above, plus:TimesTen, Netezza, Greenplum, HP Neoview and any ODBC compatible databases ETL productsLinuxSun SolarisWindows 20

32、00, 2003, XPHP NonStopHP-UXHP TRU64HP OpenVMSIBM AIXIBM z SerieszLinux开放性NEWNEWNEWNEWNEW第52页，共86页。案例：中华人民共和国海关总署远距离容灾低带宽低延时可随时接管的双业务中心快速业务切换数据库日志日增20G网络带宽2M数据复制延时3秒故障切换时间90% 内存将被列格式使用行格式需要很少的内存73第73页，共86页。亚秒级找到任何业务数据SIMD Compare all values in 1 cycleCompare all values in 1 instructionLoad multiple S

33、tate values Vector RegisterIn-Memory Column StoreState columnSales例子: 查找CA州的所有销售额“CA”100X 加速每个CPU 扫描本地内存中的列存储数据扫描使用超快速SIMD（single instruction multiple data values）向量指令每个CPU核芯的扫描率达数十亿行/秒CPU74第74页，共86页。从多个表中扫描和合并数据SalesStoresType=outlet例子: 查找所有折扣店的销售额TYPEStoreid in 15,38,64STOREIDAMOUNT将连接处理转换成快速列扫描连接

34、处理可多达10 x 加速Sum75第75页，共86页。亚秒级生成报表In-Memory Report Outline例子: 显示折扣店中鞋类产品的销售趋势StoresProductsSalesOutletsFootwearSales动态创建内存中的报表大纲报表内容在实际扫描过程中填充没有预定义cube的情况下，报表生成可多达 20 x 加速76第76页，共86页。分析索引的存在导致OLTP操作变慢Table1 to 3OLTP Indexes 5 to 15 AnalyticsIndexes在混合型OLTP（如ERP）数据库中，大多数的索引仅为分析操作而使用对于已知方式的访问，基于内存和磁盘两种方式，索引都很有效但对于表的每一次变更都需要变更所有的分析索引 慢!77第77页，共86页。列存储取代分析索引Table1 to 3OLTP Indexes对于内存中的表，内存中的列存储取代了分析索引消除了分析索引在变更时带来的开销预定义的和即席分析查询都能够快速