Oracle真正应用集群RAC最佳实践Jerry

RoyRossebo

RACPack甲骨文公司真正应用集群最佳应用作者：KirkMcGowanRolandKnappRoyRossebo以及RACPack团队其他成员讲座目标只要坚持遵从一些最佳应用，在Linux上实施真正应用集群就应该会相对简单一些演示基于RACPack客户对9i和10g体验的最重要的RAC最佳应用，一般的和Linux特定的最佳应用没有其他特定平台重点讲述10g免责声明这些最佳应用的依据是客户的真实体验，通常会提供最佳的结果。但是不同系统具有不同的需求和成本结构，因此这些最佳应用可能不适用于所有情况。随着技术不断的发展，以及新体验的出现，这些最佳应用可能会随着时间的推移而发生变化。这些最佳应用不能替代产品使用正式指南的标准产品文档。议程规划最佳应用体系结构考虑事项期望效果项目计划实施最佳应用基础架构考虑事项安装数据库配置应用程序考虑事项运作的最佳应用备份与恢复监控与调整生产移植了解体系结构集群的数据库服务器镜像磁盘子系统高速交换机和互联集线器或交换机结构网络集中管理控制台存储区域网低延迟互联用户无单点故障共享缓存了解体系结构共享磁盘数据库共享内存/全局区域共享的

SQL日志

缓冲区......共享内存/全局区域共享的

SQL日志缓冲区共享内存/全局区域共享的

SQL日志

缓冲区共享内存/全局区域共享的

SQL日志

缓冲区GES&GCSGES&GCSGES&GCSGES&GCS共享数据模型了解体系结构公用网络节点1共享存储重做日志所有实例数据库和控制文件OCR和voting磁盘(oracle_home)操作系统CRS集群互联数据库实例1ASM实例1节点2操作系统CRS数据库实例2ASM实例2节点3操作系统CRS数据库实例3ASM实例3集群互联...了解体系结构集群术语基本功能通过消除作为单点故障(SPOF)的节点和Oracle，实现了高可用性通过增加额外的处理容量，实现了可伸缩性硬件组件专用互联/网络交换机共享存储器/并行访问/存储交换机软件组件操作系统、集群管理器、DBMS/RAC、应用程序各种集群管理器之间的区别规划划体体系系结结构构消除除单单点点故故障障工作作负负载载分分布布（（负负载载均均衡衡））策策略略Net服务务(SQL*Net)Oracle10g服务务使用用网网格格控控件件监监控控和和管管理理并并达达成成服服务务级级别别协协议议处理节节点–足够的的CPU以适应应故障障可伸缩缩I/O子系统统使用ASM和S.A.M.E.规划体体系结结构集群互互联FastEthernet、、千兆以以太网网公用网网络以太网网、FastEthernet、、千兆以以太网网推荐的的服务务器配配置每台服服务器器最少少2个个CPU2个和4个个CPU服务器的成成本通常最最经济每个CPU1-2GB内存光纤通道、、SCSI或NAS存储连接规划体系结结构坚不可摧的的Linux产品RedHatEnterpriseLinuxAS、ES2.1和3.0SuSELinuxEnterpriseServer8(SuSELinuxAG)Oracle将支持与其其他发行版版本一起运运行的Oracle产品，但不不支持该操操作系统本本身。坚不可摧Linux上的RAC认证认证企业级操作作系统发行行（例如RHAS2.1和3.0，SuseSLES/8）集群件（OracleOSD集群件）直接联网存存储（例如如NetworkAppliancefilers）大多数SCSI和SAN存储器都可可兼容有关软件认认证的详细细信息，请请访问：/support/metalink/content.html与您的硬件件供应商一一起讨论硬硬件配置设置正确的的期望如果您的应应用程序要要在SMP上透明伸缩缩，则现实实的期望是是它在RAC上伸缩良好好，而不必必对应用程程序代码进进行任何更更改。RAC消除了作为为单点故障障的数据库库和节点本本身，确保保了出现这这些故障时时数据库的的完整性制定适当的的目标高可用性目目标计划与非计计划技术故障、、站点故障障与人为错错误可伸伸缩缩性性目目标标加速速和和扩扩展展响应应时时间间、、吞吞吐吐量量和和其其他他计计量量标标准准服务务器器/整整合合目目标标通常常与与TCO相关关通常常比比较较主主观观构建建您您的的项项目目计计划划与您您的的供供应应商商合合作作多个股东，共共享成功构建详细的测测试计划在进入RAC之前确认在SMP上的可伸缩性性首先优化单个个实例明确知识上的的欠缺并进行行培训集群、RAC、高可用性、可可伸缩性、系系统管理需要时利用外外部资源建立严格的系系统和应用程程序更改控制制一次针对一个个系统元素应应用更改首先针对测试试环境应用更更改监控应用程序序更改对基础础系统组件的的影响定义支持机制制和上报过程程议程计划最佳应用用体系结构考虑虑事项期望效果项目计划实施最佳应用用基础架构考虑虑事项安装数据库配置应用程序考虑虑事项运作的最佳应应用备份与恢复监控与调整生产移植安装流程图配置硬件配置专用网络络安装和配置坚不可摧的Linux安装OracleCRS安装Oracle数据库，包括RAC和ASM运行VIPCA，，自动从RDBMSroot.sh启动配置存存储器器，包括ASMLIB使用DBCA创建数数据库库Linuxx86要求操作系系统要要求RedHatEnterpriseLinuxES/AS2.1(x86)Gnugccpackage，gcc-或更高高版本本还必须须安装装下列列程序序包（（或更更高版版本））：make-3.79binutils-2.11openmotif-2.1.30Kernelerrata25(e.25)或更更高高版版本本(RHSA-2003:195-06)glibc2.2.4-31errata或更更高高版版本本(RHSA-2003:022-09)Linuxx86要求求（（续续））操作作系系统统要要求求RedHatEnterpriseLinuxES/AS3(Update2)(x86)Gnugccpackage，gcc-3.2.3-2或更更高高版版本本还必必须须安安装装下下列列程程序序包包（（或或更更高高版版本本））：make-3.79binutils-2.11openmotif-2.2.2-16setarch-1.3-1compat-db-compat-gcc-7.3-2.96.122compat-gcc-c++-7.3-2.96.122compat-libstdc++-7.3-2.96.122compat-libstdc++-devel-7.3-2.96.122Linuxx86要求（续））操作系统要要求UnitedLinux1.0(x86)–尚未认证，，认证将与与补丁程序序集一起在6月末结结束。ServicePack3(SP3)或更高版本本(内核版本2.4.21-138)Gnugccpackage，gcc-3.2.2-38或更高版本本还必须安装装下列程序序包（或更更高版本））：make-3.79

binutils-2.12openmotif-2.2.2-124LinuxIA64要求操作系统要要求RedHatEnterpriseLinuxES/AS2.1(Update3)还必须安装装下列程序序包（或更更高版本））：make-3.79

binutils-2.11openmotif-2.1.30gcc-2.96-124glibc-2.2.4-32libaio-0.3.92-1

libaio-devel-0.3.92-1必须须安安装装Kernelerrata40(e.40)或更更高高版版本本LinuxIA64要求求（（续续））操作作系系统统要要求求RedHatEnterpriseLinuxES/AS3(Update1)还必必须须安安装装下下列列程程序序包包（（或或更更高高版版本本））：gcc-3.2.3-20make-3.79binutils-2.11openmotif-2.2.2-16setarch-1.3-1compat-db-compat-gcc-7.3-2.96.122compat-gcc-c++-7.3-2.96.122compat-libstdc++-7.3-2.96.122compat-libstdc++-devel-7.3-2.96.122必须须安安装装Kernelerrata40(e.40)或更更高高版版本本LinuxIA64要求求（（续续））操作作系系统统要要求求SuSELinuxEnterpriseServer8还必须须安装装下列列程序序包（（或更更高版版本））：ServicePack3(SP3)或更高高版本本(kernelversion2.4.21-107)gcc-3.2-29make-3.79binutils-2.12openmotif-2.2.2-124有关详详细信信息，，请参参阅Oracle®®数据库库客户户机快快速安安装指指南LinuxItanium的10gRelease1(10.1)编号.B13763-01准备Linux环境在集群群的每每个节节点上上执行行下列列操作作在/etc/sysctl.conf中设置置内核核参数数向/etc/hosts文件添添加主主机名名为ORACLE_HOME（对于Oracle用户ID可写入入）建建立文文件系系统和和位置置在所有有节点点上设设置ssh在所有有节点点上安装该该rpm使用脚脚本“/etc/init.d/oracelasmConfigure”选项配置ASMLib使用“/etc/init.d/oracleasmcreatediskVOL1/dev/sdg””为ASM提供磁磁盘将发现现字符符串设置为为“ORCL”从/下载最最新的的ASMLibrpmASMLib的安装装流程程图有关详详细的的安装装说明明，请请参阅阅/tech/linux/asmlib/install.html使用OracleUniversalInstaller安装CRS/CSS堆栈使用$CRS_HOME/root.sh第一次次启动动该Oracle堆栈加载/安装hangcheck计时器器如果要要对数数据库库文件件使用ASM，，则请为CRS/CSS创建两个个裸设备备CRS安装流程程图使用DBCA简化数据据库创建建设置MAXINSTANCES、、MAXLOGFILES、、MAXLOGMEMBERS、MAXLOGHISTORY、MAXDATAFILES（DBCA为自动进进行）将表空间间创建为为本地管管理（DBCA为自动进进行）创建所有有的表空空间并具具有ASSM（自动分段段空间管管理）特特性(DBCA为自动进进行)配置自动动UNDO管理（DBCA为自动进进行）使用SPFILE而不是使使用多个个init.ora（（DBCA为自动进进行）安装后要启用异异步I/O，，必须重新新链接Oracle才能使用用skgaioi.o，，并为RH2.1和RH3.0系统安装bug3208258与Basebug3016968的PatchSetException。安装@@@ARU:ARU6076422来修复专专用互联联的使用用。将UDP发送/接受缓冲冲区大小小调整为为256Ksysctl-wnet.core.rmem_max=262144sysctl-wnet.core.wmem_max=262144sysctl-wnet.core.rmem_default=262144sysctl-wnet.core.wmem_default=262144ASMLib安装装后后使用用asmlibrealease1.0.1。确保保正正确确运运行行了了““oracleasmconfigure“确保保对对于于所所需需的的磁磁盘盘正正确确运运行行了了““oracleasmcreatedisk“执行行““oracleasmlistdisks“显示示可可使使用用磁磁盘盘对于于每每个个标标记记的的磁磁盘盘执执行行““oracleasmquerydisk“，，确保保它它已已被被标标记记使用用cat/proc/filesystem命令令，，确确保保存存在在一一个个oracleasm文件件系系统统执行行df––ha，此命命令令应应该该显显示示/dev/oracleasmfs已经装装载ls-l/dev/oracleasm/disks，确保ownership/permissions为oracle:oinstall验证对对于ASMLIB是否使使用了了下列列搜索索字符符串（（或对对DBCA或对命命令行行）：：“ORCL:*“Oracle10g的现有有版本本要求求执行行自定定义安安装才才能获获取标标记的的asmlib磁盘。。如果ASM实例当当前处处于活活动状状态，，则在在发现现asmlib磁盘的的同时时，要要跟踪踪ASMalert.log，来查看看ASM是否会会显示示有关关发现现的消消息。。验证RAC配置在所有有节点点上运运行的的实例例SQL>select*fromgv$instanceRAC在专用用互联联上进进行通通信SQL>oradebugsetmypidSQL>oradebugipcSQL>oradebugtracefile_name/home/oracle/admin/RAC_1/udump/rac_1_ora_1343841.trcChecktracefileintheuser_dump_dest:SSKGXPT0x2ab25bcflagsinfofornetwork0socketno10IPUDP49197sflagsSSKGXPT_UPinfofornetwork1socketno0IPUDP0sflagsSSKGXPT_DOWNRAC正在使使用所所要求求的IPC协议：：CheckAlert.log...clusterinterconnectIPCversion:OracleUDP/IPIPCVendor1proto2Version1.0PMONstartedwithpid=2...仅在必必要时时才使使用cluster_interconnects议程计划最最佳应应用体系结结构考考虑事事项期望效效果项目计计划实施最最佳应应用基础架架构考考虑事事项安装数据库库配置置应用程程序考考虑事事项运作的的最佳佳应用用备份与与恢复复监控与与调整整生产移移植本地管管理的的表空空间将所有有表空空间创创建为为本地地管理理，并并且带带有自自动分分段空空间管管理CREATETABLESPACExx..EXTENTMANAGEMENTLOCAL..SEGMENTSPACEMANAGEMENTAUTO.在DBCA中这是是自动动完成成的ASSM自动分分段空空间管管理(ASSM)消除了了计算算PCTUSED、FREELISTS和FREELISTGROUPS的复杂杂过程程允许实实例进进行空空间的的动态态亲和和，避避免了了可用用列表表组固固有空空间的的硬分分区。避免了了并发发访问问时的的争用用，并并优化化了空空间使使用。。不需要要任何何维护护。使您能能够支支持任任意数数量的的实例例，而而不用用对对对象作作任何何更改改。使用在在线重重新构构建功功能，，将对对象从从可用用列表表组移移到ASSM。。在DBCA中自动动配置置应用程程序部部署对于RAC无需特特殊的的应用用程序序设计计或编编码在一个个单一一实例例SMP环境中中运行行正常常的所所有应应用程程序在在RAC也会运运行正正常只是….在一个个实例例环境境中出出现的的争用用问题题在RAC环境中中可能能会更更加严严重。。如果与与数据据相关关的路路由可可在中中间层层实现现，则则还可可以进进一步步提高高性能能应用程程序部部署规则与与单一一实例例相同同SQL调整顺序缓缓存将大型型对象象分区区使用不不同的的块大大小避免DDL按照前前面的的注意意事项项使用用LMT和ASSMSQL调整优化的的执行行计划划可共享享的SQL解析审计全表扫扫描顺序顺序号号总是使使用缓缓存选选项将顺序序缓存存设置置为1000或或更多多增加SYS.AUDSES$的缓存存值在在出现现大量量“登登录””时会会有所所帮助助将顺序序sys.audses$的缓存存更改改为10000；对大型型表/索引引进行行分区区使用合合适的的分区区。改善对对象的的可管管理性性。DML密集对对象的的散列列、列列表和和组合合分区区会有有所帮帮助。。不同的的块大大小大块用用于经常进进行长长扫描描的表表。大多数数为读读操作作的表表和索索引。使用批批量加加载进进行加加载并并且没没有更更新的的表。。小块用用于上述情情况之之外的的环境境。尽量少少用DDL不要创创建和和删除除属于于正常常用户户应用用程序序一部部分的的表–而采用用其他他方式式DDL访问数数据字字典，，在单单个实实例以以及RAC上都会会引起起争用用问题题DDL操作可可能会会使得得存储储的sql语句失失效，，从而而导致致重新新分析析，这这样会会影响响性能能议程计划最最佳应应用体系结结构考考虑事事项期望效效果项目计计划实施最最佳应应用基础架架构考考虑事事项安装数据库配配置应用程序序考虑事事项运作的最最佳应用用备份与恢恢复监控与调调整生产移植植操作DBA过程与单单个实例例基本相相同，只只有一些些较小区区别，而而且大多多数为机机械上的的区别。。管理Oracle环境通过引导/重新引导导服务器来来启动/停止Oracle集群系列管理多个重重做日志线线程启动和关闭闭数据库使用网格控控制备份和恢复复性能监控和和调整生产移植备份和恢复复使用RMAN备份和恢复复ASM文件的唯一一选择使用网格控控制访问RMAN的GUI界面对于备份和和存档日志志使用10g快速恢复区区域在ASM上，可用于于所有实例例实例恢复设置fast_start_mttr_target初始设置为为300比较好性能与可用用性的平衡衡为一次恢复复确定缓冲冲区大小。。确保使用了了异步I/O。使用恢复并并行。避免逐出故故障节点如果一些重重要进程无无法快速响响应，则可可能会收到到“heartbeat”故障为LMS启用实时优优先级不要长时间间在100%CPU情况下运行行系统确保对于控控制文件和和voting磁盘都具有有良好的I/O响应时间性能监控/调整首先对单个个实例10g进行调整Oracle性能管理器器/ADDM/AWRRAC特定的视图图使用脚本/跟踪进行行补充监控控V$SESSION_WAIT看等等待待事事件件中中涉涉及及哪哪些些块块跟踪踪类类似似10046/8的事事件件可可提提供供附附加加的的等等待待事事件件详详细细信信息息如同同在在单单个个实实例