Oracle数据库集群的实现计算机专业

1、Oracle数据库集群的实现 目 录摘要3Abstract41引言52 Oracle RAC实时应用集群62.1 什么是RAC集群62.2 Oracle数据库集群的组成结构82.2.1集群的逻辑结构82.2.2集群的体系架构83基于Linux的Oracle 数据库集群的实现103.1 Oracle RAC的安装环境103.1.1硬件环境103.1.2 软件环境113.1.3 Oracle RAC的实验环境113.2 Oracle RAC的任务列表123.3 Oracle RAC的任务规划133.3.1 主机配置与软件规划133.3.2 网络规划及时间同步规划143.4 Oracle 实时应用集

2、群的实施规划143.4.4 配置各节点的信任关系143.4.6 安装Oracle Database数据库软件153.4.9 创建数据库实例163.5 添加第三节点233.5.2 安装与配置CRS集群件233.5.3 安装Oracle 软件253.5.4 添加新Instance263.6 Oracle RAC的客户端测试273.6.1 验证更新后的RAC集群273.6.2 数据的导入293.6.6 负载均衡334总结36参考文献37摘要数据库的服务器系统是IT系统的一个极为重要的核心, 因而其性能的可靠性, 保证了应用系统是否能够及时的访问到存储在数据库中的数据。将Oracle数据库进行集群处理

3、成功地解决了传统数据库应用中面临的这一个问题。所以目前性能高，可用性好的集群RAC数据库服务器成为了一种潮流。本论文中，详细阐述了如何搭建一个双节点RAC数据库集群，并向其中添加节点的例子，以求实现RAC集群的扩容。本文中的RAC数据库是在Red Hat Enterprise Linux 5.4系统上建立的，所使用的硬件是一台联想主机和一台路由器。首先完成RAC的搭建，而后向其中导入数据表，再验证RAC的可用性，性能以及负载的均衡性，最后此法很好地解决了单个数据库服务器运行时的安全问题，实现了基于session的负载均衡，达到了降低单个数据库服务器数据处理压力的目的。关键词：Oracle数据库

4、；实时应用集群；集群；高可用；高性能AbstractDatabase server system is an extremely important core IT system, its performance is reliable, whether the application of the system to ensure timely access to the data stored in the database. The Oracle database clustering successfully solved this problem faced by tradition

5、al database applications. So now high performance, availability, good cluster RAC database server from becoming a trend. In this thesis, it elaborated on how to build a two-node RAC database cluster, add nodes to an example in which, in order to achieve the RAC cluster expansion. Herein RAC database

6、 on Red Hat Enterprise Linux 5.4 system is built, the hardware used is a Lenovo hosts and a router. RAC's first completed building, and then import the data to which the table, and then verify RAC balance availability, performance and load, and finally this method solves the security problem of

7、running a single database server to achieve session-based load balancing , to reduce pressure on a single database server data processing purposes.Keywords: Oracle; real application cluster; cluster; high availability; high performance 1引言 当前我们的经济快速发展，电信，银行，制造业等大企业的业务量呈爆炸式增长，这就对负责存储数据的数据库提出了更高的要求。首先

8、，随着数据量的快速增长，数据库的处理能力以及计算速度也应当相应提高，而这是单一设备所无法承担的。如若强行进行硬件的升级，则将会造成高额的投入，得不偿失，治标不治本。其二，数据库作为整个信息系统最为重要的核心，单一的设备无法保证系统连续长时间的运行，如果设备发生故障，将会造成巨大的损失。其三，单一的设备安全性较差，对于数据库中某些十分重要的数据无法保证其安全。 因此，我们就需要将多台服务器连接起来以期实现总体性能远优于单个服务器的集群技术来解决数据库的应用中所出现的这诸多问题。数据库集群的实现，将大大地降低成本，并且提高数据库整体的数据处理计算速度，提升其可用性，实现均衡负载。在应对系统故障这一

9、点上，集群技术会自动检测出发生故障的节点，并且将其转移，保证持续工作。在安全方面，集群技术将实现数据集的冗余，通过多份数据来保障数据安全性。2 Oracle RAC实时应用集群及相关概念2.1 RAC集群的概念数据库集群其实就是一个由多台数据库服务器所构成的逻辑结构体系，从客户的角度来看，它能够像单个数据库那样实现各类数据库的服务。计算机集群技术都具有相同的特征：首先它可以通过连接更多的计算机服务器以期在完成同一项服务时能够达到更高的效率；其次，多台计算机的集群中每一台服务器的工作内容与工作过程等完全一致，如果其中的一台出现了故障，其余的可以替换故障机并执行其功能。以结构划分可以将集群分为共享

10、磁盘型和非共享磁盘型，以实现功能的不同可以将集群粗略划分为以下三类：科学计算集群(High performance Cluster，HPC)，又称高性能计算集群，这类的集群方式能够达到单一的计算机所达不到的高速的强大计算能力，包括数值计算和数据处理，并且倾向于追求综合性能。HPG与超级计算类似，但是又有不同，超级计算是以计算速度为最高的追求目标。超级计算能够达到极快的运算速度，极大的数据存储量，但是其价格也相当昂贵。随着人们对计算机运算速度需求的提高，社会各个领域开始应用超级计算，而人们在追求其高运算速度的同时更加注重运算的高性能等综合指标，高性能计算应运而生。HPC的应用领域非常广泛，典型应

11、用有成么科学研究、基因测试对比、数据挖掘应用、石油和天然气勘探、图像呈现等。负载均衡集群(Load balancing Cluster，LBC)此类集群由至少两台服务器组成，分为前端负载调度和后端服务两大部分，通过一个或者多个前端负载均衡器，将客户端程序的请求按照不同的方式分配到后端的一组服务器上，从而达到整个系统的高性能和高可用性。这样的组成，分配方式在高可用性集群以及负载均衡集群当中都有所体现。它的缺点是当某一节点出现问题时，前端调度并不能知晓，仍会把客户端的请求调度到故障节点上来。这样就需要在负载调度中引入一个节点监控系统来解决这个问题。高可用性集群(High availability

12、Cluster，HAC)这一类型的集群方式能够保障用户的程序能够最大限度得以应用。当集群中程序或网络不能够正常工作时，故障机所承担的任务将会被转移到其他的正常节点上，而后故障机进行离线维护直到能够参与工作，整个过程将不会影响到集群体系的运行。高可用集群的缺点是不能保证应用程序数据的安全性。双机热备，双机互备等方式都属于高可用集群。图2.1 RAC集群拓扑图如图2.1所示，此集群拓扑图能够直观地反映出双节点的RAC运行逻辑关系与层次结构。图中心跳线是用于连接两台服务器，即工作服务器与备份服务器之间的网线，RAC集群的结构中包含了多个服务器节点，而节点间又通过心跳线连接，每个节点上都运行着一个或多

13、个实例（即Instance），实例与实例之间通过集群中间件的联接实现了对同一个数据库的访问与操作。所有的服务和程序通过操作系统都去访问一个共享存储，最终完成数据的读写。所以从用户的角度来看，就好像只有一个数据库在运行。2.2 Oracle数据库集群的组成结构2.2.1集群的逻辑结构Oracle术语中实例和数据库是两个不同的概念，实例是指由全局共享区（即SGA）和后台进程组成的实时运行环境，是动态概念；而数据库特指数据文件，控制文件和日志文件这些永久保存在存储设备上的文件，是静态概念。Oracle的实例和数据库是一对一或多对一关系。从图2.1可以看出数据库集群由存储层，网络层，集群件层，应用层组

14、成。存储层。虽然在RAC系统中有多个实例，但是只有一个数据库运行在共享磁盘上，数据文件，联机日志，控制文件等文件在集群中都只有一份(镜像不算)。所有的RAC节点平等使用这些文件。网络层。在RAC集群环境中，有三个网络：Public网络，用于对外提供数据查询服务；Private网络，用于RAC心跳和Cache Fusion；第三个则是存储设备和与之配套的网络设备(生产环境中一般是光纤交换机和每个节点的HBA卡)。前二者用于传输网络数据，而第三个用于传输SCSI数据.集群层。单机环境下，Oracle运行在OS内核之上，OS内核负责管理管理硬件设备，同时提供硬件访问接口。Oracle通过OS内核来实

15、现对硬件的调用请求。2.2.2集群的体系架构在图2.2和图2.3中，与传统单实例架构相比，RAC Instance的SGA最显著的变化是多出了一个Global Resource Directory部分。图2.2 传统的Single-Instance架构图2.3 RAC架构Oracle数据库的工作过程都是在内存的SGA部分进行的，而在RAC的每一个数据块中，在任何一个实例Instance的SGA中都存在着一份拷贝，RAC必须知道这些拷贝的分布、版本、状态，GRD就是这种信息的内存区域。虽然GRD位于SGA中，但由于RAC拥有多个SGA，因此所有节点的GRD加在一起才是完整的GRD。而在后台进程上

16、，除了传统单实例相同的DBWR，LGWR，ARCn，CKPT等进程之外，每个Instance 都增加了若干的RAC专有的进程，需要注意的是，这些进程的名称和它们所提供的服务的名称差异极大。3基于Linux的Oracle 数据库集群的实现3.1 Oracle RAC的安装环境图3.1 RAC环境示意拓扑其中：1)，2)，3)，4)，5)，9)，10)为硬件环境 6)，7)，8)为软件环境3.1.1硬件环境在对Oracle RAC进行安装的过程之中，运行环境的配置是最为重要的部分。计算机主机、共享存储与互联网络设备等一同构成了Oracle RAC 的硬件环境。图3.1展示的是一个带有双节点的RAC

17、集群环境(后期会添加一个新的RAC节点)，拥有两台主机(图3.1中1)。当然，在数据库集群的概念里，主机即是指的系统体系中的节点。在RAC的节点中，每个节点的硬件配置应该保持一致性。整个的RAC环境中，有三个网络。一是公共网络，每个节点的Public NIC接入到公共网络，为客户机提供数据查询服务，DBA的日常维护也是通过这个网络。二是私有网络，集群的Private NIC接入到私有网络时，这个网络是一个完全隔离的内部网络，其上传输的数据仅仅是RAC节点间的心跳数据和Cache Fusion数据。第三个网络就是存储网络，只是这个网络不是通过网线，而是通过光纤线(或SCSI线)来连接的，其上运行

18、的则是SCSI协议。3.1.2 软件环境要实现对Oracle RAC 的环境配置，需要以下四类软件：操作系统、集群中间件、集群文件系统以及数据库软件。（1）操作系统必须要求RAC节点上的操作系统是相同的版本，无论是大小，版本还是补丁包都必须一样。（2）集群件集群件的任务是负责管理整个集群环境中的硬件资源，并且为更上一层的集群提供基础性的服务，它和操作系统的关系类似于应用程序与操作系统的关系。系统硬件不能由应用程序所直接访问，所有的对系统硬件的访问都是由操作系统的内核来完成的。（3）集群文件系统RAC的大多数文件都需要存放在共享存储中，要保证所有节点都能访问到这些文件，就要对节点的访问进行控制，

19、但普通的文件系统并不支持集群的功能，因此就必须使用特殊的存储策略。（4）数据库软件Oracle 10g数据库。3.1.3 Oracle RAC的实验环境（1）硬件上的环境主机：三台虚拟PC主机，CPU单核2.2GHz，内存1.8GB，磁盘配置完全一致，每台计算机两块对立的以太网网卡，主机与存储之间通过SCSI线连接；存储设备：共享磁盘；网络交换机：一台三层路由器，用于三台主机的Public NIC的互联；而Private NIC的连接通过VMware Server的DHCP完成。（2）软件上的环境操作系统：Red Hat Enterprise Linux server 5.4 (AS) i38

20、6；集群中间件：Oracle Clusterware；集群文件系统：ASMLib；数据库：oracle10g01_10.2.0.1.0_database_linux32。3.2 Oracle RAC的任务列表技术上来说，RAC搭建比较容易出错，因此有必要完成一份详细的任务清单。表3.1 RAC的任务列表阶段任务列表前期规划确认集群节点的数量，每个节点的主机名及主机的系统配置；区分Public和Private NIC，确认每个节点的三个IP地址；数据库存储技术选型；系统磁盘分区规划；存储空间的规划，包括软件安装位置，数据库文件位置规划；配置节点主机配置主机名和3个IP地址；RPM包的检查；磁盘分

21、区；配置裸设备；系统需求分析；创建用户oracle，要求每个节点的UID，GID相同；定义用户oracle的环境变量以及资源的限制；用户等价性的配置；时间节点的同步；安装部署安装RHEL操作系统；安装Oracle Clusterware，安装后进行检查；安装Oracle Database；创建ASM磁盘；配置Listener；创建ASM存储；创建RAC数据库；节点增加创建并配置第三节点主机搭建Oracle集群件和软件将第三节点添加到集群数据库安装后测试，Failover和LoadBalance。3.3 Oracle RAC的任务规划根据表3.1的任务列表，接下来完成前期规划的四个任务。3.3.

22、1 主机配置与软件规划根据前面描述，总结出设计中的主机系统配置和软件的规划，设计中使用了两个节点(并添加第三节点)。表3.2 规划阶段任务：主机配置与节点规划类型项目说明主机主机名rac-db1/rac-db2/rac-db3(添加)操作系统版本RedHat Enterprise Linux server 5.4 (AS)集群软件Oracle10201_clusterware_linux32网卡双网卡绑定：Public NIC(ech0，Public IP & Virtual IP)，Private NIC(eth1，Private IP)数据库Oracle版本10.2.0.1.0运行

23、模式RAC集群归档模式启用归档数据库名racdb数据库实例名racdb1/racdb2/racdb3物理机操作系统版本Windows Server 2003 Enterprise Edition SP2虚拟机版本VMware Server 1.0.10客户端配置客户端主机名liu-8da28ea770d客户端IP192.168.1.100客户端操作系统Windows Server 2003 Enterprise Edition SP2Oracle客户端版本Oracle10201_client_win323.3.2 网络规划及时间同步规划表3.3规划阶段任务：网络规划数据库服务器通常都是运行在内

24、部网络上的，不会与公共网络相连接，而RAC对于每个节点间的时间同步要求也较为严格。因此在搭建RAC集群之前，应先建立NTP服务器，或让数据库服务器之间相互做NTP服务器与客户端以完成时间同步。设计中的时间同步是通过time-stream守护进程实现的。3.4 Oracle 实时应用集群的实施规划因为Oracle 数据库实时应用集群的搭建较为繁琐，这里将整个过程分为9个阶段。3.4.4 配置各节点的信任关系RAC双机信任，就是当一个用户oracle从一个节点连接到另一个节点的时候，不需要输入密码，也称作为用户等价。RAC的Clusterware和Database的安装都是先在一个节点上安装，然后

25、安装程序自动把本地已安装好的内容复制到远程的相同结构下，这是一个后台的拷贝过程，所以RAC的安装人员是没有机会输入密码以进行验证的，因此必须配置用户等价。这里使用的是SSH，它较RSH更安全。以用户oracle的身份在每个节点都执行下面的命令(不设置密码)：完成之后，在rac-db1节点执行命令，生成公钥信息文件/home/oracle/.ssh/authorized_keys并发送到rac-db2节点的相同路径下。完成之后，在双节点上验证双机信任，同时也进行时间同步的验证。oraclerac-db1 .ssh$ ssh rac-db1 date；ssh rac-db1-priv date；s

26、sh rac-db2 date；ssh rac-db2-priv date；ssh rac-db1-vip date；ssh rac-db2-vip dateThu Nov 11 00:25:13 CST 1999 /首次ssh登录时，操作系统将提示用户验证密钥，Thu Nov 11 00:25:13 CST 1999 /回答yes，之后就无需验证了Thu Nov 11 00:25:14 CST 1999 Thu Nov 11 00:25:15 CST 1999 3.4.6 安装Oracle Database数据库软件（1）Database安装包的准备和CRS的安装相同，安装前需要将Datab

27、ase的安装包提取到/oradisk下。rootrac-db1 # cd /oradisk/rootrac-db1 oradisk# cp -rf /media/20111007_155738/database /oradisk/rootrac-db1 oradisk# chown -R oracle.oinstall .rootrac-db1 oradisk# chmod -R 775 .（2）安装Oracle Database切换到用户oracle，进入/oradisk/database/，执行./runInstaller，开始安装数据库软件。进入OUI的Welcome界面，安装的是默认的

28、Enterprise Edition(1.24GB)版本，同样的在Languages中添加中文字符集支持；Next，默认Oracle Database安装路径；Next，Hardware Cluser Installation Mode默认Cluster Installation，添加rac-db2；Next，安装前环境检查；Next，选择 install database Software only，实例将在Database软件安装后使用dbca创建；Next，安装Database，与CRS安装过程基本相同，完成安装后，弹出配置脚本界面。（3）rac-db1和rac-db2执行/u01/ap

29、p/oracle/product/10.2.0/db_1/root.sh。各节点的分别执行root.sh脚本。然后点击OK，结束安装。安装完成后要修改所有节点上的数据库软件目录下的srvctl脚本，否则在RAC集群数据库搭建好之后，调用srvctl脚本会提示找不到共享库文件。export LD_ASSUME_KERNELunset LD_ASSUME_KERNEL3.4.9 创建数据库实例（1）RAC集群数据库的创建回到了dbca的选择执行操作的界面，选择Create a Database操作；Next，Select All选择建库节点；Next，使用Custom Database自定义数据库

30、模板；Next，根据表3.2的规划填写Global Database Name(SID Prefix)为racdb；Next，EM默认；数据库系统用户设置统一的密码。Next，使用ASM作为数据库存储；Next，选择RAC_DATA作为存放数据库的ASM disk group；Next，dbca会将+RAC_DATA(ASM存储写法：+磁盘组名)作为数据文件的创建位置，点击Multiplex Redo Logs and Control Files，输入Redo Logs的存储位置+RAC_LOG1和+RAC_LOG2；Next，根据表3.9的规划配置Flash Recovery Area为+R

31、AC_RECOVEERY，大小为3000MB，不开启Archiving模式。Next，Database Components中只选择EM Repository且跳过Custom Scripts；Next，不添加Database Services；Next，Memory中修改RAC启动时所占用的内存的百分比为60%；Sizing使用默认的8KB，服务器同时接入的最大的进程数量为150；Character Sets中修改数据库的字符集为ZHS16GBK，其余默认值；Connect Mode也使用默认的Dedicated Server Mode；Next，点击All Initialization P

32、arameters，将control_files的存储磁盘组+RAC_DATA修改为+RAC_CTRL，关闭All Initialization Parameters；Next，进入Database Storage Page，这是前面所配置的数据库存储的总览；Next，选择Create Database；Finish，进入dbca的配置信息汇总页面；点击OK，开始创建RAC数据库。dbca会先将RAC数据库以及在每个节点的数据库实例注册到CRS的Application Resource中，但此时它们的状态是OFFLINE的。rootrac-db1 # crs_stat t v | grep O

33、FFILNEora.racdb.db application 0/1 0/1 OFFLINE OFFLINE ora.b1.inst application 0/5 0/0 OFFLINE OFFLINE ora.b2.inst application 0/5 0/0 OFFLINE OFFLINE 然后dbca会在ASM存储上创建数据库。因为数据库是完全安装在共享存储下的，可以看到各共享存储所属的硬盘灯在疯狂闪动，RAC数据库的安装过程较长。数据库安装完成后，弹出dbca的配置确认界面。其上显示了本次所安装的RAC数据库的全局数据库名，系统标示符，参数文件位置以及isqlplus的URL，可

34、以在这里配置系统用户的密码。点击Exit，退出dbca，dbca会启动集群数据库以及每个节点的实例。首先启动的是两个节点主机上的数据库实例，最后启动数据库服务。rootrac-db1 # crs_stat t vora.racdb.db application 0/1 0/1 ONLINE ONLINE rac-db1 ora.b1.inst application 0/5 0/0 ONLINE ONLINE rac-db1 ora.b2.inst application 0/5 0/0 ONLINE ONLINE rac-db2 至此，设计中的RAC集群数据库搭建完毕。分别查看各节点的标示符

35、，从对应主机进入数据库实例。 oraclerac-db1 $ sqlplus / as sysdbaSQL> select instance_number, instance_name, substr(host_name, 1, 10), version, startup_time, status, database_status from v$instance;INSTANCE_NUMBER INSTANCE_NAME SUBSTR(HOST_NAME,1,1 VERSION STARTUP_TIME STATUS DATABASE_STATUS- - - - - - - 1 racd

36、b1 rac-db1 10.2.0.1.0 08-JUN-12 OPEN ACTIVE oraclerac-db2 $ sqlplus / as sysdbaSQL> select instance_number, instance_name, substr(host_name, 1, 10), version, startup_time, status, database_status from v$instance;INSTANCE_NUMBER INSTANCE_NAME SUBSTR(HOST_NAME,1,1 VERSION STARTUP_TIME STATUS DATABA

37、SE_STATUS- - - - - - - 2 racdb2 rac-db2 10.2.0.1.0 08-JUN-12 OPEN ACTIVE可以看到，当前的主机节点rac-db1上的数据库实例racdb1状态正常。（2）参数文件的更改Linux的RAC的主机的操作是共享的。因为在dbca建库的时候，并未指定spfile的位置，因此当前所使用的参数文件被放置在+RAC_DATA存储中。根据当前使用的spfile创建pfile。根据pfile创建新的spfile。SQL> show parameter spfile;NAME TYPE VALUE- - -spfile string +R

38、AC_DATA/racdb/spfileracdb.oraSQL> create pfile='/tmp/init.ora' from spfile;File created.SQL> create spfile='+RAC_SPFILE/RACDB/spfileracdb.ora' from pfile='/tmp/init.ora'File created. /此时新建的spfile未生效.SQL> show parameter spfile;NAME TYPE VALUE- - -spfile string +RAC_DA

39、TA/racdb/spfileracdb.ora使用srvctl工具查看当前的RAC集群数据库的详细信息。oraclerac-db1 $ srvctl status database -d racdbInstance racdb1 is running on node rac-db1Instance racdb2 is running on node rac-db2oraclerac-db1 $ srvctl config database -d racdb -arac-db1 racdb1 /u01/app/oracle/product/10.2.0/db_1rac-db2 racdb2 /

40、u01/app/oracle/product/10.2.0/db_1DB_NAME：racdbORACLE_HOME：/u01/app/oracle/product/10.2.0/db_1SPFILE：+RAC_DATA/racdb/spfileracdb.oraDOMAIN：nullDB_ROLE：nullSTART_OPTIONS：nullPOLICY：AUTOMATICENABLE FLAG：DB ENABLED使用srvctl修改spfile位置为+RAC_SPFILE/RACDB/spfileracdb.ora。完成之后关闭数据库及数据库实例，不使用shutdown命令。oracle

41、rac-db1 $ srvctl modify database -d racdb -p '+RAC_SPFILE/RACDB/spfileracdb.ora'oraclerac-db1 $ srvctl config database -d racdb a | grep SPFILESPFILE：+RAC_SPFILE/RACDB/spfileracdb.oraoraclerac-db1 $ srvctl stop database -d racdb -o immediateoraclerac-db1 $ srvctl status database -d racdbInst

42、ance racdb1 is not running on node rac-db1Instance racdb2 is not running on node rac-db2查看CRS服务的状态，RAC节点的实例和数据库已关闭。rootrac-db1 # crs_stat t v | grep OFFILNEora.racdb.db application 0/1 0/1 OFFLINE OFFLINEora.b1.inst application 0/5 0/0 OFFLINE OFFLINE ora.b2.inst application 0/5 0/0 OFFLINE OFFLINE

43、接下来，在rac-db1节点上，以oracle身份导出ORACLE_SID为+ASM1，进入ASM存储管理。可以看到前面所创建的ASM共享存储列表，并对其进行管理操作。oraclerac-db1 $ export ORACLE_SID=+ASM1oraclerac-db1 $ asmcmdASMCMD> ls -lState Type Rebal Unbal NameMOUNTED NORMAL N N RAC_ARCH/MOUNTED NORMAL N N RAC_CTRL/MOUNTED NORMAL N N RAC_DATA/MOUNTED NORMAL N N RAC_LOG1/

44、MOUNTED NORMAL N N RAC_LOG2/MOUNTED NORMAL N N RAC_RECOVERY/MOUNTED NORMAL N N RAC_SPFILE/删除旧的spfile文件+RAC_DATA/RACDB/spfileracdb.ora，它是指向+RAC_DATA/RACDB/PARAMETERFILE/spfile的软连接。而新建的spfile则位于+RAC_SPFILE/RACDB/spfileracdb.ora。ASMCMD> ls -l rac_data/racdb/Type Redund Striped Time Sys Name Y DATAFI

45、LE/ Y PARAMETERFILE/ Y TEMPFILE/ N spfileracdb.ora => +RAC_DATA/RACDB/PARAMETERFILE/spfile.262.783524663ASMCMD> ls -l rac_spfile/racdbType Redund Striped Time Sys Name Y PARAMETERFILE/ N spfileracdb.ora => +RAC_SPFILE/RACDB/PARAMETERFILE/spfile.256.783528501ASMCMD> rm rac_data/racdb/spfi

46、leracdb.ora进入$ORACLE_HOME/dbs，在pfile中指定spfile的位置。oraclerac-db1 dbs$ cat initracdb1.ora | grep spfilespfile='+RAC_SPFILE/racdb/spfileracdb.ora'oraclerac-db2 dbs$ cat initracdb2.ora | grep spfilespfile='+RAC_SPFILE/racdb/spfileracdb.ora'使用srvctl启动数据库，RAC集群数据库所使用的参数文件已经是最新的spfile。oracle

47、rac-db2 $ sqlplus / as sysdbaSQL> show parameter spfileNAME TYPE VALUE- - -spfile string +RAC_SPFILE/racdb/spfileracdb.oraoraclerac-db2 $ sqlplus / as sysdbaSQL> show parameter spfileNAME TYPE VALUE- - -spfile string +RAC_SPFILE/racdb/spfileracdb.orarootrac-db1 # crs_stat t v /CRS服务正常运行ora.rac

48、db.db application 0/1 0/1 ONLINE ONLINE rac-db1 ora.b1.inst application 0/5 0/0 ONLINE ONLINE rac-db1 ora.b2.inst application 0/5 0/0 ONLINE ONLINE rac-db2（3）数据结构的验证根据前面的规划，验证当前的RAC集群数据库的数据库文件的存储结构。SQL> select file#, name, bytes from v$datafile; FILE# NAME BYTES- - - 1 +RAC_DATA/racdb/datafile/sy

49、stem.256.785152295 461373440 2 +RAC_DATA/racdb/datafile/undotbs1.257.785152377 209715200 3 +RAC_DATA/racdb/datafile/sysaux.258.785152381 262144000 4 +RAC_DATA/racdb/datafile/undotbs2.260.785152435 209715200 5 +RAC_DATA/racdb/datafile/users.261.785152465 5242880 6 +RAC_DATA/racdb/datafile/undotbs3.26

50、2.785213443 209715200 7 +RAC_DATA/racdb/datafile/csdn01.dbf 5830082567 rows selected.SQL> select * from v$logfile; GROUP# STATUS TYPE MEMBER IS_- - - - - 1 ONLINE +RAC_LOG1/racdb/onlinelog/group_1.256.785152213 NO 1 ONLINE +RAC_LOG2/racdb/onlinelog/group_1.256.785152227 NO 2 STALE ONLINE +RAC_LOG

51、1/racdb/onlinelog/group_2.257.785152243 NO 2 STALE ONLINE +RAC_LOG2/racdb/onlinelog/group_2.257.785152257 NO 3 STALE ONLINE +RAC_LOG1/racdb/onlinelog/group_3.258.785155331 NO 3 STALE ONLINE +RAC_LOG2/racdb/onlinelog/group_3.258.785155345 NO 4 ONLINE +RAC_LOG1/racdb/onlinelog/group_4.259.785155359 NO

52、 4 ONLINE +RAC_LOG2/racdb/onlinelog/group_4.259.785155373 NO8 rows selected.SQL> select * from v$controlfile;STATUS NAME IS_ BLOCK_SIZE FILE_SIZE_BLKS- - - - - +RAC_CTRL/racdb/control01.ctl NO 16384 932 +RAC_CTRL/racdb/control02.ctl NO 16384 932 +RAC_CTRL/racdb/control03.ctl NO 16384 9323.5 添加第三节

53、点当前存在的是一个双节点的RAC集群数据库，添加第三个节点，目的是为了确保数据库的完整性，安全性。当前RAC集群环境的状态如下:表3.12 当前RAC环境状态数据库名节点编号数据库版本实例编号操作系统内核版本文件系统集群管理器racdbrac-db110.2.0.1racdb1RHEL 5.4 (AS) 2.6.18-164.el5xenRAW，ASMOracle集群件rac-db2racdb2添加新的节点前，考虑系统依赖性，对RAC集群而言，新节点和已存在的集群节点的操作系统类型、版本，操作系统、Oracle应用程序补丁的一致性。因此就直接拷贝了已存在的节点rac-db2(方法和创建rac-db2相同)。3.5.2 安装与配置CRS集群件将新的节点添加到已搭建的集群上，执行Oracle提供的addNode.sh程序脚本，它位于Clusterware的主目录