Oracle_10g_RAC_Installed_in_SuSE_Linux-基于SuSE_linux的Oracle_10G_RAC的实现.docx

oracle_10g_rac_installed_in_suse_linux-基于suse_linux的oracle_10g_rac的实现oracle 10g rac installed in suse linuxoracle 10g rac installed in suse linux1一、系统实施前规划31.1、主机操作系统及内核版本31.2、主机操作系统必备的rpm程序包31.3、数据库节点规划31.4、网络及存储配置3二、主机操作系统定制32.1、编辑“/etc/hosts”文件32.2、编辑内核参数32.3、创建oracle用户及相关目录32.4、编辑oracle用户预定义文件32.5、为oracle用户设置资源限制32.6、拷贝虚拟机3三、配置共享存储33.1、创建共享磁盘33.2、在共享磁盘上创建分区33.3、配置裸设备3四、创建配置ssh34.1、创建ras keys和das keys34.2、创建authorized_keys文件34.3、配置authorized_keys文件权限34.4、验证ssh用户等效性3五、配置hangcheck-timer内核模块3六、安装oracle 10.2.0.1 clusterware36.1、安装clusterware36.2、编辑$ora_crs_home/bin下的vipca和srvctl文件36.3、执行$ora_crs_home/root.sh脚本36.4、配置vipca36.5、完成clusterware的安装3七、安装oracle 10.2.0.1 database software3八、安装oracle clusterware 10.2.0.5升级包38.1、安装clusterware升级包38.2、portaldb1和portaldb2上执行相关步骤38.3、portaldb和portaldb2备份ocr和voting disk3九、安装oracle database software 10.2.0.5升级包39.1、安装db software升级包39.2、安装补丁patch 835026239.3、runinstaller中查看已安装好的产品3十、配置监听程序310.1、配置监听程序310.2、确认监听配置成功3十一、配置asm（自动存储管理）3十二、创建数据库及启动企业管理器312.1、创建portaldb数据库312.2、创建wpsdb数据库312.3、启动企业管理器3十三、启动归档模式313.1、portaldb数据库设置归档模式313.2、wpsdb数据库设置归档位置3十四、rac测试314.1、failover测试314.2、loadbalance测试3十五、后记3一、系统实施前规划1.1、主机操作系统及内核版本 在x86架构上，oracle 10g rac能被下列操作系统所支持： operating system x86 ( 32 bit )red hat enterprise linux as/es 3 (update 4 or later)red hat enterprise linux as/es 4 (update 1 or later)oracle enterprise linux 4 ( oel4 )red hat enterprise linux as/es 5oracle enterprise linux 5 ( oel5 ) suse linux enterprise server 9 ( 2.6.5-7.201 or higher)suse linux enterprise server 10asianux 1.0 (2.4.21-27.el or higher)asianux 2.0 (2.6.9-5.0.5.el or higher) operating systems x86 ( 64 bit )red hat enterprise linux as/es 3 (update 4 or later)red hat enterprise linux as/es 4 (update 1 or later)oracle enterprise linux 4 ( oel4 2.6.9-11.el)red hat enterprise linux as/es 5oracle enterprise linux 5 ( oel5 )suse linux enterprise server 9 (service pack 2 or later)suse linux enterprise server 10asianux 2.0我们选用的是“suse linux enterprise server 10(64bit)”。目前需要在虚拟机上构建一个模拟环境，故选用“suse linux enterprise server 10(32bit)”。系统安装好后，系统版本及内核版本如下：portaldb1: # lsb_release -alsb version: core-2.0-noarch:core-3.0-noarch:core-2.0-ia32:core-3.0-ia32:desktop-3.1-ia32:desktop-3.1-noarch:graphics-2.0-ia32:graphics-2.0-noarch:graphics-3.1-ia32:graphics-3.1-noarchdistributor id:suse linuxdescription:suse linux enterprise server 10 (i586)release:10portaldb1: # portaldb1: # more /etc/suse-releasesuse linux enterprise server 10 (i586)version = 10patchlevel = 3portaldb1: # portaldb1: # more /proc/versionlinux version 2.6.16.60-0.54.5-default (geekobuildhost) (gcc version 4.1.2 20070115 (suse linux) #1 fri sep 4 01:28:03 utc 20091.2、主机操作系统必备的rpm程序包suse sles10( 32 bt ):glibc-devel-2.4-31.2.i586.rpmgcc-4.1.0-28.4.i586.rpm libstdc+-devel-4.1.0-28.4.i586.rpmgcc-c+-4.1.0-28.4.i586.rpm libaio-devel-0.3.104-14.2.i586.rpmsuse sles10( 64 bt ): glibc-devel-2.4-31.2.x86_64.rpmgcc-4.1.0-28.4.x86_64.rpmlibstdc+-devel-4.1.0-28.4.x86_64.rpmgcc-c+-4.1.0-28.4.x86_64.rpmglibc-devel-32bit-2.4-31.2.x86_64.rpmlibaio-devel-0.3.104-14.2.x86_64.rpm1.3、数据库节点规划节点信息节点名称实例名称数据库名称处理器ram操作系统portaldb1portaldb1portaldbinter(r)1 core2.00ghz1.5gsuse linux 1032-bitportaldb2portaldb2inter(r)1 core2.00ghz1.5gsuse linux 1032-bit节点信息节点名称实例名称数据库名称处理器ram操作系统portaldb1wpsdb1wpsdbinter(r)1 core2.00ghz1.5gsuse linux 1032-bitportaldb2wpsdb2inter(r)1 core2.00ghz1.5gsuse linux 1032-bit网络配置节点名称公共ip地址私有ip地址虚拟ip地址portaldb1192.168.79.35192.168.172.11192.168.79.135portaldb2192.168.79.36192.168.172.12192.168.79.136oracle组件组件名称系统用户首选组次选组主目录oracle_baseoracle_homeoracleclustewareoracleoinstalldba/home/oracle/u01/app/oracle/u01/app/oracle/product/10.2.0/crs_1oracledatabaseoracleoinstalldba/home/oracle/u01/app/oracle/u01/app/oracle/product/10.2.0/db_1存储规划存储组件文件系统卷大小裸设备路径asm磁盘组名所属磁盘ocrraw1gb/dev/raw/raw1n/a/dev/sdb1votingdiskraw1gb/dev/raw/raw2n/a/dev/sdc1数据库文件asm10gb/dev/raw/raw3/dev/raw/raw4datapor/dev/sdd1/dev/sde1数据库文件asm10gb/dev/raw/raw5/dev/raw/raw6datawps/dev/sdf1/dev/sdg1另外使用了一个raw7用于存放归档日志。oracle 10g rac的ocr和voting disk是使用裸设备，数据库文件放置在asm上。到oracle 11g，ocr和voting disk以及数据库文件均放置在asm上。1.4、网络及存储配置一、网络配置注意事项每个节点最少需要两块网卡，一个用于公共网络，一个用于专用网络。在实际生产环境中专用网卡和公共网卡一样，必须上联交换机，不能直连。节点上公用网卡的名称必须相同，否则在配置vipca时会报错。节点上公用网卡必须配置默认网关，否则在配置vipca时会报错。oracle rac 节点1 portaldb1设备ip地址子网掩码网关用途eth0192.168.79.35255.255.255.0192.168.79.1对外通信eht1192.168.172.11255.255.255.0节点互联oracle rac 节点2 portaldb2设备ip地址子网掩码网关用途eth0192.168.79.35255.255.255.0192.168.79.1对外通信eht1192.168.172.11255.255.255.0节点互联二、存储配置注意事项 我们要使用裸设备建立ocr和voting disk。需在操作系统中进行相关定义。二、主机操作系统定制 我们在虚拟机上安装的操作系统是suse sles10( 32 bit )。名称定为“suserac01”。按照1.2的要求装好相应的rpm程序包并配好网络地址。接着进行下列操作：2.1、编辑“/etc/hosts”文件 在“/etc/hosts”文件中加入如下内容： 192.168.79.35 portaldb1192.168.79.135 portaldb1-vip192.168.172.11 portaldb1-priv192.168.79.36 portaldb2192.168.79.136 portaldb2-vip192.168.172.12 portaldb2-priv2.2、编辑内核参数 在“/etc/sysctl.conf”文件中加入下列内容 kernel.shmall = 2097152kernel.shmmax = 2147483648kernel.shmmni = 4096kernel.sem = 250 32000 100 128fs.file-max = 65536net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 1048576net.core.rmem_max = 2097152net.core.wmem_default = 262144net.core.wmem_max = 1048576然后用“/sbin/sysctl -p”激活新加入的内核参数2.3、创建oracle用户及相关目录portaldb1: # groupadd -g 700 oinstallportaldb1: # groupadd -g 701 dbaportaldb1: # useradd -m -d /home/oracle -g oinstall -g dba -u 500 oracleportaldb1: # id oracleuid=500(oracle) gid=700(oinstall) groups=701(dba),700(oinstall)portaldb1: # portaldb1: # passwd oraclechanging password for oracle.new password: bad password: too simplereenter new password: password changed.portaldb1: # mkdir p /u01/app/oracleportaldb1: # chown r oracle:oinstall /u01portaldb1: # chmod r 775 /u012.4、编辑oracle用户预定义文件进入“/home/oracle”目录，oracle用户使用的是bash shell，它默认的预定义文件是.bash_profile。编辑该文件，加入如下信息：export oracle_base=/u01/app/oracleexport oracle_home=$oracle_base/product/10.2.0/db_1export ora_crs_home=$oracle_base/product/10.2.0/crs_1export oracle_sid=portaldb1 节点portadlb2上sid是portaldb2export path=$home/bin:$oracle_home/bin:$ora_crs_home/bin:/sbin:$path保存后，执行“source .bash_profile”命令让其生效。2.5、为oracle用户设置资源限制1、编辑“/etc/security/limits.conf”文件，加入如下信息： oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 655362、编辑“/etc/pam.d/login”文件，加入如下信息： session required /lib/security/pam_limits.so3、编辑“/etc/profile”文件，加入如下信息： if $user = oracle ; then if $shell = /bin/ksh ; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fifi4、编辑“/etc/csh.login”文件，加入如下信息： if ( $user = oracle ) then limit maxproc 16384 limit descriptors 65536endif2.6、拷贝虚拟机上述设置在两个节点上都一样，我们先装好一台虚拟机后，直接拷贝生成第二台虚拟机。在拷贝后的目录中找到“suserac01.vmx”文件，用文本编辑器打开，将“displayname”的值由“suserac01”改为“suserac02”。然后用虚拟机软件打开该文件，在弹出的对话框中选择“i copied it”，直接生成第二台虚拟机。务必注意suserac01和suserac02的公共网卡名称必须相同，如：不能一个是eth0，另一个是eth1。否则在配置vipca时会报错。这个问题在拷贝虚拟机时，经常发生。可以采用更改设备名称的方法来解决这个问题。配好公共ip、私有ip和默认网关。三、配置共享存储3.1、创建共享磁盘 使用vmware workstatison中的“vmware-vdiskmanager”命令创建共享磁盘。注意双引号和引号里面的字符之间不能有空格，否则创建磁盘会出错vmware-vdiskmanager -c -s 1000mb -a lsilogic -t 2 j:shareddiskocr.vmdkvmware-vdiskmanager -c -s 1000mb -a lsilogic -t 2 j:shareddiskvotedisk.vmdkvmware-vdiskmanager -c -s 5000mb -a lsilogic -t 2 j:shareddiskasm1.vmdkvmware-vdiskmanager -c -s 5000mb -a lsilogic -t 2 j:shareddiskasm2.vmdkvmware-vdiskmanager -c -s 5000mb -a lsilogic -t 2 j:shareddiskasm3.vmdkvmware-vdiskmanager -c -s 5000mb -a lsilogic -t 2 j:shareddiskasm4.vmdkvmware-vdiskmanager -c -s 5000mb -a lsilogic -t 2 j:shareddiskasm5.vmdk接着在suserac01和suserac02的“suserac01.vmx”文件中加入下列内容disk.locking = falsedisklib.datacachemaxsize = 0disklib.datacachemaxreadaheadsize = 0disklib.datacacheminreadaheadsize = 0disklib.datacachepagesize = 4096disklib.maxunsyncedwrites = 0scsi1.present = truescsi1.virtualdev = lsilogicscsi1.sharedbus = virtualscsi1:0.present = truescsi1:0.mode = persistentscsi1:0.filename = d:shareddiskocr.vmdkscsi1:0.devicetype = diskscsi1:1.present = truescsi1:1.mode = persistentscsi1:1.filename = d:shareddiskvotedisk.vmdkscsi1:1.devicetype = diskscsi1:2.present = truescsi1:2.mode = persistentscsi1:2.filename = d:shareddiskasm1.vmdkscsi1:2.devicetype = diskscsi1:3.present = truescsi1:3.mode = persistentscsi1:3.filename = d:shareddiskasm2.vmdkscsi1:3.devicetype = diskscsi1:4.present = truescsi1:4.mode = persistentscsi1:4.filename = d:shareddiskasm3.vmdkscsi1:4.devicetype = diskscsi1:5.present = truescsi1:5.mode = persistentscsi1:5.filename = d:shareddiskasm4.vmdkscsi1:5.devicetype = diskscsi1:6.present = truescsi1:6.mode = persistentscsi1:6.filename = d:shareddiskasm5.vmdkscsi1:6.devicetype = disk3.2、在共享磁盘上创建分区在portaldb1上执行fdisk命令portaldb1: # fdisk l我们会看到/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde、/dev/sdf、/dev/sdg、/dev/sdh这七块磁盘目前都是“doesnt contain a valid partition table”分别对它们进行分区portaldb1: # fdisk /dev/sdbdevice contains neither a valid dos partition table, nor sun, sgi or osf disklabelbuilding a new dos disklabel. changes will remain in memory only,until you decide to write them. after that, of course, the previouscontent wont be recoverable.warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)command (m for help): ncommand action e extended p primary partition (1-4)ppartition number (1-4): 1first cylinder (1-1000, default 1): 1last cylinder or +size or +sizem or +sizek (1-1000, default 1000): using default value 1000command (m for help): wthe partition table has been altered!calling ioctl() to re-read partition table.按上述步骤对/dev/sdc、/dev/sdd、/dev/sde、/dev/sdf、/dev/sdg、/dev/sdh都执行上述命令。完成后以root身份登录到portaldb2节点，执行“partprobe”命令，扫描分区。portaldb1和portaldb2最终确认的分区必须一致。结果是：/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1、/dev/sdf1、/dev/sdg1、/dev/sdh1。3.3、配置裸设备1、记录下当前的磁盘分区，共享存储上的分区是：/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1、/dev/sdf1、/dev/sdg1、/dev/sdh1。以下步骤在“portaldb1和portaldb2上”都需要执行2、编辑“/etc/raw”文件，加入如下信息： raw1:sdb1raw2:sdc1raw3:sdd1raw4:sde1raw5:sdf1raw6:sdg1raw7:sdh13、启动裸设备 portaldb1: # rcraw startbind /dev/raw/raw1 to /dev/sdb1.donebind /dev/raw/raw2 to /dev/sdc1.donebind /dev/raw/raw3 to /dev/sdd1.donebind /dev/raw/raw4 to /dev/sde1.donebind /dev/raw/raw5 to /dev/sdf1.donebind /dev/raw/raw6 to /dev/sdg1.donebind /dev/raw/raw7 to /dev/sdh1.done 4、配置裸设备开机启动portaldb1: # chkconfig raw onportaldb1: # portaldb1: # chkconfig rawraw on5、修改裸设备启动后的所有者及其权限 用root用户登录系统修改“/etc/udev/rules.d/ 50-udev-default.rules”文件，将其中包含kernel=raw0-9*的行更改为：kernel=raw0-9*, subsystem=raw, name=raw/%k, group=dba, mode=660, owner=oracle。 6、重启portaldb1和portaldb2验证raw设备配置情况。 在portaldb1和portaldb2上执行下列命令： # ll /dev/rawtotal 0crw-rw- 1 oracle dba 162, 1 may 30 12:09 raw1crw-rw- 1 oracle dba 162, 2 may 30 12:09 raw2crw-rw- 1 oracle dba 162, 3 may 30 12:09 raw3crw-rw- 1 oracle dba 162, 4 may 30 12:09 raw4crw-rw- 1 oracle dba 162, 5 may 30 12:09 raw5crw-rw- 1 oracle dba 162, 6 may 30 12:09 raw6crw-rw- 1 oracle dba 162, 7 may 30 12:09 raw7crw-rw- 1 root disk 162, 0 may 30 12:09 rawctl# /usr/sbin/raw -qa/dev/raw/raw1: bound to major 8, minor 17/dev/raw/raw2: bound to major 8, minor 33/dev/raw/raw3: bound to major 8, minor 49/dev/raw/raw4: bound to major 8, minor 65/dev/raw/raw5: bound to major 8, minor 81/dev/raw/raw6: bound to major 8, minor 97/dev/raw/raw7: bound to major 8, minor 113如两个节点上均有上述输出则表明裸设备配置成功。四、创建配置ssh4.1、创建ras keys和das keys 在portaldb1和portaldb2两个节点上以oracle执行下列四个步骤： oracleportaldb1: mkdir /.sshoracleportaldb1: chmod 700 /.sshoracleportaldb1: /usr/bin/ssh-keygen -t dsagenerating public/private dsa key pair.enter file in which to save the key (/home/oracle/.ssh/id_dsa): enter passphrase (empty for no passphrase): enter same passphrase again: your identification has been saved in /home/oracle/.ssh/id_dsa.your public key has been saved in /home/oracle/.ssh/id_dsa.pub.the key fingerprint is:e9:95:b7:d7:20:78:83:27:a3:58:d1:c3:60:ab:1a:99 oracleportaldb1oracleportaldb1: oracleportaldb1: /usr/bin/ssh-keygen -t rgenerating public/private rsa key pair.enter file in which to save the key (/home/oracle/.ssh/id_rsa): enter passphrase (empty for no passphrase): enter same passphrase again: your identification has been saved in /home/oracle/.ssh/id_rsa.your public key has been saved in /home/oracle/.ssh/id_rsa.pub.the key fingerprint is:2e:6d:1d:0e:1d:0c:67:0e:dd:a0:cb:51:7a:ee:2c:e1 oracleportaldb1oracleportaldb1:oracleportaldb2: mkdir /.sshoracleportaldb2: chmod 700 /.sshoracleportaldb2: /usr/bin/ssh-keygen -t dsagenerating public/private dsa key pair.enter file in which to save the key (/home/oracle/.ssh/id_dsa): enter passphrase (empty for no passphrase): enter same passphrase again: your identification has been saved in /home/oracle/.ssh/id_dsa.your public key has been saved in /home/oracle/.ssh/id_dsa.pub.the key fingerprint is:06:fc:4e:5d:f8:72:54:ba:29:f8:20:e5:57:73:7d:c2 oracleportaldb2oracleportaldb2: oracleportaldb2: /usr/bin/ssh-keygen -t rsagenerating public/private rsa key pair.enter file in which to save the key (/home/oracle/.ssh/id_rsa): enter passphrase (empty for no passphrase): enter same passphrase again: your identification has been saved in /home/oracle/.ssh/id_rsa.your public key has been saved in /home/oracle/.ssh/id_rsa.pub.the key fingerprint is:51:93:94:b0:ec:f3:02:a3:1b:a4:10:fb:5f:66:00:24 oracleportaldb2oracleportaldb2:4.2、创建authorized_keys文件在portaldb1上，以oracle用户登录，在主目录下创建authorized_keys文件oracleportaldb1: vi /.ssh/authorized_keysoracleportaldb1: ssh portaldb1 cat /.ssh/id_dsa.pub /.ssh /authorized_keysoracleportaldb1: ssh portaldb1 cat /.ssh/id_rsa.pub/.ssh /authorized_keysoracleportaldb1: ssh portaldb2 cat /.ssh/id_dsa.pub /.ssh /authorized_keysoracleportaldb1: ssh portaldb2 cat /.ssh/id_rsa.pub/.ssh /authorized_keysoracleportaldb1: scp /.ssh/authorized_keys portaldb2:.ssh /authorized_keys4.3、配置authorized_keys文件权限 在portaldb1和portaldb2上更改authorized_keys文件的权限 oracleportaldb1: chmod 600 /.ssh/authorized_keys oracleportaldb2: chmod 600 /.ssh/authorized_keys4.4、验证ssh用户等效性 如果ssh配置正确，从终端对话使用ssh和scp命令，无需输入口令。oracleportaldb1: ssh portaldb2 date;hostnametue may 28 11:14:00 cst 2013portaldb2oracleportaldb2: ssh portaldb1 date;hostnametue may 28 11:13:35 cst 2013portaldb1五、配置hangcheck-timer内核模块在portaldb1和portaldb2编辑“/etc/rc.local”文件，加入如下信息：/sbin/insmod hangcheck-timer hangcheck_tick=30 hangcheck_margin=180六、安装oracle 10.2.0.1 clusterware6.1、安装clusterwarecluserware和database software，以及相应的升级包只需在一个节点上安装，安装包会自动拷贝到另一个节点上，这里我们以portaldb1为主节点执行安装工作，首先安装clusterware，以oracle用户登录到图形界面。打开安装包“clusterware”，因为clusterware 10.2.0.1还不支持suse 10,要正常安装需做一些配置，通常有下列两种方法：1、 执行命令 ./runinstaller -ignoresysprereqs2、 编辑安装包中“install”目录下的oraparam.ini文件，在certified versions中加入“suse-10”，再执行./runinstaller命令。我采用第二种方法，3、 在正式安装前我们再次确认相关的环境变量：export oracle_base=/u01/app/oracleexport oracle_home=$oracle_base/product/10.2.0/db_1export ora_crs_home=$oracle_base/product/10.2.0/crs_1export oracle_sid=portaldb1 path=$home/bin:$oracle_home/bin:$ora_crs_home/bin:/sbin:$path 4、正式安装前，portaldb2的时间要比portaldb1的时间快十几秒，否则在安装时一个和时间戳相关的错误。不过即使出现该错误也不必担心。实施步骤如截图所示：1、启动安装界面2、 使用默认值3、 name:ora_crs_home path: /u01/app/oracle/product/10.2.0/crs_14、预检查时会报几个warning和not executed提示。主要是说suse-10与oracle存在不兼容，我们可以在后面安装升级包来解决该问题，目前不需要过于关注。5、点击“yes”，进行安装。6、在“specify cluster configuration”中，cluster name是crs。目前只有portaldb1、portaldb1-priv、portaldb1-vip。我们需要添加portaldb2、portaldb2-priv、portaldb2-vip.7、添加portaldb2、portaldb2-priv、portaldb2-vip8、添加完成点击“ok”，界面如下所示。9、在“specify network interface usage”界面中，修改eth0的interface type，将其由“private”改为“public”10、选中eth0，点击“edit”，在弹出的对话框中eth0当前是private。11、将eth0的interface type改为“public”12、13、“specify oracle cluster registry （ocr） location”界面中选择“external redundancy”,“specify ocr location”指定为：/dev/raw/raw1指定ocr的安装位置14、“specify voting disk location”界面中，选择“external redundancy”“voting disk location”指定为“/dev/raw/raw2”指定仲裁磁盘位置15、16、17、安装过程报时间戳错误。portaldb2要比portaldb1快多久很难把握。该错误不用担心。18、在portaldb1、portaldb2上分别执行“orainstroot.sh”和“