RedhatLinux64ASMOracle11gR2RAC安装配置和管理

第页本资料仅供学习交流使用RedhatLinux6.4+ASM+Oracle11gR2RAC安装配置和管理XXX公司技术部2019-05-19目录一. 前言 4二. 安装环境 41.1. 硬件列表 41.2. 需要安装的软件 41.3. RAC拓朴结构 5三. 安装步骤： 62.1. 任务列表 62.2. 规划阶段 62.2.1. 集群详细信息规划 62.2.2. 磁盘、存储空间规划 72.2.3. 数据库基本信息规划 82.3. 实施阶段 82.3.1. 操作系统安装 92.3.2. 主机配置 92.3.3. 磁盘分区 212.3.4. 安装和配置ASM（此项可不做） 212.3.5. 安装OracleGrid 222.3.6. 创建ASM磁盘组 312.3.7. 安装OracleDatabase 332.3.8. 创建数据库 40四. 测试Failover 553.1. 简单测试 55五. 测试负载均衡LoadBalance 56六. RAC运行维护 565.1. OracleCluster正常启停 565.1.1. Oracle11gCluste启停 565.1.2. Oracle10gRAC启停顺序 575.2. OracleCluster开机自启动 585.3. 检查、注册与移除CRS服务 595.4. 导出CRS资源配置模板 595.5. 检查VotingDisk 595.6. 检查CRS资源组状态 595.7. 检查ASM状态及配置 605.8. 检查nodeapp状态及配置 605.9. 检查TNS的状态及配置 605.10. 检查VIP的状态及配置 605.11. 检查SCAN的状态及配置 605.12. 检查RAC运行状况 615.13. 检查Oracle数据库实例状态及配置 615.14. 检查Cluster集群节点 615.15. 检查Oracle集群注册表(OCR) 615.16. 手动切换SCANip至其他节点 615.17. 启动或停止EM管理器 615.18. 登录EM管理数据库 61七. 卸载Oracle11gRACCRS的方法 62八. 问题及解决办法 637.1. 问题1、Grid安装_缺少pdksh包 637.2. 问题2、Grid安装_缺少cvuqdisk包 647.3. 问题3、Grid安装_PRVF-5436:NTPTimeProtocol 64前言分享此文档仅为学习交流使用，如果您的软硬件环境及本文档不完全一致，请酌情参考使用。因本人水平有限，为避免给大家带来不必要的困惑。如遇到文档中有不严谨的地方，请大家反馈给本人，谢谢！安装环境硬件列表服务器设备型号CPU型号CPU主频CPU数量单CPU核数硬盘容量硬盘数量内存数据库1浪潮TS860IntelE7-8850v22.3GHz812300G4512G数据库2浪潮TS860IntelE7-8850v22.3GHz812300G4512G存储EMC600G80-需要安装的软件序号软件名称软件列表1操作系统RedHatEnterpriseLinux6.4forx86_642集群软件--OracleClusterwarep13390677_112040_Linux-x86-64_3of7.zip3数据库--OracleDatabase11.2.0.4.0p13390677_112040_Linux-x86-64_1of7.zipp13390677_112040_Linux-x86-64_2of7.zip4集群文件系统—ASM(3个包)oracleasmlib-2.0.4-1.el6.x86_64.rpm（oracle官网支持）oracleasm-support-2.1.8-1.el6.x86_64.rpm（oracle官网支持）kmod-oracleasm-2.0.6.rh1-2.el6.x86_64.rpm（需在网上下载。Linux6以及以上操作系统本身没有对应版本的oracleasm安装包，更换为kmod-oracleasm安装包）5LinuxRpm包binutils-2.20.51.0.2-5.11.el6(x86_64)compat-libcap1-1.10-1(x86_64)compat-libstdc++-33-3.2.3-69.el6(x86_64)compat-libstdc++-33-3.2.3-69.el6.i686gcc-4.4.4-13.el6(x86_64)gcc-c++-4.4.4-13.el6(x86_64)glibc-2.12-1.7.el6(i686)glibc-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6.i686kshlibgcc-4.4.4-13.el6(i686)libgcc-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6.i686libstdc++-devel-4.4.4-13.el6(x86_64)libstdc++-devel-4.4.4-13.el6.i686libaio-0.3.107-10.el6(x86_64)libaio-0.3.107-10.el6.i686libaio-devel-0.3.107-10.el6(x86_64)libaio-devel-0.3.107-10.el6.i686make-3.81-19.el6sysstat-9.0.4-11.el6(x86_64)不同的OS需要的RPM可能不一样。使用ASMLib创建ASM,需要下载ASMLib的3个包，其中oracleasm这个包要选择和OS内核版本匹配。RAC拓朴结构安装步骤：任务列表任务大项序号任务小项名称任务完成情况前期规划1确认集群节点数量，每个节点的主机名；已完成√2确认每个主机的3个IP地址(区分Public、Private、VIP)和1个SCANIP；已完成√3数据库存储技术选型(ASM/OCFS/RAW/Other)；已完成√4存储空间规划，包括软件安装位置、数据库文件位置规划已完成√配置节点主机1配置主机名和3个IP地址；已完成√2RPM包检查；已完成√3配置磁盘分区；已完成√4配置ASM设备；已完成√5系统需求(OSKernel参数、空间需求)；已完成√6创建Oracle用户,要求每个节点UID、GID相同；已完成√7定义Oracle用户的环境变量，包括$ORACLE_HOME；$OCR_HOME、资源数量限制；已完成√8配置用户等价；已完成√9配置节点时间同步；已完成√10配置Hangcheck-timer模块已完成√安装部署1安装OracleClusterware，已完成√2安装后进行检查；已完成√3安装OracleDatabase；已完成√4创建ASM磁盘；已完成√5配置Listener；已完成√6创建ASM；已完成√7创建RAC数据库；已完成√8安装后测试，Failover和Loadbalance已完成√规划阶段集群详细信息规划OracleCluster详细信息规划节点1节点2主机名rcahadb1rcahadb2Public双网卡绑定虚拟网卡名称bond0bond0Private双网卡绑定虚拟网卡名称bond1bond1网络名/PublicIPrcahadb1/10.230.26.211rcahadb1/10.230.26.212网络名/PrivateIPrcahadb1-priv/192.168.1.11rcahadb1-priv/192.168.1.12网络名/VIPrcahadb1-vip/10.230.26.213rcahadb1-vip/10.230.26.214网络名/SCANIPrcahadb-scan/10.230.26.215说明：PrivateIP、VIP子网掩码：255.255.255.0、网关：10.230.26.254磁盘、存储空间规划数据库存储选用OracleASM技术。本地磁盘文件系统规划文件系统挂接点生产库1生产库2备注/100G100Gvg00-lv_root/boot512M512M/home10G10Gvg00-lv_home/opt10G10Gvg00-lv_opt/usr15G15Gvg00-lv_usr/var10G10Gvg00-lv_var/swap32G32G[1G-2G]则交换区=RAM*1.5;[2G-16G]=RAM;[>16G]=RAM*0.75/tmp10G10Gvg00-lv_tmp/oracle40G40Gvg00-lv_oracle/arch01300G两台主机分别建立自己的/arc档目录，通过NFS访问对方/arch目录。/arch02300G软件安装位置、数据库文件位置规划文件类别本地文件系统RAWASM共享存储文件系统OracleClusterwareORACLE_BASE/oracle/app/grid-ORACLE_HOME/oracle/app/11.2.0/grid-OCR、VoteDisk-/dev/emcpowera1--/dev/emcpowera2-/dev/emcpowera3-OracleDatabaseORACLE_BASE/oracle/app/oracle--ORACLE_HOME/oracle/app/oracle/11.2.0/db_1-Spfile-+DATA01-Pfile、passwordfile$ORACLE_HOME/dbs--Controlfile--+DATA01-Datafile--+DATA01-Logfile--+DATA01-ArchivedLog/arch01、/arch02Backup/backup数据库基本信息规划数据库类型：Oracle数据库版本：11.2.0.4,64位数据库SID：rcadb1，rcadb2数据库名：rcadb语言：AMERICAN_AMERICA数据库字符集(NLS_CHARACTERSET)：AL32UTF8国家区域字符集(NLS_NCHAR_CHARACTERSET)：AL16UTF16实施阶段整个过程可分为9个步骤：1：操作系统安装2：主机配置 3：磁盘分区4：安装和配置ASM5：安装OracleGrid6：创建ASM磁盘组7：安装OracleDatabase8：创建数据库。操作系统安装略。主机配置网络配置两个网卡配置成2.2.1节即可。然后分别在两个节点配置hosts文件。通过编辑每个节点的/etc/hosts文件#vi/etc/hosts添加如下信息：#bond0-public10.230.26.211rcahadb110.230.26.212rcahadb2#bond1-private192.168.1.11rcahadb1-priv192.168.1.12rcahadb2-priv#vip10.230.26.213rcahadb1-vip10.230.26.214rcahadb2-vip#scanip10.230.26.215rcahadb-scan修改主机名分别在2个节点修改主机名#vi/etc/sysconfig/networkHOSTNAME=rcahadb1重启网络服务使其生效#servicenetworkrestart关闭selinux和防火墙分别在2个节点执行[root@rcahadb1~]#vi/etc/selinux/config#把enabled改为disabled[root@rcahadb1~]#chkconfigiptablesoff[root@rcahadb1~]#serviceiptablesstop关闭selinux需要重启主机，如果立即生效需要执行[root@rcahadb1~]#setenforce0安装软件包需要安装rpm包清单binutils-2.20.51.0.2-5.11.el6(x86_64)compat-libcap1-1.10-1(x86_64)compat-libstdc++-33-3.2.3-69.el6(x86_64)compat-libstdc++-33-3.2.3-69.el6.i686gcc-4.4.4-13.el6(x86_64)gcc-c++-4.4.4-13.el6(x86_64)glibc-2.12-1.7.el6(i686)glibc-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6(x86_64)glibc-devel-2.12-1.7.el6.i686kshlibgcc-4.4.4-13.el6(i686)libgcc-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6(x86_64)libstdc++-4.4.4-13.el6.i686libstdc++-devel-4.4.4-13.el6(x86_64)libstdc++-devel-4.4.4-13.el6.i686libaio-0.3.107-10.el6(x86_64)libaio-0.3.107-10.el6.i686libaio-devel-0.3.107-10.el6(x86_64)libaio-devel-0.3.107-10.el6.i686make-3.81-19.el6sysstat-9.0.4-11.el6(x86_64)rpm包检查方法#rpm-qpackage_namerpm-q--qf'%{name}-%{VERSION}-%{RELEASE}(%{ARCH})\n'\binutils\compat-libcap1\compat-libstdc++\gcc\gcc-c++\glibc\glibc-devel\ksh\libgcc\libstdc++\libstdc++-devel\libaio\libaio-devel\make\sysstat配制时间同步在集群中的两个OracleRAC节点上执行以下集群时间同步服务配置。OracleClusterware11g第2版及更高版本要求在部署了OracleRAC的集群的所有节点上实现时间同步。Oracle提供了两种方法来实现时间同步：一种方法是配置了网络时间协议(NTP)的操作系统；另一种方法是新的Oracle集群时间同步服务(CTSS)。Oracle集群时间同步服务(ctssd)旨在为那些OracleRAC数据库无法访问NTP服务的组织提供服务。一、NTP配置步骤配置时间服务器同步,(本案例，采用配置的IP为时钟同步服务器地址，请结合实际情况修改为实际IP)。1节点（时钟同步客户端）[root@rcahadb1~]#vi/etc/ntp.conf//加入如下内容server10.101.100.11preferserver10.101.100.12driftfile/etc/ntp.drifttracefile/etc/ntp.trace2节点（时钟同步客户端）[root@rcahadb2~]#vi/etc/ntp.conf//加入如下内容server10.101.100.11preferserver10.101.100.12driftfile/etc/ntp.drifttracefile/etc/ntp.trace[root@rcahadb1~]#vi/etc/crontab增加以下一行06***ntpdate-u10.101.100.11//2分钟同步一次验证结果客户端2个节点分别启动NTP服务1节点执行：[root@rcahadb1~]#/etc/init.d/ntpdstart2节点执行：[root@rcahadb2~]#/etc/init.d/ntpdstart两个服务器同步需要几分钟的时间，查看ntp服务是否在运行[root@rcahadb1~]#psaux|grepntpd[root@rcahadb1~]#watchntpq-pEvery2.0s:ntpq-pWedFeb1919:00:422019remoterefidsttwhenpollreachdelayoffsetjitter*LOCAL(0).LOCL.11l1764170.0000.0000.001当“reach”为17时，表示NTP服务已经启动完成，可以使用以下命令进行测试：[root@rcahadb1~]#ntpdate-d10.101.100.11最后一行出现以下内容为时钟同步正确配置9Feb19:04:30ntpdate[1966]:adjusttimeserver10.230.26.211offset0.000023sec#查看是否开机自启动[root@rcahadb2~]#chkconfig--list|grepntp[root@rcahadb2~]#chkconfig--level35ntpdonLinux下服务开机自启动配置方法[root@rcahadb2~]#setup->系统服务->选择服务名称->确定二、配置集群时间同步服务—(CTSS)使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议(NTP)及其配置。要停用NTP服务，必须停止当前的ntpd服务，从初始化序列中禁用该服务，并删除ntp.conf文件。要在OracleEnterpriseLinux上完成这些步骤，以root用户身份在两个OracleRAC节点上运行以下命令：[root@rcahadb1~]#/sbin/servicentpdstop[root@rcahadb1~]#chkconfigntpdoff[root@rcahadb1~]#mv/etc/ntp.conf/etc/ntp.conf.original还要删除以下文件：[root@racrcahadb1~]#rm/var/run/ntpd.pid此文件保存了NTP后台程序的pid。当安装程序发现NTP协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了NTP，则以观察者模式启动集群时间同步服务，OracleClusterware不会在集群中进行活动的时间同步。在安装后，要确认ctssd处于活动状态，请作为网格安装所有者(grid)输入以下命令：[grid@rcahadb1~]$crsctlcheckctssCRS-4701:集群时间同步服务处于活动模式。CRS-4702:偏移量(毫秒):0[grid@rcahadb2~]$crsctlcheckctssCRS-4701:集群时间同步服务处于活动模式。CRS-4702:偏移量(毫秒):0说明：Oracle集群时间同步服务(CTSS)配置，作者未做经过测试，仅供参考。创建Oracle用户和DBA组必须保证每个节点上Oracle用户的uid和DBA用户组的GID相同,下面的命令在每个节点都要执行。groupadd-g501dbagroupadd-g502oinstallgroupadd-g503opergroupadd-g504asmadmingroupadd-g505asmopergroupadd-g506asmdbauseradd-goinstall-Gdba,asmdba,operoracleuseradd-goinstall-Gasmadmin,asmdba,asmoper,dbagrid修改用户密码：(oracle)passwdoraclepasswdgrid创建Oracle基目录创建OracleRAC所使用的目录，并修改相应的权限，在所有节点root用户执行mkdir-p/oracle/appmkdir-p/oracle/app/oraclemkdir-p/oracle/app/oracle/11.2.0/db_1mkdir-p/oracle/app/gridmkdir-p/oracle/app/11.2.0/gridmkdir-p/oracle/app/oraInventorychown-Roracle:oinstall/oraclechmod-R775/oraclechown-Roracle:oinstall/oracle/appchmod-R775/oracle/appchownoracle:oinstall/oracle/app/oraclechmod-R775/oracle/app/oraclechownoracle:oinstall/oracle/app/oracle/11.2.0/db_1chmod-R775/oracle/app/oracle/11.2.0/db_1chown-Rgrid:oinstall/oracle/app/gridchmod-R775/oracle/app/gridchown-Rgrid:oinstall/oracle/app/11.2.0/gridchmod-R775/oracle/app/11.2.0/gridchowngrid:oinstall/oracle/app/oraInventorychmod-R775/oracle/app/oraInventory配置Oracle用户的环境根据用户的shell种类，编辑对应的profile文件。节点1以grid用户登录，[root@rcahadb1~]$su-grid[grid@rcahadb1~]$vi~/.bash_profile把以下内容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=/tmpexportPATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R/bin:/usr/sbinexportORACLE_SID=+ASM1exportORACLE_BASE=/oracle/app/gridexportORACLE_HOME=/oracle/app/11.2.0/gridexportORACLE_HOSTNAME=rcahadb1exportORACLE_TERM=xtermexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTNS_ADMIN=$ORACLE_HOME/network/adminexportPATH=$ORACLE_HOME/bin:$PATHexportNLS_LANG="AMERICAN_AMERICA.ZHS16GBK"exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/libexportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/libexportCVUQDISK_GRP=oinstall节点1以oracle用户登录，[root@rcahadb1~]$su-oracle[oracle@rcahadb1~]$vi~/.bash_profile把以下内容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=$TMPexportORACLE_HOSTNAME=rcahadb1exportORACLE_TERM=xtermexportNLS_LANG=AMERICAN_AMERICA.ZHS16GBKexportORACLE_SID=rcadb1exportORACLE_UNQNAME=rcadbexportORACLE_BASE=/oracle/app/oracleexportORACLE_HOME=/oracle/app/oracle/11.2.0/db_1exportPATH=${PATH}:$CRS_HOME/bin:$ORACLE_HOME/binexportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexportPATH=${PATH}:$ORACLE_BASE/common/oracle/binexportTNS_ADMIN=$ORACLE_HOME/network/admin#exportORA_NLS10=$GRID_HOME/nls/dataexportLD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/libexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/libexportCLASSPATH=$ORACLE_HOME/JREexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTHREADS_FLAG=native节点2以grid用户登录，[root@rcahadb2~]$su-grid[grid@rcahadb2~]$vi~/.bash_profile把以下内容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=/tmpexportPATH=/bin:/usr/bin:/usr/local/bin:/usr/X11R/bin:/usr/sbinexportORACLE_SID=+ASM2exportORACLE_BASE=/oracle/app/gridexportORACLE_HOME=/oracle/app/11.2.0/gridexportORACLE_HOSTNAME=rcahadb2exportORACLE_TERM=xtermexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTNS_ADMIN=$ORACLE_HOME/network/adminexportPATH=$ORACLE_HOME/bin:$PATHexportNLS_LANG="AMERICAN_AMERICA.ZHS16GBK"exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/libexportCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/libexportCVUQDISK_GRP=oinstall节点2以oracle用户登录[root@rcahadb2~]$su-oracle[oracle@rcahadb2~]$vi~/.bash_profile把以下内容追加到.bash_profile文件umask022exportTMP=/tmpexportTMPDIR=$TMPexportORACLE_HOSTNAME=rcahadb2exportORACLE_TERM=xtermexportNLS_LANG=AMERICAN_AMERICA.ZHS16GBKexportORACLE_SID=rcadb2exportORACLE_UNQNAME=rcadbexportORACLE_BASE=/oracle/app/oracleexportORACLE_HOME=/oracle/app/oracle/11.2.0/db_1exportPATH=${PATH}:$CRS_HOME/bin:$ORACLE_HOME/binexportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/binexportPATH=${PATH}:$ORACLE_BASE/common/oracle/binexportTNS_ADMIN=$ORACLE_HOME/network/admin#exportORA_NLS10=$GRID_HOME/nls/dataexportLD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/libexportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/libexportCLASSPATH=$ORACLE_HOME/JREexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlibexportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlibexportNLS_DATE_FORMAT="YYYY-MM-DDHH24:MI:SS"exportTHREADS_FLAG=native设置用户资源限制因为所有进程都是以Oracle身份运行的，需定义Oracle用户能够使用的系统资源数量。首先编辑配置文件：vi/etc/security/limits.conf增加内容：gridsoftnproc16384gridhardnproc16394gridsoftnofile65536gridhardnofile65536oraclesoftnofile65536oraclehardnofile65536oraclesoftnproc16384oraclehardnproc16384配置SSH用户等价(此项可不做)在安装grid软件和oracle数据库软件时，系统会自动做SSH用户等价操作。自动做SSH用户等价操作此处不做说明。手动配置SSH用户等价具体实施的话命令如下：在主节点rcahadb1上以grid,oracle用户身份生成用户的公匙和私匙[root@rcahadb1~]$pingrcahadb2[root@rcahadb1~]$pingrcahadb2-priv[root@rcahadb1~]$su-grid[grid@rcahadb1~]$mkdir~/.ssh[grid@rcahadb1~]$ssh-keygen-trsa[grid@rcahadb1~]$ssh-keygen-tdsa[root@rcahadb1~]$su-oracle[oracle@rcahadb1~]$mkdir~/.ssh[oracle@rcahadb1~]ssh-keygen-trsa[oracle@rcahadb1~]ssh-keygen-tdsa在副节点rcahadb2上以grid,oracle执行相同的操作，确保通信无阻[root@rcahadb2~]$pingrcahadb1[root@rcahadb2~]$pingrcahadb1-priv[root@rcahadb2~]$su-grid[grid@rcahadb2~]$mkdir~/.ssh[grid@rcahadb2~]$ssh-keygen-trsa[grid@rcahadb2~]$ssh-keygen-tdsa[root@rcahadb2~]$su-oracle[oracle@rcahadb2~]$mkdir~/.ssh[oracle@rcahadb2~]$ssh-keygen-trsa[oracle@rcahadb2~]$ssh-keygen-tdsa在主节点rcahadb1上grid,oracle用户执行以下操作[grid@rcahadb1~]$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$sshrcahadb2cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$sshrcahadb2cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[grid@rcahadb1~]$scp~/.ssh/authorized_keysrcahadb2:~/.ssh/authorized_keys[oracle@rcahadb1~]$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$sshrcahadb2cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$sshrcahadb2cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys[oracle@rcahadb1~]$scp~/.ssh/authorized_keysrcahadb2:~/.ssh/authorized_keys主节点rcahadb1上分别grid,oracle用户执行检验操作[grid@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[grid@rcahadb1~]$/usr/bin/ssh-add[grid@rcahadb1~]$sshrcahadb1date[grid@rcahadb1~]$sshrcahadb2date[grid@rcahadb1~]$sshrcahadb1-privdate[grid@rcahadb1~]$sshrcahadb2-privdate[oracle@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[oracle@rcahadb1~]$/usr/bin/ssh-add[oracle@rcahadb1~]$sshrcahadb1date[oracle@rcahadb1~]$sshrcahadb2date[oracle@rcahadb1~]$sshrcahadb1-privdate[oracle@rcahadb1~]$sshrcahadb2-privdate在副节点rcahadb2上分别grid,oracle用户执行检验操作[grid@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[grid@rcahadb1~]$/usr/bin/ssh-add[grid@rcahadb1~]$sshrcahadb1date[grid@rcahadb1~]$sshrcahadb2date[grid@rcahadb1~]$sshrcahadb1-pridate[grid@rcahadb1~]$sshrcahadb2-pridate[oracle@rcahadb1~]$exec/usr/bin/ssh-agent$SHELL[oracle@rcahadb1~]$/usr/bin/ssh-add[oracle@rcahadb1~]$sshrcahadb1date[oracle@rcahadb1~]$sshrcahadb2date[oracle@rcahadb1~]$sshrcahadb1-pridate[oracle@rcahadb1~]$sshrcahadb2-pridateOSKernel配置修改操作系统相关参数，在所有节点执行；#vi/etc/sysctl.conf增加内容：kernel.shmmni=4096kernel.sem=25032000100128fs.file-max=6815744net.ipv4.ip_local_port_range=900065500net.core.rmem_default=4194304net.core.rmem_max=4194304net.core.wmem_default=4194304net.core.wmem_max=4194304kernel.panic=60fs.aio-max-nr=1048576net.ipv4.tcp_syncookies=1生效：sysctl-p分区大于2T配置[root@rcahadb1grid]#parted/dev/emcpowerj(parted)mklabelgpt(parted)mkpartprimary04096000(parted)quit多路径设备配置1、EMC自带多路径权限配置[root@rcahadb1]vi/etc/udev/rules.d/50-udev.rulesSUBSYSTEM=="block",KERNEL=="emcpowerb",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowerc",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowerd",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowere",GROUP="asmadmin",OWNER="grid",MODE:="0660"SUBSYSTEM=="block",KERNEL=="emcpowerf",GROUP="asmadmin",OWNER="grid",MODE:="0660"[root@rcahadb1]start_udev[root@rcahadb1]ll/dev/emcpower*2、Linux自带多路径权限配置从linux6.4中自带的权限模板复制到udev配置文件所在目录#cp/usr/share/doc/device-mapper-1.02.77/12-dm-permissions.rules/etc/udev/rules.d/在12-dm-permissions.rules中增加多路径设备权限设置[root@rcahadb1]#vi12-dm-permissions.rulesENV{DM_NAME}=="mpathb",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathc",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathd",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathe",OWNER:="grid",GROUP:="asmadmin",MODE:="660"ENV{DM_NAME}=="mpathf",OWNER:="grid",GROUP:="asmadmin",MODE:="660"重启udev服务[root@rcahadb1]#/sbin/start_udev验证权限是否正确[root@rcahadb1]#ll/dev/mapper/mpath*[root@rcahadb1]#ll/dev/dm-*磁盘分区略。安装和配置ASM（此项可不做）安装Oracle11g，可不使用Oracleasmlib配置裸设备，故此处可用不做。检查操作系统版本确认安装及操作系统相匹配的asmlib，在所有节点执行；[root@rcahadb1asmlib]#uname–a[root@rcahadb1asmlib]#lsb_release–a安装ASM软件包(在所有节点执行)[root@rcahadb1asmlib]#rpm-ivhoracleasm-support-2.1.8-1.el6.x86_64.rpm[root@rcahadb1asmlib]#rpm-ivhkmod-oracleasm-2.0.6.rh1-2.el6.x86_64.rpm[root@rcahadb1asmlib]#rpm-ivhoracleasmlib-2.0.4-1.el6.x86_64.rpm[root@rcahadb1asmlib]#rpm-qa|greporacleasm配置ASM(在所有节点执行)[root@rcahadb1~]#/etc/init.d/oracleasmconfigureDefaultusertoownthedriverinterface[]:gridDefaultgrouptoownthedriverinterface[]:asmadminStartOracleASMlibrarydriveronboot(y/n)[n]:yScanforOracleASMdisksonboot(y/n)[y]:yWritingOracleASMlibrarydriverconfiguration:done创建ASM磁盘(在节点1执行)注：创建ASM磁盘之前，两节点必须同时认出共享磁盘，并用fdisk命令划分磁盘分区。/etc/init.d/oracleasmcreatediskOCR_VOTE01/dev/emcpowera1/etc/init.d/oracleasmcreatediskOCR_VOTE02/dev/emcpowera2/etc/init.d/oracleasmcreatediskOCR_VOTE03/dev/emcpowera3/etc/init.d/oracleasmcreatediskdata01/dev/sdd1/etc/init.d/oracleasmcreatediskdata02/dev/sdd2扫描识别ASM磁盘(在所有节点执行)/etc/init.d/oracleasmscandisks/etc/init.d/oracleasmlistdisks安装OracleGrid安装GridInfrastructure软件以grid用户登录然后用ssh把软件包上传到rcahadb1p13390677_112040_Linux-x86-64_3of7.zipgrid用户登录解压$unzipp13390677_112040_Linux-x86-64_3of7.zip登陆到grid用户，执行安装文件，在节点1执行；全面检查./runcluvfy.shstage-precrsinst-nrcahadb1,rcahadb2-verbose检查网络和等效性./runcluvfy.shcompnodecon-nrcahadb1,rcahadb2-verbose3、安装./runInstaller选择“安装和配置集群的网格基础结构”：选择“高级安装”选择“中文”和“英语”填写名称选择“添加”增加节点忽略警告没有配置DNS会有Taskresolv.confIntegrity报错不影响安装直接ignoreall跳过.点skip,Grid安装完成。安装过程报错解决方法见第八章节。创建ASM磁盘组以grid用户在rcahadb1节点登录在安装Clusterware的时候，会创建ASM实例，但是它只创建了一个CRS组来安装OCR和VotingDisk。在我们继续安装Oracle数据库之前，我们需要创建一个DATA01的ASM磁盘组来存放这些文件。创建过程很简单。运行asmca（ASMConfigurationAssistant）命令就可以弹出创建窗口。在窗口中创建完DATA01后，退出窗口即可。在grid用户下，执行asmca，启动asm磁盘组创建向导点击“创建”按钮，在弹出的创建界面中填写磁盘组名称，选择External(None)，并勾选成员，选择完毕后点击ok；创建DATA01磁盘组，创建完毕后如下：安装OracleDatabase以oracle用户登录到节点1[oracle@rcahadb1~]$./runInstaller提示需要以root在两个节点上执行脚本#/oracle/app/oracle/11.2.0/db_1/root.shPerformingrootuseroperationforOracle11gThefollowingenvironmentvariablesaresetas:ORACLE_OWNER=oracleORACLE_HOME=/oracle/app/oracle/11.2.0/db_1Enterthefullpathnameofthelocalbindirectory:[/usr/local/bin]:Thecontentsof"dbhome"havenotchanged.Noneedtooverwrite.Thecontentsof"oraenv"havenotchanged.Noneedtooverwrite.Thecontentsof"coraenv"havenotchanged.Noneedtooverwrite.Entrieswillbeaddedtothe/etc/oratabfileasneededbyDatabaseConfigurationAssistantwhenadatabaseiscreatedFinishedrunninggenericpartofrootscript.Nowproduct-specificrootactionswillbeperformed.Finishedproduct-specificrootactions.创建数据库本节操作在节点1执行；以oracle用户登录，执行dbca命令点Exit，数据库创建完成。安装完成后，Oracle官方建议备份root.sh和spfile。备份root.sh[oracle@rcahadb1~]$cd/oracle/app/oracle/11.2.0/db_1[oracle@rcahadb1~]$cp./root.sh./root.bak.sh备份spfile[oracle@rcahadb1~]$cd/oracle/app/oracle/admin/rcadb/pfile/[oracle@rcahadb1~]$sqlplus/assysdbaSQL>createpfile='init.ora.bak.20190513'fromspfile;以上操作全部完成后，的crs资源状态应该如下：[grid@rcahadb1~]$crs_stat-t-vNameTypeR/RAF/FTTargetStateHostNameTypeR/RAF/FTTargetStateHostora.DATA01.dgoraup.type0/50/ONLINEONLINErcahadb1oraER.lsnroraer.type0/50/ONLINEONLINErcahadb1oraN1.lsnroraer.type0/50/0ONLINEONLINErcahadb1oraVOTE.dgoraup.type0/50/ONLINEONLINErcahadb1ora.asmora.asm.type0/50/ONLINEONLINErcahadb1ora.cvuora.cvu.type0/50/0ONLINEONLINErcahadb1ora.gsdora.gsd.type0/50/OFFLINEOFFLINEora...workorark.type0/50/ONLINEONLINErcahadb1ora.oc4jora.oc4j.type0/10/2ONLINEONLINErcahadb1ora.onsora.ons.type0/30/ONLINEONLINErcahadb1ora.rcadb.dborase.type0/20/1ONLINEONLINErcahadb1oraSM1.asmapplication0/50/0ONLINEONLINErcahadb1oraB1.lsnrapplication0/50/0ONLINEONLINErcahadb1oradb1.gsdapplication0/50/0OFFLINEOFFLINEoradb1.onsapplication0/30/0ONLINEONLINErcahadb1oradb1.viporat1.type0/00/0ONLINEONLINErcahadb1oraSM2.asmapplication0/50/0ONLINEONLINErcahadb2oraB2.lsnrapplication0/50/0ONLINEONLINErcahadb2oradb2.gsdapplication0/50/0OFFLINEOFFLINEoradb2.onsapplication0/30/0ONLINEONLINErcahadb2oradb2.viporat1.type0/00/0ONLINEONLINErcahadb2orary.acfsorafs.type0/50/ONLINEONLINErcahadb1ora.scan1.viporaip.type0/00/0ONLINEONLINErcahadb1测试Failover简单测试1、客户端连接到rcahadb上，查询连接的实例D:\>sqlplussys/oracle@rcadbassysdbaSQL>selectinstance_namefromv$instance;INSTANCE_NAMErcadb22、强制关闭上面session连接的实例racl2[oracle@rcahadb2~]$sqlplus

/

as

sysdbaSQL>shutdown

immediate3、查询当前连接的实例：rcadb1SQL>

select

instance_name

from

v$instance;INSTANCE_NAMErcadb1可以看到session会转移到rcadb1上了。测试负载均衡LoadBalance设置了LOAD_BALANCE=ON之后，使用rcadb服务名连接数据库时就启动了负载均衡功能。登陆rcadb1实例，检查两个实例上的会话连接情况：SQL>SELECTINST_ID,COUNT(*)FROMGV$SESSIONGROUPBYINST_ID;INST_IDCOUNT(*)131229可以看出基本上两个实例的负载分配权重为1:1，需要注意的是这种分配并不是简单的算术平均SQL>SELECTINSTANCE_NAMEFROMV$INSTANCE;INSTANCE_NAMErcadb1RAC运行维护OracleCluster正常启停Oracle11gCluste启停rac默认会开机自启动，如需维护时可使用以下命令：关闭crs：crsctlstopcluster停止本节点集群服务crsctlstopcluster-all停止所有节点服务开启rcscrsctlstartcluster开启本节点集群服务crsctlstartcluster-all开启所有节点服务注：以上命令需以root用户执行Oracle10gRAC启停顺序启动OracleRAC10g环境第一步是启动节点应用程序（虚拟IP、GSD、TNS监听器和ONS）。当成功启动节点应用程序后，启动ASM实例。最后，启动Oracle实例（相关服务）以及企业管理器数据库控制台。#/etc/init.d/init.crsstart1.root启动cluster软件$exportORACLE_SID=rcadb1(2)2.设置环境变量ORACLE_SID$srvctlstartnodeapps-nrcahadb1(2)3.启动节点应用程序（虚拟IP、GSD、TNS监听器和ONS）$srvctlstartasm-nrcahadb1(2)4.启动ASM实例$srvctlstartinstance-drcadb-ircadb1(2)5.启动Oracle实例或者第5步可以使用下面一条命令执行$srvctlstartdatabase-drcadb启动数据库所有Oracle实例（等效命令）$srvctlstartlistener-nrcahadb1(2)6.在其中一个节点执行启动监听命令，也可以用lsnrctlstart来操作$emctlstartdbconsole7.启动EM停止OracleRAC10g环境$exportORACLE_SID=rcadb1设置环境变量ORACLE_SID$emctlstopdbconsole1.关闭EM$srvctlstoplistener-nrcahadb1(2)2.在其中一个节点执行关闭监听命令，也可以用lsnrctlstop来操作$srvctlstopinstance-drcadb-ircadb1(2)3.分别停止Oracle的每个实例或者第2步可以使用下面一条命令执行$srvctlstopdatabase-drcadb停止数据库所有Oracle实例（等效命令）$srvctlstopasm-nrcahadb1(2)4.关闭ASM实例$srvctlstopnodeapps-nrcahadb1(2)5.关闭节点应用程序（虚拟IP、GSD、TNS监听器和ONS）#/etc/init.d/init.crsstop6.root停cluster软件停机顺序为，先停监听->实例->服务->cluster软件或者用$crs_stop-all然后#init0关闭服务器，或者如果重新启动#init6关闭电源。OracleCluster开机自启动Oracle11g开启自动启动crs[root@rcahadb2~]#./crsctlenablecrsOracle11g关闭自动启动crs[root@rcahadb2~]#./crsctldisablecrsOracle10g开启自动启动crs[root@rcahadb2~]#/etc/init.d/init.crsenableOracle10g开启自动启动crs[root@rcahadb2~]#/etc/init.d/init.crsdisable主机重启后，资源自动重启#crs_stat-pAUTO_START有3个值：always，restore，never#crsctlmodifyresourceora.LISTENER.lsnr-attrAUTO_START=always检查、注册及移除CRS服务[root@rcahadb1~]$crs_stat[root@rcahadb1~]$crs_registerora.ora10g.hr_org10g1.srv[root@rcahadb1~]$crs_unregisterora.ora10g.hr_ora10g1.srv导出CRS资源配置模板#crs_profile-templateora.or