AIX下 Oracle RAC平台部署手册

1、 AIX 下 Oracle RAC 平台部署手册 目录1 主机规划1.1 硬件环境1.2 软件环境1.3 网络规划1.3.1 ip 地址规划1.3.2 DNS 服务器1.4 安装目录规划1.5 存储规划1.5.1 grid、ASM 安装目录1.5.2 Clusterware 安装目录1.5.3 OCR、VOTE存储规划2 安装准备2.1 系统硬件环境检查2.1.1 Oracle11gR2 RAC 最低安装要求2.1.2 验证方法2.2 安装操作系统软件包2.2.1 安装 FILESETS2.2.2 配置 IP 地址2.2.3 修改/etc/hosts 文件2.3 文件系统准备2.3.1 方法

2、1 ：使用命令创建2.4 调整系统参数2.4.1 打开异步 IO2.4.2 调整虚拟内存管理2.4.3 调整 maxuproc （系统最大进程数）和 ncargs （系统块大小）参数2.4.4 调整 SHELL 限制2.4.5 确认网络配置参数2.5 创建用户、组2.5.1 要求2.5.2 创建命令2.5.3 修改用户属性2.6 用户环境变量设置2.6.1 grid 用户2.6.2 oracle 用户2.7 创建安装目录并修改权限2.8 SSH 信任关系设置2.8.1 首先在两台机器上安装好 OpenSSH 软件2.8.2 在 在 grid 安装中选择自动配置 SSH 双机信任关系2.9 配置

3、磁盘设备2.9.1 设置磁盘属性2.9.2 修改用于数据库存储的 PV 的属主2.9.3 修改用于数据库存储的 PV 的权限2.9.4 清除 PVID3 安装 Grid3.1 Grid 安装前检查3.1.1 执行rootpre.sh3.1.2 安装grid3.1.3 Clusterware 安装校验4 安装 Database5 创建 ASM 磁盘组6 DBCA 创建数据库1 主机规划1.1 硬件环境服务器：两台 IBM P740存储：DS5020 存储；1.2 软件环境数据库：p10404530_112030_AIX64-5L_1of7.zipp10404530_112030_AIX64-5L

4、_2of7.zip集群软件:p10404530_112030_AIX64-5L_3of7.zip这三个包操作 系统:AIX 7.1,Oracle 11gR21.3 网络规划1.3.1 ip地址规划1.3.2 DNS服务器使用/etc/hosts 来解析 scan1.4 安装目录规划安装目录规划原则：建立/u01 文件系统用来安装 grid、 datbase 程序。 程序都安装在/u01/app下面， 对于 grid 与 database分别建立不同的目录， 分配不同的权限。 其中grid 的 ORACLE_BASE和 ORACLE_HOME 建议安装在不同的目录下，具体规划如下：新建 50g

5、lv ：fslv新建文件系统，挂载点：/u01gridbase 目录：/u01/app/grid #grid 用户的 ORACLE_BASEgrid asm 安装目录：/u01/app/11.2/grid #grid 用户的 ORACLE_HOME，也即是安装时的software locationOracle base 目录：/u01/app/oracle #oracle 用户的 ORACLE_BASE1.5 存储规划1.5.1 grid 、ASM 安装目录在 Oracle 11gR2 中 grid 和 ASM 是安装在同一目录下的，我们将 grid 和 ASM安装在/u01/app/grid

6、 目录下，为 JFS2 文件系统，大小为 50G。1.5.2 Clusterware 安装目录我们将 Clusterware 安装在/u01/app目录下。1.5.3 OCR 、VOTE 存储规划在我们的方案中规划如下：OCR、 VOTE hdisk2 容量：3x1GDATAhdisk3 容量：500GFLASH hdisk8 容量：200G2 安装准备2.1 系统硬件环境检查2.1.1 Oracle11gR2 RAC 最低安装要求：内存：安装 grid infrastructure最少需要 1.5GB 的内存，安装 grid infrastructure和 RAC 最少需要 2.5GB 的内

7、存swap ：最少需要 4GB,有的资料介绍最少 1.5G，不过安装环境检查时显示需要16G。temp ：推荐 10G，可以将安装文件上传至/tmp 目录下，8GB 合适安装目录：grid infrastructure+ASM+Clusterware 最少需要 12GB操作系统：AIX 7.1, 64-bitkernel2.1.2 验证方法： 确认内存大小# r lsattr l -El 0 sys0 a -a realmem 确认 SWAP 空间，最少 4G。 。# s lsps -a若不够 4G，需要增加 PPS 数。本系统一个 PPS 为 128M，所以增加 20 个，使 swap 达到

8、 4G。PPS 大小可以通过lsvg rootvg 查看。# s chps s -s 2 32 hd6# s lsps -a 确认/tmp 大于 1.5GB 和/oracle 目录空间于 大于 15GBoracle 安装目录在 50GB左右，grid infrastructure+ASM 安装在/u01/app/grid目录下，其中 Oracle11g 安装在/u01/app/oracle/目录下.s chfs a a G size=10G /tmp 确认系统结构# f getconf HARDWARE_BITMODE64 确认系统 CPU 个数和主频：# v lsdev C -C | | p

9、 grep proc# r lsattr l -El proc02.2 安装操作系统软件包2.2.1 安装 FILESETSAIX 7 71 .1 需要安装如下软件包：The following operatingsystem filesetsare required for X AIX 7.1: bos.adt.base bos.adt.lib bos.adt.libm bos.perf.libperfstat bos.perf.perfstat ctools xlC.aix61.rte: or later xlC.rte. or later gpfs.base 1 or later以上 f

10、ilesets 安装与否可以用命令 lslpp l 进行检查确认。默认安装都是全的，不需要手工进行添加。其中 gpfs.base 不需要安装。验证如下：2.2.2 配置 IP 地址根据前面的规划先配置要两台机器的 IP 地址，就是 interlib1、interlib1-priv 和interlib2、interlib2-priv 这四个IP 地址。同样配置几块网卡的 IP 地址，en0 和 en1 做冗余绑定（en4） ，其中服务地址要配置网关，网关地址为：54。2.2.3 修改/etc/hosts 文件修改每个节点上的/etc/hosts 文件。 loopback localhost #

11、loopback (lo0) name/address interlib1 interlib1-vip interlib1-priv interlib2 interlib2-vip interlib2-priv interlib-scan注意：如果你的环境里不具备 DNS 服务器，那么 SCAN 地址解析可以通过/etc/hosts 或 GNS来实现， 这需要在你的所有数据库主机的 host 文件里添加一个 SCAN 地址， 并且这个地址的解析名不要超过 16 个字符，超过的话，oracle 只会解析前 16 个字符。本例中我们通过/etc/hosts 来解析 scan。2.3 文件系统准备创

12、建1 /u01 文件系统2.3.1 方法 1 ：使用命令创建1、r mkdir /u012、建立一个lv v mklv t t 2 jfs2 y y 0 fslv00 g rootvg 100 #100个pps，可视需要而定3、建立一个文件系统 s crfs v v 2 jfs2 d -d 0 /dev/fslv00 m -m /u014、mount文件系统 t mount /u015、使用smitchfs，修改/u01启动自动mount。创建文件系统1、r mkdir /u012、建立一个lv v mklv t t 2 jfs2 y y 0 fslv00 g rootvg 100 #100个

13、pps，可视需要而定3、建立一个文件系统 s crfs v v 2 jfs2 d -d 0 /dev/fslv00 m -m /u014、mount文件系统 t mount /u015、使用smitchfs，修改/u01启动自动mount。2.4 调整系统参数2.4.1 打开异步 IOAIX5.3 中，在安装grid 软件前执行 rootpre.sh 会自动打开异步 IO 服务，在AIX7.1 中默认异步 IO 服务是打开的。推荐的 aio_maxreqs 值为 64k (65536)，检查方法如下：AIX 7.1# o ioo o -o aio_maxreqsaio_maxreqs = 65

14、5362.4.2 调整虚拟内存管理Oracle推存使用vmo命令去调优虚拟内存管理，参数推荐如下：命令如下:o vmo p -p o -o minperm%=3o vmo p -p o -o maxperm%=90o vmo p -p o -o maxclient%=90o vmo p -p o -o lru_file_repage=0o vmo p -p o -o strict_maxclient=1o vmo p -p o -o strict_maxperm=0You must restart the system forthese changes to take effect.2.4.3

15、 调整 maxuproc （系统最大进程数）和 ncargs （系统块大小）参数# v chdev l -l 0 sys0 a -a maxuproc=16384sys0 changed也可以使用：smitty chgsys 修改“Maximum number of PROCESSES allowed per user”修改完成后查看：# r lsattr l -El 0 sys0 a -a maxuprocmaxuproc 16384 Maximum number of PROCESSES allowed per user True# v chdev l -l 0 sys0 a -a nca

16、rgs=256sys0 changed2.4.4 调整 SHELL 限制1. 在 /etc/security/limits文件中增加如下行:default:e fsize = = -1e core = = - -1 1u cpu = = -1a data = = -1s rss= -1k stack = = -1s nofiles = = -12.45 确认网络配置参数用# /usr/sbin/no -a | more来查看网络参数是否满足下面的要求PARAMETER RECOMMENDED VALUEipqmaxlen 512rfc1323 1sb_max 1500000tcp_recvsp

17、ace 65536tcp_sendspace 65536udp_recvspace1351680 这个值应该是 udp_sendspace 的 10 倍，但是必须小于 sb_maxudp_sendspace 135168 这 个 值 至 少 应 该 是 4K （db_block_size*db_multiblock_read_count）的大小修改命令no -r -o ipqmaxlen=521no -p -o rfc1323=1no -p -o sb_max=1500000no -p -o tcp_recvspace=65536no -p -o tcp_sendspace=65536no -

18、p -o udp_recvspace=1351680no -p -o udp_sendspace=13516在修改前需要先查看系统设置的兼容性：# r lsattr l -El 0 sys0 a -a pre520tune1 、输出如：pre520tune disable Pre-520 tuning compatibilitymode True说明是不兼容方式，这样就可以用上面的方式调整：2 、如果是 y compatibility 模式，则：# /usr/sbin/no -o parameter_name=value并且编辑文件/etc/ 加入下面内容：if -f/usr/sbin/no

19、; then/usr/sbin/no -oudp_sendspace=65536/usr/sbin/no -oudp_recvspace=655360/usr/sbin/no -otcp_sendspace=65536/usr/sbin/no -otcp_recvspace=65536/usr/sbin/no -orfc1323=1/usr/sbin/no -osb_max=2*655360/usr/sbin/no -oipqmaxlen=512fi2.5 创建用户、组2.5.1 要求本次安装我们就规划了多个组，但是规划两个用户，一个用于管理 ASM 实例，另一个用于管理 DB 实例。2.5.

20、2 创建命令：#mkgroup -A id=500 adms=root oinstall#mkgroup -A id=501 adms=root dba#mkgroup -A id=502 adms=root oper#mkgroup -A id=503 adms=root asmadmin#mkgroup -A id=504 adms=root asmdba#mkgroup -A id=505 adms=root asmoper#mkuser id=500 pgrp=oinstall groups=asmadmin,asmdba,asmoper home=/home/grid grid#mk

21、userid=501 pgrp=oinstall groups=dba,asmdba,oper home=/home/oracle oracle！注意保持双机用户与组的 D ID 的一致。2.5.3 修改用户属性 grid 用户1、在两台主机上要保证 grid 用户具有以下能力：CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROPAGATE查看grid用户能力：#lsuser-a capabilitiesgrid增加grid用户能力：# r chuser E capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_V

22、MM,CAP_PROPAGATE grid2、设置grid用户密码：#d passwd grid3、在两台主机上最消grid用户shell限制可以通过smit chuser去修改grid用户限制，或直接修改/etc/security/limits 文件，具体参数如下：default:fsize = -1core = 2097151cpu = -1data = -1rss = -1stack = -1nofiles = -1 oracle 用户1、在两台主机上要保证 oracle 用户具有以下能力：CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROP

23、AGATE查看oracle用户能力：# lsuser -a capabilities oracle增加oracle用户能力：#r chuser E capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle2、设置oracle用户密码：#passwdoracle3、在两台主机上最消oracle用户shell限制可以通过smit chuser去修改oracle用户限制，或直接修改/etc/security/limits 文件，具体参数如下：oracle:fsize = -1core = 2097151cpu = -1d

24、ata = -1rss = -1stack = -1nofiles = -1 root 用户在两台主机上最消root用户shell限制，因为CRS进程（crsd）需要以root用户运行。可以通过smit chuser去修改root用户限制，或直接修改/etc/security/limits 文件，具体参数如下：default:fsize = -1core = 2097151cpu = -1data = -1rss = -1stack = -1nofiles = -12.6 用户环境变量设置2.6.1grid 用户在两台服务器的的 grid 用户的.profile 最后，增加如下内容：umask

25、 022ORACLE_BASE=/u01/app/grid #需手工创建ORACLE_HOME=/u01/app/11.2.0/grid #需手工创建ORACLE_SID=+ASM1 #节点 2 是+ASM2NLS_DATE_FORMAT=yyyy-mm-dd hh24:mi:ssPAHT=$ORACLE_HOME/bin:$PATHexport ORACLE_SID ORACLE_BASE ORACLE_HOME PATH NLS_DATE_FORMAT2.6.2 oracle 用户在两台服务器的的 oracle 用户的.profile 最后，增加如下内容：umask 022ORACLE_S

26、ID=interlib1ORACLE_BASE=/u01/app/oracleORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1ORACLE_UNQNAME=interlibNLS_DATE_FORMAT=yyyy-mm-dd hh24:mi:ssPATH=$ORACLE_HOME/bin:$PATHexport ORACLE_SID ORACLE_BASE ORACLE_HOME ORACLE_UNQNAME PATH NLS_DATE_FORMAT2.7 创建安装目录并修改权限注意：如果 grid 与 orcle 安装在同一文件系统下面，如上，在进行权

27、限修改的时候要注意顺序，先进行/u01 赋权，再进行/u01/db 赋权，否则会被覆盖。2.8 SSH 信任关系设置2.8.1 首先在两台机器上安装好 OpenSSH 软件；具体安装方法本处不详述，需要下载 openssh、openssl，安装时需先安装 openssl，然后再安装 openssh。也可以通过 AIX 系统光盘，执行 smitty install，选择所有 ssh 包安装。安装完毕后可以检查：# lslpp l | grep ssh2.8.2 在 grid 安装中选择自动配置 SSH 双机信任关系以下两个节点都执行：#su grid$mkdir p /.ssh$chmod 70

28、0 /.ssh$/usr/bin/ssh-keygen -trsa提示输入密码时，保持为空，直接回车即可。以下只在节点 1 1 上执行：$ touch/.ssh/authorized_keys$ ssh interlib1cat /.ssh/id_rsa.pub/.ssh/authorized_keys$ ssh interlib2cat /.ssh/id_rsa.pub/.ssh/authorized_keys$ scp /.ssh/authorized_keys interlib2:.ssh/authorized_keys以下只在节点 2 2 上执行：$ chmod600 /.ssh/au

29、thorized_keys2.9 配置磁盘设备2.9.1 设置磁盘属性该步骤若不做，在 grid 安装完成建立 ASM 时，第二个节点会找不到硬盘，同时加入不了群集。检测:lsattr -El hdisk3 |grep reserve_查看一个即可设置保持策略:如果上面查看的结果是 reserve_policychdev -l hdisk2 -a reserve_policy=no_reservechdev -l hdisk3 -a reserve_policy=no_reservechdev -l hdisk8 -a reserve_policy=no_reservechdev -l hdi

30、sk9 -a reserve_policy=no_reserve如果上面查看的结果是 reserve_lockchdev -l hdisk3 -a reserve_lock=no2.9.2 修改用于数据库存储的 PV 的属主chown grid:dba /dev/rhdisk2chown grid:dba /dev/rhdisk3chown grid:dba /dev/rhdisk8chown grid:dba /dev/rhdisk92.9.3 修改用于数据库存储的 PV 的权限chmod 777 /dev/rhdisk2chmod 777 /dev/rhdisk3chmod 777 /de

31、v/rhdisk8chmod 777 /dev/rhdisk92.9.4 清除 PVID查看 LUN，如果已经有了 PVID 的话，需要进行清除。chdev -l hdisk3 -a pv=clear重复同样的操作，清除所有 LUN 的 PVID3 安装 Grid3.1 Grid 安装前检查切换到 grid 用户并执行安装前检查，进入 grid 安装目录：$./runcluvfy.sh stage -pre crsinst -n interlib1,interlib2 -fixup -verbose检查失败项并进行相应的调整。3.1.1 执行 rootpre.sh1、以 root 身份登录在所

32、有节点执行：slibclean2、以 root 身份登录在所有节点执行 grid 软件下的：rootpre.sh3.1.2 安装 grid使用 xmanager 登录，$ export DISPLAY=26:0.0 #安装终端 IP在上传的 grid 安装文件目录下，键入./runInstaller 开始安装：在这个界面下选择合适的安装类型，选择 typical，将遇到更少的选择，并且在后续Oracle 可以生成一个 fixup 脚本叫你执行，然后自动调整你没有按要求调整的系统参数，如果选择 advanced，那么你将遇到更多的选择，并且所有环境变量要按要求事先准备，否则会报错,在这里我们选择

33、 advanced选项：Next：在上图选择产品语言时加上中文件语句， 否则在使用 EM 时如果你的 IE 优先使用中文的话会出乱码的：本次实施中我们使用的是/etc/hosts 解析，直接填写 scan，即可。若是有 DNS 解析，这里填上在 DNS 服务器中建立的 SCAN.IBM.COM 的名称。Next：这里如果 DNS 没有配置好，会报 scan vip 出错。指定网络接口，public 和 private.这里选择 ASM 存储：创建 ASM磁盘组 SYSTEMDG，用于放置 OCR、VOTE 文件：Next：设置一致的密码，这里我们设置为：interlib。密码不要忘记，在建立

34、RAC集群数据库时还需要。会提示密码过于简单，不用理会。Next：上图指定特权操作系统组：Next上图指定 oracle base 和 software install 目录，按我们的规划要求进行调整：Oracle Base：/u01/app/gridSoftware Location：/u01/app/11.2.0/grid安装不通过， 将software location改为/u01/db后可以继续， /u01/db的属主是oracle:dba,不解创建临时目录 inventory：预安装检查，如下：检查结果：尝试忽略其它 Failed 继续安装。点击：Finish 开始安装：安装时间较长

35、，达数十分钟。在两个节点上分别按提示的顺序执行 oraInstRoot.sh 和 root.sh，注意一定要按提示的顺序执行。若是在 node1 上安装，则执行顺序：Node1:#/./orainstRoot.shNode2:/./orainstRoot.shNode1:/./root.shNode2:/./root.sh完成后点击 OK：完装完成后点击:close。3.1.3 Clusterware 安装校验查看集群启动了哪些服务，以 grid 用户执行 crs_stat t v 命令：如果看到启动的许多相应的服务，则显示正常。4 安装 Database这里只安装数据库软件，之后再用 dbca 命令建立集群数据库。安装完 database 软件后，还要