Exadata一体机使用的50个小技巧

1、实用标准文档Exadata 管理 5.Exadata 性能优化 5.让表使用 flash cache 5可以使用如下公式计算 Exadata 特性对 IO 的优化 5.可以使用如下公式计算 Exadata Storage Index 对 Disk IO 减少的共享 5可以使用如下计算 Flash Cache 的使用率 5.收集 cell 级别的表缓存统计信息的方法 6.确认在使用 write back flash cache 6.确认所有的 griddisk 均为正常 online 状态 7.确认所有的 flashdisk 均为正常 online 状态 7.启用 write back flas

2、h cache 的方法 7.确认 Exadata 计算节点间的网络带宽 9.检测多个 ORACLE_HOME 是否 RDS 可用？ 9.relink ORACLE_HOME 的 RDS 1. 0不同配置 Exadata 的推荐最大并行度 1. 0Exadata EHCC 支持 1.0Exadata 压缩信息 1.0针对写日志 redo 特别多的应用建议启用 Smart Flash logging 特性 11Exadata DB 管理 1.1Exadata 存储空间计算 1.1查看 cell 软件版本 1.1了解 cell 的温度 1.1cell 存储节点的日志存放位置 1. 2列出 cell

3、中的 alert history 1. 2为 cell 创建一个告警阈值 1.2cell 可用性监控 1.2如何禁用 Smart Scan? 1.3如何禁用 storage index? 13如何禁用 flash cache? 13cell 相关的数据库视图有以下这些视图 1. 3配置 Inter-Database IORM 1. 3如何禁用布隆过滤 Bloom Fliter 1. 4Exadata 数据备份 1.4backup 备份速率 1.4recovery 应用日志恢复速率 1. 4standby database 搭建 1. 5Exadata 恢复 1.5cell 救护 1.5Exad

4、ata 部署 1.5onecommand 下载 1.5Exadata 安装前准备工作 1.5环境检查 1.6.验证网络连通性 1.6Exadata 监控 1.8文案大全实用标准文档exachk 健康检查脚本 1.8Exadata 文档信息 1.9Exadata 硬件篇 1.9.常规 1.9.默认密码，以下是 Exadata 中 cell/db node IB 等的默认密码： 1 9硬件常规巡检： 2.0检测 Exadata 数据库机器上的硬件和固件版本是否匹配？ 2 0检测软件版本与平台是否匹配？ 2. 0为 cell 启用告警 2.1监控 磁盘故障 2.1更换 Storage Cell 硬盘

5、 2.1观察 Database Server 磁盘状态 2. 1观察 Database Server RAID 状态 2. 2Storage Cell 加电启动 2.2检测 memory ECC 错误 2. 2若发现 Exadata 上存在磁盘损毁则： 2. 3检测 cell server Cache Policy 23Exadata 停机： 2.5Exadata 启动 2.6Infiniband 篇 2.7启停 IBSwitch 2.7查看 IB 网络拓扑状态 2.8诊断 IB 链路没有错误 2.8查看 IB 网络连线 2.8查看 IB 健康状态 2.8IB 健康检查 2.8IB 故障处理

6、2.9IB 硬件监控 2.9Switch 端口错误 2.9Link 状态 3.0Subnet manager 3.0CISCO 交换机 3.0.例行维护操作 3.0.KVM 3.1.PDU 3.1.故障处理 3.1.文案大全Exadata 管理Exadata 性能优化让表使用 flash cacheALTER TABLE <object name> storage (CELL_FLASH_CACHE KEEP);可以使用如下公式计算 Exadata 特性对 IO 的优化 1 (cell physical IO interconnect bytes returned by smart

7、 scan)/ (cell IO uncompressed bytes + cell physical IO bytes saved by storageindex) * 100可以使用如下公式计算 Exadata Storage Index对 Disk IO 减少的共享(cell physical IO bytes saved by storage index / physical read total bytes)* 100可以使用如下计算 Flash Cache 的使用率(cell flash cache read hit / physical read total IO request

8、s) * 100收集 cell 级别的表缓存统计信息的方法SQL> SELECT data_object_id FROM DBA_OBJECTS WHEREobject_name= ' EMP'OBJECT_ID57435CellCLI> LIST FLASHCACHECONTENT WHERE objectNumber=57435 DETAIL cachedSize: 495438874dbID: 70052hitCount: 415483missCount: 2059objectNumber: 57435tableSpaceNumber: 1确认在使用 writ

9、e back flash cache#dcli -g /cell_group -l root cellcli -e“ list cell attributesflashcachemode ”Results:flashCacheMode: WriteBack -> write back flash cache is enabled flashCacheMode: WriteThrough -> write back flash cache is not enabled确认所有的 griddisk 均为正常 online 状态# dcli -g cell_group -l root c

10、ellcli -e list griddisk attributes asmdeactivationoutcome, asmmodestatus确认所有的 flashdisk 均为正常 online 状态# dcli -g cell_group -l root cellcli -e list flashcache detail启用 write back flash cache 的方法A. Enable Write Back Flash Cache using a ROLLING method(RDBMS & ASM instance is up enabling write-back

11、flashcache one cellat a time)Log onto the first cell that you wish to enable write-back FlashCache1. Drop the flash cache on that cell# cellcli -e drop flashcache2. Check if ASM will be OK if the grid disks go OFFLINE. The following command should returnYes ' for the grid disks being listed:# ce

12、llcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome3. Inactivate the griddisk on the cell# cellcli e alter griddisk all inactive4. Shut down cellsrv# cellcli -e alter cell shutdowns cellsrv5. Set the cell flashcache mode to writeback# cellcli -e “ alter cell flashCacheMode=wr

13、iteback”6. Restart the cellsrv# cellcli -e alter cell startups cellsrv7. Reactivate the griddisks on the cell# cellcli e alter griddisk all active8. Verify all grid disks have been successfully put online using the following command:# cellcli -e list griddisk attributes name, asmmodestatus9. Recreat

14、e the flash cache# cellcli -e create flashcache all10. Check the status of the cell to confirm that it' s now in WriteBackmode:# cellcli -e list cell detail | grep flashCacheMode11. Repeat these same steps again on the next cell. However, before taking another storage server offline, execute the

15、 following making sure asmdeactivationoutcome ' displays YES:# cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcomeB . Enable Write Back Flash Cache using a NON-ROLLING method(RDBMS & ASM instances are down while enabling write-back flashcache)1. Drop the flash cache

16、 on that cell# cellcli -e drop flashcache2. Shut down cellsrv# cellcli -e alter cell shutdowns cellsrv3. Set the cell flashcache mode to writeback# cellcli -e “ alter cell flashCacheMode=writeback”4. Restart the cellsrv# cellcli -e alter cell startups cellsrv5. Recreate the flash cache# cellcli -e c

17、reate flashcache all确认 Exadata 计算节点间的网络带宽可以采用 nc nc-1.84-10.fc6.x86_64.rpm 获得检测多个 ORACLE_HOME 是否 RDS 可用？dcli -g /opt/oracle.SupportTools/onecommand/dbs_group -l oracle md5sum $ORACLE_HOME/lib/libskgxp11.sorelink ORACLE_HOME 的 RDSdcli -g /opt/oracle.SupportTools/onecommand/dbs_group -l oracle“ export

18、 ORACLE_HOME=$ORACLE_HOME;cd pwd;make f i*mkipc_rds ”dcli -g /opt/oracle.SupportTools/onecommand/dbs_group -l oracle“ export ORACLE_HOME=$ORACLE_HOME;cd pwd;make f i*mkioracle ” | egrep rm|mv.*oracle '不同配置 Exadata的推荐最大并行度配置CPU 个数推荐最大 ParallelismFull Rack64 coreDOP=256Half Rack32 coreDOP=128Quart

19、er Rack16 coreDOP=64Exadata EHCC 支持Exadata 的 EHCC 支持宽表 最大支持 1000 个字段的表，而不像 11.1 中的压缩仅支持最多 255 列的表Exadata 压缩信息通过 dbms_compression.get_compression_ratio 可以获得表的压缩信息 针对写日志 redo 特别多的应用建议启用 Smart Flash logging特性CREATE FLASHLOG ALLCREATE FLASHLOG ALL SIZE=1GCREATE FLASHLOG CELLDISK= 'fd1,fd2 CREATE FLA

20、SHLOG CELLDISK= 'fd1,fd2 SIZE=1GExadata DB 管理Exadata 存储空间计算FreeMB（ 最大可用空间 ） =GridDisk*12*Num of Cells/RedundancyUsableMB （ 支持 1 个 CELL故障的最大可用空间 ） =GridDisk*12*（Num of Cells 1） /Redundancy查看 cell 软件版本imagehistoryimageinfo了解 cell 的温度dcli -g cell_group -l root“ ipmitool sensor | grep Inlet Amb Temp

21、' ”cell 存储节点的日志存放位置$ADR_BASE/diag/asm/cell/hostname/trace/alert.log$ADR_BASE/diag/asm/cell/hostname/trace/ms-odl.*$ADR_BASE/diag/asm/cell/hostname/trace/svtrc_0.trc ps -ef | grep“ cellsrv 100 $ADR_BASE/diag/asm/cell/hostname/incident/*/var/log/messages*, dmesg /var/log/sa/*/var/log/cellos/*列出 ce

22、ll 中的 alert historylist alerthistory where notificationState like' and severity like warning|critical ' and examinedBy = NULL;为 cell 创建一个告警阈值cellclicreate threshold CD_IO_ERRS_MIN warning=1, comparison='>= ' ,occurrences=1, observation=1;cell 可用性监控一般建议使用 EMGC Oracle Exadata Storag

23、e Server Management Plug-In 监控如何禁用 Smart Scan?设置 Cell_offload_processing=false如何禁用 storage index?设置 _kcfis_storageidx_disabled=true如何禁用 flash cache?11.2.0.2 以后 设置 _kcfis_keep_in_cellfc_enabled=false11.2.0.1 中设置 _kcfis_control1=1cell 相关的数据库视图有以下这些视图select * from sys.GV_$CELL_STATE;select * from sys.G

24、V_$CELL;select * from sys.GV_$CELL_THREAD_HISTORY;select * from sys.GV_$CELL_REQUEST_TOTALS;select * from sys.GV_$CELL_CONFIG;配置 Inter-Database IORMCellCLI> alter iormplan dbplan = (name = production, level = 1, allocation = 100),(name = test, level = 2, allocation = 80),(name = other, level = 2,

25、 allocation = 20)IORMPLAN successfully alteredCellCLI> alter iormplan activeIORMPLAN successfully alteredCellCLI> list iormplan detailname: cell4_IORMPLANcatPlan:dbPlan: name=production,level=1,allocation=100name=test,level=2,allocation=80name=other,level=2,allocation=20status: active 如何禁用布隆过滤

26、 Bloom Fliter 设置 _bloom_pruning_enabled=falseExadata 数据备份backup 备份速率Exadata 下 rman 备份的速率从 1 通道到 8 通道 大约为 1003MB/s 到2081MB/s ，视乎配置不同也略微有区别recovery 应用日志恢复速率exadata recovery 的速率大约为每秒 6001000MB/s 的归档日志standby database 搭建对于 50TB 的 standby database 搭建，若使用 infiniband + 4rman 通道大约耗费 5.5 小时，若使用 GigE 则在 18 个小

27、时左右Exadata 恢复cell 救护可以通过 /opt/oracle.SupportTools/make_cellboot_usb 脚本创建部 USB cellboot_usb_in_rescure_modeExadata 部署onecommand 下载可以下载 patch (9935478) ONECOMMAND FOR Exadata 11gR2Exadata 安装前准备工作1. 下载安装介质包括 Grid, Database,Patches 等2. 硬件设备到货验收并安装就绪3. 规划 DBM 用的管理网，生产网， ILOM 等用的网段和 IP 地址4. 配置 DNS 服务器5. 将

28、 IP 地址和域名注册到 DNS 服务器6. 配置 NTP 服务器7. 网络连线环境检查1. 检查 DBM 主机的 eth0 网卡是否可以通过 cisco 交换机被访问2. 检查 hardware and firmware profile是否正确3. 验证 InfiniBand Network验证网络连通性1. 登陆第一台数据库服务器使用 sh 脚本验证网络连通性2. 验证 DNS 是否正常3. 验证 NTP 服务器是否正常安装 Exadata Storage Server Image Patch (root user)1. 在 db server 和 cell server 上为 root

29、用户配置 SSH# /opt/oracle.SupportTools/onecommand/setssh.sh -s -u root -p password -n N -h dbs_group2. 检查当前 Cell storage server 的 Exadata Image 版本3. 安装最新的 Patch 具体步骤详见 Readme4. 验证当前 Exadata Image version#cd /opt/oracle.SupportTools/firstconf#dcli -l root -g quarter imagehistory | grep i Version使用 OneCom

30、mand 工具完成 DBM 的配置安装1. #cd /opt/oracle.SupportTools/onecommand2. Display the onecommand steps# ./deploy112.sh -il3. The steps in order are Step 0 =ValidateThisNodeSetupStep 1 =SetupSSHForRootStep 2 =ValidateAllNodesStep 3 =UnzipFilesStep 4 =UpdateEtcHostsStep 5 =CreateCellipnitoraStep 6 =ValidateHWSt

31、ep 7 =ValidateIBStep 8 =ValidateCellStep 9 =PingRdsCheckStep 10= RunCalibrateStep 11= ValidateTimeDateStep 12= UpdateConfigStep 13= CreateUserAccountsStep 14= SetupSSHForUsersStep 15= CreateOraHomesStep 16= CreateGridDisksStep 17 = InstallGridSoftwareStep 18 =RunGridRootScriptsStep 19 =Install112DBS

32、oftwareStep 20 =Create112ListenerStep 21 =RunAsmCaStep 22 =UnlockGIHomeStep 23 =UpdateOPatchStep 24 =ApplyBPStep 25 =RelinkRDSStep 26 =LockUpGIStep 27 =SetupCellEmailAlertsStep 28 =RunDbcaStep 29 =SetupEMDbControlStep 30 =ApplySecurityFixesStep 31 =ResecureMachineTo run a command#./deploy112.sh i s

33、NWhere N corresponds to a step numberExample to run step 0Exadata 监控exachk 健康检查脚本exachk 脚本可以以 daemon 形式后台运行./exachk d start以 daemon 形式 cluster support 运行./exachk clusternodes node1,node Nd start!Exadata 文档信息Exadata 的官方文档 docs.oracle./cd/E50790_01/welcome.html 另外文档还保存在您 cell 的 /opt/oracle/cell/doc/ 目

34、录下。Exadata 硬件篇常规默认密码，以下是 Exadata 中 cell/db node IB 等的默认密码：组件登陆默认密码Storage Cellsroot nm2userwelcome1Infiniband Switchroot nm2userwelcome1changemeDB 节点rootwelcome1CELL CLIcelladminwelcomeILOMrootwelcome1KVM SwitchAdmin ornone<none>GigE switch<none><none>初始安装后 asmsnmp 的账号一般也是 welcome1

35、硬件常规巡检：在机房例行检查时， 需要从 Exadata 机箱后方查看 Exadata 中是否有黄灯报警， 如果有，记录位置，即时登录 OEM/ILOM/ 集成的第三方监控工具查明原因， 定位部件， 即时维 护。Exadata 一体机健康检查脚本 exachk ，参考 document 1070954.1检测 Exadata 数据库机器上的硬件和固件版本是否匹配？/opt/oracle.SupportTools/CheckHWnFWProfile 返回如下结果说明版本匹配：SUCCESS The hardware and firmware profile matches one of the

36、supported profile检测软件版本与平台是否匹配？/opt/oracle.SupportTools/CheckSWProfile.sh -c为 cell 启用告警ALTER CELL smtpServer= 'mailserver.maildomain. ', smtpFromAddr= firstname.lastnamemaildomain. ', smtpToAddr= 'firstname.lastnamemaildomain.', smtpFrom= 'Exadata cell ' , smtpPort='&

37、lt;port for mail server>', smtpUseSSL= 'TRUE' , notificationPolicy= 'critical,warning,clear ', notificationMethod= 'mail'alter cell validate mail;监控 磁盘故障当通过机房例行检查发现硬件黄灯警告或通过监控工具 （命令行 /ILOM/ 第三方 工具）发现故障并确定位置后 ,可进行更换操作。更换 Storage Cell 硬盘命令行登录 Cell, 判断故障硬盘 ,例如 :CellCLI>

38、; LIST PHYSICALDISK WHERE diskType=HardDisk ANDstatus=critical DETAIL观察 Database Server 磁盘状态rootdm01db01 # cd /opt/MegaRAID/MegaCli/rootdm01db01 MegaCli# ./MegaCli64 -Pdlist -aAll | grep“ Slot|Firmware ”观察 Database Server RAID 状态rootdm01db01 MegaCli# ./MegaCli64 -LdInfo -lAllaAllStorage Cell 加电启动远程登

39、陆 Storage Cell 控制器 ILOM, 执行 Power On, 其它为系统的自动启动过 程 ,知道 Storage Cell 就绪CellCLI> LIST GRIDDISK若没有 Active, 需:CellCLI> ALTER GRIDDISK ALL ACTIVE等 grid disk Active 后 ,ASM 会自动同步 ,使 grid disk Online, 查看状态 :CellCLI> LIST GRIDDISK ATTRIBUTES name, asmmodestatus确认 ASM 数据自动重新分布是否已经开始或完成。 Grid 用户登录 +A

40、SM 实例 执行:select * from v$asm_operation;通过 EM、 SYSLOG、Cellcli 、ILOM 查看是否有告警解除信息检测 memory ECC 错误ipmitool sel list | grep ECC | cut -f1 -d : | sort -u若发现 Exadata 上存在磁盘损毁则：使用 /opt/oracle.SupportTools/sundiag.sh收集详细信息 并发给 oraclesupport检测 cell server Cache Policycell08# MegaCli64 -LDInfo -Lall -aALL | gre

41、p 'Current CachePolicy'Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBUcell09# MegaCli64 -LDInfo -Lall -aALL | grep 'Current CachePolicy'Current Cache Policy: WriteBack, ReadAheadNone, Direct, NoWrite Cache if Bad BBUDefault Cache Policy: WriteBack

42、, ReadAheadNone, Direct, No WriteCache if Bad BBUCurrent Cache Policy: WriteThrough, ReadAheadNone,Direct, No Write Cache if Bad BBUCache policy is in WBWould recommend proactivebattery repalcement.Example :a. /opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -LALL -aALL #( Will list the cache polic

43、y)b. /opt/MegaRAID/MegaCli/MegaCli64 -LDSetProp -WB -LALL -aALL #( Will try to change teh policy from xx to WB)So policy Change to WB will not come into effect immediatelySet Write Policy to WriteBack on Adapter 0, VD 0 (target id: 0) successBattery capacity is below the threshold value检测 cell BBU 备

44、用电池状态： cell08# /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -GetBbuStatus -a0BBU status for Adapter: 0BatteryType: iBBUVoltage: 4061 mVCurrent: 0 mATemperature: 36 CBBU Firmware Status:Charging Status : NoneVoltage : OKTemperature : OKLearn CycleRequested : NoLearn Cycle Active : NoLearn Cycle Status

45、: OKLearn Cycle Timeout : NoI2c Errors Detected : NoBattery Pack Missing : NoBattery Replacement required : NoRemaining Capacity Low : YesPeriodic Learn Required : No Battery state:GasGuageStatus:Fully Discharged : NoFully Charged : YesDischarging : YesInitialized : YesRemaining Time Alarm : NoRemai

46、ning Capacity Alarm:NoDischarge Terminated : NoOver Temperature : NoCharging Terminated : NoOver Charged : NoRelative State of Charge: 99 %Charger System State: 49168Charger System Ctrl: 0Charging current: 0 mAAbsolute state of charge: 21 %Max Error: 2 %Exit Code: 0x00批量检测 BBU 信息 :dcli -g /cell_grou

47、p -l root -t 'uname -srm ; head -1 /etc/*release ; uptime | cut -d, -f1 ; imagehistory ; ipmitool sunoem cli "show /SP system_description system_identifier" | grep = ;ipmitool sunoem cli "show /SP/policy FLASH_ACCELERATOR_CARD_INSTALLED /opt/MegaRAID/MegaCli/MegaCli64 -AdpBbuCmd -

48、GetBbuStatus -a0 | egrep -i'BBU|Battery|Charge:|Fully|Low|Learn' ;' | tee /tmp/ExaInfo.logExadata 停机：1. 确认无业务访问，以 root 用户登录第 1 个数据库服务器节点2. 停止数据库（详见 RAC/ASM 维护之 RAC 启停章节）3. 停止 Cluster# GRID_HOME/grid/bin/crsctl stop cluster -all4. 停除本机以外的数据库节点# dcli -l root -c dm01db02,dm01db03,dm01db04 s

49、hutdown -h -y now5. 停存储服务器cell_group 可自编辑，执行时并可由 root 用户读取该文件 （askmaclean.） 另需参考 Storage Cell 存储维护 Storage Cell 停机章节信息后方可执行下述 命令# dcli -l root -g cell_group shutdown -h -y now6. 停本机# shutdown -h -y now7. 此时可通过 ILOM 远程关机8. 整机下电 （关 PDU）Exadata 启动1、为机柜加电（ SWITCH 自然加电）打开 PDU 开关进行加电，服务器指示灯都变绿，慢闪 若需手工开机数据

50、库服务器、存储服务器需要按住其开关 5 秒。 也可在 ILOM 中点击 Cell 的 Poweron 开关进行开机，服务器指示灯为绿色长亮， 再点击 DB Server的 Poweron 开关进行开机，服务器指示灯为绿色长亮。2、检查是否有黄灯报警。3、启动数据库、应用等。Infiniband 篇启停 IBSwitch1. InfiniBand Switch 电源的开启或关闭InfiniBand Switch 提供冗余电源 ,分别插在 Exadata 的 2 个冗余 PDU 电源上 , 并随 PDU 机柜电源 开启或关闭 ,若关闭 InfiniBand Switch 需断掉 InfiniBand Switch 的的冗余电 源。 2. 查看 OEM 等是否有相关报警ILOM 无法报警从 cell1 的 cellcli 中查看 list alerthistory 可以看到3. 从 db01 查看网络拓扑状态rootdm01db01 # cd /opt/oracle.SupportTools/ibdiagtoolsrootdm01db01 ibdiagtools# ./verify-topology -t halfrack4. 插入 InfiniBand 电源线 ,查看 InfiniBand Switch 正常启动 检查 IB 链路状态# /opt