OceanStor F面向Oracle数据库OLAP最佳实践

1、华为 OceanStor F 面向 Oracle 数据库OLAP 场景的最佳实践此文档针对华为 OceanStor F V5 存储配套 Oracle 数据库进行阐述。聚焦如何高效利用 OceanStor F V5 存储进行 Oracle 数据库业务部署，并针对企业用户场景下的 Oracle 的在线联机分析处理 OLAP 业务，进行了一系列的验证，通过参考该最佳实践，可以获得更好的业务部署效率和业务运营质量，有效保障Oracle 数据库的性能和可用性。目录 HYPERLINK l _bookmark0 概述4 HYPERLINK l _bookmark1 内容简介4 HYPERLINK l _b

2、ookmark2 写作目的4 HYPERLINK l _bookmark3 面向读者4 HYPERLINK l _bookmark4 用户收益5 HYPERLINK l _bookmark5 关键组件5 HYPERLINK l _bookmark6 业务场景5 HYPERLINK l _bookmark7 负载模型5 HYPERLINK l _bookmark8 华为技术与产品7 HYPERLINK l _bookmark9 OceanStor F V5 产品介绍7 HYPERLINK l _bookmark10 OceanStor UltraPath 多路径软件8 HYPERLINK l _

3、bookmark11 Oracle 数据库介绍9 HYPERLINK l _bookmark12 Oracle RAC and ASM9 HYPERLINK l _bookmark13 Oracle 体系架构11 HYPERLINK l _bookmark14 OLAP 业务类型13 HYPERLINK l _bookmark15 Oracle 规划配置最佳实践14 HYPERLINK l _bookmark16 SAN 组网14 HYPERLINK l _bookmark17 划分 Zone 或 vLAN16 HYPERLINK l _bookmark18 存储配置16 HYPERLINK

4、l _bookmark19 硬盘域16 HYPERLINK l _bookmark20 存储池17 HYPERLINK l _bookmark21 多租户17 HYPERLINK l _bookmark22 LUN18 HYPERLINK l _bookmark23 映射视图18 HYPERLINK l _bookmark24 主机配置19 HYPERLINK l _bookmark25 队列深度19 HYPERLINK l _bookmark26 I/O 对齐19 HYPERLINK l _bookmark27 块设备调度算法20 HYPERLINK l _bookmark28 多路径设置2

5、0 HYPERLINK l _bookmark29 绑定盘符21 HYPERLINK l _bookmark30 配置 HugePage21 HYPERLINK l _bookmark31 数据库配置22 HYPERLINK l _bookmark32 数据库参数22 HYPERLINK l _bookmark33 在线日志23 HYPERLINK l _bookmark34 UNDO 表空间调整24 HYPERLINK l _bookmark35 临时表空间调整24 HYPERLINK l _bookmark36 归档和备份24 HYPERLINK l _bookmark37 Oracle

6、规划配置示例25 HYPERLINK l _bookmark38 方案架构25 HYPERLINK l _bookmark39 组网图25 HYPERLINK l _bookmark40 方案组件26 HYPERLINK l _bookmark41 数据库规划27 HYPERLINK l _bookmark42 存储配置27 HYPERLINK l _bookmark43 主机配置28 HYPERLINK l _bookmark44 安装配置操作系统28 HYPERLINK l _bookmark46 创建 ETL 区域文件系统30 HYPERLINK l _bookmark47 数据库配置3

7、1 HYPERLINK l _bookmark48 Oracle 性能测试方案33 HYPERLINK l _bookmark49 测试策略33 HYPERLINK l _bookmark50 测试过程33 HYPERLINK l _bookmark51 加载测试数据33 HYPERLINK l _bookmark52 测试步骤34 HYPERLINK l _bookmark53 测试结论39 HYPERLINK l _bookmark54 7 总结40 HYPERLINK l _bookmark55 8 术 语表41 1 概 述内容简介随着数据库技术的广泛使用，企业信息系统产生大量的数据，如

8、何快速从海量数据中提取出对企业决策有用的信息成为企业决策管理人员所面临的重要难题之一，如何加速 OLAP 应用中复杂的查询分析正是难题的关键所在。OceanStor F V5 系列存储系统是华为技术有限公司（以下简称华为）根据存储产品应用现状和存储技术未来发展趋势，推出的新一代中高端全闪存存储产品，能够满足大中 型企业用户对海量数据存储、高速数据存取、高可用性、高利用率、绿色环保和易于 使用的要求。本文档针对 OceanStor F V5 配套 Oracle 数据库进行阐述。聚焦如何高效利用 OceanStor F V5 存储进行 Oracle 数据库业务部署，并针对企业用户场景下的 Orac

9、le 的在线联机分析处理（OLAP）业务，进行了一系列的验证。通过参考该最佳实践，可以获得更好的业务部署效率和业务运营质量，有效保障 Oracle 数据库的性能和可用性，提升数据库查询分析的性能，为企业的发展做出正确的决策。写作目的本文档的写作目的在于描述 OceanStor F V5 存储系统在 OLAP 类型的 Oracle 数据库业务下的规划和配置方案，旨在为华为合作伙伴和华为用户提供参考，以期降低 IT 系统规划部署的复杂度，并降低运维风险。面向读者本文档面向华为员工、合作伙伴与客户，阅读本文档，需要熟悉如下技术：华为 OceanStor F V5 系列存储华为 OceanStor U

10、ltraPath、DeviceManager 等软件Linux 操作系统基础知识Oracle 12c 数据库架构和原理用户收益本方案的设计目的在于加快用户事务数据库方案的设计、验证与交付流程，基于典型OLAP 业务模型，提供 OceanStor F V5 存储配套 Oracle 12c 数据库极致性能的证实解决方案，以典型配置与性能指标作为参考，降低安装配置的复杂度，并期望用户能够使用该证实解决方案，获取最高投资回报率。关键组件本文中描述的内容基于以下硬件和软件进行描述：华为 OceanStor V500R007C00 版本存储系统华为 OceanStor UltraPath for Linu

11、x V100R008C50 多路径软件Red Hat Enterprise Linux 7.2 操作系统Oracle Database 数据库软件Oracle RAC 集群软件TPCH 测试软件业务场景数据库业务通常分为两类：联机事务处理 OLTP（On-line Transaction Processing）和联机分析处理 OLAP（On-line Analytical Processing）。其中，OLTP 是传统的关系型数据库的主要应用，主要是基本、日常的事务处理，如证券交易、银行交易等；OLAP 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，提供直观易懂的查询结果给决策人

12、员，以便准确掌握企业的经营状况，从而制定正确的方案，如数据仓库系统。Oracle 数据库为当前最常用的数据库，也是存储设备的最重要应用场景之一，将Oracle 数据库 OLAP 应用部署在华为 OceanStor F V5 系列存储系统上，可以保障业务的可靠性，有效提升数据库查询分析的性能，为企业的发展做出正确的决策。负载模型本文采用类 TPC-H 基准的分析处理业务测试模型，它由一系列面向商务应用的查询和并行数据修改组成。TPC-H 是业界最著名的用来测试 OLAP 系统的测试基准，可以比较不同数据库系统之间的查询性能差别，测试结果已经成为评价 DBMS 和服务器的重要标准。基准中选择的查询

13、方式在商业上都具有广泛的代表性。本基准阐明了决策支持系统的三个方面：分析大量的数据执行高复杂度的查询回答关键的、经常需要回答的商业问题测试模型中共定义了 8 张表，记录项目、订单、供应商、客户等信息。执行负载测试包括加载、分析和更新操作。加载阶段使用 SQL*Loader 以外部表的方式加载一组文本文件到数据库中，分析阶段顺序执行 22 个复杂 SQL 查询分析语句，更新阶段从数据库中删除一组旧数据。从 I/O 层看，该业务模型为大 IO 多路顺序访问，读写比例为9:1，代表了一种典型 OLAP 应用业务模型。 2 华为技术与产品OceanStor F V5 产品介绍华为 OceanStor

14、F V5 全闪存存储（下文简称 F V5 系列存储）是面向企业级应用的新一代融合存储产品。凭借面向云架构的存储操作系统、强劲的新一代硬件平台和丰富的智能管理软件，F V5 系列存储在功能、性能、效率、可靠性和易用性上都达到业界领先水平，很好的满足了大型数据库 OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒资等行业。同时，F V5 系列存储能够提供高效、灵活、丰富的备份、容灾解决方案，有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。图2-1 华为 OceanStore V5 融合存储更多详细信息，请查看下面的链接： HYPERLI

15、NK /cn/products/cloud-computing-dc/storage/unified-storage/5300f-5500f-5600f-5800f-v5 OceanStor 5300F/5500F/5600F/5800F V5 全闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/6800f-v5 OceanStor 6800F V5 高端全闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage

16、/18500f-18800f-v5 OceanStor 18500F/18800F V5 高端全闪存存储系统OceanStor UltraPath 多路径软件UltraPath for Linux 软件是基于 Linux 内核开发的多路径软件。它安装在应用服务器上，主要用于控制应用服务器对存储设备的访问，实现应用服务器到存储设备之间的路径选择以及路径管理。UltraPath 软件能提高数据传输的可靠性，保障应用服务器与存储设备之间的路径安全性，为客户提供一个简单、快捷、高效的路径管理方案，确保应用服务器和存储系统的服务性能得以充分发挥，保护用户的投资。 3Oracle数据库介绍Oracle 数

17、据库是应用最为广泛的关系型数据库之一，自 1986 年发布版本 5 到现在，Oracle 一直引领关系型数据库的潮流，Oracle 数据库是与存储系统关系最为密切的应用。本章节对 Oracle 12c 做简要介绍，聚焦与多租户相关的组件和特性：RAC（Real Application Cluster）、ASM（Automatic Storage Management）、多租户、数据文件、实例架构、业务类型。Oracle RAC and ASM如下图所示，Oracle 12C RAC 包含若干个直接访问存储的服务器节点（称为 HubNodes）和若干个通过 Hub Nodes 间接访问存储的服务

18、器节点（Leaf Nodes）。在 OracleRAC 上部署数据库时，这些节点可以被分为多个 Server Pool，数据库部署于某一个Server Pool 上，在 Server Pool 的每一个节点上均运行一个数据库实例。应用服务器通过访问节点的 VIP（Virtual IP）来存取数据，当某个节点故障时，Oracle RAC 在其他的节点上创建故障节点的 VIP 网络，应用服务器通过重新连接机制重新访问数据库。在应用服务器上设置连接字符串，可以实现多种访问 Oracle RAC 节点的模式，包括负载均衡模式与故障切换模式，这样多节点的 Oracle 集群数据库对于应用服务器来说， 就

19、像是访问单一数据库。Oracle RAC Hub Nodes 的共享存储包含三部分：OCR（Oracle Cluster Registry）、VotingDisk、Database。其中 OCR 用于记录节点状态信息，Voting Disk 用于节点间同步，而Database 部分是由一系列的数据文件组成的。图3-1 Orcale 12C Flex ClusterOracle ASM（Automatic Storage Management）是随 Oracle 数据库 10g/11g 推出的，给数据库管理员提供了一个简单的存储管理界面用于跨平台管理服务器和存储。作为内置的文件系统和卷管理器，为

20、 Oracle 数据库文件所专用。ASM 简化文件系统管理，提供异步 I/O 性能优化，节省 DBA 的管理时间，提供弹性高效的数据库环境。ASM 可以将多个 LUN（Logical Unit Number）组合为磁盘组，通过 AU（Allocation Unit）在 LUN 上分配存储空间，ASM 磁盘组有三种类型：External：LUN 之间不进行数据镜像，由存储系统提供数据保护机制。Normal：由两个失效组组成，两个失效组之间进行数据镜像。High：由三个失效组组成，三个失效组之间的数据互为镜像。V5 存储系统上创建 ASM 磁盘组时，建议首先将磁盘组内的 LUN 平均分配到各引擎控

21、制器，再创建 External 或 Normal 格式的磁盘组。Oracle 12C 引入了一个全新的 Oracle ASM 部署模型 Oracle Flex ASM，通过它可提高数据库实例的可用性并降低 Oracle ASM 相关资源的占用。Oracle Flex ASM 简化了基于集群的数据库整合，当特定服务器上的 Oracle Flex ASM 实例出现故障时，能够确保运行在该服务器上的 Oracle Database 12c 实例继续运行。图3-2 Orcale 12C Flex ASMOracle RAC 主要有以下特点，这些特点对于高可用性数据管理来说极其重要：可靠性：Oracle

22、 数据库以其可靠性而著称。Oracle RAC 消除了数据库服务器单点故障问题，从而使可靠性更上一层楼。如果一个实例发生故障，服务器池中的其余实例仍将保持正常运行状态。Oracle Clusterware 监视所有 Oracle 进程，并能立即重启任何发生故障的组件。错误检测：Oracle Clusterware 自动监视 Oracle RAC 数据库和其他 Oracle 进程（Oracle ASM、实例、监听器等），并快速诊断环境中的问题。它还经常能在用户察觉到故障之前自动完成故障恢复。恢复能力：Oracle 数据库包含的许多特性有助于数据库轻松地从各类故障中恢复。如果 Oracle RAC

23、 数据库中的一个实例出现故障，服务器池中的另外一个实例将察觉到这一故障，随后自动进行故障恢复。利用快速应用程序通知 (FAN)、快速连接故障切换 (FCF)，尤其是利用 Oracle RAC 12c 应用程序连续性特性，可轻松地掩藏任何组件故障，使用户无法察觉。连续运行：Oracle RAC 可在计划和意外中断期间提供连续的服务。如果一个服务器（或实例）出现故障，数据库将保持运行，应用程序仍能继续访问数据，从而让业务关键型负载得以完成运行，而且多数情况下服务交付无延迟。Oracle 体系架构图3-3 Oracle 系统架构如上图所示数据库使用的内存包含两部分，SGA（System Global

24、 Area）和 PGA（Program Global Area），其中 SGA 用于存放系统信息和页面缓存，而 PGA 用于存放会话信息。SGA 主要包含如下几部分。Buffer Cache：用于缓存数据块Redo Log Buffer：用于缓存日志记录，是一个循环数组Share Pool：用于缓存数据字典、共享 SQL 信息等Oracle 的数据文件包含如下几种类型。Control File：记录数据库的结构、参数和其他数据文件的位置。Data File：存放用户数据和临时数据。Online Log：存放数据块更改记录，由若干个日志组组成，日志组内的文件互为镜像，某个日志组写满之后切换到下一

25、个日志组继续写入，最后一个日志组写满之后切换到第一个日志组。Archive Log：当数据库处于归档模式时，数据库将写满的日志组拷贝到归档区， 用于数据异常时恢复。Oracle 按照 LRU 算法对 Buffer Cache 中的旧数据进行淘汰，腾出空间供新的数据块使用。Buffer Cache 中被更改过得数据块称为脏数据，DBW（DB Writer）进程负责将脏数据写入数据文件。为保证数据完整性与可靠性，关系型数据库使用事务来表示一次原子操作。在处理事务的过程中，Oracle Server 进程将被更改的数据和发生更改的时间记录到 Log Buffer 中，当事务提交时，由 LGWR（Lo

26、g Writer）将 Log Buffer 中的日志记录数据同步到在线日志文件中。Log Buffer 是一个可被循环写入的内存区域，当 Log Buffer 空间占用超过 1/3 时，不管事务是否提交，LGWR 都会把日志记录同步到日志文件中。另外， Oracle 还会每 3 秒钟自动进行一次日志同步。默认情况下，Oracle 数据库每 30 分钟执行一次检查点，检查点发生时，CKPT（Checkpoint）进程将同步控制文件，并触发 DBW 将脏数据写入数据文件。Oracle 的在线日志分为若干组，每个日志组包含一个或多个日志文件，如果有多个日志文件，则这些文件之间互为镜像。Oracle

27、将日志顺序写入日志组，当最后一个日志组写满时，将切回到第一个日志组写入。发生日志组切换时，Oracle 将判断下一个日志组中记录的脏数据是否完全被写入到数据文件，如果没有，Oracle 将等待 DBW 将这些脏数据写入到数据文件之后，才会进行日志组切换。Oracle 处于归档模式时，由 ARC（Archive）进程将写满的日志拷贝到归档区，数据异常时，归档日志用来进行精确的数据恢复。Oracle 12c 引入了多租户架构，可以在一个 CDB（Container Database）里面，运行多个PDB（Pluggable Database）。下图显示了一个拥有 4 个容器的 CDB：root，种

28、子 PDB 以及两个 PDB（hrpdb 和 salespdb）。每个 PDB 拥有自己专有的应用，并且由它自己的 PDB 管理员进行管理。用户 SYS 可以管理 root 和每个 PDB。在物理层，CDB 拥有一个数据库实例和数据库文件。多租户特性为 Oracle 数据库带来了更好的可服务性。图3-4 Oracle 多租户架构OLAP 业务类型数据库业务大致上可以分为 OLTP（Online Transaction Processing）和 OLAP（Online Analytical Processing）两种应用类型：OLTP：大量在线用户进行事务操作，例如在线购物网站OLAP：很少量的

29、用户在线执行长时间复杂的统计查询OLAP 应用的负载特征如下：从数据库管理员角度看：无数据修改，或者只有非常少的数据修改系统调用非常复杂的查询语句，同时扫描非常多的行一个查询将花费数小时，甚至数天，主要取决于查询语句的复杂程度数据老化可以小时或者天来衡量查询的输出通常是一个统计值，使用 group by 跟 order by 得出的从存储采样看：单个 I/O 很大，典型的值为 64KB1MB读取操作为顺序读取当读取操作进行时，发生的写操作通常在临时表空间内平常对在线日志写入很少，除非在批量加载数据时 4 Oracle 规划配置最佳实践本章介绍基于华为 OceanStor F V5 存储系统，部

30、署 Oracle 12c RAC 数据库的推荐规划配置。包括组网、存储规划配置、主机设置、数据库设置等。SAN 组网Oracle 数据库往往承载着企业核心业务系统，为保证业务连续性，建议使用 OracleRAC 集群，组网应避免单点故障。如下图所示，SAN（Storage Area Network）组网中，使用两个物理上独立的交换平面（每个交换平面包括一个交换机或多个相互级联的交换机），每个数据库节点与两个交换平面相连，每个存储控制器和两个交换平面相连。图4-1 Oracle RAC 组网示意图理论上讲，Oracle RAC 之所以能够提高性能，是因为其提供了更多的系统资源如CPU、内存等，这

31、些资源在 OLTP 系统下通常更容易成为瓶颈，而 OLAP 系统下 IO 吞吐成为瓶颈的可能性更大，但 RAC 架构对 IO 系统来说并没有太多的性能提升。因此，高性能的单节点数据库模型也是很多 OLAP 系统的选择。图4-2 Oracle 单实例组网示意图划分 Zone 或 vLAN通过划分 Zone 或 vLAN，可以实现如下目的：在企业 IT 系统中，一台高端存储往往承载多个业务系统，通过划分 Zone 或vLAN，可以避免各业务系统相互影响。主机路径数过多，会增加系统管理的复杂度，也会增加运维过程中网络变更的难度，通过划分 Zone 或 vLAN，可以改善 IT 基础架构的灵活性。划分

32、 Zone 或 vLAN 的总体策略是保证双交换组网，即在每个交换平面上，每个数据库节点与每个存储控制器均有逻辑通道。建议按照下图方式划分，保证每个 Zone 或VLAN 仅为一个主机端口和一个存储端口的对应。图4-3 Zone 或 vLAN 的划分NODE1.P0 代表主机节点 1 上的第一个 FC 端口，以此类推。CTE0.L0.P0 代表存储第一个控制器第一张卡上的第一个端口，以此类推。存储配置在使用 OceanStor F V5 存储之前，建议首先分析清楚业务性能和容量需求，做好存储系统的硬盘数规划，降低运维风险。在引入 RAID2.0+技术之后，根据业务性能和容量需求评估硬盘数变得非

33、常困难，华为UniSTAR eDesigner 方案设计工具（ HYPERLINK /unistar/edesigner /unistar/edesigner）中，包含两款针对存储系统的评估工具，建议客户使用这两款工具为 Oracle 数据库规划硬盘数。产品能力评估：根据特定的存储配置，评估存储系统可提供的性能和容量存储配置向导：根据特定的业务需求，评估存储型号和硬盘配置硬盘域硬盘域（Disk Domain）即多个硬盘的组合，将硬盘整合并预留热备容量后统一向存储池提供存储资源。存储可以配置一个或多个硬盘域。一个硬盘域上可以创建多个存储池（Storage Pool）。不同硬盘域之间是完全隔离的，

34、包括故障域、性能和存储资源等。建议一个硬盘域的硬盘都在一个硬盘框内。存储池多租户硬盘域的热备容量比例与热备策略和硬盘的类型和数量相关，该比例关系由存储系统根据可靠性工程方法自动维护。若需要规划存储容量和性能，建议使用华为 UniSTAReDesigner 工具进行配置。热备策略的选择跟上层应用系统的类型有关。OLTP 业务类型，大量用户在线处理业务，I/O 多为随机小 I/O（4K/8K）,建议选择高热备策略。OLAP 业务类型，少量用户在线执行复杂的分析查询，I/O 为多路顺序大 I/O（上百 KB），写比例低，建议选择低热备策略。OceanStor F V5 系列存储系统的硬盘域可以包含多

35、达上千块硬盘，但基于性能和可靠性考虑，建议硬盘域每存储层的硬盘数不超过 100 个。存储池（Storage Pool），是存放存储空间资源的容器，创建于硬盘域内，可以从硬盘域上动态分配资源，并定义每个存储层级的“RAID 级别”。OceanStor F V5 系列存储支持 RAID6、RAID10、RAID5、RAID3、RAID50、RAID1六种 RAID 级别，最常用的 RAID 级别为 RAID6、RAID10、RAID5。建议按如下策略为Oracle 数据库配置 RAID 级别。核心数据库业务等可靠性要求高的场景，建议选择 RAID6。容量的重要性高于可靠性时，建议选择 RAID5。

36、如果 Oracle OLAP 数据库配置了“容量层”，强烈建议将容量层配置为 RAID6。对于 Oracle OLAP 数据库，往往容量的重要性高于可靠性，建议配置 RAID 5 级别，提供更合理的容量和性能。创建存储池时，允许设置容量分配比的告警阈值，默认是 80（百分比）。在使用 ThinLUN、快照、远程复制、克隆等增值业务时，容量告警尤其重要，用户可以根据业务数据量增长的速度设置合理的告警阈值，避免业务因为存储池容量不足而造成服务中断。分条是把连续的数据分割成相同大小的数据块，把每段数据分别写入到存储设备中的不同磁盘上，实现 I/O 在每块磁盘上负载均衡，提高读写能力。对于 Oracl

37、e OLAP 业务，由于业务类型为大数据块读，写数据发生的频率和数据量较小，建议设置较大的分条深度，如 512KB。多租户是存储系统的一种特性。使用多租户特性可以在一套物理存储系统中创建多个虚拟存储系统，让多个租户既能共享相同的存储硬件资源，又不影响相互的数据安全性和隐私。借助该租户特性，可以在多协议统一存储架构中实现更加灵活、更易于管理、部署成本更低的共享存储。建议启用多租户特性，在 Oracle 租户下创建 LUN。LUN为 Oracle 数据库创建 LUN 时，为了能使存储系统的性能达到最优状态，需要根据实际的数据存储情况，为 LUN 选择合适的 LUN 策略。主要参数的推荐配置策略如下

38、。归属控制器（owner_controller）：在数据库负载较高时，建议将 LUN 平均分配到多个控制器上，以保证控制器的负载均衡。预取策略（prefetch_policy）：提供 4 种预取策略（不预取、固定预取、可变预 取、智能预取）。对于 Oracle OLAP 数据库场景，其负载特征为多路顺序大 I/O， 建议并发量高时设置“不预取”，并发量低时设置“智能预取”。重删压缩（Deduplication and Compression）：使用 OceanStor F V5 存储时可以开启重删和压缩特性，通过删除重复数据并对数据进行压缩存储，减少数据的实际占用空间和数据写入次数。V5 默认

39、的重删粒度为 8KB，Oracle 数据库的每个 8KB 页面都包含具有唯一字段的标头，所以开启重删并不会减少数据的存储空间。建议只开启压缩，关闭重删。LUN 类型（lun_type）：提供“厚置备（Thick）”和“精简置备（Thin）”两种类型，建议用户根据性能和容量的重要性进行权衡，如果性能更为关键（如核心生产系统），建议设置为“Thick”，如果容量更为关键（如测试开发系统），建议设置为“Thin”。LUN 的容量和个数：与最多仅包含十几块硬盘的传统 RAID 组不同，基于RAID2.0+机制的存储池，LUN 会跨越硬盘域内的所有硬盘，而硬盘域内的硬盘数多达几十甚至上百个。为了使硬盘的

40、性能充分发挥，建议按如下策略配置 LUN 的个数和容量。硬盘域内 LUN 的总数：建议不小于“硬盘数432”。（4 是单个硬盘的合理并发数，32 是 LUN 的默认最高队列深度）。建议使用 8-16 个数据 LUN（存储Oracle 业务数据文件），4-8 个日志 LUN（存储 Oracle 归档日志文件），可满足最大 32TB 的容量的数据库。对于更大容量的数据库，请根据实际情况调整LUN 的数量。LUN 容量：满足上面条件的前提下，使用尽量大的 LUN，以简化管理开销。但需要注意，LUN 的最大容量还需考虑操作系统和 Oracle 数据库的限制，如Oracle 11g ASM 要求 LUN

41、 的容量小于 2TB。在 Oracle 12.1 及以上版本中，放宽了对 ASM 磁盘的限制，单盘最大可以达到 4PB。但是由于已知 Bug（6453944）的存在，导致实际上单盘大于 2T 时会报错。建议单个 LUN 的容量小于 2TB。映射视图映射视图定义了 LUN、阵列端口、主机端口之间的逻辑映射。创建映射视图，建议按如下策略。LUN 组是为了便于 LUN 资源管理而设计的一个对象。一般情况下，将同一种业务的 LUN 加入到一个 LUN 组内，如 Oracle RAC 的各数据区域。主机组是一组需要共享存储资源的“主机”，每个“主机”包含多个启动器（主机端口）。建议为每一个服务器创建一个

42、“主机”，将该服务器的所有启动器添加到该“主机”内。端口组可以更精细化的控制存储端口的分配。端口组不是必须的，但我们强烈建议您为 Oracle OLAP 业务分配端口组，以增加运维的灵活性，并降低业务之间的性能影响。为避免单点故障，一个端口组应至少包含来自于每个控制器的一个端口。主机配置队列深度对于 Oracle 数据库来说，I/O 队列深度是影响性能的重要参数。操作系统层存在两个参数影响到 I/O 队列深度：块设备队列深度和 HBA 卡队列深度。建议按照如下策略配置块设备队列深度和 HBA 卡队列深度。对于 Linux 操作系统，块设备最大队列深度为 128，华为不建议修改参数。而HBA 卡

43、的队列参数与卡类型和驱动程序相关，请参考 HBA 厂商给出的规格值， 如 Qlogic 8Gbps FC 双口 HBA 卡，限制每个 LUN 的最大队列深度为 32。华为不建议更改 HBA 卡最大队列深度参数，而建议采用增加 LUN 个数的方式提高整体I/O 队列深度。对于 AIX 操作系统，华为建议安装 UltraPath 多路径，而不建议使用系统多路径或第三方多路径。安装了华为 UltraPath 多路径，块设备最大队列深度被调整为 32， 华为不建议对该值进行修改。若不使用华为 UltraPath，系统默认块设备最大队列深度为 5，华为强烈建议将此值修改为 32 或更高。AIX 的 HB

44、A 卡最大队列深度默认值为 200，可根据实际业务需求进行调整。对于 Windows 操作系统，单个 LUN 的最大 I/O 队列深度同样取决于 HBA 卡厂商给出的规格值，华为不建议修改。对于其他操作系统，请参考操作系统用户手册进行调整。I/O 对齐在 Linux 操作系统中使用 MBR 格式创建分区时，会将磁盘的最开始 63 个扇区预留给主引导记录和分区表，第一个分区默认从第 64 扇区开始。这就造成了主机的数据块（数据库或文件系统）与存储数据块不对齐，造成 I/O 处理效率降低。在 Linux 系统中使用 MBR 格式创建分区时，建议进入 fdisk 命令的专家模式，设置首分区的开始位置

45、为 LUN 的第二个 Extent 的开始位置（Extent 大小默认是 4MB）。下面是一条快速命令，用于在/dev/sdb 上使用 MBR 格式创建 1 个分区，使用/dev/sdb 的全部空间，开始扇区设置为 8192，即 4MB。printf nnpn1nnnxnbn1n 8192nwn | fdisk /dev/sdb设置分区对齐的逐步操作命令如下：fdisk /dev/sdbn （创建新的分区）p （分区类型选择主分区）1 （设置改分区为第 1 个分区）（直接回车，设置分区的开始位置为默认开始扇区，即 63）（直接回车，设置分区的结束位置为默认最后一个扇区）x （进入专家模式）b

46、（设置分区开始位置）1 （设置第 1 个分区）8192（开始位置设置为 8192 扇区，即 4MB） w （写盘退出）在 Linux 系统中解决分区不对齐的另一种方法是采用 GPT 格式的分区。下面是一条快速命令，用于在/dev/sdb 上使用 GPT 格式创建 1 个分区，使用/dev/sdb 的全部空间， 开始扇区设置为 8192，即 4MB。parted -s - /dev/sdb mklabel gpt unit s mkpart primary 8192 -1 print块设备调度算法Linux 2.6 内核支持四种块设备调度算法：noop，anticipatory，deadline

47、 和 cfq。OLTP/OLAP 应用中对 I/O 延迟要求较为苛刻，对于传统硬盘，调度算法建议选择deadline，对于 SSD，建议选择 noop。在 RHEL6 以及之后的版本中，可以针对每块磁盘制定 I/O Scheduler，修改完毕立刻生效，命令如下。#查询当前调度算法rootnode1 doc# cat /sys/block/sdc/queue/scheduler noop deadline cfq#修改为 nooprootnode1 doc# echo noop /sys/block/sdc/queue/scheduler#查询修改后rootnode1 doc# cat /sy

48、s/block/sdc/queue/scheduler noop deadline cfq使用以上命令修改 I/O 调度算法，只是临时修改，系统重启后修改就会失效。永久修改默认的 I/O 调度算法，使用以下命令，系统重启后生效。rootora1 doc# grubby -default-kernel/boot/vmlinuz-3.10.0-327.el7.x86_64rootora1 doc# grubby -args=elevator=noop -update-kernel /boot/vmlinuz- 3.10.0-327.el7.x86_64rootora1 doc# grubby -i

49、nfo /boot/vmlinuz-3.10.0-327.el7.x86_64index=0kernel=/boot/vmlinuz-3.10.0-327.el7.x86_64args=ro rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet LANG=en_US.UTF-8 elevator=nooproot=/dev/mapper/rhel-root initrd=/boot/initramfs-3.10.0-327.el7.x86_64.imgtitle=Red Hat Enterprise Linux Server (3.10.0-32

50、7.el7.x86_64) 7.2 (Maipo)多路径设置强烈建议用户在使用华为 OceanStor F V5 系列存储系统时，选择华为 UltraPath 多路径，而不要使用系统自带多路径或者第三方多路径，这将带来未知的可靠性和可用性风险。关于 UltraPath 多路径的参数，华为经过严格的验证，给出了最为可靠的默认参数，一般情况不建议用户进行更改。除非您有特殊的可靠性需求，请参考华为 UltraPath 多路径手册对参数实施更改，但华为建议更改后进行严格的性能和可靠性测试（包括但不限于本文档配置示例章节展示的测试），保证系统能够长期稳定运行，并且能够快速从故障中恢复。绑定盘符在 Lin

51、ux 环境下配置 Oracle 数据库时，华为建议使用 UDEV 策略绑定设备编号UUID，以免后续维护过程中发生盘符改变造成数据库无法启动。查询 LUN 的 UUID及配置 UDEV 策略文件的脚本如下。# /lib/udev/scsi_id -g -u -d /dev/sdb 350014ee0594e108e# vi /etc/udev/rules.d/99-huawei-devices.rulesKERNEL=sd*1, SUBSYSTEM=block,PROGRAM=/sbin/scsi_id -g -u -d /dev/$parent, RESULT=350014ee0594e10

52、8e, SYMLINK+=GRID01,OWNER=grid, GROUP=asmadmin, MODE=0660配置 HugePageHugePage 提供了一个使用更大尺寸页面的方法，它会将 SGA lock（锁定）到物理内存，这样就无需进行 SGA 的系统页表查找。这对内存分配较高的系统尤为重要，因为这样能够消除与此类配置相关的管理开销。在 11gR1 和更高版本中，必须禁用 AMM 才能使用 HugePage。在所有的数据库节点上都需要配置。大页内存参数生效后会立即分配并占用，请务必计算并配置正确，若配置过大，会导致系统内存被全部占用，导致节点 OS 异常。配置 HugePage 详细

53、操作步骤如下。步骤 1 检查并确认当前环境中内存的大页尺寸是否为 2048 KB 即 2MB。rootnode1 # cat /proc/meminfo |grep Hugepagesize Hugepagesize:2048 kB步骤 2 计算 vm.nr_hugepages 的大小。vm.nr_hugepages 的大小为 sga_max_size + 2GB，sga_max_size 即分配给 SGA 的内存容量大小，计算公式为：vm.nr_hugepages = (sga_max_size + 2) * 1024 / 内存大页尺寸步骤 3 在/etc/sysctl.conf 最下面增加

54、一行。rootnode1 # vi /etc/sysctl.conf vm.nr_hugepages= 102400步骤 4 保存之后执行以下命令使参数生效，并确认配置是否生效。rootnode1 # sysctl -prootnode1 # sysctl -a |grep nr_hugepages vm.nr_hugepages = 102400vm.nr_hugepages_mempolicy = 102400结束Linux 2.6 内核默认开启 transparent hugepage，允许大页做动态的分配，而不是系统启动后就分配好，这导致了很多的问题，建议将其关闭。查看是否启用了 tr

55、ansparent hugepagerootnode1 # cat /sys/kernel/mm/transparent_hugepage/enabled always madvise never以上输出说明启用了 transparent hugepage。Redhat 7 系统可以通过以下命令来关闭transparent hugepage，系统重启后生效。rootnode1 # grubby -default-kernel/boot/vmlinuz-3.10.0-327.el7.x86_64rootnode1 # grubby -args=transparent_hugepage=never

56、 -update-kernel/boot/vmlinuz-3.10.0-327.el7.x86_64rootnode1 # grubby -info /boot/vmlinuz-3.10.0-327.el7.x86_64index=0kernel=/boot/vmlinuz-3.10.0-327.el7.x86_64args=ro crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet LANG=en_US.UTF-8 elevator=noop transparent_hugepage=never root=/d

57、ev/mapper/rhel-rootinitrd=/boot/initramfs-3.10.0-327.el7.x86_64.imgtitle=Red Hat Enterprise Linux Server (3.10.0-327.el7.x86_64) 7.2 (Maipo)数据库配置数据库参数数据库块大小Oracle 数据库块大小默认为 8KB，设置范围为 2KB32KB，用户可以根据应用需求进行更改。典型的 OLTP 应用中，数据库块大小通常选择默认的 8KB，但对于 OLAP 应用来讲，建议将数据库块大小设置成较大的数据块，可以有效提升应用的性能。数据库块大小可以查看“db_bloc

58、k_size”参数，需要在创建数据库时设置，数据库创建后不可以再进行更改。内存分配Oracle 数据库应用中，在保证系统正常运行的前提下，应该尽可能发挥内存的作用， 建议将 80%的物理主机内存分配给 Oracle 数据库使用。在 OLAP 应用中，由于存在大量的排序操作，当使用专用服务器（Dedicated server）连接时，排序操作发生在 PGA中，建议将分配给 Oracle 使用内存的 50%分配给 PGA，甚至可以分配更多以提高系统性能。假设 MEM 为主机的物理内存，将数据库实例参数“memory_target”和“memory_max_target” 设为 0，将“sga_ma

59、x_size”和“sga_target”设为 50%*MEM，“pga_aggregate_target”设为50%*MEM。并行操作Oracle 数据库 OLAP 应用中，存在大量的复杂查询分析语句，可能出现大量的全表扫描操作，如果主机为多核 CPU，使用并行操作可以明显提升查询性能，但使用并行查询后，会对主机的 CPU 资源有明显消耗。值得注意的是，最大的并行查询数量与表的并发数有关。假设主机 CPU 个数为 CPU_COUNT，每个 CPU 的核数为 PARALLEL_THREADS_PER_CPU,那么可以将 parallel_max_servers 设为 PARALLEL_THREA

60、DS_PER_CPU*CPU_COUNT*4*5，表示最大可执行“parallel_max_servers”并行操作；“parallel_min_servers”设置为 0“parallel_max_servers”之间的某个值，表示随数据库实例启动后运行的并行进程数。I/O 策略数据库采用文件系统方式进行部署时，I/O 策略可以选择同步 I/O、异步 I/O、直接 I/O和合并 I/O。为了获取更好的 I/O 效率，建议同时启用异步 I/O 和直接 I/O。在线日志数据库参数“filesystemio_option”可以设置为 ASYNCH、DIRECTIO、SETALL 和 NONE。其中