在OracleEnterpriseLinux和iSCSI上构建您自己的OracleRAC集群讲诉

1、DBA：Linux 下载Oracle 数据库 11g 标签linux, rac, clustering, 全部在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 11g 集群 作者：Jeffrey Hunter 了解如何以低于 2,700 美元的费用在 Oracle Enterprise Linux 上安装并配置 Oracle RAC 11g 第 2 版开发集群。 本指南中的信息未经 Oracle 验证，且不受 Oracle 支持，您在使用时只能风险自负；本指南仅供教学使用。 2009 年 11 月更新目录1. 简介2. Oracle RA

2、C 11g 概述 3. 共享存储概述4. iSCSI 技术5. 硬件及成本6. 安装 Linux 操作系统7. 安装 Oracle RAC 所需的 Linux 程序包8. 网络配置9. 集群时间同步服务10. 安装 Openfiler11. 使用 Openfiler 配置 iSCSI 卷12. 在 Oracle RAC 节点上配置 iSCSI 卷13. 创建任务角色划分操作系统权限组、用户和目录14. 使用 X 终端登录远程系统15. 为 Oracle 配置 Linux 服务器16. 配置 RAC 节点以便可以使用 SSH 进行远程访问（可选）17. 适用于这两个 Oracle RAC 节点的

3、所有启动命令18. 安装并配置 ASMLib 2.019. 下载 Oracle RAC 11g 第 2 版软件 20. 集群的 Oracle Grid Infrastructure 的安装前任务21. 为集群安装 Oracle Grid Infrastructure22. 集群的 Oracle Grid Infrastructure 的安装后任务23. 为数据和快速恢复区创建 ASM 磁盘组24. 在 Oracle Real Application Clusters 中安装 Oracle Database 11g 25. 安装 Oracle Database 11g Examples（以前的随

4、附 CD） 26. 创建 Oracle 集群数据库27. 数据库创建后任务（可选）28. 创建/更改表空间29. 验证 Oracle Grid Infrastructure 和数据库配置30. 启动/停止集群31. 故障排除32. 总结33. 致谢本指南相关下载： Oracle Enterprise Linux 第 5 版 Update 4 （适用于 x86 和 x86_64） Oracle Database 11g 第 2 版、Grid Infrastructure 和 Examples (.0) （适用于 x86 和 x86_64） Openfiler 2.3 Respin

5、 (21-01-09) （ openfiler-2.3-x86-disc1.iso 或 openfiler-2.3-x86_64-disc1.iso） ASMLib 2.0 库 RHEL5 (2.0.4-1) （ oracleasmlib-2.0.4-1.el5.i386.rpm 或 oracleasmlib-2.0.4-1.el5.x86_64.rpm） 1. 简介 熟悉 Oracle Real Application Clusters (RAC) 11g 技术的最有效方法之一是访问一个实际的 Oracle RAC 11g 集群。没有什么方法比直接体验它们能够更好地理解其优势了，这些优势包括

6、容错、安全性、负载平衡和可伸缩性。遗憾的是，对于很多商家而言，典型的生产级 RAC 配置所需的硬件投入使它们无法实现这一目标。一个小型的只有两个节点的集群可能花费 10,000 美元至 20,000 美元以上，此花费甚至不包括 RAC 生产环境的核心 共享存储。大多数情况下，这会是一个存储区域网 (SAN)，起价通常为 10,000 美元。对于那些没有大笔现金但希望熟悉 Oracle RAC 11g 的人们而言，本指南提供了一种低成本的替代方法来配置 Oracle RAC 11g 第 2 版系统，它使用现成的商用组件和可下载的软件，估计成本在 2,200 美元到 2,700 美元之间。该系统将

7、由一个双节点集群组成，这两个节点均运行适用于 x86_64 的 Oracle Enterprise Linux (OEL) 第 5 版 Update 4、适用于 Linux x86_64 的 Oracle RAC 11g 第 2 版和 ASMLib 2.0。Oracle RAC 的所有共享磁盘存储将基于 iSCSI，iSCSI 使用在第三个节点（该节点在本文中称为网络存储服务器）上运行的 Openfiler 2.3 版 x86_64。尽管本文应与 Red Hat Enterprise Linux 一同使用，但 Oracle Enterprise Linux（免费提供）也可满足需要（即使不能更为

8、稳定），它包括 ASMLib 软件包（不包括 ASMLib 用户空间库，这个需要单独下载）。本指南仅供教学使用，因此安装很简单，仅用于演示想法和概念。例如，本文中共享的 Oracle 集群件文件（OCR 和表决文件）以及所有物理数据库文件将仅安装在一个物理磁盘上，而实际上应在多个物理驱动器上配置这些文件。另外，每个 Linux 节点仅配置两个网络接口 eth0 用于连接公共网络， eth1 用于 Oracle RAC 专用互连“和”连接网络存储服务器以便进行共享 iSCSI 访问。而在实现生产级 RAC 时，专用互连至少应是千兆位级（或以上）、有冗余路径，并且“仅”供 Oracle 用来传输

9、Cluster Manager 和 Cache Fusion 的相关数据。应在另一个冗余的千兆位网络上配置第三个专用网络接口（例如， eth2）以访问网络存储服务器 (Openfiler)。Oracle 文档尽管本指南提供了成功安装完整的 Oracle RAC 11g 系统的详细说明，但它绝不能替代 Oracle 官方文档（参见下面的列表）。除本指南外，用户还应参考以下 Oracle 文档，以便全面了解 Oracle RAC 11g 的其他配置选项、安装和管理。Oracle 的官方文档网站是 。 Oracle Grid Infrastructure 安装指南 适用于 Linux 的 11g 第

10、 2 版 (11.2) Clusterware 管理和部署指南 11g 第 2 版 (11.2) Oracle Real Application Clusters 安装指南 适用于 Linux 和 UNIX 的 11g 第 2 版 (11.2) Real Application Clusters 管理和部署指南 11g 第 2 版 (11.2) Oracle Database 两日速成和 Real Application Clusters 指南 11g 第 2 版 (11.2) Oracle 数据库存储管理员指南 11g 第 2 版 (11.2)网络存储服务器Openfiler 构建于 rPa

11、th Linux 之上，它是一个基于浏览器的免费网络存储管理实用程序，可在一个框架中提供基于文件的网络连接存储 (NAS) 和基于块的存储区域网 (SAN)。整个软件体系与许多开源应用程序（如 Apache、Samba、LVM2、ext3、Linux NFS 和 iSCSI Enterprise Target）相连接。Openfiler 将这些随处可见的技术组合到一个易于管理的小型管理解决方案中，该解决方案的前端是一个基于 Web 的功能强大的管理界面。Openfiler 支持 CIFS、NFS、HTTP/DAV 和 FTP，但是，我们将仅使用它的 iSCSI 功能为 Oracle RAC 1

12、1g 所需的共享存储组件实现低成本的 SAN。操作系统和 Openfiler 应用程序将安装在一个内置 SATA 磁盘上。另一个内置 73GB 15K SCSI 硬盘将被配置为一个“卷组”，用于满足所有共享磁盘存储需求。Openfiler 服务器将配置为使用该卷组进行基于 iSCSI 的存储，并且将在我们的 Oracle RAC 11g 配置中使用该服务器存储 Oracle Grid Infrastructure 和 Oracle RAC 数据库所需的共享文件。Oracle Grid Infrastructure 11g 第 2 版 (11.2) 在 Oracle Grid Infrastru

13、cture 11g 第 2 版 (11.2) 中，自动存储管理 (ASM) 和 Oracle Clusterware 软件一起打包到一个二进制版本中并安装到同一个主目录中，这个主目录称为 Grid Infrastructure 主目录。为了使用 Oracle RAC 11g 第 2 版，您必须安装 Grid Infrastructure。在安装程序的询问过程之后，会启动配置助手以配置 ASM 和 Oracle Clusterware。虽然这种组合的产品安装称为 Oracle Grid Infrastructure，但 Oracle Clusterware 和 Automatic Storage

14、 Manager 仍然是独立的产品。在集群中的两个节点上安装并配置 Oracle Grid Infrastructure 后，下一步将是在两个 Oracle RAC 节点上安装 Oracle RAC 软件。在本文中，我们在两个节点上使用可选的作业角色划分 配置来安装 Oracle Grid Infrastructure 和 RAC 软件。我们会为每个 Oracle 软件产品创建一个操作系统用户作为该产品的所有者 “grid”作为 Oracle Grid Infrastructure 的所有者，“oracle”作为 Oracle RAC 软件的所有者。在本文中， grid 的用户是我们创建作为

15、Oracle Grid Infrastructure 二进制文件所有者的用户。该用户将是 Oracle Clusterware 和 Oracle 自动存储管理二进制文件的所有者。而 oracle 的用户是我们创建作为 Oracle 数据库二进制文件 (Oracle RAC) 所有者的用户。这两个 Oracle 软件所有者必须以 Oracle Inventory 组 (oinstall) 作为其主组，这样每个 Oracle 软件安装所有者都有权写入中央清单 (oraInventory)，以便正确设置 OCR 和 Oracle Clusterware 资源的权限。Oracle RAC 软件所有者还

16、必须以 OSDBA 组和可选的 OSOPER 组作为其辅助组。自动存储管理和 Oracle Clusterware 文件如上所述，自动存储管理 (ASM) 现在已与 Oracle Clusterware 完全集成在 Oracle Grid Infrastructure 中。Oracle ASM 和 Oracle Database 11g 第 2 版提供了较以前版本更为增强的存储解决方案。该解决方案能够在 ASM 上存储 Oracle Clusterware 文件，即 Oracle 集群注册表 (OCR) 和表决文件（VF，又称为表决磁盘）。这一特性使 ASM 能够提供一个统一的存储解决方案，无

17、需使用第三方卷管理器或集群文件系统即可存储集群件和数据库的所有数据。和数据库文件一样，Oracle Clusterware 文件也存储在 ASM 磁盘组中，从而使用 ASM 磁盘组的冗余配置。例如，一个常规冗余 配置的 ASM 磁盘组将保存一个双向镜像的 OCR。磁盘组中一个磁盘出现故障不会妨碍对 OCR 的访问。就高冗余 配置的 ASM 磁盘组（三向镜像）而言，两个独立的磁盘出现故障不会影响对 OCR 的访问。而采用外部冗余 配置，Oracle 不提供任何保护。为了防止物理磁盘故障，Oracle 针对每个磁盘组只允许一个 OCR。在生产系统中配置 Oracle Clusterware 文件时

18、，Oracle 建议使用常规或高冗余配置的 ASM 磁盘组。如果在操作系统级或硬件级已存在磁盘镜像，您可以使用外部冗余配置。对表决文件的管理类似于 OCR。这些文件遵循 ASM 磁盘组的冗余配置，但是其管理方式不同于磁盘组中的常规 ASM 文件。每个表决磁盘放置在磁盘组的一个特定磁盘上。表决文件的磁盘及其在磁盘上的位置存储在 Oracle Clusterware 内部。下面的示例说明，在使用本指南安装 Oracle Grid Infrastructure 后 ASM 如何存储 Oracle Clusterware 文件。要查看 OCR，请使用 ASMCMD：gridracnode1 $ asm

19、cmdASMCMD ls -l +CRS/racnode-cluster/OCRFILEType Redund Striped Time Sys NameOCRFILE UNPROT COARSE NOV 22 12:00:00 Y REGISTRY.255.703024853 从以上示例可以看出，在列出 +CRS/racnode-cluster/OCRFILE 目录中的所有 ASM 文件后，只显示了 OCR (REGISTRY.255.703024853)。上面未列出表决文件，这是因为表决文件的管理方式不同于常规 ASM 文件。要找到 Oracle 集群件内表决文件的位置，使用如下的 crs

20、ctl query css votedisk 命令：gridracnode1 $ crsctl query css votedisk# STATE File Universal Id File Name Disk group- - - - - 1. ONLINE 4cbbd0de4c694f50bfd3857ebd8ad8c4 (ORCL:CRSVOL1) CRSLocated 1 voting disk(s). 如果您决定不使用 ASM 管理 OCR 和表决磁盘文件，Oracle Clusterware 仍然允许将这些文件存储在一个集群文件系统（如 Oracle Cluster File S

21、ystem 第 2 版 (OCFS2)）或 NFS 系统中。请注意，除非现有系统正在进行升级，否则不再支持在原始设备或块设备上安装 Oracle Clusterware 文件。此指南的以前版本使用 OCFS2 存储 OCR 和表决磁盘文件。本指南将在 ASM 上存储 OCR 和表决磁盘文件，具体是存储在一个名为 +CRS 的磁盘组中，该磁盘组使用外部冗余 配置，只有一个 OCR 位置和一个表决磁盘位置。ASM 磁盘组应在共享存储器上创建，大小至少为 2GB。Oracle 物理数据库文件（数据、联机重做日志、控制文件、存档重做日志）将安装在 ASM 上一个名为 +RACDB_DATA 的 ASM

22、 磁盘组中，而快速恢复区将在一个名为 +FRA 的 ASM 磁盘组上创建。两个 Oracle RAC 节点和网络存储服务器配置如下：节点节点名称实例名称数据库名称处理器RAM操作系统1 个双核 Intel Xeon，3.00 GHz4GBOEL 5.4 - (x86_64)racnode2racdb21 个双核 Intel Xeon，3.00 GHz4GBOEL 5.4 - (x86_64)openfiler12 个 Intel Xeon，3.00 GHz6GBOpenfiler 2.3 - (x86_64)网络配置节点

23、名称公共 IP 地址专用 IP 地址虚拟 IP 地址SCAN 名称SCAN IP 地址racnode1515151racnode-cluster-scan87racnode2525252openfiler19595Oracle 软件组件软件组件操作系统用户主组辅助组主目录Oracle 基目录/Oracle 主目录Grid Infrastructuregridoinstallasmadmin、asmd

24、ba、asmoper/home/grid/u01/app/grid /u01/app/11.2.0/gridOracle RACoracleoinstalldba、oper、asmdba/home/oracle/u01/app/oracle /u01/app/oracle/product/11.2.0/dbhome_1存储组件存储组件文件系统卷大小ASM 卷组名ASM 冗余Openfiler 卷名OCR/表决磁盘ASM2GB+CRSExternalracdb-crs1数据库文件ASM32GB+RACDB_DATAExternalracdb-data1快速恢复区ASM32GB+FRAExtern

25、alracdb-fra1本文仅作为绝对不可替代的文档。此处唯一的例外是供应商硬件的选择（即，计算机、网络设备和内置/外置硬盘驱动器）。确保您从供应商处购买的硬件在 Enterprise Linux 5 和 Openfiler 2.3（最终版本）上受支持。如果您要寻找一个基于 Oracle Enterprise Linux 5.3 和 iSCSI 利用 Oracle RAC 10g 第 2 版的示例，请单击此处。2. Oracle RAC 11g 概述 在介绍构建 RAC 集群的详细信息之前，首先阐明集群的定义将很有帮助。集群是一组两个或多个互连的计算机或服务器，对最终用户和应用程序来说，它们就

26、像是一台服务器，通常共享同一组物理磁盘。集群的主要优势在于提供了一个高可用的框架，在该框架中，一个节点（例如，运行一个 Oracle 实例的数据库服务器）出现故障不会中断整个应用程序。如果其中一个服务器出现故障，其他正常运行的（一个或多个）服务器可以接管故障服务器的负载，应用程序继续正常运行，就像什么都没有发生。实际上，集群计算机的概念在几十年前就出现了。第一个成功的集群产品由 DataPoint 在 1977 年开发完成，该产品名为 ARCnet。ARCnet 产品在实验室的学术环境中获得了很大成功，但未能真正投放到商业市场。直到 20 世纪 80 年代，Digital Equipment

27、Corporation (DEC) 才发布了针对 VAX/VMS 操作系统的 VAX 集群产品。随着针对 Digital VAX 集群产品的 Oracle 6 发布，Oracle 成为在数据库级别支持集群的第一个商业数据库。但是不久之后，Oracle 意识到还需要一个更高效、可伸缩性更强的分布式锁管理器 (DLM)，因为 VAX/VMS 集群产品中的锁管理器不太适合数据库应用程序。Oracle 决定为 VAX/VMS 集群产品设计并编写自己的 DLM，以提供数据库所需的细粒度块级锁定。Oracle 自己的 DLM 包含在 Oracle 6.2 中，这导致诞生了 Oracle Parallel

28、Server (OPS) 第一个运行并行服务器的数据库。OPS 在 Oracle 7 中得到了扩展，不仅支持 VAX/VMS 集群产品，还支持大多数 UNIX 环境。该框架不仅要求供应商提供的集群件运行良好，还要适用于复杂的环境，以设置并管理所涉及的多个给定层。在 Oracle 8 中，Oracle 引入了一个集成到 Oracle 内核中的通用锁管理器。在更高版本的 Oracle 中，这称为集成分布式锁管理器 (IDLM)，依赖于称为操作系统依赖 (OSD) 层的附加层。这个新模型为 Oracle 铺平了道路，使其不仅拥有自己的 DLM，还可以在未来版本中创建自己的集群件产品。随 Oracle

29、9i 一同推出的 Oracle Real Application Clusters (RAC) 是 Oracle Parallel Server 的后续版本。由于使用了相同的 IDLM，Oracle 9i 仍然可以依赖于外部集群件，但它是包含自己的集群件产品（称为 Cluster Ready Services (CRS)）的第一个版本。在 Oracle 9i 中，CRS 只能用于 Windows 和 Linux。到了 Oracle 10g 第 1 版，Oracle 的集群件产品可用于所有操作系统，成为了 Oracle RAC 所需的集群技术。随着 Oracle 数据库 10g 第 2 版 (1

30、0.2) 的发布，Cluster Ready Services 被重命名为 Oracle Clusterware。如果使用 Oracle 10g 或更高版本，Oracle Clusterware 是大多数运行 Oracle RAC 的平台所需的唯一集群件（不包括 Tru 集群，在这种情况下，您需要供应商集群件）。您仍然可以使用其他供应商的集群件（如果该集群件通过了认证），但是请记住，Oracle RAC 仍然需要 Oracle Clusterware，因为它与数据库软件完全集成。本指南使用 Oracle Clusterware，该集群件从 11g 第 2 版 (11.2) 开始就是 Oracl

31、e Grid Infrastructure 的一个组件了。与 OPS 一样，Oracle RAC 允许多个实例同时访问同一个数据库（存储）。通过允许系统进行扩展，RAC 提供了容错、负载平衡和性能优势。同时，由于所有实例都访问同一个数据库，因此一个节点出现故障不会导致无法访问数据库。Oracle RAC 的核心是共享磁盘子系统。集群中的每个实例都必须能够访问集群中所有其他实例的所有数据、重做日志文件、控制文件和参数文件。为了使所有实例都能访问数据库，数据磁盘必须全局可用。每个实例都有自己的、可在本地读写的重做日志文件和 UNDO 表空间。集群中的其他实例必须能够访问这些文件（只读），以便在系统

32、出现故障时恢复该实例。一个实例的重做日志文件只能由该实例自己写入，其他实例只能在系统故障期间读取该实例。另一方面，UNDO 可以在正常数据库操作（例如，CR 构建）期间随时读取。Oracle RAC 与 OPS 之间的最大区别在于使用了缓存融合技术。使用 OPS 时，从一个实例到另一个实例的数据请求需要首先将数据写到磁盘，然后请求实例才能读取该数据（获得必需的锁之后）。此过程称为磁盘 ping。而使用缓存融合，数据沿着使用复杂锁定算法的高速互连链路传递。并非所有数据库集群解决方案都使用共享存储。一些供应商使用联合集群 方法，在这种方法中，数据分布在多台计算机中，而不是由所有计算机共享。但是，对

33、于 Oracle RAC，多个实例使用一组相同的磁盘存储数据。Oracle 的集群方法利用了集群中所有节点的集体处理能力，同时提供了故障切换安全性。Dell、IBM 和 HP 等供应商提供了预先配置的面向生产环境的 Oracle RAC 解决方案。但是，本文将重点讨论如何使用 Linux 服务器和低成本的共享磁盘解决方案 iSCSI 整合您自己的 Oracle RAC 11g 环境以进行开发和测试。有关 Oracle RAC 的更多背景知识，请访问 OTN 上的 Oracle RAC 产品中心。3. 共享存储概述 现在，光纤通道是最流行的共享存储解决方案之一。前面曾提到过，光纤通道是一种高速串

34、行传输接口，用于在点到点 (FC-P2P)、仲裁环路 (FC-AL) 或交换式拓扑结构 (FC-SW) 中连接系统与存储设备。光纤通道支持的协议包括 SCSI 和 IP。光纤通道配置最多可支持 127 个节点，每个方向上最高可实现每秒 2.12 Gb 的吞吐量，预期可达 4.25 Gbps。但是，光纤通道的价格很昂贵。单是光纤通道交换机的起价就可能需要约 1,000 美元。这还不包括光纤通道存储阵列和高端驱动器，一个 36GB 驱动器的价格可达 300 美元左右。典型的光纤通道安装包括用于服务器的光纤通道卡。基本安装的费用为大约 10,000 美元，还不包括构成集群的服务器的成本。光纤通道的一

35、种较为便宜的替代方法是 SCSI。SCSI 技术提供了可接受的共享存储性能。但对于那些习惯了基于 GPL 的 Linux 价格的管理员和开发人员来说，即使是 SCSI（一个双节点集群的价格在 2,000 美元到 5,000 美元左右）也可能超出预算。另一种流行的解决方案是基于 NAS 的 Sun NFS（网络文件系统）。只有在您使用网络设备或类似的设备时，它才可以用于共享存储。具体来说就是，您需要拥有能够保证在 NFS 上进行直接 I/O、将 TCP 作为传输协议并且读/写块大小为 32K 的服务器。有关可用于 Oracle RAC 的受支持的网络连接存储 (NAS) 设备，请参见 Oracl

36、e Metalink 上的 Certify 页面。其中一个主要缺陷限制了使用 NFS 和 NAS 进行数据库存储的优势，即，性能降低和复杂的配置要求。标准的 NFS 客户端软件（使用操作系统提供的 NFS 驱动程序的客户端系统）没有针对 Oracle 数据库文件 I/O 访问模式进行优化。随着 Oracle 11g 的推出，一个称为 Direct NFS Client 的新特性将 NFS 客户端功能直接集成到 Oracle 软件中。通过该集成，Oracle 可以优化 Oracle 软件与 NFS 服务器之间的 I/O 路径，从而显著提高性能。Direct NFS Client 可以为数据库负载

37、简化（在许多情况下可以自动化）NFS 客户端配置的性能优化。要了解有关 Direct NFS Client 的更多信息，请参阅标题为“Oracle 数据库 11g Direct NFS Client ”的 Oracle 白皮书。本文将采用的共享存储基于 iSCSI 技术，使用网络存储服务器（随 Openfiler 安装）。该解决方案提供了一个低成本的光纤通道替代方案，只用于测试和教学目的。考虑到方案中使用低端硬件，不应将其用于生产环境。4. iSCSI 技术 多年以来，光纤通道存储区域网 (FC SAN) 是构建基于网络的存储解决方案所使用的唯一技术。基于以前的一组 ANSI 协议（称为光纤分

38、布式数据接口 (FDDI)），开发了光纤通道以在存储网络上移动 SCSI 命令。FC SAN 的优势包括提高了性能、磁盘利用率、可用性以及可伸缩性等，但最重要的是支持服务器集群！但是，FC SAN 现在仍受三个主要缺点的限制。首先是价格。尽管构建 FC SAN 的成本在近几年有所下降，但进入成本对于 IT 预算有限的小公司来说仍然是高的惊人。第二个缺点是硬件组件不兼容。采用 FC SAN 之后，许多产品制造商对光纤通道规范的解释各不相同，从而导致许多互连问题。如果从公共制造商购买光纤通道组件，这通常不是一个问题。第三个缺点是光纤通道网络不是以太网！它需要一种不同的网络技术，并要求数据中心人员具

39、备另外一组技能。随着千兆位以太网的普及以及对降低成本的需要，基于 iSCSI 的存储系统逐渐成为光纤通道的有力竞争对手。现在，iSCSI SAN 仍然是 FC SAN 的最大竞争者。2003 年 2 月 11 日，经过 Internet 工程任务组 (IETF) 的批准，Internet 小型计算机系统接口（一般称为 iSCSI）成为一个基于 Internet 协议 (IP) 的存储网络标准，用于建立和管理基于 IP 的存储设备、主机和客户端之间的连接。iSCSI 是 SCSI-3 规范框架中定义的数据传输协议，它与光纤通道的类似之处在于它也负责在存储网络上运送块级数据。块级通信意味着数据以“

40、块”的形式在主机和客户端之间传输。数据库服务器依赖此类通讯（而不是大多数 NAS 系统使用的文件级通讯）来工作。与 FC SAN 一样，iSCSI SAN 是一个专用于存储的单独物理网络，但其组件与典型 IP 网络 (LAN) 中的组件基本相同。尽管 iSCSI 拥有光明的前景，但早期的批评很快指出了其在性能方面的内在不足。iSCSI 的优势是能够利用大家熟悉的 IP 网络作为传输机制。但是，TCP/IP 协议非常复杂并且占用过多的 CPU 资源。而使用 iSCSI，大部分对数据进行的处理（TCP 和 iSCSI）都由软件执行，比完全通过硬件处理的光纤通道慢得多。将每个 SCSI 命令映射到等

41、价 iSCSI 事务所带来的开销过大。对许多公司来说，解决方案是取消 iSCSI 软件启动器，投资能够从服务器 CPU 中卸载 TCP/IP 和 iSCSI 处理的专用卡。这些专用卡有时称为 iSCSI 主机总线适配器 (HBA) 或 TCP 卸载引擎 (TOE) 卡。还要考虑到目前 10 Gb 以太网是主流！与其他新技术一样，iSCSI 具有一组自己的缩略语和术语。对于本文来说，用户只需要了解 iSCSI 启动器与 iSCSI 目标之间的区别即可。iSCSI 启动器从本质上说，iSCSI 启动器是一个客户端设备，它连接到服务器（在本例中是 iSCSI 目标）提供的某一服务，并发起对该服务的请

42、求。iSCSI 启动器软件需要安装在每个 Oracle RAC 节点（racnode1 和 racnode2）上。iSCSI 启动器可以用软件实现，也可以用硬件实现。软件 iSCSI 启动器可用于大部分主要操作系统平台。对于本文，我们将使用 iscsi-initiator-utils RPM 中提供的免费 Linux Open-iSCSI 软件驱动程序。iSCSI 软件启动器通常与标准网络接口卡 (NIC)（大多数情况下是千兆位以太网卡）配合使用。硬件启动器是一个 iSCSI HBA（或 TCP 卸载引擎 (TOE) 卡），它本质上只是一个专用以太网卡，其上的 SCSI ASIC 可以从系统

43、CPU 内卸载所有工作（TCP 和 SCSI 命令）。iSCSI HBA 可以从许多供应商处购买，包括 Adaptec、Alacritech、Intel 和 QLogic。iSCSI 目标iSCSI 目标是 iSCSI 网络的“服务器”组件。它通常是一个存储设备，包含您所需的信息并响应来自（一个或多个）启动器的请求。对于本文，节点 openfiler1 将是 iSCSI 目标。因此，根据有关 iSCSI 的所有这些讨论，是否意味着光纤通道很快就会消失？可能不会。多年以来，光纤通道凭借其极快的速度、灵活性和强健的可靠性，为自己的能力提供了有力的证明。对高性能存储、大型复杂连接以及任务关键可靠性有

44、严格要求的客户将毫不犹豫地继续选择光纤通道。在结束本节内容之前，我认为应该提供一个列表，对各种类型的磁盘接口和网络技术的速度进行一番比较。对于每种接口，我提供了以每秒千位 (kb)、千字节 (KB)、兆位 (Mb)、兆字节 (MB)、千兆位 (Gb) 以及千兆字节 (GB) 为单位的最大传输速率，较常用的以灰色突出显示。磁盘接口/网络/总线速度KbKBMbMBGbGB串行11514.3750.1150.014并行（标准）9201150.920.11510Base-T 以太网101.25IEEE 802.11b 无线 Wi-Fi（2.4 GHz 频带）111.375USB 1.1121.5并行

45、(ECP/EPP)243SCSI-1405IEEE 802.11g 无线 WLAN（2.4 GHz 频带）546.75SCSI-2（快速 SCSI/快速窄带 SCSI）8010100Base-T 以太网（高速以太网）10012.5ATA/100（并行）10012.5IDE133.616.7快速宽带 SCSI（宽带 SCSI）16020Ultra SCSI（SCSI-3 / Fast-20 / Ultra 窄带）16020Ultra IDE26433宽带 Ultra SCSI（快速宽带 20）32040Ultra2 SCSI32040FireWire 400 (IEEE1394a)40050US

46、B 2.048060宽带 Ultra2 SCSI64080Ultra3 SCSI64080FireWire 800 (IEEE1394b)800100千兆位以太网10001251PCI （33 MHz / 32 位）10641331.064串行 ATA I (SATA I)12001501.2宽带 Ultra3 SCSI12801601.28Ultra160 SCSI12801601.28PCI （33 MHz / 64 位）21282662.128PCI （66 MHz / 32 位）21282662.128AGP 1x （66 MHz / 32 位）21282662.128串行 ATA I

47、I (SATA II)24003002.4Ultra320 SCSI25603202.56FC-AL 光纤通道32004003.2PCI-Express x1 （双向）40005004PCI （66 MHz / 64 位）42565324.256AGP 2x （133 MHz / 32 位）42645334.264串行 ATA III (SATA III)48006004.8PCI-X （100 MHz / 64 位）64008006.4PCI-X （133 MHz / 64 位）10648.5121AGP 4x （266 MHz / 32 位）10668.528110G 以太网 (IEEE

48、802.3ae)1250101.25PCI-Express x4 （双向）2000162AGP 8x （533 MHz / 32 位）213317.0642.1PCI-Express x8 （双向）4000324PCI-Express x16 （双向）80006485. 硬件及成本 用于构建示例 Oracle RAC 11g 环境的硬件包括三个 Linux 服务器（两个 Oracle RAC 节点和一个网络存储服务器），以及可以在许多本地计算机商店或通过互联网购买到的组件。Oracle RAC 节点 1 (racnode1)Dell PowerEdge T100 双核 Intel(R) Xeo

49、n(R) E3110，3.0 GHz，6MB 缓存，1333MHz 4GB，DDR2，800MHz 160GB 7.2K RPM SATA 3Gbps 硬盘驱动器 集成显卡 (ATI ES1000) 集成千兆位以太网卡 (Broadcom(R) NetXtreme IITM 5722) 16x DVD 驱动器 无键盘、显示器或鼠标 （连接到 KVM 切换设备）450 美元1 个以太网 LAN 卡 用于 racnode2 与 Openfiler 网络存储的 RAC 互连。 Oracle RAC 的每个 Linux 服务器应该包含两个 NIC 适配器。Dell PowerEdge T100 包括一

50、个嵌入式 Broadcom(R) NetXtreme IITM 5722 千兆位以太网 NIC，该 NIC 将用于连接公共网络。另一个 NIC 适配器将用于专用网络（RAC 互连和 Openfiler 网络存储）。所选 NIC 适配器要与专用网络将使用的网络交换机的最大数据传输速度兼容。对于本文，我在专用网络中使用了千兆位以太网交换机（以及一个 1Gb 的以太网卡）。 千兆位以太网 Intel(R) PRO/1000 PT 服务器适配器 (EXPI9400PT)90 美元Oracle RAC 节点 2 (racnode2)Dell PowerEdge T100 双核 Intel(R) Xeon

51、(R) E3110，3.0 GHz，6MB 缓存，1333MHz 4GB，DDR2，800MHz 160GB 7.2K RPM SATA 3Gbps 硬盘驱动器 集成显卡 (ATI ES1000) 集成千兆位以太网卡 (Broadcom(R) NetXtreme IITM 5722) 16x DVD 驱动器 无键盘、显示器或鼠标 （连接到 KVM 切换设备）450 美元1 个以太网 LAN 卡 用于 racnode2 与 Openfiler 网络存储的 RAC 互连。 Oracle RAC 的每个 Linux 服务器应该包含两个 NIC 适配器。Dell PowerEdge T100 包括一个

52、嵌入式 Broadcom(R) NetXtreme IITM 5722 千兆位以太网 NIC，该 NIC 将用于连接公共网络。另一个 NIC 适配器将用于专用网络（RAC 互连和 Openfiler 网络存储）。所选 NIC 适配器要与专用网络将使用的网络交换机的最大数据传输速度兼容。对于本文，我在专用网络中使用了千兆位以太网交换机（以及一个 1Gb 的以太网卡）。 千兆位以太网 Intel(R) PRO/1000 PT 服务器适配器 (EXPI9400PT)90 美元网络存储服务器 (openfiler1)Dell PowerEdge 1800 双 3.0GHz Xeon/1MB 缓存/ 8

53、00FSB (SL7PE) 6GB ECC 内存 500GB SATA 内置硬盘 73GB 15K SCSI 内置硬盘 集成显卡 一个嵌入式 Intel 10/100/1000 千兆位 NIC 16x DVD 驱动器 无键盘、显示器或鼠标 （连接到 KVM 切换设备）注： 操作系统和 Openfiler 应用程序将安装在 500GB 内置 SATA 磁盘上。将配置另一个内置 73GB 15K SCSI 硬盘用于数据库存储。Openfiler 服务器将配置为使用另一个硬盘进行基于 iSCSI 的存储，并将在 Oracle RAC 11g 配置中用于存储 Oracle Clusterware 所需

54、的共享文件以及集群数据库文件。请注意，任何类型的硬盘（内置或外置），只要网络存储服务器 (Openfiler) 能够识别并且该硬盘具有足够的空间，都可用于数据库存储。例如，我已在 500GB 内置 SATA 磁盘上建立了一个额外的分区用于 iSCSI 目标，但决定在此例中使用速度更快的 SCSI 磁盘。800 美元1 个以太网 LAN 卡 用于专用网络上的网络存储。 网络存储服务器（Openfiler 服务器）应包含两个 NIC 适配器。Dell PowerEdge 1800 包含一个集成的 10/100/1000 以太网适配器，该适配器将用于连接公共网络。另一个 NIC 适配器将用于专用网络（Openfiler 网络存储）。所选 NIC 适配器要与专用网络将使用的网络交换机的最大数据传输速度兼容。对于本文，我在专用网络中使用了千兆位以太网交换机（