基于网络存储的高可用集群方案的设计与实现

1、基于网络存储的高可用集群方案的设计与实现湘潭大学信息工程学院 朱立谷摘要：本文介绍了网络存储技术，描述了SAN的拓扑结构，然后针对某企业数据中心的实际需求，设计一个高可用集群的SAN的存储结构，并详细描述了通过软硬件结合实现冗余数据路径和基于策略的应用故障切换的方法。关键词：网络存储 SAN NAS 高可用集群 数据路径Designing and Realizing a High Availability Solution Based on Networking Storage Ligu ZhuCollege of information engineering, Xiangtan Unive

2、rsity, Hunan Province 411105Abstract An introduction about the storage networking and the topology of SAN is given in this paper. And a high availability solution is designed for an IDC of a large enterprise. The solution is based on a topology of SAN with redundant devices, and the multi data path

3、Fail-over and the applications Fail-over based on policy are realized with integration of hardware and software.Key Words Network Storage NAS SAN High Availability Cluster Data path1 网络存储技术介绍网络存储是一种能够提供主机到存储系统灵活连接的解决方案。通过网络存储可实现“任一”主机和“任一”存储设备之间的连接，如图1所示。网络存储包括了网络和存储的精华，特别是灵活的网络寻址和远程传输能力、高效的I/O性能。服务

4、器服务器服务器存储网络存储系统存储系统存储系统 图1 网络存储基本连接图网络存储技术虽然几年前就在IBM E390大型机环境中实现（ESCON），但在开放系统服务器中还很新。由于网络存储能够提供非凡的扩展性和高数据可用性，它得到了迅速发展并获得广泛的应用。网络存储主要沿着两条技术路线发展：SAN和NAS。NAS（Network Attached Storage-网络连接存储）的模型源于网络文件服务器，NAS系统拥有一个专用的服务器，专门服务文件请求。大多数的NAS产品采用微核（Micro Kernel）操作系统。微核操作系统一般只有通信和存储功能。它不支持桌面或服务器系统的大多数功能。目前出现

5、了基于其他操作系统的NAS产品，其中基于Linux操作系统的NAS产品较多，它们卸除了Linux操作系统中的许多功能，以提供一个专门用于完成NAS功能的简单快捷的系统。SAN(Storage Area Network-存储区域网)是一种用于一个域多个主机连接到存储设备和子系统的专用网络。SAN的概念与光纤通道一直是紧密相连的，事实上，光纤通道导致了SAN的提出。光纤通道的主要传输协议是FCP（Fibre Channel Protocol-光纤通道协议）,它是SCSI I/O协议的串行转换。SAN将存储设备组合为网络的组成部分，使它成为计算机网络的对等体。网络存储将存储设备由以服务器为中心改为以

6、网络为中心的技术，放弃了使用多年的由系统对存储设备进行严密控制的结构。这种转变提出了很多尚未解决的问题，如何根据数据存储和访问的要求对存储网络进行设计和规划成为我们应用网络存储技术的一个重要课题。2 网络存储拓扑结构SAN有三种基本的网络拓扑结构：点到点连接、环状连接、交换式连接，见图2。光纤通道HUB服务器服务器光纤通道交换机服务器服务器服务器 存储设备 （a）点到点 （b）环状连接 （c）交换式连接图2 SAN的基本拓扑结构点到点连接是存储设备通过光纤直接连接主机上的光纤HBA（Host Bus Adapter-主机总线适配器），这是最简单的SAN，其连接距离可达10KM。环状连接采用FC

7、-AL协议（Fibre Channel Arbitrated Loop-光纤通道仲裁环），连接在一起的主机和存储设备组成一个逻辑环状结构，一个环最多可接126个节点（FL-Ports）,所有节点共享一条带宽为100MB/S的光纤通道。通过光纤通道集线器使环状连接易于实现和管理。第三种拓扑结构采用了FC-SW（Fibre Channel Switched Fabrics-光纤通道交换结构）,物理上通过光纤通道交换机将主机和存储设备连接在一起，任一主机和任一存储系统都可以形成点到点的连接，每个设备（主机）占用一个交换机端口，每个端口拥有100MB/S的完全带宽。这三种基本的拓扑结构来源于底层的光纤

8、通道技术，不同的拓扑结构给用户带来的好处是不一样的。SAN的主要应用有数据共享、远程容灾、数据备份、存储池和集群存储等。在建设实际的SAN时，必须搞清实际应用环境和用户的具体要求进行更为灵活的设计。3 用户需求分析和设计目标某大型企业的数据中心，它为整个企业的各个部门和分公司提供数据库服务。该中心拥有四台SUN E450，需要运行四个Oracle数据库供不同的部门使用。用户要求采用SAN的存储结构，组成一个高可用集群。由于用户很多，要求尽可能提升Oracle数据库的性能，有一定的扩展能力，并尽量降低预算。根据用户需求，我们确定了以下设计目标。表1 设计目标和平衡表 设计目标 平衡考虑因素 高可

9、用 设备冗余，高费用高性能高价设备，更多的设备扩展性高成本，对可用性的影响低成本减少可用性和性能保证高可用和高性能、扩展性，主要在于SAN的拓扑结构的设计；费用主要通过选用不同厂家的软、硬件产品组成的方案进行比较。最后实施的方案的各项目标均优的方案。4 SAN高可用方案的实现4.1 SAN的拓扑图我们设计SAN的拓扑结构见图2，所用的SAN设备列于表2中。Vixel 7100Vixel 7100SUN E450SUN E450SUN E450SUN E450SUN StorEdge T3 图3 SAN的高可用连接拓扑图从图可见，每台SUN E450到每台StorEdge T3连接着两条光纤通道

10、，连接光纤通道的路径的设备是：HBA 光纤交换机 磁盘阵列控制卡。这些设备任何一个失效，均会造成数据路径中断。由于本方案实现了设备的完全冗余，从主机到磁盘阵列有两条数据路径，即使一条数据路径中断，仍能保证有一条数据路径连接主机和磁盘阵列。这样，通过完全的硬件冗余，消除了单故障点。而Oracle数据库的应用冗余，则必须通过集群软件来实现。表2 SAN设备清单设备名（型号）数量 说 明HBA（Qlogic 2200） 8块每个SUN E45O上安装两块HBA，分别连接到不同的交换机的端口。光纤交换机（Vixel 7100） 2台每台交换机有8个端口，四个端口与四个主机相连，两个端口与两个磁盘阵列连

11、接，仍剩余两个端口用于以后扩展。磁盘阵列（SUN StorEdge T3） 2台双RAID控制卡，Cache同步镜像；每个RAID卡有一个FC-AL端口，一个卡失效可自动Fail-over到另一个卡；电源、风扇完全冗余；支持SCISI驱动器热插拔；支持RAID1、5，允许单个SCSI驱动器失效。4.2 软件高可用方案用户软件环境：操作系统为Solaris 8，数据库为Oracle 8.1.7。我们采用VERITAS Volume Manager with MDP(VxVM) 3.1，VERITAS File System (VxFS) 3.4，VERITAS Cluster Server (V

12、CS) 1.3来实现系统和数据库的高可用。具体实施方法：每个磁盘阵列通过VERITAS卷管理器（VxVM）创建2个RAID 5逻辑卷，通过VERITAS的文件系统（VxFS）在每个逻辑卷上建立文件系统。每台SUN E450上都安装有Oracle的系统软件，而在每个磁盘阵列的逻辑卷上创建一个Oracle实例。（本人已另撰文介绍Oracle多实例的高可用方案的实现）最后，通过VCS建立四个Oracle服务组，实现Oracle数据库在主机之间的手工和自动切换。4.2.1 VERITAS Volume Manager with MDP(VxVM)的作用VxVM主要功能是实现SAN存储设备的在线管理。在

13、本应用中，VxVM有两个作用：SAN的集中管理，VxVM可以在一台主机上实现对所有主机的磁盘设备进行管理。多数据路径管理，MDP（Multi Data Path）实现主机到磁盘阵列多个数据路径的管理：任何设备失效造成一条数据路径中断时，MDP自动将数据路径切换到另一条完好的光纤通道上，此时，应用（Oracle）不要重新启动。MDP还支持多数据路径的负载均衡，本应用的磁盘阵列不支持RAID卡的Active-active双工工作方式，无法实现负载均衡。VxVM还提供在线重新配置、任务监视、在线重新分配等功能，可大大提高SAN的可用性。4.2.2 VERITAS File System (VxFS)

14、的作用VxFS是一个性能卓越的日志式文件系统，其性能甚至优于裸设备。当文件系统遭到破坏时，VxFS可迅速得到恢复。VxFS支持文件系统在线调整，并支持大于2GB的文件。4.2.3 VERITAS Cluster Server (VCS) 的工作原理VCS系统软件是三层结构：LLT（Low Latency Transport-VERITAS自创的低延迟传输协议）为冗余的底层链路连接，提供可靠的数据报消息服务，在一条链路故障情况下，可通过另一条链路继续发送消息；GAB（Group Atomic Broadcast-组群原子广播）在集群节点之间提供独特的原子广播机制作为心跳检测，为服务器的故障监控提

15、供了强hadGABLLTVCS应用Kernel图4 VCS三层结构大的支持。Had（HA daemon process）为HA后台进程，负责VCS进程间的协调。对于Oracle等企业级应用通过代理程序（Agent）来进行管理，实现对应用检测，并将应用切换到不同的服务器上。VCS支持SAN的结构，可与VxVM无缝结合，支持SAN高可用结构。VCS最多支持32个节点的集群，具有灵活的资源组定义和配置手段，支持基于策略的切换等特点。在我们设计的高可用系统中，每个Oracle实例创建一个服务组，并建立了如下故障切换策略。 表3 Oracle服务组的切换策略实例名磁盘卷 切换策略ORC1 磁盘阵列1的第

16、一个卷服务器1 服务器3 服务器4ORC2 磁盘阵列1的第二个卷服务器2 服务器4 服务器1ORC3 磁盘阵列2的第一个卷服务器3 服务器1 服务器2ORC4磁盘阵列2的第二个卷服务器4 服务器2 服务器3正常情况下，每个服务器将启动一个Oracle实例，当一台服务器上的Oracle实例失效时，将按切换策略在下一个节点（服务器）上启动这个实例；如果Oracle实例在这个节点上启动失败，将在第三个节点上启动Oracle实例。本文所做的切换策略考虑了两个节点同时失败的情况，这时在两个正常的节点上每个节点运行两个Oracle实例。VCS能实现应用基于策略的、快速的切换，因此，保证了Oracle数据库高可用。5 结论高可用集群和网络存储都是非常复杂技术，我们必须深入了解网络存储设备互连的兼容性问题和高可用集群环境下的SAN的配置方法。否则方案的可行性都可能会出现问题；而确定设计目标进行多因素的平衡是发挥SAN的效应的关键。本文设计的用于高可用集群的SAN拓扑结构，充分利用了SAN灵活连接的能力，实现了从主机到磁盘阵列数据路径的冗余，在HBA、光纤交换机、磁盘阵列RAID控制卡中任一元件失败，造