售后服务节点服务器群集及网络存储系统集成方案

1、（售后服务）节点服务器群集及网络存储系统集成方案梦年的企业咨询咸问经理经过实战验证可以落地执行的卓越萱理方案.值得您下誥拥有Z BI CC B C G05332A信息中心发布单位：中国核工业第五建设公司 AP1000施工总承包部版权声明：此文件内容属中国核工业第五建设公司所有，未经同意不得引用、复制、借阅或发表目录1. 说明32. 需求分析和选型原则32.1需求分析32.2选型原则43.2节点服务器群集介绍54. 服务器群集方法比较55. 网络存储系统技术介绍65.1网络存储技术分类65.2网络存储方式对比76. 网络存储技术方案整合86.1NAS+SAN 方案 86.2NAS+SAN融合构架

2、97. 网络存储安全108. 存储方案总结118.1相同点118.2不同点119. 总承包部网络存储部署方案 119.1总包部存储及服务器使用情况 119.2部署方案选择149.3产品的选型1410存储系统划分15 ll.Oracle数据库集群部署1611.1Oracle群集系统的介绍1611.2Windows 平台下 Oracle 集群的安装步骤 181. 说明随着总包部信息系统的深入应用，信息系统内的服务器担负着总包部的关键 应用，存储着重要的信息和数据，为总包部领导及决策部门提供综合信息查询服 务，因此，建立可靠的网络群集存储系统，保护关键应用的数据安全是重中之重， 本方案是根据AP10

3、00三门核电项目信息系统的特点而编制的，于总包部现有计算机网络平台的基础上，构建壹套群集存储系统，保证数据的完整性，避免数据 不会破坏和丢失。2. 需求分析和选型原则2.1需求分析随着总承包部业务数据的增加和应用对数据的依赖性的增强，数据的有效汇 集、集中管理、综合分析以及容灾备份等处理要求日益提高，总承包部存储系统 应具备以下的需求：数据集中化数据存储和管理集中化这种模式有利于总包部各项业务间的联动处理，且且 有利于实现分级授权，加强控制和监督，提高总包部集约化管理水平；业务综合化业务综合处理就是将各种业务紧密结合起来成为壹个整体，使得各系统之 间、部门之间信息共享，以消除总包部信息孤岛现象

4、，为数据挖掘和决策分析奠 定坚实基础；数据安全性存储系统作为数据高度集中的系统，数据的安全是第壹位的，必须从网络、 操作系统、数据库、存储设备等方面建立起壹套严密的保障措施，保证总包部、 用户和业务数据的100%可用；高可靠性和高可用性存储系统的数据备份是保证数据高可靠、高可用的基本手段，于本地及异地建 立和业务系统相同的备份系统，或将各种系统的数据进行实时备份，将大大提高 数据资源的可靠性；效率和成本总包部目前的数据由于比较分散，管理和备份均相当的难度，容易造成损坏或 丢失，安全性很低，新部署的存储系统，数据需高度集中，管理和备份均非常方 便，能够提高了工作效率同时也能够降低系统成本；兼容性

5、和可扩展性由于总包部工作的进壹步开展和扩大， 数据量会迅速的增加，存储系统的可 扩展性尤为重要，良好的扩展性能够保证系统的连续性；数据备份存储系统正式运行后，数据及应用系统均迫切需要行之有效的数据安全保护 措施，于此情况下，必须采取有效的数据备份手段，确保网络系统、应用系统的 高度安全，建立自动化、跨平台网络备份管理系统有利于以后系统管理要求； 2.2选型原则先进性群集及网络存储集成系统采用的技术必须是先进而成熟的；当下计算机 技术的发展日新月异，要保护总包部的投资就必须采用先进的技术，且且这 种技术和产品必须被业界公认为成熟且有发展前途的；实用性建设群集及网络存储集成系统的目的是要解决总包部

6、数据信息的共享 和交换，提供现代化的管理，因此，部署存储系统的出发点就是要满足用户 的信息要求；经济性于进行设备选择时不但要考虑采用技术的先进、可靠，而且仍必须考虑 总包部的经济负担。因此，群集及网络存储集成系统方案必须具备很高的性 价比；高可管理性和高可靠性由于总包部整个信息系统的数据采取集中式的存储策略，所以群集及网 络存储集成系统必须具备很高的可管理性，另外，计算机网络系统的外部环 境是多变的，存储方案必须能够很方便地进行调整，以满足外部环境的变化； 高可扩充性和升级能力群集及网络存储集成系统方案必须能够适应总包部网络系统发展的需 要，具备高可扩充性和升级能力，存储系统必须是能够扩充的，

7、必须具备较 高的扩展能力，而且随着计算机技术的发展能够对存储局域网络进行升级；开放性和标准化群集及网络存储集成系统中所采用的技术和选用的产品均必须是目前业界公认的主流，而且必须满足开放性的要求。3. 2节点服务器群集介绍2节点服务器群集是通过俩台服务器共享壹个外部的磁盘存储设备，所有要 求高可用的数据和应用程序代码存储于共享的设备中，俩台服务器分别对磁盘存 储设备具有访问权，当壹个服务器发生失效的时候，另外壹个服务器仍然能够对 共享存储设备中的数据进行访问，客户端网络的访问，能够由这台服务器继续维 持。4. 服务器群集方法比较5. 网络存储系统技术介绍众所周知，目前主流存储应用的体系结构主要有

8、 DAS、NAS和SAN三种模 式，三种模式从体系架构的逻辑上见，有明显的区别，根据总包部实际情况，本 方案必须符合性能、安全性、扩展性、易用性、整体拥有成本、服务等要求。5.1网络存储技术分类5.1.1 DASDAS是大型服务器采用的主要存储方式，是指将外置存储设备通过连接电 缆，直接连接到壹台或多台服务器上，采用直接外挂存储方案的服务器结构如同 PC机架构，外部数据存储设备采用 SCSI技术，直接挂接于内部总线上的方式， 数据存储是整个服务器结构的壹部分，于这种情况下往往是数据和操作系统均未 分离，DAS这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需 求，且且单台外置存储系统

9、的容量，已经从不到1TB，发展到了 2TB，随着大容量硬盘的推出，单台外置存储系统容量仍会上升，此外，DAS仍能够构成基于磁 盘阵列的双机高可用系统，满足数据存储对高可用的要求，从目前发展趋势上见， DAS仍然会作为壹种存储模式，继续得到应用。5.1.2 NASNAS设备主要用来实当下不同操作系统平台下的文件共享应用，和传统的服 务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采 用NAS能够节省壹定的设备管理和维护费用，NAS设备提供RJ-45接口和单独 的IP地址，能够将其直接挂接于主干网的交换机或其它局域网的桌面交换机上， 通过简单的设置就能够于网络即插即用地使用N

10、AS设备，而且进行网络数据于线扩容时也无需停顿，从而保证数据流畅存储。5.1.3 SANSAN的支撑技术是光纤通道技术，光纤通道是ANSI为网络和通道I/O接口 建立的壹个标准集成，支持 HIPPI、IPI、SCSI、IP、ATM 等多种高级协议，它 的最大特性是将网络和设备的通讯协议和传输物理介质隔离开，这样多种协议可 于同壹个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口，使得系统的成本和复杂程度大大降低，光纤通道支持多种拓扑结构。5.2网络存储方式对比5.2.1 NAS1）特点NAS可理解为是壹整套的网络存储服务器产品，它和客户之间通过NFS和CIFS协议通信，网络中多个不同

11、操作系统的应用服务器均支持这俩个协 议，于服务器集群系统尤其显得重要，能够实现不同操作系统之间文件共享， 即异构平台实现文件共享；2）缺点单壹连入网络容易单点失败，壹旦出错，系统将无法访问数据；扩张性能方面，NAS不保证服务持续，添加新的磁盘将引起服务中 断；NAS是提供文件级的访问，经过TCP/IP打包才能传输数据，打包 解包影响传输速度；NAS的备份和恢复相当困难，备份时间依数据量而定，容易使网络 饱和；因此NAS不能满足事务处理。522 SAN1）特点SAN可理解为壹个专用网络，能够把壹个或多个系统连接到存储设备和 子系统，是负责存储传输的“后端”网络，而“前端”网络（即数据网络） 负责

12、正常的数据传输，SAN主要通过FibreChannel连接，于光纤协议上映 射SCSImingling，实现块级数据访问，能够实现高可用性、高扩张性、集 中存储、较小备份周期等。2）缺点只实现设备及共享，各个客户端的存储空间是分离的；通过FibreChannel实现连接，设备价格高昂，SAN的实现需要相当 高的费用；同时网络维护也需要相当的开销；6. 网络存储技术方案整合6.1 NAS+SAN 方案NAS+SAN网络存储方案适合于大型企业存储，将俩种方式进行融合，根据 总包部实际需要进行选择组合，即能够使用以 NAS为主、SAN为辅，也能够使 用SAN为主、NAS为辅；6.1.1 NAS为主、

13、SAN为辅NAS为主的整合方法是将NAS中的操作系统和存储服务器分开，通过SAN 连接操作系统和存储资源，对外通过 NFS和CIFS协议提供基于文件级的数据访 问，同时仍能够通过ISCSI协议提供对基于块数据级访问。网络能够利用 SAN 来统壹管理存储资源，且进行高效备份和远程容灾，仍能够通过存储服务器，对 外提供异构平台数据共享，不过通过存储器访问存储资源，会有壹定开销，拓朴 图如下：6.1.2 SAN为主、NAS为辅SAN为主、NAS为辅的方法是将应用服务器中文件系统功能剥离出来，集 中到元数据服务器，对外通过直接提供和SAN相连，且通过存储服务器实现块级数据的访问，对于访问文件级数据而言

14、，需要通过元数据服务器访问SAN，对元数据服务器会产生而外开销，拓朴图如下：6.2 NAS+SAN融合构架存储服务器为NAS服务器，其他服务器除了和以太网连接外，仍和 SAN直 接连接，即解决了 NAS单点失败问题，也解决了 SAN块级数据访问问题。此方 案能够满足上述2个系统的存储需求，又有较高的I/O速度，实现数据备份和远 程容灾，提供较高可靠性，因此，此方案适合很多大中型企业，不仅可应用于关 键业务，也能够实现文件级和块级数据访问，部署结构图如下：7. 网络存储安全存储安全实质上是指系统中的数据受到保护，不受偶然的或者恶意的原因而 遭到破坏、更改、泄露，系统可连续可靠正常地运行；因此，于

15、网络存储选型时 必须考虑其安全性且保证符合以下要求：保密性：存储信息不泄露给非授权用户、实体或过程；完整性：数据未经授权不能进行改变的特性；即信息于存储或传输过程 中保持不被恶意修改、破坏和丢失；可用性：可被授权实体访问且按需求使用的特性，即当需要时能否存取 所需的信息；可控性：对存储信息及内容具有控制能力。8. 存储方案总结NAS、SAN和传统网络存储技术相比而言，无论是从网络传输带宽、数据共 享性仍是从存储容量的可扩充性、数据的壹体化和安全性等方面来说，其优越性 是不言而喻的，所以，我们于选择存储方案时，实际上也是就对NAS和SAN的择择了，能够说，NAS和SAN各有其长短之处，于实际应用

16、中也各有不同之处， 对于经济实力不足,有传统以太网络，且急需扩充存储空间的用户，NAS无疑是 壹种便宜、快速的方案，而对于拥有强大经济后盾，对网络性能要求较高及未来 发展势头强劲的用户，则应该选择 SAN或者选择NAS+SAN模式；8.1相同点NAS和SAN也有许多共同的特点，它们均提供集中化的数据存储和整合优 化，均能有效的存取文件，均允许于众多的主机间共享且支持多种操作系统，均 允许从应用服务器上分离存储。而且，它们均提供数据的高可用性，均能通过冗余部件和RAID保证数据的完整性；8.2不同点实施和维护的难易程度不同；二者的设备管理难易成度不同；9. 总承包部网络存储部署方案9.1总包部存

17、储及服务器使用情况总包部原有2台IBMNETFinity7000 服务器、壹台磁盘阵列和壹台磁带机， 磁盘阵列和服务器仅用于数据库群集使用，目前，由于设备老化原因，已经按照 正常程序报废，目前总包部的存储方式采用不同服务器之间进行数据互为备份， 由于数据比较分散等原因，管理和备份均相当的难度，容易造成损坏或丢失，安 全性很低，因此，随着总包部数据量的不断增加，急需扩展存储容量.9.1.1服务器目前使用情况9.1.2服务器资源整合9.2部署方案选择从系统的兼容性、稳定性和可靠性角度出发，且且考虑保护项目部已有的投资， 经过市场调研和信息中心分析，认为选择基于 SAN架构的数据存储方案能够满 足要

18、求；本方案中使用光纤通道交换机、本地磁盘阵列、备份磁带库及远程容灾磁盘 阵列组成SAN系统，为不同平台的操作系统和磁盘系统提供支持，为容灾备份 提供无缝支持，且且能够将当下已有的投资和长期的存储解决方案结合起来，建 立壹个可扩展、易管理、能够灵活地适应不可预见的存储需要的网络存储环境。9.3产品的选型10. 存储系统划分11. Oracle数据库集群部署11.1 Oracle群集系统的介绍11.1.1 Oracle集群体系统结构Oracle集群实际是使用2台或多台服务器访问同壹 Oracle数据库，这样壹 方面能够避免壹台服务器务器出现故障时数据库不能正常使用数据库，同时也能够进行且行运算或负

19、载均衡。从软件组件上讲，oracle集群由2台或2台之上服 务器组成，每台服务器有自已的临听器，用于临听自已的网络端口，每台服务器 有自已的OracleRAC服务，用于数据库的集群访问；每台服务器有自已的集群 就绪服务，用于集群管理；所有的服务器通过自已的操作系统访问壹个共享的存 储设备，共享存储设备的存储设备的存储机制可使用裸设备（Raw），集群文件系统（OCFS），自动存储管理（ASM）或网络区域存储（NAS ），当客户端访问时， 由上而下依次调用相应的软件。11.1.2群集部署软件的组成要安装Oracle集群，至少需要俩个软件，分别为：Oracle数据库软件和OracleClusterW

20、are ;从逻辑结绝上讲，集群中的每台服务器有壹个实例，每台 服务器上的实例均对应到同壹个数据库，详情如下图所示：从上图中能够见出，于集群中有俩台服务器，每台服务器个实例均访问同壹个数据库，数据库存储于共享磁盘上，关于有壹个实便，每Oracle软件，即Oracle集群的存储选项11.1.31）软件和空间说明项目最少地磁盘盘间ClusterWare 软件RAC集群软Oracle软件OCR（Oracle集群注册）Oracle数据库软件Voti ngDisk数据记!录信群集存储集群配J数据库软件100M匕、200M1.5GRAC数据库存储所有数据库文件根据数据量来确定恢复文件(RecoveryFil

21、e)用于快速恢复数据3G能够存储于本地磁盘上，也能够存储于共享磁盘上，关键取决于安时选择的存储 机制。2） Oracle集群的存储机制序号项目存储系统存储位置备注1ClusterWare 软件NTFS本地磁盘2Voti ngDiskOCFS、Rawdevice共享磁盘3OCR（Oracle集群注册）OCFS、Rawdevice共享磁盘4Oracle数据库软件OCFS（共享）、NTFS （本地）本地磁盘或共享磁盘5RAC数据库OCFS、ASM、Rawdevice共享磁盘6恢复文件（RecoveryFile）OCFS、ASM共享磁盘3）存储机制的选择从下表能够见出，要想使用单壹文件系统，必须使用O

22、CFS文件系统，可是，由于oracle提供了非常方便的存储管理系统 ASM，因此，此方案中 我们采用OCFS来存储Clusterware的数据和oracle数据库软件，使用ASM 来存放数据库文件。骨口. 序号存储选项支持的文件类型备注Clusterware数据库恢复文件1ASM否是是2OCFS是是是3RawDevice是是否11.2 Windows 平台下Oracle集群的安装步骤11.2.1安装前的准备工作1）系统要求骨口. 序号项目要求备注1体系结构32位2操作系统wi ndowsserver2003+SP23内存2G4网络协议TCP/IP5网络适配器2*NIC6浏览器IE6.0之上2）

23、网络规划骨口. 序号主机名类型IP地址注册位置备注1RAC01.Sa nmen .Local公共172.23.0.21DNS2RAC02.Sa nmen .Local公共172.23.0.22DNS3VIP01.Sa nemn. local虚拟172.23.0.1DNS4VIP02.Sa nmen .local虚拟172.23.0.2DNS5Node1专用10.1.1.1主机文件6NOde2专用10.1.1.2主机文件3）数据存储策略序号项目存储系统存储位置备注1ClusterWare 软件NTFS本地磁盘2Voti ngDiskOCFS共享磁盘3OCR（Oracle集群注册）OCFS共享磁盘

24、4Oracle数据库软件OCFS共享磁盘5RAC数据库OCFS共享磁盘6恢复文件(RecoveryFile)OCFS共享磁盘11.2.2安装集群就绪软件1）关闭磁盘写缓存于安装集群就绪软件之前，需要分别于俩节点上关闭磁盘写缓存，方法为， 打开windows磁盘管理器，于共享磁盘上点右键，选择“属性”于“属性” 对话框中，选择“策略”标签，于策略标签中将“启用磁盘上的写入缓存” 复选框去掉。2）开启windows2003 磁盘自动加载功能由于此方案使用的系统是 windows2003 ，存储策略选择了 OCFS, ASM等 存储系统，因此必须开启磁盘自动加载功能，于 Win dows2003 中

25、开启自动加载功能，使 用diskpart工具即可，首先于 windows2003 的命令行运行diskpart命令，然 后于diskpart 的提示符下运行automountenable 命令即可，完成后运行 exit命令退出diskpart工具。3）创建磁盘分区根据磁盘分配规划，于节点1上创建磁盘分区，且且于创建分区时不要 分配盘符，也不要格式化。4）设置网络根据10.2.1中的第2点，于节点1和节点2上，将本地连接重名为Public, 本地连接2重命名为pvivate，注意，配置完之后，再使用ipconfig查见网 络设置时，要确保public被列于第壹个。5）主机名称解析由于主机名，除N

26、ODE1、NODE2夕卜，其他均通过DNS服务器来解析， 因此，我们只需要于Hosts文中解析用于内部通信的主机名，方法为，分别 编辑节点 1 和节点 2 上的 C:windowssystem32driversetchosts文件,于文件内输入如下内容：1O.1.1.1NODE11O.1.1.2NODE26）重新启动节点为了确保配置生效，需要对俩节点进行重新启动，启动节点后，检查每 个节眯的磁盘管理，确保于每个节点上没有给共享磁盘的分区分配盘符，如 有发现某节点给共享磁盘的分区他配了盘符，删除盘符分配，且重新启动该 节点。7）开始安装于其中壹个节点上执行安装程序 setup，进入Cluster

27、ware的安装界面， 点击“下壹步”继续。8）设置安装目录指定OracleHome的名称和安装的目录位置，因为 CRS为集群就绪软 件，于集群起来之前，每个节点必须要启动该软件，所以只能将其安装于各 个节点的本地磁盘上。9）安装条件检测安装程序会自动进行安装条件检测，如果没有方案错误，则点击“下壹 步”继续，如果方案错误，根根错误提示作相应的设置。10）指定集群配置指定集群名称及集群节点的关联信息，关联配置参见10.2.1中的第2点；11）指定网络接口用途于确保设置了公用IP （用于外部通讯）的网络接口类型是公用的，设置 了私网IP （用于内部通讯）的网络接口的类型为专用的，如果有错，于确定

28、配置正确的前提下能够点击“编辑”进行手工修改，完成后点击“下壹步” 继续。12）配置存储选项于存储选项配置中，列出了可用的磁盘分区，根据磁盘分配方案选中关联的分区，点击“编辑”将出现指定的磁盘配置对话框，分别选择：“用CFS 来格式化分区”，“将分区用于存储软件”，且为该分区指定壹个于俩个节 上均能使用的盘符，然后点击“确定”确认配置，依次选择第二分区，根据 用途对磁盘进行相应的处理，完成磁盘配置后，点击“下壹步”继续，此时 会出现壹些警告信息，提示是否需要对 OCR和表决盘做冗余。13）开始安装软件出现安装概要后，查见各项概要是否符合要求，点击“安装”开始安装软件，此时，请耐心等待安装过程，

29、安装完成后点击“退出”程序。11.2.3安装Oracle数据库软件1）执行安装程序将数据库光盘插入光驱中或将oracle源程序复制到服务器中，然后执行 SETUP.EXE程序，待出现安装界面后，点击“下壹步”继续。2）选择安装类型于安装类型择时，选择“企业版”。3）选择软件的安装位置由于本方案采用OCFS存储系统，于创建OCFS时，将软件安装于已规 划好的共享盘符中。4）选择安装模式于安装模式中，选择集群安半，且选中要集群的所有节点，然后点击“下壹步”继续，注意：只有安装了集群就绪软件，才会有集群安装选项。5）检查安装条件安装程会自动检测系统环境是否满足安装条件，如果不能满足，根据错 误码提示进行调整，如没有错误，点击“下壹步”继续。6）选择配置选择于配置选项中，选择“仅安装数据库软件”，