hcie-storage实验手册集群nas文件共享方案

1、HCIE HCIE NAS 文档版发布日01-Tableof手册说1.1.1IP地址申获取N8500部署工2Tableof手册说1.1.1IP地址申获取N8500部署工22.1 安装前准2.2 硬件安装及线缆连安装N8500 集群NAS引连及外部线3实验3：N8500集群NAS引擎初始化配3.1 操作步3.2 常见异常处4实验4：N8500业务配置指4.1N8000业务配置流4.2.2 创建RAID到主机配置I/O到主机配置I/O4.3 文件系统配4.4 共享文件系无域环境中配置CIFShomedir共无域环境中配置NFS共手册说FC业务网IP业务网管理网AIX数据迁备份系统（LAN-NAS共

2、点对点容灾系虚拟机虚拟机 AIX (DR S5700复5700 SNS2124复VTL690090终端数据中心有一台N8500设备，一台S5500T设备，用这两个设备搭建一个NAS文件共享中心需要对N8500设备进行初始化，配置I/Ofencing,另外再在S5500T上分别创建3手册说FC业务网IP业务网管理网AIX数据迁备份系统（LAN-NAS共点对点容灾系虚拟机虚拟机 AIX (DR S5700复5700 SNS2124复VTL690090终端数据中心有一台N8500设备，一台S5500T设备，用这两个设备搭建一个NAS文件共享中心需要对N8500设备进行初始化，配置I/Ofencing

3、,另外再在S5500T上分别创建3给N8500设备使用，分别作为创建无域环境中配置homedir共享, 无域环境中配置NFS资源。在虚拟服务器上创建的1.1.1 IP分配的起始物理IP地址（所有节点的物理IP地址均需在同一网段，需预留物理IP地1.1.1 IP分配的起始物理IP地址（所有节点的物理IP地址均需在同一网段，需预留物理IP地址目=集群NAS引擎节点数目集群NAS引擎节点业务网口数目+集群NAS引擎节点数目）分配的起始虚拟IP地址（每个节点的每个业务网口至少需要分配一个虚拟IP地址留虚拟IP地址数目=集群NAS引擎节点数目集群NAS引擎节点业务网口数目）。所有IP址（物理IP地址和虚

4、拟IP地址）需要位于同一子网，使用相同子网掩码默认网关的IP地址集群管理控制台的IP地址（ConsoleIP，安装完成后，即可通过该IP集群）单元管理IP（需预单元管理地址数目单元管理IP在同一网段向客户获取域控服务器和DNS服务器的IP地址。（可选时间同步服务器的IP地址。（可选可按照表2-1中内容规划和申请IP地址：（表中数据只是参考值，根据实际情况而定由于物理和虚拟IP地址可能需求比较多，客户未必可以满足，所以可以临时先向客户申请他空闲网段IP，待集群节点配置完成后，对网口做绑定，然后删除多余的网口，再把当前用的网口修改为客户提供的实际IP地址表2-1IP4少13个IP地址24每个控制器

5、配置一个IP地址，用于管元单元配置的是SATA，建议采用RAID6配置。如单元配置的是FC或SAS盘，建采用RAID5配置大小建议配置为5TB或6TB单元配置的是SATA，建议采用RAID6配置。如单元配置的是FC或SAS盘，建采用RAID5配置大小建议配置为5TB或6TB，建议一个RAID组只创建一。以2TBSATA盘，总容量为48TB1.3 N8500集群NAS部署工具获取方式如下1. 版本的 ISM22：硬件设备安错误未找源错误未找源RaidRaid6 （10（数据盘）+2（校验盘5 40 2.1 2.1.1 开结2.1.2 表3-1 开箱验2.1 2.1.1 开结2.1.2 表3-1

6、开箱验检查安装条准备工具仪准备技术文错误未找源错误未找源介绍N8500集群NAS系统硬件安装及线2.2 2.2.1 图3-2N85002.2 2.2.1 图3-2N8500现场勘开结图3-3 安装机柜假面连及外部线安装光纤交换安装以开结图3-3 安装机柜假面连及外部线安装光纤交换安装以太网交换安装N8500 集群NAS引安装单2.2.2 N8500 NAS 在安装引擎节点前请佩戴防静电腕带，有关佩戴防静电腕带的详细信息，请参见“N8500集群NAS单2.2.2 N8500 NAS 在安装引擎节点前请佩戴防静电腕带，有关佩戴防静电腕带的详细信息，请参见“N8500集群NAS单元S5600T/S5

7、800T/S6800T相同的硬NAS引擎，步骤如下步骤步骤步骤步骤步骤图3-4 本节以安装2节点集群NAS引擎机框为例进行说明如需安装多节点集群NAS引擎机框多节点集群NAS引擎需要增加交换机的配置，请根据需要在机柜中额外安装交换机步骤连接电源线连接集群NAS引擎交流电源线请参单元安装2.2.4 12步骤安装SFP光模块和光纤。在集群NAS引擎节点安装SFP光模块和光纤的方法和步单元端SFP光模块和光纤的安装相同步骤使用光纤连接N8500引擎节点10GE扣卡（选配），步骤如下10GE扣卡的两个端口上10GE交换机端口上步骤使用网线连接集群NAS引擎私有网络N8500集群NAS引擎节点的心跳网口

8、如错误源。所图3-5 集群NAS两节点N8500集群NAS引两节点N8500集群NAS引擎私有网络可以使用直连的方法连接如图3-6所示图3-6 集群NAS引擎节点心跳网线连接示意图（2节点4节点-16节点N8500集群NAS引擎私有网络可以使用GE交换机方式连接如图2-24所示。把连接网线到两个GE交换机上图3-7 集群NAS引擎节点心跳网线连接示意图（4节点-16节点以太网交换机必须同时配置2图以太网交换机必须同时配置2图3-8 （举例）步骤 步骤 用“M6”螺丝步骤 步骤 用“M6”螺丝将以太网交换机前面板固定在机步骤 图3-9 光纤交换机必须同时配置2光纤交换机必须同时配置2图3-10

9、（举例）步骤 步骤 步骤 步骤 步骤 步骤 图3-11 2.2.5 1用M6螺钉将假面2.2.5 1用M6螺钉将假面板安装在机柜上23图3-12 2.2.6 介绍集群NAS引擎连集群NAS引擎连单元最大可配2.2.6 介绍集群NAS引擎连集群NAS引擎连单元最大可配18套集群NAS引擎单元使用S5500T、S5600T、S5800T、S6800T或单元选用FC+iSCSI接口组网只使用其FC接口。下面以S5600T为例，介绍直连组网和交换组图3-13 组网集群NAS引擎二节点直连N8500交换形态连N8500交换形态连接S5600T配图3-14 组网集群NAS引擎通过光纤交换机连接接口数量满足

10、需求）。连接口数量满足需求）。连接S5600T系列时，选用FC+iSCSI的配置用斜口钳剪去接地线两端OT端子上用将接地线一端的OT端子贴在设备接地端上, 如图3-15用接地螺丝将接地线一端的OT端子固定在设备上，如图3-15中的步骤所示将接地线另一端的OT端子连接至机柜上的接地端子图3-15 布放和连接集群NAS引擎使用网线分别连接集群NAS引擎管理网口（2节点）单元控制框管理网口（器A、控制器B）图3-16 集群NAS集群NAS2.2.7 上电过程中集群NAS2.2.7 上电过程中（所有指示灯都熄灭N8500硬件设备N8500硬件设备上电流程图如图3-17所示图3-17N8500N8500

11、硬件设备下电流程图如图3-18所示图3-18N850033：N8500NAS引擎初始化配N8500集群NAS引N8500集群NAS引擎N8500集群NAS引擎心跳网口已经连接心跳网络中33：N8500NAS引擎初始化配N8500集群NAS引N8500集群NAS引擎N8500集群NAS引擎心跳网口已经连接心跳网络中单元与NAS引擎之间已经存在光纤连接PDU、N8500集群NAS引擎已经获取license单元终端接到同一个终端为Windows 操作系统的PC终端上面，预先设定同规划的N8500起始物理IP同一网段内的IP地址3.1 步骤 图4-1 步骤 在部署工具主界面中，单击“集群图4-2 步骤

12、 在部署工具主界面中，单击“集群图4-2 步骤 图4-3 集群NAS步骤 在集群NAS部署向导欢步骤 在集群NAS部署向导欢迎界面中，单击“下一步”，进入“选择配置文件”的向图4-4 步骤 图4-5 步骤 IP和引擎节点的管理IP步骤 IP和引擎节点的管理IP图4-6 步骤 后，点选确认框，并点击“确定”按钮，进入“配置NAS引擎”页面步骤 “配置NAS步骤 “配置NAS引擎页面中根据序列号选中需要配置的集群并选中其中之一点击“设置为管理节电”设置成集群的主节点，输入NAS引擎(supportstorage)，配置NAS引步骤 配置选中的节点为管理节点该页所填内容与配置文件“集群NAS配置项对

13、应点击“下一步”，开局工具会将配置信息下发到集群，并启动配置，这个过程完成需要约分钟时间，配点击“下一步”，开局工具会将配置信息下发到集群，并启动配置，这个过程完成需要约分钟时间，配置完成后点击“下一步”。阵列的管理IP和引擎节点的管理IP要配置在相同配置NAS引擎管理节图4-10 10 导入License终端本10 导入License终端本地导入申请的系统LicenseLicense导入后开局工具会将License信息显示在配置界面中，可以通过该信息确认License是否正确。核无误后，点击“下一步”，开局工具会将License下发给集群，将License导入，这个过程图4-11 导入11

14、配置NAS单元、交换机的物理11 配置NAS单元、交换机的物理相对位置。以NAS引擎位置配置为例12 在弹出的修改界面中，可以填入NAS引擎所在的机架号和引擎的起始位置（以U（请在设备配置单中查询），图4-13 13 13 图4-15 终端上, 终端上,15 图4-17 3.2 3.2.1 3.2 3.2.1 3.2.2 3.2.2 来完成。登录到每一个来完成。登录到每一个节点(使用support用户)上面，执行以下两，3.2.3 解决办法：查单元解决办法：查单元是否接入局域网；请关闭运行开局工具的PC。44：N8500业务配置指4.1 N8000N8000的业务配置包括两44：N8500业务

15、配置指4.1 N8000N8000的业务配置包括两部分N8000使用ISM配ISM工具图5-1N8000错误！未找源。N8000错误！未找源单介单元配置步骤错误！未找源。文件系错误！未找源。共享文开配单结图5-2 配置NFS或CIFS服配置文件系检查集群状开配单结图5-2 配置NFS或CIFS服配置文件系检查集群状开到主机图注结4.2.2 RAID 通过该操作，可以创建RAID组。对于新系统，您需要首先创建RAID组单元支持开到主机图注结4.2.2 RAID 通过该操作，可以创建RAID组。对于新系统，您需要首先创建RAID组单元支持级别的RAID组SAS盘做RAID5SATA盘做RAID6步

16、骤 在ISM主界面的导航树上选择“集群系统 步骤 在上侧操作区单击“创建”。系统弹出“创建RAID组图5-3 “创建RAID框可选子必选子配置I/O扫描数据磁为数据盘创为仲裁盘创设置热备创建RAID步骤 在“创建RAID组框中输入所创建的RAID组信息，步骤 在“创建RAID组框中输入所创建的RAID组信息，选择可选硬盘作为所创RAID组成员盘，单击“确定”步骤 系统弹出“提示步骤 RAID组创建完成后你可有如下选择单击“继续”，继续进行RAID组创建单击“完成”，完成创建RAID组操作4.2.3 步骤 在ISM主界面的导航树上选择“所有设备 集群系统 步骤 展开“设备信息”节点并选择需要查询

17、3选择需要设置为热备盘的空闲盘，单击“热备盘 45。在新系统中，创建RAID组成功之后，需要首先创。系统最多支持创建1024。步骤 3选择需要设置为热备盘的空闲盘，单击“热备盘 45。在新系统中，创建RAID组成功之后，需要首先创。系统最多支持创建1024。步骤 在ISM主界面的导航树上选择“集群”框步骤 输相关信息，通过单击“高级”，可以选择框步骤 单击“确定”，系统弹出“执行结果图5-6 框框步骤 单击“确定”，系统弹出“执行结果图5-6 框步骤 单击“确定”，完成操作步骤 格式。步骤 在ISM主界面的导航树上选择“集群系统 步骤 。步骤 图5-8 步骤 在ISM主界面的导航树上选择“集群

18、系统 步骤 。步骤 图5-8 框步骤 步骤 ID”列表中，选择ID值。单击“确定”步骤 1在ISM主界面的导步骤 步骤 ID”列表中，选择ID值。单击“确定”步骤 1在ISM主界面的导航树上选择“集群系统 234确认警告信息，然后选择“我已阅读上述信息，了解执行此操作带来。步骤 等待系统完成，系统弹出“执行结果4.2.7 I/O 通过该操作，可以创建fencing步骤 。如果有多个RIAD组，请尽量平均分配在不同的RAID组上步骤 将创建步骤 创建通过集如果有多个RIAD组，请尽量平均分配在不同的RAID组上步骤 将创建步骤 创建通过集群主节点pubeth0的物理IP登陆集群(使用master

19、账户登陆)，然后执行命令fencing on fence_disks（fence_disks为3个100M大小的数据磁盘）4.3 4.3.1 4.3.2 池步骤 在ISM主界面的导航树上选择“集群系统 步骤 在右侧操作区中，单击“创建”。系统弹出“创图5-10 框步骤 步骤 步骤 步骤 在ISM主界面的导航图5-10 框步骤 步骤 步骤 步骤 在ISM主界面的导航树上选择“集群系统 资源 步骤 在右侧操作区中，单击“创建文件系统”。系统弹出“创建文件系统图5-11 框步骤 设置基本信息。设置完成后单击“确定”步骤 步骤 设置基本信息。设置完成后单击“确定”步骤 4.4 4.4.1 ormalo

20、rmal共享使所有用户都无域环境中ormal共享的配置流程图图5-12 无域环境中确认License信确认可应用License信息的相关操作。确认License信确认可应用License信息的相关操作。如果缺少License步骤 在ISM主界面的导航树上选择“集群 步骤 在右侧操作区单击“License管理”步骤 系统弹出“License管理图5-13License框步骤 确认可应用License。如果缺少License可以选择“导入”。系统弹出“提示步骤 确认可应用License。如果缺少License可以选择“导入”。系统弹出“提示步骤 确认信息后单击“确定”。系统弹出“选择License

21、文件导入图5-14 选择License步骤 创建介绍创建ormal共享才能使需共享的文件系。步骤 在ISM主界面的导航树上选择“集群NASCIFS步骤 在右侧操作区中，单击“Normal共享管理创建”。系统弹出“创建Normal共享图5-15 “创建ormal共享框步骤 步骤 步骤 图5-16 框表5-1 该用该共享时是否需要输该用表5-1 该用该共享时是否需要输该用该共享时是否允许缓存数共享对应的N8000 本地文件系统中目录对该用共享对应的N8000 本地文件系统中目录的所有共享对应的N8000 本地文件系统中目录的用户步骤 Normal步骤 在“创建ormal共享击“确定”完成创建orm

22、al共享文件系统步骤 在导航树“CIFS共享”节点的右侧操作区可以查看文件系统已创建ormal享步骤 Normal步骤 在“创建ormal共享击“确定”完成创建ormal共享文件系统步骤 在导航树“CIFS共享”节点的右侧操作区可以查看文件系统已创建ormal享。在右侧操作区单击“CIFS服务管理”，系统弹出“CIFS服务管理用”启动CIFS服务图5-17 “CIFS框步骤 如果需要重新启动CIFS服务，需在“CIFS服务管理成后单击“启用”，待“服务状态”为“正常”以后，重启CIFS服务成功使用user模ormal共介绍如何使用user模ormal共享。通过使用user模步骤 在window

23、s操作系统下单击“开始 运行”步骤 系统弹出“运行框，输入需的ormal共享的虚拟IP地址。单步骤 可以看到所有ormal共享文件目录双击需的步骤 系统弹出“连接到框。在“连接到系统其他用户对该共享对应的 N8000 本地文件系统中目录的是否、写入和执行操作权步骤 正确输入后，可以对共享目录进。4.4.2 CIFShomedirCIFShomedir无域环境中CIFShomedir步骤 正确输入后，可以对共享目录进。4.4.2 CIFShomedirCIFShomedir无域环境中CIFShomedir无域环境中CIFShomedir确认License信参见5.4.1 添加CIFShomedi

24、r通过该操作，可以添加Homedir共享文件系统。指定文件系统必步骤 在ISM主界面的导航树上选择“集群NASCIFS步骤 图5-19 “CIFSHomedir框步骤 步骤 图5-20 框步骤 在“添加文件系统步骤 单击“确定”，系统弹出“执行结果”提示框。单击“关闭”步骤 重启CIFS服务 量和必须使用已存在的本地步骤 单击“确定”，系统弹出“执行结果”提示框。单击“关闭”步骤 重启CIFS服务 量和必须使用已存在的本地用户名，且在“全局配置”中，本地用户的“安全模式”为“user”由于homedir服务会使用所有的虚拟IP，并且使用虚拟IP的个数限制为42，所以在配置服务时，务必保证bon

25、ding过的虚拟IP数量在限制范围内步骤 在ISM主界面的导航树上选择“集群NASCIFS步骤 在右侧操作区中，单击图5-21 框步骤 选择“用户/步骤 系统弹出“添加CIFS”图5-22 “添加CIFS”框步骤 选择“用户/步骤 系统弹出“添加CIFS”图5-22 “添加CIFS”框步骤 步骤 步骤 89。介绍如何使用user模 CIFShomedir步骤 在windows 步骤 框。输入N8000业务IP。当文89。介绍如何使用user模 CIFShomedir步骤 在windows 步骤 框。输入N8000业务IP。当文件系统以homedir方式共享的框中需要按以下格式输入：*.*.*.

26、*test。其中前面部分是的业务IP，test步骤 系统弹出“连接到步骤 在“连接到步骤 。NFS介绍无域环境中NFS共享的配置流程无域环境中NFS共享的配置流程图图5-23 无域环境中NFS确认可应用License信创建NFS共介绍创建NFS共享确认可应用License信创建NFS共介绍创建NFS共享的相关操作。通过创建NFS共享可以使Unix，Linux，AIX，HP-Unix操。如果文件系统已经设置为CIFS共享，则此文件系统只能设置为只读的NFS共享如果文件系统已经设置为NFS共享，则此文件系统只能设置为只读的CIFS共享步骤 在ISM主界面的导航树上选择“集群NASNFS步骤 在右侧

27、操作区中，单击“创建”。系统弹出“创建NFS共享图5-24 创建NFS框步骤 在“选择文件步骤 在“选择文件系统”列表框中，选择需创建NFS共享的文件系统步骤 在“默认共享选项”下拉框中可以选择配置NFS共享的默认共享选项步骤 点击“高级”，配置NFS共享的高级配置选项，可以参考表5-2中的参数说明。图5-26 表5-2NFS步骤 在“创建NFS共享表5-2NFS步骤 在“创建NFS共享NFS图5-27 是否允许客户端使用1024以上的端NFS享步骤 系统弹出“执行结果”提示框。步骤 系统弹出“执行结果”提示框。执行成功后，单击“关闭”，完成NFS共享配置NFSSuse 、redhatN800

28、0NFS步骤 步骤 执行命令showmount查看N8000NFS服务器当前所有的共享文件#showmount-eExportlistfor/vx/nfstest#192.168.28.39为N8000的业务IP地址/vx/nfstest为N8000NFS步骤 mounttnfs-otimeo=10此处mount的时候建议加上-otimeo=10，设置NFSRetry步骤 mounttnfs-otimeo=10此处mount的时候建议加上-otimeo=10，设置NFSRetry步骤 192.168.28.39:/vx/fs_simon/mnttypenfsHP-Unix、SUN Solaris客户N8000NFS步骤 步骤 执行命令s