cStor云存储系统安装手册(V2.2).docx

cStor云存储系统安装手册云存储系统安装手册版本：V 2.2发布日期：2013-07-16目录前言51 概述71.1 组成71.2 卷管理服务器81.3 元数据服务器81.4 存储服务器81.5 客户端81.6 管理监控中心92 元数据服务器安装102.1 安装准备102.2 安装步骤112.2.1 主元数据服务器安装112.2.2 备元数据服务器安装132.2.3 启动Mysql数据库双机热备服务132.3 安装后验证132.4 异常处理143 存储服务器安装153.1 安装准备153.2 安装步骤163.3 安装后验证173.4 异常处理174 管理监控中心安装184.1 安装准备184.2 安装步骤194.3 安装后验证204.4 异常处理205 客户端程序安装215.1 CentOS 5.6系统下客户端安装215.1.1 安装准备215.1.2 安装步骤225.1.3 安装后验证235.1.4 异常处理235.2 Windows系统下客户端安装235.2.1 安装准备235.2.2 安装步骤245.2.3 安装后验证325.2.4 异常处理336 附录346.1 系统安装步骤346.2 网络配置356.3 集群免密码登陆376.4 CIFS集群系统软件部署386.5 磁盘格式化及挂载396.6 异常处理4141/ 41 南京云创存储科技有限公司 2013-7-16cStor云存储文件系统安装手册插图目录图 1-1 cStor云存储系统基本架构8图 2-1元数据服务器安装12图 2-2解压cStorLicense.tar.gz文件12图 2-3安装序列号13图 2-4启动Mysql双机热备服务13图 2-5元数据服务器验证13图 2-6 Mysql数据库双机验证14图 3-1存储服务器安装17图 4-1 cStor云存储系统管理监控中心前台界面20图 5-1客户端安装22图 5-2软件目录24图 5-3安装向导24图 5-4 Dokan驱动安装28图 5-5安装完成29图 5-6系统登陆界面31图 5-7 cStorClient客户端配置31图 5-8任务栏生成托盘图标32图 5-9 cStorClient客户端安装成功32图 6-1修改CentOS5.6 IP设置的命令35图 6-2 IP详细配置36图 6-3保存并退出配置IP地址37图 6-4重启网络服务37前言概述本节介绍本文档的内容、对应的产品版本、适用的读者对象、行文表达约定、历史修订记录等。产品版本与本文档相对应的产品版本如下所示。产品名称产品版本cStorV2.2读者对象本文档（本指南）主要适用于以下工程师：l 安装工程师l 工程技术人员符号约定本文档中可能会使用到的符号定义如下：符号描述提醒您注意潜在的危险情况，如果不注意，可能导致设备损坏、数据丢失、性能恶化或意料之外的结果。提供一个提示，可以帮助您解决某个问题或节省时间。提供更多的信息，强调或补充主要文字说明点。名词解释名词解释1 概述关于本章本章描述内容如下表所示。标题内容1.1 组成介绍cStor云存储系统的组成。1.2 卷管理服务器介绍卷管理服务器的基本功能1.3元数据服务器介绍元数据服务器的基本功能。1.4存储服务器介绍存储服务器的基本功能。1.5客户端介绍客户端的基本功能。1.6管理监控中心介绍管理监控中心的基本功能。1.1 组成cStor云存储系统包括：l 卷管理服务器l 元数据服务器l 存储服务器l 客户端l 管理监控中心cStor云存储系统基本架构，如下图所示。图 1-1 cStor云存储系统基本架构1.2 卷管理服务器卷管理服务器管理整个cStor云存储系统，对各个卷的使用进行管理和分配。1.3 元数据服务器元数据服务器管理cStor云存储系统中的某个卷，存储各文件的元数据信息，调度各数据存储服务器。1.4 存储服务器存储服务器负责存储文件数据，接受管理服务器的调度，为客户端提供数据传输。1.5 客户端客户端主要负责从管理服务器上获取修改元数据信息，并向数据服务器读写数据。1.6 管理监控中心管理监控中心主要负责对cStor云存储系统的管理和监控，管理监控中心提供WEB图形化管理监控界面，可更加轻松方便地对cStor存储系统进行配置和监控与维护。2 元数据服务器安装关于本章本章描述内容如下表所示。标题内容2.1 安装准备介绍元数据服务器安装需要准备的硬件和软件。2.2 安装步骤介绍元数据服务器的安装步骤。2.3 安装后验证介绍元数据服务器安装后需要确认的内容。2.4 异常处理介绍元数据服务器安装后异常处理。2.1 安装准备硬件环境的建议配置准备两台服务器，每台服务器建议配置如下：l 32G内存l 128G 硬盘l 千兆以上网卡元数据服务器是cStor云存储系统最重要的部分，对硬件稳定性和内存要求较高，为了达到cStor云存储系统的最佳性能，建议使用稳定性较好的服务器并配置更高的内存。32G内存大约可以存储1亿个文件和文件夹。软件载体cStor云存储系统元数据服务器的安装载体为CD-ROM。其他网络环境准备好，联系网络管理员分配3个IP地址。NTP IP为机房时钟同步服务器的IP，如果没有时钟同步服务器，也可将cStor虚拟IP作为时钟同步的IP。典型示例元数据服务器安装，以如下网络配置为例：l 元数据服务器1 IP地址：6，子网掩码：，网关：。l 元数据服务器2 IP地址：7，子网掩码：，网关：。l 虚拟IP地址：0。l NTP IP地址：5。2.2 安装步骤2.2.1 主元数据服务器安装本节主要介绍两台元数据服务器中的一台的详细安装步骤。如下步骤1-步骤10为安装步骤。若使用cStor系统安装光盘所提供的centOS系统，默认所有安装操作在root权限下进行， root用户的默认密码为cstorfs。步骤 1 使用cStor系统安装盘安装CentOS5.6操作系统，登陆CentOS5.6系统，并按如下参数配置网络：IP地址：6子网掩码：网关：详细CentOS操作系统和网络配置方法请参见附录。步骤 2 运行cStorInstall命令安装元数据服务器，如下图所示。cStorInstall1图 2-1 元数据服务器安装步骤 3 安装过程中，系统将提示输入本台元数据服务器IP地址、另一台元数据服务器IP、虚拟IP和时钟同步服务器的IP，如图 2-1所示。This Metadata Server IP Address：6Another Metadata Server IP Address：7VirtualIPAddress：0NTP Server IP Address：5操作步骤中的IP均为示例IP，实际安装过程中请以实际IP为准。步骤 4 执行cStorInstall命令安装完成后，将图2-1所示的最后一行硬件信息记录下来，将该硬件信息发给云创存储工程师用以生成云存储系统序列号。步骤 5 将获得的序列号文件cStorLicense.tar.gz拷贝到/opt目录下。步骤 6 使用如下命令，进入/opt目录cd /opt步骤 7 使用如下命令解压cStorLicense.tar.gz文件。tar zxvf cStorLicense.tar.gz图 2-2 解压cStorLicense.tar.gz文件步骤 8 使用如下命令进入cStorLicense目录。cd cStorLicense步骤 9 使用如下命令使序列号生效。./cStorLicense图 2-3 安装序列号步骤 10 使用如下命令重新启动系统reboot-元数据服务器安装结束2.2.2 备元数据服务器安装备元数据服务器安装步骤与主元数据服务器安装步骤相同2.2.3 启动Mysql数据库双机热备服务：启动前需确认集群免密码登陆服务，免密码登陆服务启动方法详见附录6.3节主备元数据服务器均安装成功后，在任意一台服务器上执行如下命令，如下图所示。cStorMysqlBackup图 2-4 启动Mysql双机热备服务2.3 安装后验证需要验证cstormaster、ucarp、cstoruserctrl以及mysql相关进程：步骤 1 使用如下命令查看进程cstormaster，ucarp进程是否启动。cstor_service_show如下图所示表示元数据服务器安装成功。图 2-5 元数据服务器验证两台元数据服务器中先安装完成的为主元数据服务器，后安装完成的为备元数据服务器。步骤 2 分别登录主备元数据机器，分别执行如下命令验证主备Mysql双机热备是否完成：使用mysql -uroot -pcstorfs登录Mysql使用show slave statusG来验证图 2-6 Mysql数据库双机验证如果主备元数据机器中登录Mysql之后，都能找到框中所选的两项Slave_IO_Running和Slave_SQL_Running状态均为Yes即为成功。步骤 3 Mysql验证成功之后，执行exit或者quit命令退出Mysql。2.4 异常处理异常解决办法cstormaster进程启动失败联系云创存储工程师解决或者查看cStor云存储系统使用手册来解决。元数据服务器之间无法自动切换联系云创存储工程师解决或者查看cStor云存储系统使用手册来解决。3 存储服务器安装关于本章本章描述内容如下表所示。标题内容3.1 安装准备介绍存储服务器安装需要准备的硬件和软件。3.2 安装步骤介绍存储服务器的安装步骤。3.3 安装后验证介绍存储服务器安装后需要确认的内容。3.4 异常处理介绍存储服务器安装后异常处理。3.1 安装准备硬件环境的建议配置准备若干台服务器，每台服务器建议配置如下：l 2G内存l 2T硬盘 * 4块l 千兆以上网卡存储服务器负责整个cStor云存储系统的数据存储。为了提高cStor云存储系统的存储容量，建议使用多台服务器并配置多块高容量的硬盘。软件载体cStor云存储系统存储服务器的安装载体为CD-ROM。其他l 网络环境准备好，联系网络管理员给每台存储服务器分配1个IP地址。l 元数据服务器安装完成并启动成功。:存储服务器磁盘需先格式化,格式化后挂载磁盘名称命名必须以data+数字命名,如16块磁盘的情况下则分别命名为data0-data15，具体格式化及命名方法详见附录6.4节典型示例存储服务器安装，以如下IP地址为例：l 存储服务器 IP地址：8，子网掩码：，网关：。l 元数据服务器虚拟IP地址：0。这里元数据服务器虚拟IP地址为第2章所设置的元数据服务器虚拟IP地址。3.2 安装步骤本节主要介绍存储服务器的详细安装步骤。若使用cStor系统安装光盘所提供的centOS系统，若使用cStor系统默认所有安装操作在root权限下进行， root用户的默认密码为cstorfs。步骤 1 使用cStor系统安装盘安装CentOS5.6操作系统，登陆CentOS5.6系统，并按如下参数配置网络：IP地址：8子网掩码：网关：详细CentOS操作系统和网络配置方法请参见附录。存储服务器网络设置完成后，请确认存储服务器能够ping通元数据虚拟IP地址。步骤 2 运行cStorInstall命令安装存储服务器，如下图所示：cStorInstall2图 3-1 存储服务器安装步骤 3 输入元数据虚拟IP地址，如图3-1所示：0步骤 4 使用如下命令重新启动系统reboot-存储服务器安装结束3.3 安装后验证使用如下命令查看进程cstorchunkserver进程是否启动。ps -ef | grepcstor | grep -v grep如下所示则表示存储服务器安装成功。3.4 异常处理异常解决办法cstorchunkserver进程启动失败联系云创存储工程师解决或者查看cStor云存储系统使用手册来解决。4 管理监控中心安装关于本章本章描述内容如下表所示。标题内容4.1 安装准备介绍管理监控中心安装需要准备的硬件和软件。4.2 安装步骤介绍管理监控中心的安装步骤。4.3 安装后验证介绍管理监控中心安装后需要确认的内容。4.4 异常处理介绍管理监控中心安装后异常处理。4.1 安装准备硬件环境的建议配置l 2G内存l 64G 硬盘l 千兆以上网卡软件载体cStor云存储系统管理监控中心的安装载体为CD-ROM。其他l 操作系统系统安装准备，推荐使用CentOS 5.6，可以使用cStor云存储系统盘安装操作系统。l 网络环境准备好，联系网络管理员分配1个IP地址（本例安装在存储服务器上）。典型示例管理监控中安装，以如下网络配置为例：l 服务器IP地址：8，子网掩码：，网关：。4.2 安装步骤步骤 1 打开cStor云存储系统安装光盘，将管理监控软件包拷贝到本地目录，如/tmp;cp cStorLinux_NMC_v2.1.tar.gz /tmp& cd /tmp步骤 2 解压后，使用如下命令执行安装脚本安装网络监控与管理配置中心：tarxvf cStorLinux_NMC_v2.1.tar.gz & cd cStorLinux_NMC步骤 3 编辑cStorLinux_NMC目录下的config_list文件,使用如下命令:viconfig_list步骤 4 填入集群各服务器的ip地址:此处VIP处为集群虚拟IP,MST处为主备元数据服务器IP,CHK处为存储服务器IP步骤 5 按Esc键，执行如下命令保存并退出：wq步骤 6 执行如下命令安装:sh install config_list-结束4.3 安装后验证在IE地址栏键入：8:8080/MC，输入用户名，密码登录管理监控中心，如图5-3所示则表示安装并启动成功。:此处的8为网管所安装服务器的ip地址。默认用户名、密码如下：用户名：admin密码：admin图 4-1 cStor云存储系统管理监控中心前台界面4.4 异常处理异常解决办法前台界面无法显示联系云创存储工程师解决或者查看cStor云存储系统使用手册来解决。5 客户端程序安装关于本章本章描述内容如下表所示。标题内容5.1 CentOS 5.6系统下客户端安装介绍CentOS 5.6系统下客户端的安装5.2 Windows系统下客户端安装介绍Windows系统下客户端安装步骤。5.1 CentOS 5.6系统下客户端安装5.1.1 安装准备硬件环境的建议配置l 2G内存l 64G硬盘l 千兆以上网卡客户端是用户和cStor云存储系统交互的桥梁，用户通过客户端在cStor云存储系统中读写数据。为了提高cStor云存储系统的读写速度，建议客户端使用万兆以太网。软件载体cStor云存储系统客户端的安装载体为CD-ROM。其他l 网络环境准备好，联系网络管理员给每台客户端分配1个IP地址。l 元数据服务器安装完成并启动成功。l 存储服务器安装完成并启动成功。典型示例客户端安装，以如下IP地址为例：l 客户端 IP地址：9，子网掩码：，网关：。l 元数据服务器虚拟IP地址：0。这里元数据服务器虚拟IP地址为第2章所设置的元数据服务器虚拟IP地址。5.1.2 安装步骤步骤 1 使用cStor系统安装盘安装CentOS5.6操作系统，登陆CentOS5.6系统，并按如下参数配置网络：IP地址：9子网掩码：网关：详细CentOS操作系统和网络配置方法请参见附录。客户端网络设置完成后，请确认客户端能够ping通元数据虚拟IP地址。步骤 2 运行cStorInstall命令安装客户端,如下图所示：cStorInstall3图 5-1 客户端安装步骤 3 输入元数据虚拟IP地址，如图4-1所示：0-结束5.1.3 安装后验证客户端安装成功后需按照使用手册中添加卷、添加用户以及挂载客户端操作,详见用户手册中5.3.1、5.7.1以及4.1.2章节。执行完以上操作后，使用如下命令查看客户端目录是否挂载成功。dfh | grepcstor如下所示则表示客户端安装成功。rootlocalhost # dfh | grepcstorcstormaster:9421 1.6T 0 1.6T 0% /mnt/cstor5.1.4 异常处理异常解决办法客户端安装失败联系云创存储工程师解决或者查看cStor云存储系统使用手册来解决。5.2 Windows系统下客户端安装5.2.1 安装准备硬件环境的建议配置l 2G内存l 千兆以上网卡客户端是用户和cStor云存储系统交互的桥梁，用户通过客户端在cStor云存储系统中读写数据。为了提高cStor云存储系统的读写速度，建议客户端使用万兆以太网。操作系统l Windows XPl Windows 7软件载体cStor云存储系统客户端的安装载体为CD-ROM。其他l 元数据服务器安装完成并启动成功。l 存储服务器安装完成并启动成功。典型示例客户端安装，以如下IP地址为例：l 元数据服务器虚拟IP地址：0。l CentOS 5.6系统下客户端IP地址：9。这里元数据服务器虚拟IP地址为第2章所设置的元数据服务器虚拟IP地址。5.2.2 安装步骤步骤 1 打开cStor云存储系统安装光盘；步骤 2 进入Client目录，获取到cStorClient_v2.2.zip压缩包并解压；步骤 3 进入解压后的软件目录；图 5-2 软件目录步骤 4 运行cStorClientSetup.exe安装程序，进入安装向导；图 5-3 安装向导步骤 5 在安装的过程中，出现Dokan驱动的安装，如下图所示；图 5-4 Dokan驱动安装步骤 6 当出现下面界面时，表示安装已经完成；图 5-5 安装完成步骤 7 安装完成后,Windows开始菜单栏会生成名为cStorLogin的快捷方式；默认安装在C:Program Files (x86)cStorLogin目录下。步骤 8 单击步骤7中的cStorLogin图标，点击登录配置按钮来配置元数据服务器IP地址和要挂载的盘符；图 5-6 系统登陆界面图 5-7 cStorClient客户端配置这里的元数据服务器和鉴权服务器地址均为元数据服务器虚拟ip地址，盘符需要配置，并且不能和当前Windows系统中以后的盘符重复。步骤 9 各项填写完后点击确定,回到登录界面填写用户名和密码,点击确定。步骤 10 程序启动后，会在任务栏出现一个托盘图标，并且在我的电脑里面会有一个新的盘符显示出来，需要卸载盘符的时候，右击托盘程序，点击“退出”即可以。图 5-8 任务栏生成托盘图标-结束5.2.3 安装后验证参数设置正确后出现如下图所示则表示客户端安装成功：图 5-9 cStorClient客户端安装成功-结束5.2.4 异常处理异常解决方法IP地址错误联系云创存储工程师解决或者查看cStor云存储系统使用手册来解决。用户名、密码错误联系系统管理员6 附录关于本章本章描述内容如下表所示。标题内容6.1安装步骤介绍CenOS5.6操作系统的安装。6.2网络配置介绍CentOS5.6操作系统的网络配置。6.3集群免密码登陆介绍集群免密码登陆配置方法6.4磁盘格式化介绍CentOS5.6系统磁盘格式化方法6.5异常处理介绍安装完成后异常处理。6.1 系统安装步骤本节主要描述CentOS5.6的安装的详细步骤。步骤 1 将cStor云存储系统光盘放进光驱，重启服务器。步骤 2 服务器重启时进入BIOS，设置开机启动项为从光驱启动。步骤 3 保存修改并退出BIOS，系统将自动安装CentOS5.6。步骤 4 系统安装完后后会提示重新启动，此时光驱自动弹出，取出cStor系统安装光盘后重启系统。在重新启动电脑前，必须取出cStor系统安装光盘步骤 5 重启系统后，登录CentOS5.6系统。系统默认用户名、密码如下:用户名：root密码：cstorfs用户名及密码均以Enter键结束。6.2 网络配置网络配置用以下参数作为示例：IP地址：6子网掩码：网关：步骤 1 使用如下命令配置CentOS5.6 IP，如图7-1所示。vi /etc/sysconfig/network-scripts/ifcfg-eth0终端中的命令均需要按Enter键执行。图 6-1 修改CentOS5.6 IP设置的命令步骤 2 按Enter键执行该命令，并按Insert键开始输入。IP详细配置如图7-2所示：l ONBOOT=yesl IPADDR=6l NETMASK=l BOOTPROTO=staticl GATEWAY=图 6-2 IP详细配置您可以通过方向键控制光标位置，按Enter键换行。步骤 3 按Esc键，执行如下命令保存并退出：wq图 6-3 保存并退出配置IP地址步骤 4 使用如下命令重新启动网络服务,使修改生效：service network restart图 6-4 重启网络服务-结束您可以ping命令来ping网关来确定网络配置是否成功6.3 集群免密码登陆步骤 1 在任意一台安装完成cStor系统的服务器上，按如下操作，实现集群各服务器间免密码登陆，首先编辑ip列表文件，执行如下命令vi ip如下图： 列表中为集群中各服务器ip地址，包括元数据服务器和存储服务器以及客户端的ip地址。步骤 2 执行如下命令ssh_nologin_set ip cstorfs,如下图其中ip为ip地址列表文件，cstorfs为集群中各服务器密码，默认一致且均为cstorfs。步骤 3 执行完成即可完成集群间的免密码登陆6.4 CIFS集群系统软件部署DNS负载均衡服务器安装 DNS服务器安装在主备元数据服务器上。使用master VIP作为DNS地址，并需要提供一个域名，客户端通过映射网络驱动盘访问cstor云存储系统。映射驱动盘时，必须填写域名，例如：share步骤 1 拷贝DNS自动安装包到cstormaster节点/opt目录下，并解压tar xvf DNS_INSTALL.tar.gz步骤 2 进入DNS_INSTALL目录，执行install命令Virtual IP为CTDB对外提供服务的IP步骤 3 启动DNS服务，service named restart步骤 4 验证DNS是否安装成功。配置DNS地址，修改/etc/resolv.conf内容为nameserver 2（master VIP），输入nslookup命令，出现如下结果表示DNS安装成功。 CTDB、SAMBA服务器安装步骤 1 使用CIFS自动安装包，安装CTDB和SAMBA。拷贝CIFS_INSTALL.tar.gz到cstor存储节点上，并解压tar xvf CIFS_INSTALL.tar.