DCS-1000分布式存储系统配置手册47页

1、密别内部标记 版本 无锡众志和达数据计算股份有限公司DCS-1000分布式存储系统配置文档 页2015年11月44共DCS-1000分布式存储系统配置文档 编 写 校 对 审 核 标 检 批 准 会签 目 次1 系统简介11.1系架构统12硬件连接32.1硬件安装32.1.1 安装条件32.1.2机架上架42.2设备连接62.2.1前后面板示意图62.2.2设备连接说明73 节点管理83.1登陆界面83.2 节点管理83.2.1添加节点93.2.2 删除节点103.2.3 节点编辑103.2.4 磁盘信息查看113.2.5 创建RAID123.2.6 RAID删除153.2.7 RAID扩容1

2、63.2.8热备盘添加删除174 卷管理194.1新建卷194.2 启动卷224.3 映射卷224.4 扩展卷224.5 缩减卷234.6 停止卷244.7 卷删除245 网络服务245.1 HA服务255.2 CIFS共享265.3 NFS配置285.4 FTP设置296 组和用户306.1 新建组306.2新建用户317 目录权限327.1 权限设置327.2配额管理338 三员管理339 访问管理359.1 CIFS访问359.2 NFS访问369.3 DCFS访问3710 状态监控3710.1信息概览3810.2 节点信息3810.3 磁盘监控3910.4 日志监控3911 系统设置4

3、011.1基本设置4011.2 时间设置4111.3邮件设置4211.4 NIS配置4211.5 AD域4311.6 监控配置441 系统简介1.1系架构统面对海量大数据的信息存储、数据归档及管理难题，SOUL SureSave 分布式计算存储系统为您提供了一个功能强大、运维简单且经济的解决方案。SOUL 自主研发的DCSFS为SureSave DCS提供了智能横向扩展的核心基础，当用户的业务系统数据激增时，DCS 存储节点以标准化的企业级模块设计，灵活地应对存储性能及容量的急剧扩展需求。在有限的IT预算下，为您构建一个高性能、高可扩展、安全可靠的分布式存储基础平台。图1 机柜架构图SOUL

4、DCS 是全分布式架构的存储系统，系统所有节点均作为对等的存储管理节点，将每个节点的存储统一管理，提供稳定可靠的高性能IO.Huge Storage:满足海量用户信息的高效率实时存储和查询。SureSave DCS采用先进的分布式体系架构，支持近乎无限的数据存储节点横向扩展。在容量扩展的同时，访问性能线性增长。提供海量数据信息的存储及高效访问。High performance：分布式架构提供高并发、实时动态获取和更新数据。SureSave DCS提供容量及性能的横向扩展支持（Scale-Out），真正实现按需扩展的海量存储需求，支持快速容量增长需求的应用。所有节点的流量负载均衡技术，配合高新性

5、能SAS磁盘节点，使SureSave DCS面对超过10GB/s的高性能要求时，仍然能轻松应对。系统最大吞吐量可达200GB/s。High Availability：冗余高可用设计，提供7*24小时不间断服务。SureSave DCS冗余的管理节点设计，为系统的高可用性提供保障。系统采用经济有效的跨节点数据冗余保护设计，在提升数据安全性的同时，能够有效提升系统读写性能，并提供了容灾的技术基础。High Scalability：提供容量与性能的简单快速的横向扩展能力。横向扩展的体系结构，按需购买，有效降低初始构建成本。智能的DCSFS系统，简单易用的中文操作界面，图形化监控报警机制，有效降低维护

6、难度、提高维护效率。标准化的企业级模块，自动化部署流程，不需要专业维护人员，就能在几分钟内完成节点的扩容或更换操作。1.2技术规格表1技术规格表DCS1000分布式计算存储系统系统特性系统架构分布式计算存储系统架构，模块化节点扩展模式核心系统DCSFS智能分布式文件系统，数据全局管理，统一命名空间高性能节点间高速万兆网络通道，跨节点数据并行存取数据保护硬件RAID保护，多种RAID级别支持多副本冗余数据保护模式，节点更换数据自动快速同步；远程复制，异地容灾扩展客户端支持Windows、Linux、Unix、Mac OS协议支持NFS、CIFS、DCSFS私有协议节点参数（每节点）Data No

7、deArchive Data Node型号DSN-1060DSN-1200DAN-1300-C磁盘类型600GB SAS2TB SATA3TB SATA裸容量9.6TB32TB108TB处理器4核 3.2GHz4核 2.13GHz标配缓存8GB标配主机接口10GbE1电源800W热插拔冗余电源1400W热插拔冗余电源AC 100 240V，50Hz 60Hz自适应工作环境温度：0 - 40相对湿度：5% - 95%（非凝结环境）尺寸（高x宽x深）mm133 x 483 x 700178 x 483 x 699机架高度3U4U重量（不含硬盘及选件）35kg35kg36.3kg扩展柜支持N/AN/

8、A支持2扩展柜2硬件连接2.1硬件安装2.1.1 安装条件环境要求表2 环境要求湿度运行： 5% 至 95% (非冷凝)非运行：5%至95% (非冷凝)温度运行： 0 至 40C (32 F至104 F)非运行： -40至 60C (-40 F 至 149 F)海拔高度运行：海拔 3,658m (12,000 ft.)非运行：海拔 12,192m (40,000 ft.)电源要求表3 电源要求输入电压100-240 V 交流电最大功耗800W（数据节点）；1400W（归档数据节点）DCS1000数据节点与归档数据节点全部采用冗余电源，建议采用两路独立的电源供电，以防单路电源故障，造成停机事故.

9、机架空间要求表4 机架空间要求尺寸（WDH）数据节点 133 x 483 x 700mm归档数据节点 178 x 483 x 699mm每台DCS1000设备可能会配置多台控制器和存储单元。机房承重设备安装时，参考下表计算总体重量：表5 机房承重数据节点35 Kg（不含磁盘）归档数据节点36.3 Kg（不含磁盘）2.1.2机架上架DCS1000每节点都配有机柜可调托架，如需上架，按下图所示先安装托架，然后再把设备依次推入托架并固定。图2 设备上架1、取出内层导轨，安装在机箱两侧。2、固定前端1颗螺丝3、固定后端2颗螺丝4.上图部件对准机架固定口5. 外层导轨前端推入机架上架扣件6. 螺丝固定导

10、轨在机架上.7.滑动“Front-Release”部件，解锁内侧滑轨8.打开 Detent-Lock，把中间层导轨推到最里端9. 导轨固定好后的左视图10. 把设备的内层导轨挂到已安装的机架滑轨上，安装完成2.2设备连接2.2.1前后面板示意图图3 面板示意图2.2.2设备连接说明DCS作为分布式集群存储系统，可通过多个节点的集群扩展实现叠加的容量性能。由于DCS节点间存在数据传输与心跳通信，因些需配置专门的高速内部交换网络。每个DCS节点都有专用的万兆私网接口，集群系统工作之前需要通过内部万兆交换机将所有节点连接至一个网络，实现内部通讯管理。DCS标配万兆以太网主机接口，因此还需要将每节点的

11、万兆主机接口连接至用户业务交换机，以实现客户端正常访问。可选配置千兆、万兆、Infiniband主机业务接口。DCS四节点连接拓扑如下图所示：图4 设备连接图3 节点管理3.1登陆界面DCS默认管理地址为”00”,管理主机IP地址配置正常以后，即可使用浏览器登陆管理界面，如下图所示。默认存在“info”（审计管理员）、“admin”（系统管理者）和”root”(权限管理员)三个用户，密码与用户名相同，可通过下拉菜单更改登陆用户。使用“重置”按钮可以清空已输入的信息。图5 设备登陆界面3.2 节点管理登陆成功后，进入节点管理界面，点击右上角扫描按钮，会列出所有在线DCS节

12、点。图6 节点管理界面节点状态显示如下图所示，分别显示每个节点的名字、IP、状态、版本、作用等信息.图7 节点信息3.2.1添加节点当某点不在集群中时，无法作为集群的一部分对外提供容量性能叠加。因此需将该节点添加至集群。勾选状态为“未连接”的节点，点击“添加”按钮，将节点添加到DCS集群。图8 添加节点3.2.2 删除节点勾选目标节点，点击右上角删除按钮，可将节点从DCS集群删除。图9 删除节点3.2.3 节点编辑勾选对应主机后，点击编辑按钮，可以对节点的对外IP、主机名、角色进行修改。图10 编辑节点节点编辑对话框图11 节点编辑对外IP：节点IP地址主机名：节点名称 角色：节点在集群中承担

13、的角色，分为master/slave/normal注意：角色编辑选项中：只能有一个节点是master，一个节点是slave，其他全是normal，必须先设置好角色，否则可能会影响后面的配置。节点位置：节点位置编号3.2.4 磁盘信息查看如下图所示，点击蓝色数据可查看磁盘详细状态信息。图12 节点信息每块磁盘左上角的标志带其所属的RAID组，不同RAID组以不同颜色和数据显示。鼠标停在其中任意一块磁盘上，显示该磁盘的信息，包括插槽、设备路径、厂商、容量。图13 硬盘信息3.2.5 创建RAIDDCS出厂标配RAID5+1模式，如需调整，可手动创建RAID。如图，点击RAID组蓝色图标，显示磁盘列

14、表。图14 节点信息一键设置”可选择预设的RAID模式，一键进行RAID创建。“高级配置”里可手动选择硬盘以及RAID级别进行创建。图15 磁盘信息点击“一键配置”，进入创建RAID界面。输入RAID名称，下拉框中选择RAID级别。点击“确认”完成创建。图16 创建RAID也可通过手动方式，指定硬盘并自由选择RAID级别创建RAID组。点击高级配置，进入高级配置界面：图17 高级配置点击右上角创建，进入RAID创建选项。输入RAID名称，选择RAID级别，勾选所要创建RAID的磁盘，点击确定完成创建。注定：建议在厂家工程师的指导下进行手动RAID创建，避免对集群性能产生影响。图18 创建RAI

15、D配置RAID信息。图19 选择硬盘3.2.6 RAID删除确认前端服务已停用，数据卷（见第4章）已关闭的情况下，可进行RAID删除操作。点击高级配置，勾选所要删除的RAID，点击右上角删除按钮，即可删除RAID。图20 高级配置图21 删除RAID3.2.7 RAID扩容依次进入“节点管理”-“磁盘状态”，点击蓝色数字查看磁盘信息。在磁盘列表中右击空闲磁盘图标，选择“添加磁盘到RAID”。注意：需要在RAID初始化结束之后才能进行扩容。图22 RAID扩容选择RAID组，并点击“确认”，即可将该磁盘添加至RAID组，可完成扩容。图23 选择RAID3.2.8热备盘添加删除同上，右击任意一块空

16、闲磁盘，点击“添加热备盘到RAID。图24 添加热备选择RAID组，并点击“确认”。即可完成热备盘添加.图25 选择RAID组绿色盘即新添的热备盘。图26 热备盘同样，也可以添加全局热备盘。图27 添加共享热备盘如图，带“G”字的绿色磁盘即全局热备磁盘。图28 添加后的热备盘移除热备盘：如下图所示，右击绿色热备磁盘图标，选择“移除磁盘”，即可完成删除热备盘操作。图29 移除热备盘4 卷管理4.1新建卷完成RAID创建管理后，即可进行下一步卷管理创建操作。如图，进入“存储管理”界面，点击“新建卷”，输入卷名、卷类型，从左边可用的列表中选择节点存储资源添加到右侧方框，点击新建即可建立成功。图30

17、创建卷选择可用存储单元（brick）。图31 选择存储单元卷类型：l 高效容量卷：通过智能分布算法，完全利用所有节点存储资源并实现负载均衡，集群提供的容量等于所有节点容量之和。l 副本卷：通过创建数据副本方式，每个文件写入时会写到多个不同节点，实现同一份数据在不同节点上实现冗余。可选副本数量。l 纠删码：相对于普通的副本方式具有磁盘利用率高，容错能力强的特点。卷创建成功后，如图所示。点击蓝色卷名，可以列出卷的详细信息.图32 创建卷“bricks”栏中的数字代表该卷包含的存储单元数量。点击该蓝色数字可查看详情。图33 查看卷详情所属节点：brick所属的DCS节点挂载路径：brick所挂载的逻

18、辑路径状态：Y代表卷已启动，N代表未启动总容量：brick的总容量已用容量：brick已使用的容量4.2 启动卷卷被映射使用前，必须处理启动状态。选择需要启动的卷，点击启动按钮，启动目标卷。状态为“started“时启动成功。图34 启动卷4.3 映射卷如需共享输出卷，启动完成必须完成映射操作（激活）。点击目标卷的映射图标，图标变亮后代表激活成功，可以实现共享输出。图35 卷信息4.4 扩展卷点击扩展按钮，选择可用brick资源，添加到右侧框，点击“扩展“即可完成。图36 扩展卷4.5 缩减卷同样，缩减卷时，将右侧框中即将删除的节点容量向左移出，再点击“缩减“即可。图37 缩减卷4.6 停止卷

19、如需进行删除卷、删除RAID等操作，需先停止节点。如图所示，选择目标节点，点击“停止“按钮，等卷状态变为”stopped“，说明卷已停止工作。图38 停止卷4.7 卷删除选择目标节点，点击“删除“按钮，即可删除卷。注意：删除卷之前要先停止卷。图39 删除卷5 网络服务5.1 HA服务HA服务用来保证多节点集群对外工作时实现故障切换与转移，因些需将对应的服务启用HA服务，并做置正确的虚拟IP，以提供对外访问和飘移。如图，勾选HA服务设置下的网络协议，开启其HA切换功能。图40 HA服务同时可以在“虚拟IP“选项卡下设置虚拟IP值。如图，PUBLIC框中为虚拟IP信息，NODE模式中为物理节点信息

20、。点击添加可添加一个用于公网访问的虚拟IP地址。 图41 虚拟IP设置可分别配置虚拟IP，port（端口），eth（网卡），点击提交确认.图42 配置IP 点击编辑“，可将选定的虚拟IP与节点进行节点绑定，实现对应关系。图43 编辑IP 5.2 CIFS共享通过CIFS共享设置，可实现存储共享输出，对外提供windows主机的CIFS访问服务。进入 网络服务-CIFS-共享 设置：图44 共享配置点击添加，新建CIFS共享。图45 CIFS配置图46 共享信息名称：共享名称注释：添加自由备注路径：卷所在逻辑路径（保持默认即可）valid user：有效用户（保持默认即可）write list：

21、设置为只读时，拥有写入权限的用户列表public：启用公共访问guest：是否启用guest用户可写：启用写权限可浏览：启用浏览权限点击“提交”确认后，即可通过windows主机访问IP地址，实现CIFS共享访问。5.3 NFS配置NFS协议主要用于Linux/UNIX/MAC主机共享访问存储资源。如图，依次进入 网络服务-NFS 菜单，在右侧列表中可看到已建好的存储卷，点击对应的卷即可编辑。图47 NFS配置名称：NFS共享名称IP访问许可：允许指定IP访问（可留空）缓存大小：设置NFS读写缓存（性能优化，推荐值：40）卷访问许可：设置卷可写可用：是否启用NFS同步：设置无认证同步（性能优化

22、）5.4 FTP设置ftp即 即 文件传输协议，文件传输协议使得主机间可以共享文件。 通过FTP 设置对外提供共享文件服务图48 FTP配置运行状态：服务开关匿名访问：启用匿名访问拒绝访问主机：拒绝访问名单不活动最大超时：不活动最大超时时间5.5HTTP设置http即超文本传输协议。 通过HTTP设置对外提供共享文件服务图49 HTTP配置运行状态：服务开关端口：对外访问端口使用安全连接：安全连接启动开关6 组和用户6.1 新建组依次选择 组和用户-用户管理-新建组，填写正确信息，点击确认完成创建。图50 新建组组名：组名称gid：设定组数字ID号，可留空（系统自动分配）6.2新建用户依次选择

23、 组和用户-用户管理-新建用户，填写正确信息，点击确认完成创建。同样，可以进行删除用户，修改密码，添加用户到组等操作。图51 新建用户uid：设定用户数字ID号，可留空（系统自动分配）7 目录权限DCS可为每个CIFS共享目录设定单独的权限与配额，以确保存储资源的合理分配和充分利用。进入 目录权限 菜单，可以看到已有的共享目录信息，包括卷名、大小、所有者、修改时间、配额信息。点击属性蓝色图标，即可看到并修改该目录详细权限信息。图52 目录属性7.1 权限设置弹出的权限对话框中，点击“权限”选项卡，可以查看并修改目录权限信息。勾选目标，可以进行权限的删除、修改、重置操作。点击“添加”，可为该目录

24、新添可访问用户，并指定用户的具体权限。图53 权限设置7.2配额管理通过配额功能，可以为每个目录指定最大可用容量，合理分配存储资源。图548 三员管理系统管理员：主要负责系统的日常运行维护工作；(用户名:admin密码:admin)图55 系统管理员权限管理员：主要负责系统的系统用户权限的授予与撤销；(用户名:root密码:root)图56 权限管理员审计管理员：主要负责对系统管理员和权限管理员的操作行为进行审计跟踪、分析和监督查。(用户名:info密码:info)图57 审计管理员表6 管理员用户名、密码角色用户密码系统管理员adminadmin权限管理员rootroot审计管理员infoi

25、nfo9 访问管理9.1 CIFS访问windows主要通过CIFS访问NAS存储。配置好CIFS服务，并设置CIFS共享输出后。windows主机即可通过以太网络访问DCS存储资源。1、网络配置配置好IP/网关等信息，使windows主机可正常ping通DCS虚拟IP地址。2、右击桌面上“我的电脑/计算机“，选择”映射网络驱动器“选项3、配置网络驱动器参数，填写正确的网络访问地址，如:36DCS-share36为DCS访问IP，DCS-share为CIFS共享配置里设置的目录名图58 共享配置如需开机时自动挂载，可勾选“登陆时重新连接”选项

26、。点击确认后弹出用户名密码对话框，填入第6章中建立的用户名密码，点击确认即可。挂载成功.图59 共享信息Linux主要通过CIFS访问NAS存储:mount -t cifs -o username=用户名 /26/soul /mnt/soul9.2 NFS访问Linux/UNIX主机主要通过NFS协议访问NAS存储。配置好NFS服务，并设置NFS共享输出后。Linux/UNIX主机即可通过以太网络访问DCS存储资源。1、 网络配置配置好IP/网关等信息，使Linux/UNIX主机可正常ping通DCS虚拟IP地址。2、 挂载DCS NFS共享目录：mount -t n

27、fs -o vers=3,nolock 36:/soul /mnt（36:/soul为showmount e IP命令所查看到的NFS目录）3、 设置启动自动挂载 修改fstab文件，设置开机自动挂载vi /etc/fstab添加以下行：36:/soul/mntnfsdefault00保存退出即可。9.3 DCFS访问DCSFS是DCS私有客户端访问协议，Linux主机可通过安装DCSFS组件后，实现高效变发数据存储访问，满足更高的数据吞吐与负载均衡需求。1、 安装dcsfs客户端分别安装以下DCSFS私有客户端组件

28、（文件名与版本信息仅供参考）# rpm -ivh dcsfs-libs-3.4.0-8.el6.x86_64.rpm # rpm -ivh dcsfs-3.4.0-8.el6.x86_64.rpm # rpm -ivh dcsfs-fuse-3.4.0-8.el6.x86_64.rpm 2、 使用以下命令挂载DCS存储目录：mount.glusterfs 36:/SSTG /mnt（36:/SSTG为DCS共享目录）3、 设置启动自动挂载修改fstab文件，设置开机自动挂载vi /etc/fstab添加以下行：36:/SSTG /mnt glusterfs default 0 0保存退出即可。10 状态监控10.1信息概览进入“状态监控”主菜单，即可看到集群概览信息，包括内存、硬盘、产品型号、版本信息、序列号，还有一键关机和一键重启的按钮。图60 一键关机鼠标停在单个节点上，可以显示该节点的相关信息。点击节点上亮灯按钮，该节点的磁盘闪红灯。同时也可单独关闭和重启节点。10.2 节点信息节点信息中，可以显示每个节点的综合信息，并以图表的形式显示