UniStor X10000存储部署指南

1、11H3C UniStor X10000存储部署指南2010304NAS应用场景分析UniStor系统组件介绍0506UniStor系统部署流程UniStor系统管理说明UniStor系统维护讲解02X10000产品简介 3分布式NAS应用场景分析X10000存储系统Apple FCP/Avid MC内容创意配音工作站审片工作站审片广电行业-新闻编辑制作系统内容 获 取收录服务器上下载工作站包 装渲渲染集群染合成工作站方案亮点非结构化数据的爆炸性增长 ：新闻 “实时性”的重要地位，决定 了存储系统7*24小时在线的运营稳定性及可用性的要求。资源的及时提取及共享：新闻编辑的”时新兴“对于信息的快

2、速提 取及共享有明确的时间需求。时间是新闻发布的关键元素。高清制作的高性能：从传统的标清到高清发展，对于IT的能力要求在逐年提升。客户需求高可靠：采用分布式架构，万兆互联，节点及数据冗余， N+4模式 数据保护， 有效保证业务的连续性。实时共享：系统支持NFS CIFS 多种文件共享协议。支持多种终端的实时共享需求。高性能：系统的性能。量化新闻制作接入节点数量。弹性扩展能力：支持系统横向扩展， 性能及容量随节点增加线性增 长， 单一命名空间扩展可达50PB。4分布式NAS应用场景分析气象互联网企业图书馆高校公安医院政务云H3C UniStor X10000海量数据-存储资源池方案亮点数据的爆炸

3、性增长 ：非结构化数据快速增长带来的新老设备采购， 利旧问题，需要构建一套可弹性增长的存储平台。数据安全性要求：保证PB级数据存储的安全性难点。快速存储、提取：提升海量数据的读写性能，保证数据的时效性。降低整体运维成本：解决海量数据的分级存储，通过数据生命周期 管理，合理规划部署数据分级。客户需求弹性扩展能力：支持系统横向扩展， 性能及容量随节点增加线性增长， 单一命名空间扩展可达50PB。数据高可靠：存储系统实现了节点及数据冗余， 数据支持多副本及N+4纠删码的技术进行数据保护， 保证数据的高可靠性。读写高性能：通过并行节点共同负载的方式提升了整体的吞吐性能。存储节点类型丰富：存储系统包含了

4、5款型号，容量型及性能型可以 实现部署在同一个命名空间下，实现数据分级。 存储资源池应用5分布式NAS应用场景分析方案亮点原生态对象存储接口：兼容多种用户应用，对接Amazon和Openstack公有云生态系统容量无缝扩展：随需而动，无限扩展，性能容量线性增长数据可靠：数据存储采用Erasure code算法提供高可靠的冗余保护， 数据传输加密，提供端到端安全保障易管理：单一系统，管理更简单，更加专注业务客户需求原生态对象存储接口：兼容多种用户应用，对接Amazon和O3Cnstack公有云生态系统容量无缝扩展：随需而动，无限扩展，性能容量线性增长数据可靠：数据存储采用Erasure code

5、算法提供高可靠的冗余保护， 数据传输加密，提供端到端安全保障易管理：单一系统，管理更简单，更加专注业务视频监控平台平安城市智慧交管智慧城市图像侦查智能分析人脸识别实时调阅存储资源池地铁港口轨道交通公安省市政府 6010304NAS应用场景分析UniStor系统组件介绍0506UniStor系统部署流程UniStor系统管理说明UniStor系统维护讲解02X10000产品简介 7X10000分布式存储产品产品定位应云而生面向日益增长的非结构化数据，提供全新的分布式架构系统。海量存储主要针对广电行业媒资管理及非编系统、云存储资源池、企业级 文件共享平台、公安视频云及大型视频监控的集中存储平台，政

6、 务云共享存储等行业客户应用。规格丰富X10000 提供5款不同规格设备，全面解决客户针对大容量及高性能的需求。单一文件系统可支持50PB存储容量。存储系统性 能及容量随着节点的增加而线性增长。 8X10000分布式存储产品组件构成图客户端/应用端层WindowsUNIX/LINUXMACNFS, CIFS交换机网络层 千兆/万兆客户前端现有环境网络节点后端网络层（存储节点互联）X10000 分布式存储存储节点集群新购分布式NAS 9监控监控监控非编监控监控非编及媒资库7*24系统 高可用数据、架构 高可靠性读写 高性能系统高 扩展性存储资源池备份及归档全对称架构分布式缓存副本及纠删码负载均衡

7、分布式文件系统 UniStorFSX10516X10326X10364存储节点通过10GE互联X10529X10536简易的 维护性大型视频监控X10000 分布式存储X10000分布式存储产品应用平台对接图 X10000分布式存储产品硬件平台介绍大容量场景H3C UniStor-H3C UniStor-X10326X10364CPU2*IntelBroadWell 2609V4 (1.7GHz/8core/20MB/85W)2*Intel Xeon E5 2640V4 (2.4GHz/10core/25MB/90W)缓存128GB320GB硬盘26*4TB SATA HDD64*4TB SA

8、TA HDD10 X10000分布式存储产品硬件平台介绍高性能场景H3C UniStor-H3C UniStor-H3C UniStor-X10516X10529X10536CPU2*IntelBroadWell2603V4(1.7GHz/6core/15MB/85W)2*IntelBroadWell2609V4(1.7GHz/8- core/20MB/85W)2*Intel Xeon E5 2620V4(2.1GHz/8- core/20MB/85W)缓存64GB-256GB64GB-256GB128GB-256GB硬盘14*2TB SATA HDD/2*240GB SATA SSD+14*

9、2TB SATA HDD29*900GB SAS HDD/29*1.2TB SAS SSD/4*240GB SAS SSD+25*900GB SAS HDD/4*240GB SAS SSD+25*1.2TB SAS HDD6*480G SATA SSD+30*2TB SATA HDD10 X10000分布式存储产品网络接口展示产品X10536、产品X10364相同的硬件结构， 如图所示1所示设备iLO,用于远程管理设备上下电，iLO 标准以太网电口，该接口地址需要DHCP服务 器分配，默认登录密码见于设备服务牌2、3、4是设备10GE光口网卡，标配仅支持多 模光纤5所示设备1GE电口网卡产品X

10、10316、产品X10529相同的硬件结构， 如图示1所示设备HDM，用于远程设备上下电，HDM标准以太网电口，该接口默认地址 ，登录默认 admin/Password_2所示设备1GE电口网卡3.4所示设备10GE光口网卡，标配仅支持多模 光纤，不支持交换机光模块混插10 010304NAS应用场景分析UniStor系统介绍0506UniStor系统部署流程UniStor系统管理说明UniStor系统维护讲解02X10000产品简介10 UniStor系统系统架构LinuxWindowsNFSCAPFSMDSMAC OS业务层文件系统层存储层OSDMONCIFS负载均衡

11、（DNS）WorkstationHANDY管理系统权限管理故障管理日志管理实时监控10 UniStor系统角色介绍管理角色存储角色监控角色元数据角色NAS角色UniStor集群中管理角色（HANDY）负责配置、监控各个节点运行状态，配置包括对其他角色增加、删除，监控包括性能监控、告警监控UniStor集群中存储角色用于存储数据对象，存储角色将存储的物理硬 盘划分不同存储对象（OSD），确保数据均匀分布不同物理磁盘UniStor集群中监控角色（MON）负责维护整个集群的健康状态，监控 角色不负责数据存储UniStor集群中元数据角色（MDS）为CAP FS文件系统跟踪文件的层次 结构和存储元数据

12、，且元数据角色不直接提供数据给客户端UniStor集群中NAS角色为客户端提供高可靠、负载均衡的访问业务，NAS访问支持标准的NFS协议、CIFS协议，支持客户端不同认证方式10 UniStor系统角色配置说明UniStor角色管理角色存储角色监控角色元数据角色NAS角色UniStor集群中有且仅有一个物理节点被部署为管理（HANDY）角色UniStor集群中多个节点被部署存储 角色，用于提供存储服务UniStor集群中至少部署三个监控角 色，其中有一个是主监控（MON）UniStor集群中至少部署二个元数据（MDS），其中有一个是主的UniStor集群中可根据业务部署任意 节点NAS节点10

13、 UniStor系统角色规划示例UniStorNode1UniStorNode2UniStorNode3Handy角色存储角色主MON角色备MDS角色NAS角色存储角色备MON角色存储角色备MON角色主MDS角色备MDS角色NAS角色NAS角色10 三节点集群部署角色示例UniStor系统标准组网分析业务网用户业务交换机X10000节点X10000节点管理网交换机堆叠交换机存储网管理网业务网络用于接入用户交换机，提供用户业务数据流量存储后端网络用于集群内部存储节点数据同步、集群恢复存储前端网络用于集群内部存储节点间心跳等数据管理网络用于集群域维护网络对接，承担集群管理业务流量用户管理交换机。1

14、0GE堆叠线 业务网 10GE 存储网 10GE管理网 GEHDM管理线10 UniStor系统业务访问流程WorkstationInternetLINUXWINDOWSNFSCIFSDOC、PPT、PDFFILEFILE FILE FILEFILE FILE FILE FILE10 认证服务器UniStor系统NAS协议简介LINUXWindowsInternetCIFS是Common Internet FileSystem简称，它允许程序访问 远程Internet计算机上的文件并 要求次计算机提供服务。CIFS采 用C/S模式，客户端程序请求远 在服务器上的服务程序为它提供 服务，服务器接

15、受请求并返回响 应。SMB是实现CIFS通讯协议。NFS是Network File System简称，NFS是网络文件系统，属于FreeBSD支持的文件中的一种， 它网络中的计算机之间通过TCP/IP网络共享资源。在NFS应 用中，本地NFS客户端应用可以 透明读写位于远端NFS服务器上 的文件，NFS通讯协议也成为NFS协议.CIFSNFS10 UniStor系统域认证方式活动目录（Active Directory）是面向Windows Standard Server、 Windows Enterprise Server以及Windows Datacenter Server的目录服务。 Ac

16、tive Directory存储了有关网络对象的信息，并且让管理员和用户能够轻松地 查找和使用这些信息。AD域LDAP（Lightweight Directory Access Protocol）是一个基于X.500，支持TCP/IP的网络协议。LDAP目录服务器的功能就是维护一个当前存储资源使用的 目录信息表，包括系统中每个用户、用户组的资源使用分配以及访问权限信息， 并实现从逻辑文件名到文件物理位置的转换；同时，依托现有的目录信息，提供 更高层次的目录服务，如基于资源属性的搜索查询功能LDAP域10 010304NAS应用场景分析UniStor系统组件介绍0506UniStor系统部署流程

17、UniStor系统管理说明UniStor系统维护讲解02X1000产品简介10 检查设备安装环境，机房温度、机柜空间、电量、机柜承重 检查设备外观是否受损检查部署实施工具是否齐全检查是否满足安全操作指引UniStor系统部署注意事项检查物理网络连接是否与规划部署一致检查服务器各类状态指示灯检查服务器RAID卡配置，包括RAID卡写缓存打开、硬盘缓存关闭检查生产镜像版本 软硬件配套关系检查检查部署模板填写的地址是否与规划一致（一键安装）环境检查硬件检查软件检查10 UniStor系统部署部署流程UniStor系统部署准备工作安装设备，设备安装参见设备安装指南按照网络规划组建网络配置交换机，包括d

18、hcp服务、堆叠、 聚合口设备的ilo口或者HDM口已可正常访问SSH工具登录规划的管理节点获取一键配置文件，规划UniStor系统 网络检查非handy节点与handy节点网络连通性执行一键安装配置命令，重启各个节点检查各个节点的网络是否按照规划网络 配置，检查项目包括各个网卡名是否与IP地址相对应10 UniStor系统部署交换机配置#交换机DHCP配置-system-view H3Cdhcp enable/进入系统视图/使能DHCPH3Cdhcp server ip-pool yyp/配置并进入地址池视图H3C-dhcp-pool-yypnetwork mask

19、 /配置地址池的范围/返回上一级/进入vlan配置（服务器所连的接口在vlan1）/配置虚拟接口vlan1的地址（该地H3C-dhcp-pool-yypquit H3Cinterface Vlan-interface 1H3C-Vlan-interface1ip address 51 址需为ip-pool中的某一个地址）H3Cdhcp-snooping/使能DHCP snooping-H3Cundo dhcp enable H3Cundo dhcp-snooping/ 删除DHCP#交换机链路聚合配置H3Cinterface

20、Bridge-Aggregation 1 /创建聚合组H3C-Bridge-Aggregation1link-aggregation mode dynamic /配置聚合模式 H3C-Bridge-Aggregation1quit /返回上一级H3Cinterface Ten-GigabitEthernet 1/0/17 /进入端口H3C-Ten-GigabitEthernet1/0/17port link-aggregation group 1 /端口加入聚合组10 UniStor系统部署交换机配置(续)#交换机堆叠配置示例Device A的配置如下：system-viewH3Cinterf

21、ace Ten-GigabitEthernet 1/0/1H3C-Ten-GigabitEthernet1/0/1shutdown /关闭端口H3C-Ten-GigabitEthernet1/0/1interface Ten-GigabitEthernet 1/0/2 H3C-Ten-GigabitEthernet1/0/2shutdownH3C-Ten-GigabitEthernet1/0/2interface Ten-GigabitEthernet 1/0/3 H3C-Ten-GigabitEthernet1/0/3shutdownH3C-Ten-GigabitEthernet1/0/3i

22、nterface Ten-GigabitEthernet 1/0/4 H3C-Ten-GigabitEthernet1/0/4shutdownH3C-Ten-GigabitEthernet1/0/4quit /返回上一级 H3Cirf-port 1/2 /创建irf逻辑口H3C-irf-port1/2port group interface Ten-GigabitEthernet 1/0/1 /irf逻辑口绑定物理口 H3C-irf-port1/2port group interface Ten-GigabitEthernet 1/0/2H3C-irf-port1/2port group in

23、terface Ten-GigabitEthernet 1/0/3 H3C-irf-port1/2port group interface Ten-GigabitEthernet 1/0/4 H3C-irf-port1/2quit /返回上一级H3Cinterface Ten-GigabitEthernet 1/0/1H3C-Ten-GigabitEthernet1/0/1undo shutdown /启用端口H3C-Ten-GigabitEthernet1/0/1interface Ten-GigabitEthernet 1/0/2 H3C-Ten-GigabitEthernet1/0/2u

24、ndo shutdownH3C-Ten-GigabitEthernet1/0/2interface Ten-GigabitEthernet 1/0/3 H3C-Ten-GigabitEthernet1/0/3undo shutdownH3C-Ten-GigabitEthernet1/0/3interface Ten-GigabitEthernet 1/0/4 H3C-Ten-GigabitEthernet1/0/4undo shutdownH3C-Ten-GigabitEthernet1/0/4save /保存配置H3C-Ten-GigabitEthernet1/0/4quitH3Cirf-p

25、ort-configuration active /激活irf端口下的配置Device B的配置如下：system-viewH3Cirf member 1 renumber 2 /修改irf成员编号（默认为1） H3Cquitrebootsystem-viewH3Cinterface Ten-GigabitEthernet 1/0/1H3C-Ten-GigabitEthernet1/0/1shutdownH3C-Ten-GigabitEthernet1/0/1interface Ten-GigabitEthernet 1/0/2 H3C-Ten-GigabitEthernet1/0/2shut

26、downH3C-Ten-GigabitEthernet1/0/2interface Ten-GigabitEthernet 1/0/3 H3C-Ten-GigabitEthernet1/0/3shutdownH3C-Ten-GigabitEthernet1/0/3interface Ten-GigabitEthernet 1/0/4 H3C-Ten-GigabitEthernet1/0/4shutdownH3C-Ten-GigabitEthernet1/0/4quitH3Cirf-port 2/1H3C-irf-port2/1port group interface Ten-GigabitEt

27、hernet 1/0/1 H3C-irf-port2/1port group interface Ten-GigabitEthernet 1/0/2 H3C-irf-port2/1port group interface Ten-GigabitEthernet 1/0/3 H3C-irf-port2/1port group interface Ten-GigabitEthernet 1/0/4 H3C-irf-port2/1quitH3Cinterface Ten-GigabitEthernet 1/0/1H3C-Ten-GigabitEthernet1/0/1undo shutdownH3C

28、-Ten-GigabitEthernet1/0/1interface Ten-GigabitEthernet 1/0/2 H3C-Ten-GigabitEthernet1/0/2undo shutdownH3C-Ten-GigabitEthernet1/0/2interface Ten-GigabitEthernet 1/0/3 H3C-Ten-GigabitEthernet1/0/3undo shutdownH3C-Ten-GigabitEthernet1/0/3interface Ten-GigabitEthernet 1/0/4 H3C-Ten-GigabitEthernet1/0/4u

29、ndo shutdownH3C-Ten-GigabitEthernet1/0/4save H3C-Ten-GigabitEthernet1/0/4quit H3Cirf-port-configuration active10 集群集群名称ONEStor管理网络网段*/24业务网络网段 */24存储前端网段*/24存储后端网段*/24管理网络网关业务网络网关存储前端网络网关存储后端网络 网关部署节点01节点SN*210200A00DN172000054节点名称*UniStornode1管理IP地址*19

30、管理IP地址网口*ethA08-0网口是否bond*Nobond的网口列表 0(bond0)bond的网口列表 1(bond1)bond的网口列表2(bond2)业务IP地址*30业务IP地址的网口*ethA08-1存储前端IP地址*30存储前端IP地址的网口*ethB03-1存储后端IP地址*30存储后端IP地址的网 口*ethB03-0UniStor系统部署网络规划登录规划handy节点 获取该配置文件，获 取路径/opt/onestor_pac kages/ONEStor_D eploy_Templ

31、ate.xl s图示为其中一个节点 网络配置，包括存储 前端、存储后端、管 理网络该表是UniStor集群 部署的一键配置节点 IP地址表，其中“*” 为必填选存储网络配置10GE 网络，10GE网口命 名 规 则 ethBXX- X,GE网口命名 ethAXX-XBond网口列表配置 要求其网口选择不同 的网卡保证其网卡冗 余特性节点的名称不能重复10 UniStor系统部署Handy安装#解压缩Handy软件包tar zxvf /opt/onestor_packages/NAS-XXXX.tar.gz-以实际部署版本为准，下同 NAS-E0208/NAS-E0208/install.sh

32、NAS-E0208/onestor/NAS-E0208/onestor/linux_kernel/.#安装软件包/opt/onestor_packages/NAS-XXXX/install.shWARNING Please carefully read the following contents before you install ONEStor:*1 Forbid to interrupt ONEStor installation except for some s3Ccial cases*2 Only support Ubuntu 14.04.3 LTS system INFO I a

33、ccept and continue?(Yes|No) : yes- 输入yes.OK Installation completed! -表示正确安装10 UniStor系统部署访问HANDY页面STEP 1：HTTP访问Handy 管理地址，登录UniStor管理平台用户名”admin”， 密码默认出厂密码10 UniStor系统部署基本信息配置STEP 2：配置网段信息Root密码要求各 个节点一致【可选】开启缓 存需要SSD盘支 持【可选】NTP配 置集群外NTP服 务10 UniStor系统部署机架节点扫描STEP 3：添加机架配置10 UniStor系统部署机架节点扫描STEP 4：

34、扫描主机获取节点信息选择部署节点，分配部署 角色【可选】选择SSD盘配置缓存信息10 UniStor系统部署信息确认STEP 5：配置信息核对EP 6：10 UniStor系统部署信息确认STEP 6：系统自动部署集群软件部署完成自动跳转管 理页面10 UniStor系统部署完成集群部署集群创建完成 跳转页面集群健康状态 异常，表示未 创建文件系统集群部署完成， 未配置文件服 务，不能对外 提供文件存储服 务10 UniStor系统部署文件服务配置向导创建文件存储配置文件系统配置NAS组配置用户管理配置信息核对开始创建配置数据冗余添加MDS节点核对配置信息配置NAS组信息添加NAS节点配置NF

35、S或CIFS【可选】缺省匿名接入User鉴权【可选】添加本地用户与组10 UniStor系统部署配置冗余方式STEP 1：三节点的集群元数据 池冗余策略一般配置 2配置置数据池冗余 副本个数，配置原则 小于等于节点数且大 于1，最大支持10副 本10 UniStor系统部署添加元数据节点STEP 2：元数据节点要求大于2【可选】元数据主机可指定集群外主机【可选】指定主机外 节点，软件版本要求 与集群保持一致10 UniStor系统部署核对文件系统配置信息STEP 5：核对文件系统配置 信息STEP 4：10 UniStor系统部署配置NAS组STEP 4：STEP 5：STEP 5：配置NAS

36、组名称配置NAS服务动态 地址配置向导添加动态 地址不超过5个一般配置原则NAS 节点数等于动态服 务地址数10 UniStor系统部署添加NAS主机STEP 6：添加NAS主机NAS主机配置个数可 根据业务要求选择【可选】NAS主机可配置集群外主机10 UniStor系统部署配置NFS共享STEP 7：配置NFS共享名、共享 目录配置NFS方式，选择读写允许主机访问可根据实 际进行配置，默认“*” 表示运行所有主机访问【可选】不创建NFS共享10 UniStor系统部署配置NAS组STEP 8：配置CIFS共享名称配置CIFS共享目录默认“*”运行所有 主机访问CIFS可置禁止某个 客户端主机访问【可选】不创建CIFS共享10 UniStor系统部署配置NAS组STEP 9：默认选择匿名接入User鉴权添加用户组配置向导创建用户、 用户组最多只能创建3个文件存储用户管理 批量导入10 UniStor系统部署配置用户STEP 10：添加user鉴权用户， 用户密码要求一定密 码强度AD、LDAP鉴权方式 配置在文件存储用 户管理域认证方式， 可进行配置10 UniStor系统部署配置用户STEP 11：核对文件存储服务配置信息10 UniStor系统部署自动创建文件存储STEP 14：STEP 12：文件存储自动 完成创建1