hcie0学习参考包it部分fusionstorage部署

1、FuStorage部署规划前言本节重点介绍FuStorage的部署方式，组网设计，约束条件直至容量及性能计算等内容。此部分内容和工作实践强相关，需要基于实践完整掌握第1页目标学完本课程后，您将能够:描述掌握FuStorage产品部署方式FuStorage计算节点配置规格要求掌握并描述FuStorage配置规划约束掌握FuStorage有效容量及性能估算等第2页目录Storage融合部署 与分离部署Storage组网方案1.2.FuFuStorage与FuSphere环境联合部署方案3.FuStorage与VMware环境联合部署方案4.5.6.7.Fu计算和节点配置规格参考Storage配置规

2、划及相关约束Storage有效容量及性能估算FuFu第3页FuStorage融合部署 融合Server1 融合Server2 融合Server3 VMVM融合部署 ：即将应用或虚拟机与时部署在同一台服务器上同VBSOSDUVP/KVMVBS和OSD安装在Hypervisor上如果是面UVP，则部署在0里如果是KVM，则部署在KVM宿主机OS上面硬件介质第4页计算网络(10GE/IB/RoCE)FuStorage融合部署使用建议融合部署风险问题：虚拟化和池相互争抢资源，存在业务虚拟机和0抢占CPU和内存，以及险使用建议：0内的各个进程相互抢占CPU和内存的风小规模虚拟化/私有云场景可以使用融合部

3、署和分离部署方案大规模虚拟化/私有云场景强烈要求使用分离部署方案公有云场景必须使用分离部署方案数据库场景必须使用分离部署方案第5页FuStorage分离部署 计算Server1 分离部署：即将应用或虚拟机与采用UVP时：VBS模块部署在分别部署在不同服务器上0点内的用户VM访问本节点0 VM中VBS提供的服务采用KVM时：VBS模块部署在KVM OS点内的用户VM访问本节点OS中VBS提供的质设备中 计算Server2 计算Server3 服务。KVM OS安装在本服务器介计算网络(10GE/IB/RoCE)Server1 Server2 OSDUVPOSD模块部署在独立的服务器，采用UVP硬

4、件介质OS，负责管理本服务器的PCIE SSD或者SCSIController下的硬盘或者SSD盘第6页Server3VMAPPVBSUVP/KVM/RedhatFuFuStorage硬件部署形态Storage在通用x86服务器上部署分布式，把所有服务器的本地硬盘组织成一个虚拟资源池，提供块接口典型硬件2：刀片式服务器典型硬件1：机架式服务器第8页FuStorage硬件要求第9页组件规格物理形态机架服务器或刀片服务器，X86架构处理器el Xeon E5-2600/4600v2系列处理器，el Xeon E7-4800/8800 v2系列处理器内存大于64G内存至少6个2.5/3.5 英寸SA

5、S/SATA/SSD硬盘，其中：2个用于安装Hypervisor OS，剩余的硬盘用于创建分布式块资源池要求配置SAS RAID卡，支持RAID0/1网络接口网络接口满足以下要求之一：GE电口：至少6个，其中4个用于平面，另外2个用于管理和业务平面2个10GE光口，绑定后支持管理/业务/复用2个10GE电口+2个56G IB，IB网络用于平面，10GE网络用于管理和业务平面PCIe扩展插槽PCIe扩展槽位支持1个或2个SSD卡，在搜索业务、Cache业务、下载业务等应用领域可以极大的I/O性能目录Storage融合部署与分离部署Storage组网方案1.2.FuFuStorage与FuSphe

6、re环境联合部署方案3.FuStorage与VMware环境联合部署方案4.5.6.7.Fu计算和节点配置规格参考Storage配置规划及相关约束Storage有效容量及性能估算FuFu第10页FuStorage网络平面融合部署网络平面分离部署网络平面管理、和业务平面使用不同VLAN或者独立的物理网卡物理服务器网卡要求配置网口聚合（Bond），模式为active-backup（Bond模式为1）GE组网时，硬件至少为4*1Gb组网，其中至少3*1Gb用于10GE组网时，硬件至少为2*10Gb组网，其中至少2*6Gb用于平面平面使用机柜级安全时，机柜间至少为4*10Gb带宽，每服务器为2*10G

7、b带宽，其中平面6*Gb及以上带宽第11页FuStorage以太网组网之融合部署小规模堆叠汇汇聚服务器，每服务器12盘，服务器级安全11Eth-Trunk大规模资源池场景：4x10GE10GE交换机（板）140GE堆叠至少12台服务器，至少3个机柜，机柜级安全接入接入Bond2x10GEBond 2x10GEBond 2x10GEBond 2x10GE10GE10GE10GE10GEBMCBMC计算和服务器计算和服务器业务、管理设备管理上行业务上行管理级联第13页场景：至少3140GE10GE交换机（板）GE交换机0GE交换机（板）聚110GE交换机（板）FuStorage以太网组网之分离部署

8、大规模堆叠汇汇聚至少12台服务器，至少3个机柜，机柜级安全11Eth-Trunk4x10GE10GE交换机（板）40GE堆叠接入接入Bond 2x10GEBond 2x10GEBond 2x10GEBond 2x10GEBMCBMC计算服务器服务器业务、管理管理上行业务上行管理级联第14页资源池场景：40GE10GE交换机（板）10GE10GE10GE10GEGE交换机10GE交换机（板）聚1110GE交换机（板）FuStorage机架服务器以太网组网分离部署上行10GE设备管理上行10GEGEEth-trunk堆叠4x10GE基本柜扩展柜扩展柜第15页2x10GE2x10GEMgmtRH22

9、88H (1)2x10GE2x10GEMgmtRH2288H (0)2x10GE2x10GEMgmtRH2288H (11)24xGE + 2x10GE LSW24x10GE24x10GE2x10GE2x10GEMgmtRH2288H (1)2x10GE2x10GEMgmtRH2288H (0)2x10GE2x10GEMgmtRH2288H (11)24xGE + 2x10GE LSW2x10GE2x10GEMgmtRH2288H (1)2x10GE2x10GEMgmtRH2288H (0)2x10GE2x10GEMgmtRH2288H (11)24xGE + 2x10GE LSW24x10G

10、E24x10GE48x10GE48x10GEFuStorage Infiniband组网介绍数据库和数据仓库场景下，数据库和数据仓库单独部署在作为计算节点的物理服务器上，运行企业关键数据库、数据仓库、关键Infiniband组网/等应用，使用40G/56G每服务器配置双端口IB网卡，两个IB网口配置为主备bond ，分别连接到两块IB交换机(板)每框（柜）的两块IB交换机(板)之间不配置主备，也不配置堆叠，各自独立汇聚框（柜）与扩展框（柜）之间的IB 交换机（板）通过IB线缆连接，不用配置trunkIB连线规则：扩展框（柜）的带宽要大于等于计算框（柜）的输出带宽，尽量发挥框的带宽第16页FuS

11、torage Infiniband组网方案第17页BondBond服务器服务器ib0ib1IB网卡ib0ib1IB网卡IB交换机(板)IB交换机(板)BondBond服务器服务器ib0ib1IB网卡ib0ib1IB网卡IB交换机(板)IB交换机(板)计算服务器计算服务器BondBondIB交换机(板)IB交换机(板)IB网卡ib0ib1IB网卡ib0ib1目录Storage融合部署与分离部署Storage组网方案1.2.FuFuStorage与FuSphere环境联合部署方案3.FuStorage与VMware环境联合部署方案4.5.6.7.Fu计算和节点配置规格参考Storage配置规划及相

12、关约束Storage有效容量及性能估算FuFu第18页与FuSphere融合部署方案OSD和VBS模块部署在0中，服务器PCIESSD或者SCSI Controller下的硬盘或者SSD盘passthrough到0中的OSD进行介质管理第19页Computing&Storage Server0User VMsOSDsVBSVM IOPassthroughHypervisorPSCSI Controller CIESSHHHHOther HWs SSSDDDDSDDDDDDDVMVMVBSOSD硬件介质UVP/KVM融合Server2融合Server1计算网络(10GE/IB/RoCE)与FuS

13、phere分离部署方案 计算Server1 计算Server2计算网络(10GE/IB/RoCE)Server2 OSDUVP硬件介质第20页VMAPPVBSUVP/KVM/RedhatStorage ServerOS（UVP）OSDsPSCSI Controller CIESSHHHHOther HWs SSSDDDDSDDDDDDD以太网或者InfiniBandServer1Computing Server0User VMsVM IO pvdriver HypervisorHWsVBSs目录Storage融合部署与分离部署Storage组网方案1.2.FuFuStorage与FuSpher

14、e环境联合部署方案3.4.5.6.7.FuFuStorage与VMware环境联合部署方案节点配置规格参考计算和Storage配置规划及相关约束Storage有效容量及性能估算FuFu第23页与VMware融合部署方案OSD和VBS模块部署在Controller VM中，服务器PCIE SSD或者SCSI Controller下的硬盘或者SSD盘pass through到Controller VM中的OSD进行介质管理， VBS通过iSCSI接口给ESXi提供块服务CVMiSCSI-VBSVMVMOSDVMFSVMWARE-ESXiiSCSI-InitiatorHardware media第2

15、4页Computing&Storage ServerController VMUser VMs SLES 11.3OSDsVBSsVM IOPassthroughHypervisorPSCSI Controller CIESSHHHHOther HWs SSSDDDDSDDDDDDD融合Server3融合Server2融合Server1计算网络(10GE/IB/RoCE)与VMware分离部署方案第25页计算Server2计算Server1Storage ServerSLES 11.3OSDsPSCSI Controller CIESSHHHHOther HWs SSSDDDDSDDDDDDD

16、Server1 Server2OSDLinux OS硬件介质计算网络(10GE/IB/RoCE)以太网或者InfiniBandCtl-VMVMVMiSCSI-VBSHypervisorVMFS iSCSI-InitiatorComputing ServerController VMUser VMs SLES 11.3VBSsVM IO iSCSIHypervisorHWs目录Storage融合部署与分离部署Storage组网方案1.2.FuFuStorage与FuSphere环境联合部署方案3.FuStorage与VMware环境联合部署方案4.5.6.7.Fu计算和节点配置规格参考Stora

17、ge配置规划及相关约束Storage有效容量及性能估算FuFu第26页FuStorage计算和节点资源占用(1)第27页融合部署资源资源预留备注计算节点CPU4vCPU内存4G节点CPU6vCPU其中VBS 2vCPU ,OSD 4vCPU内存12GB+N*主机硬盘数+SSD缓存大小(GB)*8/1024数据盘为（SAS盘、SATA盘、SSD盘）场景使用IB网络时，根据单个磁盘容量的不同，取值如下：容量2T：N=2.4GB 2T容量4T：N=3.4GB使用10GE网络时，根据单个磁盘容量的不同，取值如下：容量2T：N=2GB 2T容量4T：N=3GB14.5GB + 3.5GB主存SSD卡个数

18、(SSD卡容量GB/600)数据盘为SSD卡FuStorage计算和节点资源占用(2)第28页分离部署资源资源预留备注计算节点CPU4vCPU内存4G节点CPU独占节点CPU资源内存8GB+N*主机硬盘数+SSD缓存大小(GB)*8/1024数据盘为（SAS盘、SATA盘、SSD盘）场景：使用IB网络时，根据单个磁盘容量的不同，取值如下：容量2T：N=2.4GB2T容量4T：N=3.4GB使用10GE网络时，根据单个磁盘容量的不同，取值如下：容量2T：N=2GB 2T容量4T：N=3GB8GB + 3.5GB主存SSD卡个数(SSD卡容量GB/600)数据盘为SSD卡FuStorage计算和节

19、点资源占用(3)第29页场景进程OSCPU内存说明非虚拟化VBS-4个超线程或以上4G6.5G-硬盘做主存时VBS的内存占用4G；SSD卡/SSD盘做主存时VBS的内存占6.5G；硬盘做主存时，节点配置1个6核CPU即可；SSD卡/SSD盘做主存时需配置2个6核CPU。场景进程vCPU内存说明VMwareMDC845G55G融合部署时Ctrl_VM规格，此时CTRL_VM的内存规格为 Fu Storage 各进程内存容量+1GB 容量（for SUSE11.3 OS）分离部署时Ctrl_VM规格，此时CTRL_VM的内存规格为VBS的4G内存容量+ 1GB容量（for SUSE11.3 OS）

20、主存为SAS盘、2TB及以下的SATA/NLSAS盘时的OSD内存占用规格；主存为SSD卡/SSD 盘、2TB 以上的SATA/NLSAS 盘时的OSD内存占用规格；硬盘做主存时VBS的内存占用规格；SSD卡/SSD盘做主存时VBS的内存占用规格；VBS4G6.5G-OSD2.5G3.5G-目录Storage融合部署与分离部署Storage组网方案1.2.FuFuStorage与FuSphere环境联合部署方案3.FuStorage与VMware环境联合部署方案4.5.6.7.Fu计算和节点配置规格参考Storage配置规划及相关约束Storage有效容量及性能估算FuFu第30页FuStor

21、age MDC配置原则MDC部署在3个以上节点上（默认3节点），形成MDC集群MDC进程需要占用独立的空间，该空间称为ZK将系统分区分给ZK使用，该分区称为ZK分区，即和OS盘合布，ZK分区大小为60G，ZK分区部署时，不能和管理节点OS盘合布。此部署方式需要整个系统规模为5或以上服务器将单个磁盘分给ZK使用，该磁盘称为ZK盘，即在部署MDC的服务器中，划一块硬盘来独立部署，此时会占用一个数据盘槽位。但是使用独立ZK盘的性能和可靠性要优于ZK分区第31页FuStorage配置约束单服务器内总主存数量：336盘/卡。单台服务器上每资源池主存数3-12（2副本）/36（3副本）。单资源池两副本情况

22、下最大96块盘（SAS / SATA/ NLSAS/ SSD盘/SSD卡）。三副本情况下最大为 2048块盘或者SSD卡每台服务器内每资源池Cache介质数量：04，并且小于硬盘/主存介质数量， 集群内初始各服务器间Cache介质数量可不一样；但同一资源池内初始各服务器间Cache介质数量必须一样服务器内硬盘/主存类型可不一样，每一种硬盘/主存类型都可划分到不同资源池，比如SATA划个池、SSD盘划个池、SSD卡划个池；但资源池内各服务器间硬盘/主存类型必须一样资源池内初始各服务器间硬盘/主存数量可不一样，可以相差1-2个，但相差2个时，最多相差小于等于30%比例（如6个盘，一个是4个盘，相差

23、比例为33%，超过了30%，则不能组成资源池，如果是8个和6个则可以）服务器内硬盘/主存大小可以不一样，大小不一（类型形同）的硬盘/主存，可以划入同一个资源池，但只能大的当小的用每个节点上的网络配置要保持一致第32页FuFuStorage硬件选配指导Storage支持的主存类型：SATA/NLSAS盘、SAS盘、SSD盘以及SSD卡从IO性能看，SSD卡SSD盘 SAS盘SATA/NLSAS盘从每GB成本看，SSD卡SSD盘SAS盘 SATA/NLSAS盘Cache类型的选择：No Cache、SSD盘和SSD卡、NVDIMMNo Cache指的是没有Cache加速，原则上仅在SSD盘或者SSD卡做主存情况下采用SSD盘/SSD卡在SAS盘或者SATA/NLSAS盘做主存情况下使用NVDIMM跟服务器硬件紧耦合，当前仅在