第七章集群存储系统规划与设计

修订记录课程编码适用产品产品版本课程版本ISSUEHC1209207N8500V100R002V2.0开发/优化者时间审核人开发类型（新开发/优化）张博2013-09-20余雷新开发本页不打印HC1209207

集群NAS存储规划与设计目标学完本课程后，您将能够:描述N8500整体规划思路掌握N8500网络规划掌握N8500容量规划掌握N8500文件系统规划掌握N8500业务规划了解N8500性能优化目录N8500整体规划思路网络规划容量与文件系统规划文件共享业务规划性能优化N8500整体规划思路客户端（业务侧）N8500（存储侧）目录N8500整体规划思路网络规划容量与文件系统规划文件共享业务规划性能优化规划项IP地址信息/子网掩码网关引擎节点物理IP地址段举例：192.168.10.10/24～192.168.10.10/24192.168.10.1引擎节点虚拟IP地址段_________～_________引擎节点ConsoleIP地址_________控制框管理网口IP地址控制器A：_________控制器B：__________________规划项数量计算方法网段要求引擎节点物理IP组建业务网络的网口（考虑扩展）数量+引擎节点所有管理网口数量。•必须为连续的IP地址段。•所有IP地址（ConsoleIP地址、物理IP地址、业务网口虚拟IP地址）在同一网段内。引擎节点虚拟IP引擎节点业务网口的数量。•必须为连续的IP地址段。•所有IP地址（ConsoleIP地址、物理IP地址、业务网口虚拟IP地址）在同一网段内。引擎ConsoleIP每套N8500只需规划1个。•与控制框的控制器IP地址在同一网段。•与引擎物理IP地址、业务网口虚拟IP地址在同一网段内。控制框管理IP多台控制框的情况下，需对每一台控制框规划不同的管理网口IP地址。与引擎节点ConsoleIP地址在同一网段内。N8500网络IP规划规划项IP地址信息/子网掩码网关引擎节点物理IP地址段举例：192.168.10.10/24～192.168.10.10/24192.168.10.1引擎节点虚拟IP地址段_________～_________引擎节点ConsoleIP地址_________控制框管理网口IP地址控制器A：_________控制器B：__________________规划项数量计算方法网段要求引擎节点物理IP组建业务网络的网口（考虑扩展）数量+引擎节点所有管理网口数量。•必须为连续的IP地址段。•所有IP地址（ConsoleIP地址、物理IP地址、业务网口虚拟IP地址）在同一网段内。引擎节点虚拟IP引擎节点业务网口的数量。•必须为连续的IP地址段。•所有IP地址（ConsoleIP地址、物理IP地址、业务网口虚拟IP地址）在同一网段内。引擎ConsoleIP每套N8500只需规划1个。•与控制框的控制器IP地址在同一网段。•与引擎物理IP地址、业务网口虚拟IP地址在同一网段内。控制框管理IP多台控制框的情况下，需对每一台控制框规划不同的管理网口IP地址。与引擎节点ConsoleIP地址在同一网段内。N8500网络IP规划N8500网络IP规划举例规划项IP地址信息/子网掩码网关引擎节点物理IP地址段192.168.10.2/24～192.168.10.81/24192.168.10.1引擎节点虚拟IP地址段192.168.10.82/24～192.168.10.161/24192.168.10.1引擎节点ConsoleIP地址192.168.10.2/24192.168.10.1控制框管理网口IP地址控制器A：192.168.10.3/24控制器B：192.168.10.4/24192.168.10.1N8000配置——bond4模式什么是bond4？即“802.3ad”模式，动态链接聚合策略。优点网卡资源利用率高实现负载平衡提供容错功能实现数据包发送的有序传输缺点“网关型”拓扑下，负载不均衡问题突出使用范围有限制N8000配置——bond6模式什么bond6？即“balance-alb”模式，自适应负载均衡策略。优点能够根据bonding设备的负载状态进行动态的分配和调整。提供容错功能。缺点动态平衡必然会造成网卡设备的频繁切换，因而增加了系统开销。ARP协商机制的更新(服务器端)的方式不够健壮，有可能出现bonding设备主网卡承担过多负载的情况。N8000配置——配置bond创建bond删除bondCFSN8K>networkbondcreatepubeth1,pubeth26100%[#]Bondinginterfaces.Pleasewait...bondcreated,thebondnameis:bond0CFSN8K>networkbondremovebond0100%[#]RemovingBondbond0.Pleasewait...bondremoved:bond0目录N8500整体规划思路网络规划容量与文件系统规划文件共享业务规划性能优化RAID组划分原则同一RAID组建议划分一个LUN（fencingLUN除外）SAS、FC盘推荐配置为RAID10或者RAID54盘RAID10（多盘建RAID10时，可以扩充盘数）或者9盘或者11盘RAID59盘RAID5建议使用128KB分条深度，11盘RAID5建议使用64KB分条深度SATA、NL-SAS盘，兼顾可靠性和性能推荐配置11盘RAID6，配置一块热备盘RAID组不跨硬盘框同一RAID组中应避免包含不同转速、不同容量的硬盘，以免性能较差的硬盘影响RAID组整体性能数据库业务、随机读写业务建议使用RAID10存储划分原则——LUN参数详解参数项参数参数说明应用场景预取策略不预取按照I/O请求中指定的读取长度进行读取，即不预取。随机读业务，建议采用“不预取”，否则可能由于读命中率低而会导致性能下降。智能预取智能预取会对主机读请求进行连续性判断，如果是连续的请求，则将当前读请求后面的一段数据从硬盘预取到Cache中，提高读Cache命中率。如果是随机读，则不预取，只从硬盘读取需要的部分。适用于顺序读和随机都存在，或者无法判断读应用是否顺序的情况。固定预取Cache读取硬盘数据时，每次从硬盘中读取固定的长度（长度由用户配置）。适合大小固定的顺序读应用。例如彩铃、多用户流媒体点播，用户使用相同码流。可变预取在读取数据时，按照主机I/O请求中的读取长度的倍数将数据预取到Cache中。可适合大小不固定的顺序读应用，或多用户并发读但无法判定预读量，无法按固定预取设置的应用。例如多用户多媒体点播，用户使用码流各不相同。存储划分原则——LUN参数详解参数项参数参数说明应用场景写策略透写数据直接写入硬盘。每次写操作都要访问硬盘。可靠性最高，但写性能较差，不影响读性能。适用于对写性能要求不高，对可靠性要求较高的应用。回写回写/镜像：数据写入本地Cache，同时写到对端Cache。回写/不镜像：数据只写入本地Cache。回写、镜像：写性能比透写好，但比回写不镜像差，不影响读性能。适用于写性能和可靠性兼顾的应用。回写、不镜像：写性能最好，但可靠性较差。适用于对写性能要求高，对可靠性要求低的应用。强制回写强制回写、镜像：当存储系统发生某些故障（例如高温故障或BBU供电不足）时，强制写入本地Cache，同时写到对端Cache。强制回写、不镜像：当存储系统发生某些故障（例如高温故障或BBU供电不足）时，强制写入本地Cache。强制回写、镜像：写性能比透写好，但比强制回写不镜像差，不影响读性能。系统故障时可能会有数据丢失的风险。强制回写、不镜像：写性能最好，但可靠性较差，不影响读性能。系统故障时可能会有数据丢失的风险。存储划分原则——LUN单个LUN推荐最大不超过16TBLUN归属控制配置：同一RAID组的LUN归属于同一控制器，不同的RAID组交替归属于A控和B控。写cache：采用回写镜像预取策略请参考“LUN参数详解”LUN映射：映射时主机LUNID不能为0LUN分条深度最小值不建议小于32K，顺序型业务建议使用64K分条深度，随机型业务、和混合型业务建议使用32K分条深度如果有多个业务量较大的LUN，建议规划在不同的RAID组上。选择文件系统类型-Simple数据依次存储在构成文件系统的数据磁盘。适用于没有特别的性能和安全性要求的场景。选择文件系统类型-Stripe数据交错存储在多个数据磁盘，相当于RAID0，读写性能高，安全性低于构成stipe的任一单块数据磁盘。适用于性能要求高的场景。选择文件系统类型－Mirrored-stripe数据存储时先做条带再做镜像，相当于RAID01，读写性能高，安全性高。适用于对数据安全性和读写性能要求高的场景。文件系统参数规划对于条带类型的文件系统，columns数量不超过8，防止数据过于离散。文件系统大小超过1T时blocksize选择8192。创建条带文件系统，建议columns数量与raid组个数一致。在实际配置时，从可靠性和故障恢复速度方面考虑，文件系统大小建议不超过64TB。具体视文件大小决定，对小文件（平均文件大小<1M）存储应用，不超过16TB，文件越小，在满足容量需求的情况下，建议创建越小容量的文件系统。文件数量超过1000万时，建议不开启配额。建议单个文件系统存放文件不超过4000万，目录层度不超过10层.建议每个目录下不超过1万个文件，不超过1千个目录。目录N8500整体规划思路网络规划容量与文件系统规划文件共享业务规划性能优化文件共享业务规划原则NFS共享支持集群式访问，主机挂载需要手动分配IP，为负载均衡，请使用浮动在不同节点的虚拟IP。CIFSNormal共享采用的是DFS，单一文件系统只能通过特定机头访问，推荐ctdb集群模式。10GE端口不建议绑定，1GE端口绑定建议模式选择模式4或模式6。虚拟IP均衡分布Network->ipaddrshow命令查看IP分布CFSN8K>networkipaddrshowIPNetmaskDeviceNodeTypeStatus-----------------------------129.88.51.60255.255.0.0pubeth0CFSN8K_01Physical129.88.51.61255.255.0.0pubeth1CFSN8K_01Physical129.88.51.62255.255.0.0pubeth2CFSN8K_01Physical129.88.51.63255.255.0.0pubeth3CFSN8K_01Physical129.88.51.64255.255.0.0pubeth4CFSN8K_01Physical129.88.51.65255.255.0.0pubeth0CFSN8K_02Physical129.88.51.66255.255.0.0pubeth1CFSN8K_02Physical129.88.51.67255.255.0.0pubeth2CFSN8K_02Physical129.88.51.68255.255.0.0pubeth3CFSN8K_02Physical129.88.51.69255.255.0.0pubeth4CFSN8K_02Physical129.88.51.51255.255.0.0pubeth0CFSN8K_02VirtualONLINE(ConIP)129.88.51.80255.255.0.0pubeth1VirtualOFFLINE129.88.51.81255.255.0.0pubeth1VirtualOFFLINE129.88.51.82255.255.0.0pubeth2VirtualOFFLINE129.88.51.83255.255.0.0pubeth2VirtualOFFLINE129.88.51.84255.255.0.0pubeth3VirtualOFFLINE129.88.51.85255.255.0.0pubeth3VirtualOFFLINE129.88.51.86255.255.0.0pubeth4VirtualOFFLINE129.88.51.87255.255.0.0pubeth4VirtualOFFLINENFS共享业务均衡客户端使用不同的IP挂载NFS共享CFSN8K>nfsshareshow/vx/fs01129.88.*(rw,no_root_squash,async)CFSN8K>nfsserverstatusNFSStatusonCFSN8K_01:ONLINENFSStatusonCFSN8K_02:ONLINEsuse11:~#mount-tnfs129.88.51.60:/vx/fs01/mnt/ip1suse11:~#mount-tnfs129.88.51.65:/vx/fs01/mnt/ip2suse11:~#mount-tnfs129.88.51.60:/vx/fs01on/mnt/ip1typenfs(rw,addr=129.88.51.60)129.88.51.65:/vx/fs01on/mnt/ip2typenfs(rw,addr=129.88.51.65)CIFS共享业务均衡CIFS共享挂载原则推荐使用集群模式（cdtb），集群模式在同一时刻由多个集群NAS引擎节点为某个CIFS共享提供服务，缓解单节点业务负载，提高访问速度。CFSN8K>cifsserverstatusCIFSStatusonCFSN8K_01:ONLINECIFSStatusonCFSN8K_02:ONLINEHomedirfs:Security:userClusteringMode:normalCFSN8K>cifsshareshowShareNameFileSystemShareOptions dst fs_dstowner=root,group=root,rwCFSN8K>cifsshareshowdstShareNameVIPAddress dst129.88.51.80目录N8500整体规划思路网络规划容量与文件系统规划文件共享业务规划性能优化性能调优的前提制定合理的性能目标固定的测试环境问题“确诊”N8500性能评估关键参数性能评估关键参数每个NAS引擎节点提供的网口数量GE网口数量10GE网口数量NAS引擎节点硬件配置CPU数量及型号内存大小NAS引擎和存储单元通讯链路4GbFC8GbFC后端存储单元性能S2600T/S5500T/S5600T/S5800T/S6800T磁盘类型SSD/SAS/FC/SATA/NL_SASN8000性能评估依据性能评估依据引擎性能/节点（大文件混合读写）N8500基础版（单CPU+4个千兆网口+16GBcache）>350MB/sN8500标准版（单CPU+万兆网口+24GBcache）>500MB/sN8500企业版（双CPU+万兆网口+48GBcache）>700MB/sN8500增强版（双CPU+万兆网口+96GBcache）>900MB/s存储单元控制器最大性能（发挥存储最大性能需提供足够的磁盘）S2600T:800MB/sS5500T:2000MB/sS5600T:3000MB/sS5800T:4000MB/sS6800T:5000MB/s磁盘性能/单盘

（大文件混合读写）FC/SAS：30MB/s(8+1Raid5)SATA：12MB/s(10+2Raid6)NL_SAS：20MB/s(10+2Raid6)N8000性能计算方法性能计算方法P1:后端存储单元性能=单盘性能*有效磁盘数（除去热备盘后的磁盘总数）P2:NAS引擎性能=单个NAS引擎节点的性能*引擎节点数*80%（后端存储单元性能足够的情况下）N8000总体性能=Min（P1，P2）P1：存储单元性能不超出存储单元控制器的最大性能上限P2：引擎数量小于4时按此规则预估性能调优检查项315阵列是否正常1BBU是否故障2LUN“当前写策略”为透写3光纤端口速率误码5检查是否有慢盘4引擎到磁盘光纤链路工作模式6CPU利用率是否很高10文件系统的磁盘均衡分配控制器9阵列控制框到级联框光纤连接7LUN划分和归属8性能调优检查项——光纤连接磁盘阵列到级联框光纤连接控制框A控侧EXP连接到级联框A控制侧PRI，控制框B控侧EXP连接到级联框B控侧PRI，不能交叉相连。引擎到磁盘阵列光纤连接当同一引擎节点需连接阵列的单个控制器的多个端口时，尽量连接不同扣卡端口。确保有单独的路径到达阵列A控和B控。引擎侧如果存在多条路径到达阵列时，可在光纤交换机上划分ZONE实现逻辑隔离。性能调优检查项LUN划分和归属一个RAID组上仅创建一个LUNLUN处于回写镜像状态。确保LUN归属控制器与工作控制器一致。控制器分配组成文件系统的磁盘均衡分配在控制器上，比如可选择条带类型文件系统，而不是使用简单类型的文件系统。性能调优检查项——CPU利用率监控cpu利用情况

监控内存利用情况

监控网卡流量性能调优检查项——CPU利用率性能调优检查项-iostat命令常用的性能分析命令Top：显示当前进程的工作状态。Vmstat：显示当前Linux系统的工作状态。netstatnetstat–s，显示TCP统计信息；netstat–t，显示每一条TCP连接的状态；Iostat：显示磁盘IO当前状态，以及当前每个盘的利用率和吞吐量。Iperf：测试网络吞吐量。常用的性能分析和调整工具（一）ethtool：显示网卡状态，配置网卡参数ethtoolifname，显示网卡的连接速率和双工状态ethtool–cifname，显示网卡的中断聚合配置ethtool–Cifname，更改网卡的中断聚合配置ethtool–gifname，显示网卡接收buffer和发送buffer的数量ethtool–Gifname，更改网卡接收buffer和发送buffer的数量ethtool–kifname，显示网卡的TOE配置ethtool–Kifname，更改网卡的TOE配置ethtool–aifname，显示网卡的流控配置ethtool–Aifname，更改网卡的流控配置常用的性能分析和调整工具（二）iptables显示和配置Linux防火墙tcpdump，wireshark常用的性能分析和调整工具（三）/proc/interrupts显示当前每个CPU核处理中断的数量

Taskset设置把进程邦定到特定CPU核上/proc/irq/xxx/smp_affinity把中断邦定到特定CPU核上sarsar–nDEV显示当前网络卡的吞吐量sar–nNFSD显示当前nfsd服务的请求数量常用的性能分析和调整工具（四）oprofile系统性能剖析工具，能够动态分析影响性能的各种因素nmon收集系统性能信息，包括：CPU、NFSD、MEM、NET、DISK等等。

strace跟踪进程的系统调用。

uptime显