NetApp存储日常维护手册

NetApp

NETAPPGLOBALSERVICES

FAS系列存储日常维护手册

Preparedfbi•:

Preparedby:

NetApp,SZ

NetApp,Inc.

495EastJavaDrive

Sunnyvale,CA94089USA

Telephone:+1(408)822-6000

Fax:+1(408)822-4501

Snnnorttelenhan?-+1阳W24-NF.TAPP

NetApp2013NetApp.Allrightsreserved.Specificationsaresubjecttochangewithout

notice.NetApp,theNetApplogo,Gofurtherfaster,FlexVol,FlexClone,RAID-

DP.SnaoVault.andSnaoMirroraretrademarksorreeisteredtrademarksof

1目标

NetApp解决方案能够助客户有效地简化运作，同时最大限度地降低风险，为

那些不断经历变化的企业提供更高的性能和可扩展性。借助于产品、技术和合作伙

伴的良好组合,NetApp解决方案有助于解决最为迫切的IT和业务问题,同时最大

限度地提高投资回报率。

相旨南是为初次使用NetApp存储系统的人员编写的基本管理知识,目标是指

导维护人员如何进行每天的健康检查。

2硬件设备说明

NetAppFAS3200系歹（J

：

描述指示灯

PowerFaultActivityAActivityB

系统正常绿灯亮橙灯灭绿灯亮或闪烁绿灯亮或闪烁（AE系列

B灯不亮）

系统不正常任何指示灯显示不符合上述情况，请联系NETAPP客户支持

翩：

端口名称端口用途及描述

Oa、0b3Gb或6GbSAS接口用于连接NetApp存储后端SAS或SATA

磁盘柜

cOa、cOb8Gb或10Gb心跳线接口用于连接NetApp存储内部心跳

0c、Od4Gb光纤接口用于接NetApp存储后端FC磁盘柜或接前端主机或

接前端FC交换机或接磁带库

eOa、eOb1Gb网络接口用于接前端交换机或前端主机

eOM.SP100Mb网络接口其中eOM口用于远程网络管理端口；SP口为远

程串口

eOP100Mb网络接口用于管理NetApp内部磁盘柜

soltl-solt扩展槽位,用于接10Mb/100Mb/1000Mb/10Gb以太网卡网卡

6（10Gb以太网卡支持FCoE）、2Gb/4Gb/8Gb光纤卡、

3Gb/6GbSAS卡、256GB/512GB/1TBPAMII卡、或者SCSI

卡；

存储辍后部电源指示灯：橙色灯和绿色灯

LEDStatus

IconPorttypetypeindicatorDescription

NVMEMBatteryBlinkingNVMEMisinbattery-backed

greenstandbymode.

OffD(poweThesystemisrunningnormally,

ron)andNVMEMisarmedifData

ONTAPisrunning.

Offd(poweThesystemisshutdown,

roff)NVMEMisnotarmed,andthe

batteryisnotenabled.

ControllerACTAmberControllerisstartingup,Data

modulefaultONTAPisinitializing,the

controllerisinMaintenance

mode,oracontrollermodule

faultisdetected.

OffControllermoduleisfunctioning

properly.

机架/电源/磁盘

描述指示灯

PowerWarningActivity

系统正常绿灯亮橙灯灭绿灯亮或闪烁

系统不正常任何指示灯显示不符合上述情况，请联系NETAPP客户支持

描述指示灯

PSUstatusACmissingFanfaultOutputvoltage,

normalforthisPSUcurrent,temperature

fault

系统正常指示灯亮指示灯灭指示灯灭指示灯灭

电源问题指示灯灭指示灯灭指示灯灭指示灯亮

风扇问题指示灯灭指示灯灭指示灯亮指示灯灭

没有电源输指示灯灭指示灯亮指示灯灭指示灯亮

入

描述LED1（绿色）LED2(橙色)

正常绿灯亮或闪烁指示灯灭

Nodriveinstalled指示灯灭指示灯灭

SESdeviceidentificationset指示灯灭指示灯一秒亮一秒灭

SESdevicefaultbitset指示灯灭绿灯亮

Diskportisolated(eitherport)指示灯灭指示灯三秒亮一秒灭

3设备管理

3.1SystemManager图形管理接口

SystemManager是NetApp提供的图形管理接口，可以方便地实现对

NetApp的存储设备的管理。默认安装完成后点击桌面NetAppOnCommand

SystemManager您需要确认以下几点：

1、AdobeFlashPlayer或更高版本；

2、JavaRuntime或更高版本；

3、及以下存储端的配置：

legacy

on

on

snmpcommunity:public

4、通过SystemManager您可以完成几乎所有的管理任务。

点击login图标进入SYSTEMMANAGER管理界面,输入用户名和密码。

（缺省管理员为「。。1密码在初始安装时可以设定）

以下为常用菜单功能说明：

分类操作实现路径备注

Storage管理卷管理Storage->Volumes

QFS共享协议管Storage->Shares

理

NFS共享协议管Storage->Exports

理

LunWSStorage->Luns

Qtree管理Storage->Qtrees

Quota管理Storage->Quotas

Storage->Disks

存储池管理Storage->Aggregates

SnapMirror管理Storage->SnapMirror

Configuration用户及组管理Configuration->LocalUsersand

Groups

以太网管理Configuration->Network

协议管理Configuration->Protocols

安全设置管理Configuration->Security

系统工具Configuration->SystemTools

DiagnosticsCIFS诊断Diagnostics->CIFS

会话记录Diagnostics->Session

系统健康管理Diagnostics->SystemHealth

Log宣里Diagnostics->Logs

HAConfigHa诊断Haconfig

3.2命令行(CLI)

您可以用CONSOLE口（将PC机的串口与NetApp随机带的console线连在

filer的CONSOLE口，打开windows里的hyperterminal或其它仿真终端，波特率

设置为default:9600波特率,8位,无校验,1位停止位）和telnet登入filer的命令行

窗口.

缺省管理员账号为root,密码一般在安装时设置，可以使用passwd命令修改。

输入或者help可以看到全部命令。

FAS324OA1>

fsecurityoptionssmtapeacpadminftporouted

snapaggrhaltpartnersnaplockarphelppasswd

snapmirrorautosupporthostnamepingsnapvaulbackup

httpstatping6snmpbmcicpkttsoftwarecdpd

ifconfigportsetsourcecffgrpprioritysp

charmapifstatprivstatscifsigroupqtree

storagecloneipsecquotasysconfigconfigipspace

radiussysstatdateiscsirdatesystemdebkey_manager

rdfiletimezonedfkeymgrreallocatetraceroute

disklicensereboottraceroute6disk_fw_updatelock

restoreupsdnsloggerrevert_touptime

downloadlogoutrimuseradmindulunroute

versiondumpmanroutedvfilerechomaxfilesrshstat

vlanemsmtsasadminvmservicesenvironmentnbtstat

sasstatvolexportfsndmpcopysavecorevsean

fcadminndmpdsectracewccfcnicndpsecureadmin

wrfilefcpnetdiagsetupypcatfestatnetstatsftp

ypgroupfilenfsshelfchkypmatchflexcache

nfsstatsisypwhichfpolicynis

FAS324OA1>

命令的详细使用方法可以通过help得到，例如：

FAS3240Al>helpvol

displayorchangecharacteristicsofvolumes

Thefollowingcommandsareavailable;formoreinformation

type"helpvol<command>"

adddestroyonlinesize

clonelangoptionssplit

containermedia_scrubrenamestatus

copymirrorrestrictverify

createofflinescrub

3.3设备正常开关机顺序

开机II/序:

1、按照磁盘柜的ShelfID号依次开启磁盘柜的电源,大概20秒后再开启

存储控制器；

2、开启接有NetApp存储的以太网交换机或者光纤交换机；

3、开启有挂载NetApp存储空间的服务器或者磁带库；

关机顺序：

1、确认所有连接的应用程序已经关闭（包括通过FCP或ISCSI连接到存储的

OracleServer等服务，和通过NAS连接到存储的应用）；

2、确认连接到存储的服务器已关闭（通过FCP或ISCSI连接的服务器）；

3、通过串口或SSH以root用户或者其它管理员账户登陆到系统；

4、分别对两个机头输入halt-f命令，并且回到CFE＞状态；

5、先关控制器电源，在依次倒着按照ShelfID号关闭磁盘柜电源。

4NetApp设备日常操作

4.1SystemManager图形界面操作

4.1.1登陆方式

1、双击桌面SystemManager

2、双击FAS3240A或者FAS3240B进入配置页面

3、输入用户名：root,密码：********,进入界面

4、需要配置哪个控制器则点那个控制器，该文档除了HAconfig测试,其余

所有动作均在FAS3240A控制器中操作

4.1.2创建存储池(Aggregate)

1、点击Aggregate才妾着点击Create,创建新的Aggr,此操作在扩容时候用

的上，一般有PSE或者代理工程师完成此步操作；

2、给新建aggr起名为aggr.test,raidtype选择为Raid.dp,

3、选择添加磁盘加磁盘类型，

4、选择添加多少颗磁盘到aggjtest存储池中,注意：添加磁盘至同一个

aggregate(存储池)时，必须选择同样类型、大小和转速的磁盘，否则将于转速

最慢，大小最小的磁盘类型为上限；当然，不可以将SATA磁盘加入到SAS磁盘的

Aggr中，反之一样也不行。

5、点击"SelectDisk”选择磁盘，并将RaidSize设置为16,注明:FC/SAS

磁盘的RaidSize默认为16

6、点击完成

7、点击create，完成存储池创建

至毗，存储池已经创建好，可以开始新建卷了；

创建灵活卷(FlexVolume)

1、创建Flexvolume，点击volume菜单，在点击右手边的create按钮进行

flexvolume的创建

2、将cifs_test卷放在新建的aggjtest存储池中，选择其为"NAS"或

"SAN"共享方式，并调整cifs_test的大小，设置快照预留空间等操作（快照预留

SnapshotReserves可以灵活调整，0为不预留）；

3、点击“StorageEfficient",选择是否开启a-sis（重复数据删除功能），

是否开启重复数据删除功能具体需要看前端应用，比如前端业务为虚拟桌面、或者

邮件系统，则建议开启重复数据删除功能，起到存储最优使用效率；

完成cifs-test卷创建;

至毗步骤，Volume卷创建完成；我们可以正式开始配置NAS（CIFS或NFS）

和SAN（IPSAN或FCSAN）的空间规划配置；

创建NAS共享（CIFS/NFS）

1、创建CIFS方式文件共享

A）点击Shares

■一EGAI・x[p7||>>•

B）点击"Create"按钮，新建一个CIFS共享

C）选择共享volume,设置共享名，并对其进行描述，以便日后更方便识别；

D）点击完成，完成CIFS共享创建;

E）权限设置

僻cifs_test共享路径，点击"Edit"进行共享权限设置；NetApp存储中权

限设置只有三种：fullcontroLreadandwrite、readonly;

点击"Permission",设置用户权限；

蝌"add"并添加"administrators"组用户，选择"remove"则是删除某

个用户或组的使用权限；

设置"Permission"的权限访问；

点击"options"进行高级。ptions设置;可设置是否允许共享文件夹的内外部

超级镯$,以及结合内部病毒服务器进行设置病毒扫描;

点击"saveanddose”完成QFS共享的权限设置。

注意：若将NetApp存储加入Windows的域环境中，那么其权限设置操作则

可以完全通过WindowsAD的Administrator来管理设置；

F）Windows主机端操作

选择映射网络驱动器，输入存储】P地址及共享名，并勾上〃登陆时重新连接"

第一次连接需要输入用户名密码,选择记住密码，下次登陆时候将可直接连接

到共享空间；若不是当前用户可点击differentusername,以指定的用户名口令登

陆（和当前windows用户不同）

2、创建NFS方式文件共享

A）点击"exports"

B）点击右下方"Unix"文件夹图标，之后再选中"edit"

C）选中"Eidt"

点击完成；

D）Linux主机端操作

Snapshot配置管理

NetApp存储的快照可对aggregate和volume两个层面而言,适用最小对象

为volume,当然平时用户使用最多的基于volume层面的快照备份及恢复；以下

是对voLtest卷创建快照的实例：

A）创建快照备份策略

B）设置快照大小、快照保留份数以及快照备份时间点

系统默认快照保留大小为该快照卷的20%，默认显示快照路径，默认保留6份

hourly的快照和2份nightly的快照；

C）快照恢复

点击SnapshotCopies

僻需要具体恢复到哪一个时间点。注意：这个恢复是针对整个volume而

言，而不是针对单个文件；当然也可以用命令针对某单个文件进行恢复（filer>snaD

restore-tfile-stest/vol/vol1/test/）。

点击"Restore",提示是否确认将该volume的数据恢复到拍快照的那个时间

点，点确认，则恢复到快照备份时间点，若放弃则不恢复；

目录配额配置管理

1、点击Quota

2、点击Create来创建针对某个volume的配额

3、点击Next

僻配置配额的volume或者qtree,配额类型有3中，即分别可对qtree.

user或group进行做配额

HardLimit设置为lg,softlimit800MB,Threshold750MB,分别是指所

有用户最大可用到1G,用到750MB时候会有告警提示,用到时候800MB会提示

用户已军无可用空间，但此时还能继续用知道数据存放到1GB为止；FileCount中

的Hardlimit和softLimit,分别是指该共享路径下面最多包含100000x1000个

文件,用到8000x1000个时候会提示文件个数已经用完；

点击Next

点击完成，完成quota的配置

创建SAN共享（如果没有FCP或ISCSI的license,无法使用）

1、点击LUN

2、选择create

点击Next,新建lun名字，lun类型及大小；

谢举lun存储在的volume，点击next;

因之前没有新建过igroup,故此次没有新的igroup出现，需要手动新建

igroup,点击next;

核对我们新建lun的配置信息；点击next,完成lun的创建；

点击finish,完成;

3、创建Igroup,点击initiatorgroups,点击create

填写igroup名字及选择前端操作系统类型，已经传输协议，注意：若选择

FC/FCoE,在无特殊条件下建议开启ALUA功能；

点击Initiators,选择对应的IQN号或者wwpn号，若此次没有显示，也可以

通过手工的方式将IQN号或者wwpn号输入；

点击完成,创建完igroup

4、lunmap选择lun，点击Edit

点击Initiatorigroups,选择winjgroup并且把LUNID设置为1（注意：

LUNID为0-255,同一个igroup中不能重复）

点击saveandclosed

5、Windows主机端操作，安装Iscsiinitiator软件

下一步，选择Initiatorservice和SoftwareInitiator

下一步，选择同意进行安装；

安装完成后,桌面会生成一个Iscsiinitiator的图标，双击它进行配置参看iqn

号：

发现initiator端，并添加存储端IP地址

在target端把新挂载过来的盘进行logon

主机上扫描新增加磁盘

4.2CLI命令行操作

登陆方式

用SecureCRTPutty等工具，使用ssh或者Telnet协议，ssh/telnet存储

eOM口远程管理地址，其登陆用户名为：root,密码为：xxxxxx,也可以用

ssh/telnet存储SP口远程串口地址，具备串口一样功能，其登陆用户名为:naroot

密码为跟root的密码一致；因密码属于私密内容，此文档不便提供明文。

(NetApp存储默认telnet协议是关闭状态)

创建存储池(Aggregate)

Data以后，根据不同的硬件型号，最大的Aggregate可用容量可以达到

100TBe

1、新创建AggnAggrcreateaggr_name-r16-B64-traid_dp32

#创建一个64位系统的Aggregate,raidsize为16,raid类型为raid_dp,

共包括32个磁盘；

例如：创建一个名为aggr_test的32位的存储池(Aggregate),里面含有8

颗的磁盘，为为

FCALraidsize14zraidtypeRaid_dp;

参看创建成功后存储池情况：

2、为现有的Aggregate增力口磁盘:aggroptions<aggregatename>

raidsize<raidsize>#设置合适的raidsize(14+2)

aggradd<aggregatename>〈磁盘数目〉oraggradd<aggr-name>[-

d<disk-namel><disk-name2>...<disk-nameN>].

sysconfig-r察看结果

例如：往aggr_test存储池中添加2颗磁盘；

3、修改Aggregate快照保留

Snapreserve-A<aggrname>0#关闭aggregate级snapshot的空间

预留

Snapsched-A<aggrname>000#关闭aggregate级的snapshot

例如：关闭aggr,test的快照功能，并且取消策略;

参看默认情况：

调整后情况：

4、修改Aggregate名称AggrrenameaggrOaggr_newl

例如：将aggr_test名改为aggrl

FAS324OA>df-Ag

Aggregatetotalusedavail四它栽

aggro5GB4GB0GB

aggrO/.snapshor0GB0GB0GB19%

aggr_test7GB0GB7GB0%

aggr_tesr/.snapshot0GB0GB0GB——%

FAS3240A>

FA53240A>

FAS324OA>aggrrenameaggr_testaggrl

wedDec2601:55:54CST[raid.config.vol.renamed:info]:Aggregate1aggr_test'renamedto'aggrl'.

'aggr_test'renamedto1aggrl'

FAS3240A>

FAS3240A>

FAS3240A>

5、修改aggr的raidgroup的大小(针对以后的aggr_name,对之前raidsize

的不做影响)aggroptionsaggr_nameraidsize18

例如：将aggr_test的raidsize调整为12

创建灵活卷(FlexVolume)

1、参看现有卷使用情况：

2、仓！]建vol:volcreatevolmaneaggrnamesize

例如：在aggr_test上创建一个1g的vol3卷

3、调整volsizevolsizevolnamesize

例如：将vol3大小调整为2g

4、删除快照sn叩delete[a]volnamc[snapshot_namc]

例如：删除vol_test中所有快照；

5、删除vol:volofflinevolname和voldestroyvolname

例如：把voLtest卷删除；

创建NAS共享（QFS/NFS）

1、参看QFS共享目录权限cifsshares

例如：参看vol_test是否开启CIFS方式共享,全是是否为AdministratorFull

Control;

FAS3240A>cifsshares

NameMountPointDescription

ETC$/etcRemoteAdministration

BUILTIN\Administrators/Fullcontrol

c$/RemoteAdministration

BUILTIN\Administrators/Fullcontrol

dfs_vol/vol/vol_Tesr

everyone/Fullcontrol

FAS3240A\adninistrator/Fullcontrol

FAS3240A>

答案为，voLtest已经共享，并且具备administratorrwx权限；

2、添力口CIFS共享cifsshares-addsharename/vol/volname

例如：将vol3共享设置为everyone有只读权限,共享名为vol3_readonly;

FAS3240A>cifsshares-deletevol_readonly

FAS3240A>

FAS3240A>

FAS3240A>cifsshares-addvol3_readonly/vol/vol3

Thesharename'vol3_readonly'willnotbeaccessiblebysomeMS-DOSworkstations

FAS3240A>cifsaccessvol3_readonlyeveryoner

1share(s)havebeensuccessfullymodified

FAS3240A>cifsshares

NameMountPointDescription

ETC$/etcRemoteAdministration

BUILTIN\AdminJstrators/FullControl

c$/RemoteAdministration

BUlLTlN\Adm1nJstrators/FullControl

cifs_vol/vol/vol_test

everyone/Fu-lcontrol

FAS3240A\administrator/FullControl

vo13_readonly/vol/vol3

everyone/r—

FAS3240A>

HF）Windows端主机操作〃章节；

4、参看NFS共享目录权限；

主机z并且具有FullControl权限;;

例如：

Sn叩shot配置管理

1、参看快照策略

例如:

从上图可以得知，其中vol2和vol3的快照策略已经取消其快照预留空间为

0;volO和vol.test的快照策略已经取消,其中volO有20%的预留空间，vol_test

的快旦骨页留空间也是为0；

2、创建快照策略snapschedvol(/aggr)nameweeklynightly

hourly@timed

例如：voidest卷需要与周为单位的快照保留T分，与天为单位的快照保留四

份,与小时为单位的快照保留6份，备份时间点分别为8:00、12:00,16:00、

20:00、23:00,快照预留空间设置为占该卷的30%;

3、取消快照策略及取消快照预留空间sn叩sched-V(-A)vol(/aggr)name0

和snapsched-V(-A)vol(/aggr)name000

例如：取消vol.test的快照策略及取消快照预留空间；

目录配额配置管理

1、参看目录配额

例如：

从上图可以得知，该套存储目前尚未做目录配额；

2、限制用户(/用户组)使用vol(/qtree)空间，需要修改/etc/quotas文件，并

且修改后需要执行quotaresize/vol/volname(/qtreename)才能生效；

例如：限制所有访问vol_test的用户只能使用20MB空间；

FAS3240A>rdfile/etc/quotas

#Auto-generatedbysetupTueDec2511:56:50GMT2012

FAS3240A>wrfile/etc/quotas

#Auto-generatedbysetupTueDec2511:56:50GMT2012

*user@/vol/vol_test20480K-

read:errorreadingstandardinput:Interruptedsystemcall

3、取消目录配额，quotaoff/vol/volname(/qtreename)

例如：取消voLtest的目录配额

创建SAN共享

1、参看LUN使用情况lunshow-v

从上图,表明目前该套存储未配置SAN环境存储;

2、创建LUNluncreate{-f-i}-tostype/vol/volname/lunname

仓!J建igroupigroupcreate-ssize-tostypeigroupname[WWPN/IQN]

lun映射lunmap[-f]lun_pathigroup_namelun_id

例如：在vol2下创建1个名为linux」unl大小为3GBLUN,并且挂载给

linux主机;

存储僻作：

linux主机端操作：

安装主机端插件

配置主机端文件

确认Multipathd服务状态

用sanlunlunshow-p命令参看挂载的磁盘

做disklable

做文件系统

做文件系统前最好先执行以下命令：

在接着对分区做文件系统：

挂载磁盘

5NETAPP设备日常维护

目测

现场首先进行指示灯和LCD面板检查，判断是否有异常情况发生。

硬件状态检查

FAS3240Al>sysconfig-r检查磁盘情况

正常情况：

发现所有磁盘，每个机头都有一个或多个sparedisk。

非正常情况：

任何一个机头没有一个sparedisk或者有failedDisk,就是非正常情况。

FAS3240A1>sysconfig-v检查所有硬件

以上显示结果应该没有failed,error,warning等字样

5.3检查网络是否正常

使用ping存储设备IP地址,输入：

filer>pingFILERNAME

检查FILERNAME机头的网络连通性。

正常情况：

有相应，无丢包。

非正常情况：

ping不通或者丢包严重。

FAS3240A1>ifconfig-a主要网口状态应为up

FAS3240Al>vifstatusVIF所有端口是否正常

5.4检查Cluster状态是否正常

FAS3240Al>cfstatus

正常情况：

2个节点状态应该为enable

非正常情况：

任何一个机头显示非如上所示，就属于非正常情况。

5.5检查卷容量是否正常

使用df检查空间使用状况。

正常情况：

capacity低于或等于80%。

非正常情况：

capacity高于

80%o

5.6Inode数量检查

使用df-i或者maxfiles命令检查inode数据使用情况

正常情况：

Inode值低于或等于80%

非正常情况：

Inode值高于80%

建议使用“maxfiles卷名数值”命令更改卷的inode大小，避免因inode数量

爆满导致卷无法写入；由于影像平台应用数据小文件类型，所以建议inode数

值尽量大，此更改可以在线调整，实时生效。

“y”确认更改

5.7性能检查

FAS324OA1>sysstat3CPU利用率应该在80%以下

5.8日志文件检查

FAS3240Al>rdfile/etc/messages

仔细检查是否有failed,error,warning等字样.

如有，则记录下来

5.9收集autosupport信息

Options触发最新autosupport信息

DataOnT叩版本以下（不包含），可以通过命令直接收集输出：

rdfile/etc/log/autosupport/文件名即为触发时间

DataOnTap版本以上（包含），可以通过QFS共享访问存储，在autosupport

文件夹中寻找子文件夹，名称为触发时间，复制出来提交；DataOnTap版本以下

（不包含）也可以在autosupport文件夹中找到文件直接提交。

5.10常用命令

查看系统配置信息：

>sysconfig-a

>sysconfig-r

>license

Asysstat2

>storageshow

>environmentstatus

查看aggr、vol的信息:

>aggrstatus-v检登aggr状态

>aggrshow_space-g（df-Ag）检查aggr的空间使用情况

>aggrcreateaggr_namediskjist创建一个新的集合

Aaggraddaggr_namendisks@disk_size增加磁盘到集合里

>volstatus-v检套卷的状态

>voloptionsvol_name检套卷的参数设置情况

>df-hg检查卷的空间使用情况

>df-i检查卷inode使用情况

>volcreatevol_nameaggr