12netapp存储基础学习汇总

1、NetApp 存储基础学习汇总(第十一部分)目录 TOC o 1-5 h z 一、WAFL文件系统概述1 HYPERLINK l bookmark4 o Current Document 1.1、WAFL文件系统特点1 HYPERLINK l bookmark6 o Current Document 1.2、WAFL 如何提高性能3 HYPERLINK l bookmark8 o Current Document 1.3、关于 NVRAM42.1.2、什么是 PLEX错误！未定义书签。2.1.3、Hotspare 盘概念 错误！未定义书签。2.1.4、raid 组大小的选择及考虑错误！未定义书

2、签。2.1.5、不同大小和转速的硬盘混装在同一存储的处理错误！未定义书签。1.2、配置 RAID 组错误！未定义书签。1.2.1、Raid4和Raid DP错误！未定义书签。1.2.2、一些关于raid组选项的设置错误！未定义书签。1.2.3、一些关于磁盘操作的常用命令错误！未定义书签。1.3、认证的磁盘错误！未定义书签。1.4、怎么标识磁盘错误！未定义书签。1.5、怎么管理 volume 错误！未定义书签。1.5.1、磁盘、RG组、plex与aggr的关系错误！未定义书签。1.5.2、volume的定义、传统volume和flexvolume (灵活卷)错误！未定义书签。1.5.3、卷组成的

3、层次结构错误！未定义书签。1.5.4、传统卷和灵活卷要考虑的问题错误！未定义书签。1.5.5、root volume和/VOL错误！未定义书签。1.5.6、数据的可靠性错误！未定义书签。1.5.7、aggr命令和vol命令错误！未定义书签。1.5.8、 Disk scrub 命令错误！未定义书签。二、优化磁盘的配置错误！未定义书签。2.1、volume和aggr的考虑错误！未定义书签。2.2、可以用以下命令来分析写性能错误！未定义书签。2.3、推荐的RAID组配置错误！未定义书签。WAFL文件系统概述1.1、WAFL 文件系统特点一个优秀的微核设计成果,主要框架分成三大部分:接口部分,包括网络

4、接口和光纤接口通讯协议部分.包括 File Protocol (NFS, CIFS, HTTP, DAFS)也就平时我们说的 NAS,和 Block Protocol (FCP,iSCSI)这个就是平时说的SAN 了.内部文件系统和RAID的管理,netapp的内部文件系统叫WAFL。 网络化存储对设计提出了几个基本的要求:文件系统应该更加有效地操控 RAID 机制扩容时文件系统应该能够相应的动态增长 ,系统初上的时候我们多数时候不能准确的判断未来的需求 ,变 化总比计划快。文件系统应该不需要做消耗大量时间的一致性检查。基于上面几个要求,netapp研究出了 wafl这个文件系统.WAFL采用

5、有电池保护的NVRAM （非易失性内存）来担任其日志，并由consistency points提供文 件系统一致性的保证，在非正常断电或关机时，重新开机后可在2 分钟内开始提供服务，不需要执行文件 系统检查，也不用担心文件系统会损毁。NVRAM 的作用就像是数据库的日志空间，当有数据提交到 Filer 的时候，数据同时写入 cache 和 NVRAM，如果这个时候突然断电，Cache中的数据会丢失，但NVRAM中数据依然保存，机器重启后， 系统会”重演”NVRAM中的内容，NVRAM可以保证数据的安全。NVRAM主要是为了提高写需求的安全 性。NVRAM 的速度和硬盘相比会快很多，非正式的说法

6、是 1000 倍左右。关于WAFL文件系统的描述：WAFL是基于数据块的，使用没有片段（就是不间断）的4KB大小数据块WAFL使用inodes来描述其文件WAFL 文件系统中，目录是格式特殊的文件WAFL使用文件来储存元数据（Meta Data）。每一个WAFL inode包含16个块指针，用以表明哪一个数据块属于该文件。一个 WAFL inode 的所有块指针指向的是相同层次上的数据块。这样，对于小于 64KB 的文件， inode使用16个块指针指向文件数据块；小于等于64KB的文件就保存在inode文件中。大于64KB的文件，inode使用块指针指向间接数据块，间接数据块再指向实际的文件

7、数据块。较大文件的 inode 指向更多的间接数据块。对于十分小的文件，数据储存在 inode 本身。可以把WAFL理解为数据块树型结构，在树的根部是root inode，root inode是用以描述inode文件 的特殊inodeo inode文件包含描述系统中其它文件的inode，包括块图和inode图文件。WAFL文件系统 数据块树型结构的树叶是所有文件的数据块。DATA ONTAP系统启动后，需要挂接WAFL的文件系统。这个时候就需要知道root inode的位置。因此root inode的位置必须要固定。当系统找到root inode后，根据树型结构才可能查找到其他文件的inode

8、，然后再找到包含文件的具体数据块的位置。比较大的文件需要和实际数据块之间存在额外的间接层次。WAFL 的主要特点及其所带来的优势包括：特点优势永远一致性的文件系统保证任何状态文件系统都处于一致的状态，即使 遇到断电和非正常关机，也不会造成数据丢失，并 在复电后两分钟内启动系统。具有电池保护的NVRAM用比磁盘速度快很多的内存来记录文件系统日 志，同时保护metadata和data的交易记录，并加速 磁盘写入的时间和效率。内建的智能型最佳化的RAID管理系统配合NVRAM的日志功能，并将磁盘区块的配置最 佳化，可以将大量的随机写入转化为少量的顺序写 入，真正达到平行写入(Stripe Write

9、),并减少磁头移 动的次数和磁头移动的距离的目的，加速文件存取 和搜寻的速度。能增长的文件系统不需要其它软件配合，就可以直接实时动态线上 扩增容量且可以立即使用这些容量。每次可只增加 1-n块硬盘的方式来扩增，完全不需要停机。硬盘区块验证系统Block-level Checksum保证资料读取的正确性。瞬间快照备份使用WAFL文件系统，可以瞬间备份整个文件系 统，每个volume可以有255个快照，每个使用者都有 一个专属自己的快照目录，可自行恢复自己的数据， 不需要管理人员协助。看来一个文件系统的优劣涉及如何保证文件系统的一致性、采用什么技术来技术读写操作的日志 (NVRAM)、采用什么RA

10、ID技术来使数据尽量的平行写入、优化磁盘区块的分配、采用什么技术来快速恢复 数据、数据容量如何增加或减少，是否可以在线增加或减小、读出数据时如何保证数据准确等内容。1.2、WAFL 如何提高性能为了有最好的写入性能最好能达到几个方面：1、将多数据块写入到同一条带中的方式，大大提高 RAID 的效率与性能。2、将相关的块写入到相近的位置而大大缩短了寻道时间，硬盘的悬臂不用来回摆动，积少成多还是 可观的时间，特别对压力大的系统。3、将顺序的块放置在 RAID 阵列中某个单一磁盘上的方式，减少了大文件读出时的磁头冲突。WAFL 能把文件系统的任何数据块 (除包含 root inode 的数据块外，前

11、面提到过这个是在硬盘的固定位 置 )写到磁盘中的任何位置上。而在一般的文件系统中，诸如inode、位图和兀数据被保存在磁盘中的固定位置上，这就妨碍了文件系 统写入性能。硬盘的悬臂先回到元数据的位置，再移动到数据存储的位置。这个动作来回重复总比不动要 用的时间多，很好理解。我的理解WAFL文件系统除了根inode在固定位置，其它inode和数据文件都可 以随意存放，这样提高了寻址速度。为在磁盘上保存完整的文件系统一致性版本， WAFL 文件系统至少每 10 秒会生成一个内部数据快照 Snapshot，称为一个一致点(consistency point)。当时Filer启动时，WAFL总是使用时间

12、最近的一致点版本, 这意味着即使发生掉电或者其它严重系统错误后，系统再次投入正常运转也无需耗时的文件系统检查工作。 Filer 在仅仅 1 到 2 分钟的时间内即可正常启动，而这段时间也主要是花费在磁盘定位和内存检查上。在两个一致点之间，WAFL需要处理数百或者成千上万的写入请求，因所以磁盘上面的文件系统映像 在数秒内会保持不变，直到 WAFL 写入新的一致点。磁盘上面的文件系统映像也会自动更新。在一致点NVRAM将里面的数据日志写入磁盘，并清空NVRAM。通过以上文章的自我总结：感觉WAFL文件系统通过NVRAM,RAID等技术，在NVRAM中保存了文 件操作的日志，在到达一致点后，才请求磁

13、盘分配空间，这样保证了数据的一致性，即数据写入要么成功 要么不写，而不会不一致。数据和元数据可以写入磁盘任意位置，使写入性能优化。1.3、关于 NVRAM说是当NVRAM两块电池都失效时，系统会crash掉。电池电量低的时候会在24小时后关机。平时可 以用sysconfig -v命令来监控看电池的容量是否正常。另外看了更换电池的PDF,如果是两个filer做HA,还行。关掉一个换电池就是了，但看那个步骤还是 有电麻烦。以后是不是该改成在面板上直接插拔的，那样才方便。当 NVRAM 收集这些写入要求到达某种条件时， WAFL 会先经过计算并整理过后再批次写入到硬盘。 这种方式就提高了写入的效率，

14、就像是数据库对日志进行commit的动作。当Filer正常关闭时，如果NVRAM不包含任何未处理的写入请求，它被自动关闭以延长其电池 寿命在正常系统关闭情况下，文件管理器先关闭 NFS 与 CIFS 等对外提供的服务，将所有缓存中的操 作写入磁盘，然后关闭 NVRAM在系统掉电或者其它非正常状况下，系统将会自动把尚未转存到磁盘上的 NFS 与 CIFS 请求的数 据保存在 NVRAM 中，等下次加电时再写入磁盘。这个断电时间是有限制的，等电池耗尽，数据 就不完整了。WAFL 实际上把 NVRAM 划分成为两份独立的日志使用。 当一份日志写满， WAFL 转换到另一份日 志，并且开始写一致点，将

15、与第一份日志的差异安全地记录到硬盘上。即使日志没有写满， WAFL 每 10 秒 也要写一次新的一致点，以防止硬盘中存储的文件系统映像太过陈旧。利用NVRAM记录NFS请求的方式比传统的利用 NVRAM 为磁盘做读写缓存的方式有很多好处。SCSI磁盘阵列内部结构图（双控制器）:Command for upgrading disk firmwareUse the disk_fw_update command from the storage system console to update firmware on all disks or a specified disk on a storag

16、e system. The disk_fw_update command upgrades disks for which firmware files are present in the /etc/disk_fw directory and which need to be updated. It does not upgrade other disks.The disk_fw_update command is applicable to both SCSI disks and Fibre Channel disks.For more information, see the disk_

17、fw_update(1) man page.Note: This command makes disks inaccessible for up to two minutes, so network sessions using the storage system should be terminated before running the command. This is particularly true for CIFS sessions, which otherwise are terminated while this command executes.This command

18、overrides any background disk firmware upgrade that is in progress.Upgrading shelf firmwareWhen you upgrade Data ONTAP, shelf firmware is updated automatically if the firmware on the shelves is older than the firmware that is bundled with the Data ONTAP system files. You can also upgrade shelf firmw

19、are by downloading the most recent firmware for your shelves from the NOW site and installing the files.ConsiderationsNote: During the firmware update for the AT-FC, AT-FC2, and AT-FCX modules, the data on the disk shelf cannot be accessed until the firmware update is complete. The disruption lasts

20、between 30 and 45 seconds per module.StepsFind and download the most recent firmware for your shelves on the NOW site at http:/ now.n /NOW/dow nload/tools/diskshelf/.Follow the instructions on the NOW site to extract your firmware files to the /etc/shelf_fw directory in the root volume of your stora

21、ge system.Enter the following command at the storage system console to access the advanced administrative commands:priv set advancedThe prompt changes to display and asterisk (*) after the filer name to indicate that you are in the advanced administrative m od e : filername *Depending on your upgrad

22、e scenario, enter one of the following commands to upgrade the shelf firmware.If .Then .You want to upgrade the shelf firmware on all the disk shelves in your storage systemEn ter the followi ng comma nd at the storage system con sole: storage download shelfYou want to upgrade the shelf firmware on

23、the shelves attached to a specific adapterEn ter the followi ng comma nd at the storage system con sole: storage download shelf adapter_nameTo confirm that you want to upgrade the firmware, enter the following key:yEnter the following command to verify the new shelf firmware:sysconfig -vEnter the fo

24、llowing command to return to the standard administrative console prompt:priv setThe prompt returns to the standard console prompt: filername LogoutNetApp Part NumberI/O Module DescriptionPlatformLatest Shelf FirmwareSysconfig OutputCommentsRelease date on NOWSP-5512A-R5ESH4 module LogoutNetApp Part

25、NumberI/O Module DescriptionPlatformLatest Shelf FirmwareSysconfig OutputCommentsRelease date on NOWSP-5512A-R5ESH4 module for DS14MK2 or DS14MK4 FC shelfFAS270FAS8XX systemsFAS9XX systemsFAS3XXX systemsFAS6XXX systemsSA300SA600ESH4.1400.SFWESH4 Firmware rev: 14ESH4 FW1200 fixes Bua 258741 ESH4 FW12

26、00 fixes Bua 260322 ESH4 FWt 100 fixes Bua 235158ESH4 FW1100 fixes Eu237582 ESH4 FW4100 fixes Bua 237583ESH4 FWt 100 fixes Bua 239865ESH4 FW 1400 fixes Bum 308713ESH4 FW 1400 fixes Bum 320230 ESH4 FW 1400 fixes Bug 35343726-MAR-10SP-5612A-R5AT-FCX module for DS14mk2 AT shelfFAS8XX systemsFAS9XX syst

27、emsFAS3XXX systemsFAS6XXX systemsCACO7AAT-FCX.3800.SFWAT-FCX Firmware rev: 383800 FW fixes Bug 347430 3SQQ FW fixes Bum 234401 3800 FW fixes Bug 2771623700 FW fixes Bum 231509 3700 FW fixes Bum 320&0430-OCT-09主机（J.逋通。通道1.逋通。通道1礁盘阵列/控制器JflsloiMili嵐盘阵列/控制器通道*Drive SCSI 疤纜Drive SCSI 电骑通道*Drive SCSI 疤纜D

28、rive SCSI 电骑冗余控制器 阵列结构How to move or rename the root volume on a filerView En vir onment sectio nSymptomsChange, rename or move the root volumeError message: servlet not initializedSwitching the root volume from a SCSI shelf to a volume in FCALMove the system files to another volumeDecrease the RAID

29、 size of an existing root volumeKeywords: root volume, backup root volumeCause of this problemWhen reassigning root to different volume, either the /etc directory should be automatically copied to the new root volume, or the filer administrator should be notified to move the /etc directory.SolutionM

30、oving the root volumeTo move the root volume by creating a new volume, follow these steps:Create a new volume for the new root volume (see the vol Manual Page for more options).o Traditional VolumesEnter the following command to create a new traditional volume:vol create new_volname number_of_disksA

31、fter the new volume is created, the message Bootblock update complete will appear. Running the download command afterward isunnecessary.o FlexVolsFor flexible volumes, the following command creates a new volume:vol create flex_volname aggrname sizeTo create a new 5GB FlexVol, inside of an aggregate

32、called aggr1, enter the following command: vol create new_root aggr1 5gCreating a FlexVol results in a message similar to the following:Creation of volume new_root with size 5g on containing aggregate aggr1 has completed.Note:Please refer to the following document for recommended root volume sizes:

33、HYPERLINK /NOW/knowledge/docs/ontap/rel705/html/ontap/sysad /NOW/knowledge/docs/ontap/rel705/html/ontap/sysad min/4defvo2htmAs minimum root size requirements may differ across versions of Data ONTAP. Refer to your documentation for the correct requirements.Copy the entire /etc directory from the cur

34、rent root volume to the new root volume. If other data exists on the old root volume, it may also be copied to the new root volume. If necessary, increase the size of the new root volume by adding disks to the new volume using the vol add command.Note: Other data migration utilities such as SCOPY, v

35、ol copy, ndmpcopy, etc. may be used to migrate large amounts of data to the new root volume.If desired, thevol renamecommand may be used to rename the old and new root volumes.Flag the new root volume as the root volume with the following command:vol options new_root rootFor clusters, see Notes on c

36、lustered filers at the end of this article.Verify that the shares and exports are updated accordingly by running the following commands: cifs sharesexportfsReboot the filerTo move the root volume without creatinga new volume, follow these steps:1. Validate the current root volume (usually vol0) and

37、the new root volume vol status2. Ensure that the ndmpd daemon is turned on using the ndmpd on command on the filer.Copy the entire /etc directory from the current root volume to the new root volume ndmpcopy /etc /vol/new_rootvol/etcFlag the new root volume as the root volume:vol options new_rootvol

38、rootFor clusters, see Notes on clustered filers at the end of this article.If desired, rename the old and new root volume. The following command renames the volume from to : vol rename Verify that the shares and exports are updated accordingly by running the following commands: cifs shares exportfsR

39、eboot the filerVerify the new root volume settings vol statusAn example output is shown below. For this example, the root is vol0. The new root volume will be vol2.filer vol statusVolume State Status Optionsvol1 online raid_dp create_ucode=onvol0 online raid4 root, create_ucode=on ndmpcopy /etc /vol

40、/vol2/etcNdmpcopy:Starting copy 2 .Ndmpcopy:filer: Notify: Connection establishedNdmpcopy:filer: Notify: Connection establishedNdmpcopy:filer: Connect: Authentication successfulNdmpcopy:filer: Connect: Authentication successfulNdmpcopy: snapshot.filer: Log: DUMP: creating /vol/vol0/./snapshot_for_ba

41、ckup.4Ndmpcopy:filer:Log:DUMP:Using subtree dumpNdmpcopy:filer:Log:DUMP:Date of this level 0 dump: Mon Mar 7 10:18:182005.Ndmpcopy:filer:Log:DUMP:Date oflast level 0 dump: the epoch.Ndmpcopy:filer:Log:DUMP:Dumping/etc to NDMP connectionNdmpcopy:filer:Log:DUMP:mapping(Pass I)regular filesNdmpcopy:fil

42、er:Log:DUMP:mapping(Pass II)directoriesNdmpcopy:filer:Log:DUMP:estimated 365193 KB.Ndmpcopy:filer:Log:DUMP:dumping(Pass III) directoriesfiler: Log: RESTORE: Mon Mar 7 10:18:25 2005: Begin level 0 restoreNdmpcopyNdmpcopyfiler:Log: RESTORE: Mon Mar 7 10:18:25 2005: Reading directoriesfrom thebackupNdm

43、pcopy: filer:Log: DUMP: dumping (Pass IV) regular filesNdmpcopy: filer:Log: RESTORE: Mon Mar 7 10:18:28 2005: Creating files andNdmpcopyfiler:Log: RESTORE: Mon Mar 7 10:18:25 2005: Reading directoriesfrom thebackupNdmpcopy: filer:Log: DUMP: dumping (Pass IV) regular filesNdmpcopy: filer:Log: RESTORE

44、: Mon Mar 7 10:18:28 2005: Creating files anddirectories.Ndmpcopy:filer:Log: RESTORE: Mon Mar 7 10:18:32 2005: Writing data toNdmpcopy:filer:Log: DUMP: dumping (Pass V)ACLsNdmpcopy:filer:Log: RESTORE: Mon Mar 7 10:19:06 2005Ndmpcopy:filer:Log: RESTORE: RESTORE IS DONENdmpcopy:filer:Notify: restore s

45、uccessfulNdmpcopy:filer:Log: DUMP: 365298 KBNdmpcopy:filer:Log: DUMP: DUMP IS DONEfiles.filer: Log: DUMP: Deleting /vol/vol0/./snapshot_for_backup.4Ndmpcopy: Restoring NT ACLs.snapshotNdmpcopyNdmpcopyNdmpcopyfiler: Notify: dumpTransfer successfulDonesuccessful 49 NdmpcopyNdmpcopyNdmpcopyfiler: Notif

46、y: dumpTransfer successfulDonesuccessful 49 seconds filer vol options vol2 rootMon Mar 7 10:21:24 PST filer: fmmbx_instanceWorke:info: Disk 8a.37 removedfrom primary mailbox setMon Mar 7 10:21:24 PST filer: fmmbx_instanceWorke:info: Disk 8a.36 removedfrom primary mailbox setMon Mar 7 10:21:24 PST fi

47、ler: fmmbx_instanceWorke:info: Disk 8a.35 is a primary mailbox diskvolume vol2 will become root volume at the next boot.filer rebootAfter rebooting, type the following: filer vol statusVolume State Status Optionsvol1 online raid_dp create_ucode=onvol0 online raid4 create_ucode=onvol2 online raid4 root, raidsize=4, create_ucode=onThis shows vol2 as the new root volume.Renaming the root volumeTo rename the