NetAppDataOntap核心基础技术技术工程师培训ppt课件

1、1NetApp Confidential - Internal Use OnlyDataOntap中心技术Data OntapNetApp一致存储架构ApplicationOSSecurityVolume Mgmt (RAID)NTFS/UFSDisk Drivers通用操作系统中心技术：公用操作系统DataOntap70万 行代码，代码精炼功能不多，但是专注于数据存储，由于专所以高效对病毒免疫公用操作系统DataOntap5000 万行代码，代码庞杂功能繁多，但是大部分和数据存储无关，从而影响数据存储性能开放系统，容易受病毒攻击WAFL2022/7/12NetApp Confidential

2、 - Do Not Distribute4公用操作系统和文件系统-WAFL高效支持一切协议NetApp LUNs 是在Flex vol之内建立的具备磁盘块属性的数据对象ted within FlexVol volumes.NetApp在SAN环境和NAS环境提供同样的存储效率经过 NetApp的一致架构, 单一系统可以提供SAN和NAS功能，并且易于再配置和改动应对业务挑战Disk DriveData ONTAP Logical ViewRAID GroupAggregateFlexVolLUNSATARAID-DPThin ProvisioningThin ReplicationSnapsh

3、ot CopiesVirtual CopiesDeduplicationAbstraction LayerEfficiency Feature存储单元划分Aggr0Aggr1vol0vol1vol2vol3物理磁盘Aggregate(RAID组集合)FlexvolLUN物理层面逻辑层面存储单元称号与定义Aggregate每个控制器必需有独立的Aggregate可以包含一个或多个RAID组VolumeNAS存储单元虚拟化逻辑单元，可以动态缩放20MB16TBWAFL文件系统构造LUNSAN/IPsan 存储单元虚拟化，可以动态缩放数据格式由主机定义Data OntapNetApp一致存储架构Ne

4、tApp Raid 技术详解1137222149 为什么其他厂商不提供RAID4支持，RAID4本身存在什么缺乏? Netapp如何处理RAID4本身的缺乏?3912213321112258812333+1+2+3=99-3-1-3=211512DDDDP不论是RAID4还是RAID5，都是基于单校验技术的RAID方法，只能防止因一块硬盘缺点导致数据失效Netapp采用的RAID技术之一：RAID4RAID4有一块公用的校验盘3521211813213713213891222DDDDDRAID5没有公用的校验盘，一切的校验信息分散存储在一切硬盘上用户数据校验数据图例此块数据要从3修正为55+=

5、1122149修正为2修正为2修正为1修正为4RAID4：RAID组内添加硬盘不需求进展重构9587P0000D3121113122133122DDDDRAID4有一块公用的校验盘只需新添加的硬盘一切位都格式化为0，把硬盘添加到RAID4中就不会改动各个条带的校验值，因此整个RAID组不需求重构RAID5：RAID组内添加硬盘需求进展重构35212118132137132138DDDD91222DRAID5没有公用的校验盘，一切的校验信息分散存储在一切硬盘上00000D50827118为了坚持RAID5分散存放校验信息的特点，新硬盘添加到RAID组后，整个RAID组需求进展长时间的重构，在这段

6、时间内数据没有RAID维护，且会严重影响性能D单校验RAID技术的RAID组重构问题9587P3121113122133122DDDDRAID4有一块公用的校验盘9 3 1 3 =25 1 1 1 =28 2 3 2 =17 1 1 2 =3RAID组的重构，会给用户带来如下的影响： 需求较长的时间完成，且硬盘越大，所需的时间越长 会严重耗费阵列的资源，特别是该RAID组内的硬盘读写资源，因此会严重影响性能 在重构期内，整个RAID组没有维护，假设再有一块硬盘失效会导致用户数据的丧失312111312213312295877121211DDDDPDP一个Raid组内可以同时坏两块硬盘数据可靠性

7、比RAID-4 或 RAID-5 提高了 4000倍Netapp采用的RAID技术之二：RAID DP用户数据程度交验数据对角交验数据图例同样的情况在 RAID-6形状下140%5%10%15%20%Up to 5%Up to 2.6%Up to 17.9%FCATAFCATAFCATA17.9%1.7%2.6%.2%5%3%ATALess than 1 in a billion*介质或磁道损坏 + 第二块磁盘损坏的能够性 双校验(在16块盘的RAIDDP磁盘组重构期间)Protected withRAID-DP.0000000001%*规范的磁盘改换率 (每年)*磁盘驱动器介质或磁道损坏几率

8、(300GB FC / 320GB SATA)*磁盘驱动器介质或磁道再有一块盘损坏的几率(在RAID4/5，8块磁盘的磁盘组重构的过程中)行业统计: 磁盘驱动器的改换率和磁盘介质损坏的几率随着磁盘容量的增大在不断的添加*资料来源: Network ApplianceData OntapNetApp一致存储架构NetApp Raid 技术详解底层空间管理技术和性能优化C底层存储空间管理技术根ABD用户数据此数据需求修正，从C修正为C空闲空间池CC其它厂商底层存储空间管理技术在用户数据修正时所采用的技术根ABD用户数据空闲空间池在原来位置上直接利用新数据覆盖老数据Netapp先进的底层存储空间管理

9、技术：WAFL在用户数据修正时所采用的技术根ABD用户数据空闲空间池CC1.从空闲空间池分配一个新的数据块2.把修正以后的数据写入到新分配的数据块中3.修正指针，从指向老数据块修正为指向新数据块4.老数据块数据不做任何修正，直接前往空闲空间池WAFL：所带来的优越性能硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘校验盘Netapp WAFL的做法硬盘硬盘硬盘硬盘硬盘硬盘其它厂商的做法采用RAID5读读读校验数据写入用户数据写入读硬盘硬盘硬盘硬盘硬盘校验盘其它厂商的做法采用RAID4读读读读用户数据写入校验数据写入需求修正的数据修正以后的数据需求读取的数据校验数据图例 刚刚遗留的和RAID相关的两

10、个问题为什么其他厂商不提供RAID4支持，RAID4本身存在什么缺乏? Netapp如何处理RAID4本身的缺乏? 会涉及到刚刚引见的单校验的RAID技术RAID4或RAID5如何进展数据修正的技术其他厂商：RAID组的大小和性能成反比硬盘硬盘硬盘硬盘硬盘硬盘硬盘6D+1P的RAID5组：每个数据块的修正都要涉及到其它五块硬盘一样位置的数据块的读取，然后进展校验计算硬盘硬盘硬盘硬盘3D+1P的RAID5组：每个数据块的修正只需涉及到其它两块硬盘一样位置的数据块的读取，然后进展校验计算需求修正的数据修正以后的数据需求读取的数据校验数据图例RAID组越小，性能越好，因此其他厂商普通都建议用来存放消

11、费数据的RAID5的硬盘组采用3D+1P或4D+1P大小Netapp：RAID组的大小和性能成正比硬盘硬盘硬盘硬盘硬盘硬盘硬盘6D+1P的RAID4组：每6个数据块的修正只需进展一次校验计算，只会产生一个校验块硬盘硬盘硬盘硬盘3D+1P的RAID4组：每3个数据块的修正就要进展一次校验计算，产生一个校验块，这样6个数据快的修正就要进展两次校验计算，产生两个校验块需求修正的数据修正以后的数据需求读取的数据校验数据图例RAID组越大，性能越好，因此Netapp普通建议用户的RAID4硬盘组至少采用6D+1P的大小22DataDataDataDataParityParityDataWAFL 无需预先

12、分配空间(元数据和数据同样对待，写条带条带到最近的可用块.条带化到最近的可用块减少磁盘寻道，到达最好的磁盘性能，防止热点攀的产生!WAFL将随机写转换成大的顺序写!WAFL 文件系统和 Data ONTAP OS结合高性能RAID-6 (RAID-DP)DDDDPPDDDDPPDDDDPPDDDDPP4K blocks,parity calculatedin memoryIncoming WritesNVRAM传统的文件系统NTFS, UFS, FAT32等,将数据写到预先分配好的位置，导致“热点校验磁盘DataDRAMData OntapNetApp一致存储架构NetApp Raid 技术详

13、解底层空间管理技术和性能优化NetApp快照 恢复和克隆快照数据消费数据有数据快照的情况没有数据快照的情况Netapp数据快照技术：SnapshotABCD空闲空间池消费数据ABC空闲空间池DDD用户最关怀的和数据快照相关的两个问题：数据快照对性能的影响程度数据快照所需耗费的存储空间快照数据消费数据有数据快照的情况没有数据快照的情况其它厂商的数据快照技术ABCD用户数据消费数据ABC用户数据数据快照公用存储空间DDDD不同的数据快照实现的性能差别CX500 performance with their snapshots goes to 6TBNetapp的FlexVol技术提高了存储空间的运

14、用率80%利用率Reclaimed SpaceAvailable for GrowthFlexVol提升 I/O 性能原有的架构卷的性能被它的磁盘数量限制“热点卷不能从其他卷的磁盘上获得协助NetApp FlexVol的技术各个卷可以共享所以磁盘的聚合性能Netapp的Flexvol技术所采用的先进的存储空间组织方式RG1RG2RG3磁盘LUN图例运用主机1运用主机N一切硬盘先分成相应的RAID组一切的RAID组组成存储池在存储池上面创建LUNNetapp的Flexvol技术完全消除了访问热点的产生，充分发扬了存储系统的潜在性能RG1RG2RG3磁盘LUN图例主机IO运用主机1运用主机N主机一

15、切的IO都平均分散在阵列一切的硬盘上，彻底消除了阵列访问热点问题软件产品和功能引见 Netapp创新的RAID技术 公用操作系统(Dataontap)和底层存储空间管理技术(WAFL) 先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术 先进的存储空间分配和组织技术(Flexvol) 先进的数据克隆技术(Flexclone) 运用系统存储访问优先级控制技术(Flexshare) 先进的基于磁盘阵列的数据容灾技术(Snapmirror)只需中心运用集中了中心和边缘运用不区分运用等级集中了中心和边缘运用利用Flexshare区分运用等级高优先级高优先级低优先级低优先级Fle

16、xshare：保证中心运用的存储访问性能存储网络存储网络存储网络软件产品和功能引见 Netapp创新的RAID技术 公用操作系统(Dataontap)和底层存储空间管理技术(WAFL) 先进的数据快照(Snapshot)和快速恢复(Snaprestore)技术 先进的存储空间分配和组织技术(Flexvol) 先进的数据克隆技术(Flexclone) 运用系统存储访问优先级控制技术(Flexshare) 先进的基于磁盘阵列的数据容灾技术(Snapmirror)50SnapMirror特点- 不同协议数据,一致冗灾架构NAS消费系统ISCSISAN冗灾系统SnapMirrorSnapMirrorS

17、napMirrorNASISCSISAN51SnapMirror ApplicationsSnapMirror 技术将数据镜像到一个或多个FAS存储系统上。基于存储设备底层的增量数据复制, 对主机效力器上层运用和数据库无影响。支持多种传输方式FC 和 IP 。异地备份数据拷贝提供只读功能和缺点切换访问。客户选择适当的同步级别同步、准同步和异步，从而实现了较高的灾难恢复维护级别。完全基于IP网络，无需公用光纤链路及多路波分设备，没有传输间隔限制。运用异步方式，对主机系统效力器I/O性能无影响。SnapMirror支持多种拓扑方式的复制，包括：1对多；多对1；级联复制等。SnapMirror支持对

18、多种数据的复制，包括：基于卷的复制，基于qtree的复制，支持对NAS / SAN /iSCSI中的数据复制。SnapMirror只传输变化的数据块，可以大大节省网络带宽和减轻FAS存储系统的负载。 52SnapMirror ModesSynchronous SnapMirror34Zero data lossDistance limitedPerformance impact142Small data lossNo distance limitNo performance impactSemi-Synchronous SnapMirror12Data loss 1 minute No dis

19、tance limitNo performance impactAsynchronous SnapMirror3Every Write2Every WriteAB312Changed blocksSet intervals153Snap ASnapMirror operation(异步方式)Baseline TransferSource File SystemRemote File System54Snap ASnapMirror operation (异步方式)Baseline TransferSource File SystemRemote File SystemSource file s

20、ystem continues to change during transferRemote file system is now consistent, and a mirror of the Snapshot A file systemCompletedSnapMirror to tape for seeding mirrored pairs55Snap ASnapMirror operation (异步方式)Incremental TransferSource File SystemRemote File SystemSnap BRemote file system is now co

21、nsistent, and a mirror of the Snapshot B file systemCompleted56SnapMirror operation (异步方式)Source File SystemRemote File SystemSnap BSnap CIncremental TransferCompletedRemote file system is now consistent, and a mirror of the Snap C file systemThe NetApp Model57NetApp Confidential - Internal Use Only

22、DepartmentalEnterpriseEnterpriseSANNASDepartmentalUnified StorageLANiSCSIFibreChannelEthernetScaling Up and Out with Data ONTAP 858NetApp Confidential - Internal Use OnlyDepartmentalEnterpriseEnterpriseSANNASDepartmentalLANiSCSIFibreChannelEthernetData ONTAP 8.0 NetApp主要磁盘存储产品家族59NetApp Confidential

23、 - Internal Use OnlyFAS2xxx68 - 432TB68 - 144drivesSAS, FC & SATAFAS62xx2400 - 2880TB1200 - 1440 drivesFC & SAS & SATA480 1920TB240 - 960 drivesFC & SAS & SATAAll systems runData ONTAPFAS32xx异构存储设备支持480TB 1920TB240 - 960 LUNsV32xx1200 2880TB1200 - 1440 LUNsV62xx Small Medium Large X-LargeStorage Gri

24、d336 - 14112TB336 - 14112 drivesFC & SATANetApp一致存储架构60FCiSCSIFCoENFSCIFS对象协议的一致存储架构的一致Cluster Cloud ModeRAID-DP FlexVolEnd to end DeduplicationSnapShot Smart copiesSnapLock ComplianceSnapVaultSnapMirrorMetroCluster可靠性100km一致的软件功能一致的运用集成SnapManager Application Integration 闪存FlexCachepNFS1234NetApp一致

25、存储架构61一样的工具和流程：学习一次，处处适用集成数据管理集成的数据维护供应商之间采用一致规范企业级一致存储平台一致管理562NetApp Confidential - Do Not DistributeNetAppData ONTAPFCoE,FC,IP, & NAS一致的体系架构设计一种管理界面完全的互操作学习一种、掌握全部FAS2040FAS2240FAS3210FAS3240FAS6280FAS6210FAS6240FAS3270跨平台无缝晋级真正一致最高效率极其灵敏2400TB1200 个驱动器3TB FlashCache1920TB960 个驱动器2TB FlashCache12

26、00TB600 个驱动器1TB FlashCache2880TB1440 个驱动器6TB FlashCache2880TB1440 驱动器8TB FlashCache480TB 240 个驱动器 512GB FlashCacheData ONTAP 8.1 存储集群A1C1LUNLUN B2ABA1 A3R CLUN B1C1LUNLUNAA2按需扩容和负载平衡化数据层次化存储高性能存储廉价存储C1LUNLUN B2ABA1 A3R CLUNA2 B1硬件在线晋级 B2ABA1 A3R CLUNA2 B1C1LUNLUNAlways on availabilityOn demand flexi

27、bilityOperational efficiency64NetApp Confidential - Internal Use Only65NetApp Confidential - Internal Use OnlyNetApp Snapshot TechnologyInstant zero-space copyNetApp WAFL writes all data to available free space without writing over previous dataCreating a Snapshot copy involves merely retaining poin

28、ters to original data blocksPerformance impact is near zero because no additional disk operations are required beyond normal write behaviorSpace is efficient because only new data written takes up incremental space on diskScheduled or manual, up to 254 snapshots per volumeReadily accessible via a sp

29、ecial subdirectoryNetApp Storage SystemSnapshotCopiesNetApp Snapshot TechnologyTake snapshot 1Copy pointers onlyNo data movement66NetApp Confidential - Internal Use OnlyABCABCSnap 1Blocks in LUN or FileBlocks on the DiskABCNetApp Snapshot Technology67NetApp Confidential - Internal Use OnlyABCSnap 1B

30、locks on the DiskABCABCB1B1Take snapshot 1Continue writing dataWrite data anywhereBlocks in LUN or FileNetApp Snapshot Technology68NetApp Confidential - Internal Use OnlyAB1CABCSnap 1Blocks on the DiskBABCACB1B1Snap 2ABCSnap 1Take snapshot 1Continue writing dataTake snapshot 2Copy pointers onlyNo da

31、ta movementBlocks in LUN or FileNetApp Snapshot TechnologyTake snapshot 169NetApp Confidential - Internal Use OnlyAB1CSnap 2ABCSnap 1Blocks on the DiskABCABCContinue writing dataTake snapshot 2Continue writing dataWrite data anywhereB1B1C2C2Blocks in LUN or FileNetApp Snapshot TechnologyTake snapsho

32、t 170NetApp Confidential - Internal Use OnlyAB1C2Snap 3AB1CSnap 2Blocks on the DiskABCABCContinue writing dataTake snapshot 2Continue writing dataTake snapshot 3Simplicity of model =Best disk utilizationFastest performanceUnlimited snapshotsB1B1C2C2ABCSnap 1Blocks in LUN or FileEveryone Elses Snapsh

33、ots71NetApp Confidential - Internal Use OnlyOthers SnapshotsTake snapshot 1:Create copy out region 172NetApp Confidential - Internal Use OnlyBlocks on the DiskABCABCCreate pointers to old blocks and copy outCopyOut 1ABCSnap 1Blocks in LUNOthers SnapshotsTake snapshot 173NetApp Confidential - Interna

34、l Use OnlyABCSnap 1Blocks on the DiskABCACB1Read old block; write to copy out regionCopyOut 1ABCSnap 1Continue writing dataBlock changesUpdate snap pointer to copy out regionUpdate block on diskOne write requires:1 read (old data)1 write (old data)1 write (new data)3x overheadBBB1Blocks in LUNOthers SnapshotsTake snapshot 174NetApp Confidential - Internal Use OnlyBlocks on the DiskABCACB1CopyOut 1ABCSnap 1ABCSnap 1copyout 1Continue writing dataTake snapshot 2:Create copy out region 2CopyOut