存储基础培训

1、Infortrend存储基础知识培训磁盘阵列Infortrend广州办事处1什么是磁盘阵列磁盘阵列简称RAID(Redundant Arrays of Inexpensive Disks) ，是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。磁盘阵列柜就是装配了众多硬盘的外置的RAID(简称阵列、盘柜、磁盘阵列) 2磁盘阵列发展1内部存储ServerHDDRAID Card3磁盘阵列发展2外部存储(JBOD)ServerRAID CardHDDJBOD4磁盘阵列发展3模块化存储(双控)ServerHBA卡Se

2、rverHBA卡HDD控制器AStorage控制器B5磁盘阵列发展4多处理器(Scale up)HDD控制器AStorage控制器B控制器nServerHBA卡ServerHBA卡ServerHBA卡HDDJBODHDDJBOD6虚拟化磁盘阵列发展5虚拟化 (Scale out)ServerHBA卡ServerHBA卡HDD控制器AStorage控制器BHDDJBODHDD控制器AStorage控制器BHDDJBODHDD控制器AStorage控制器BHDDJBODServerHBA卡ServerHBA卡7常见磁盘阵列系统FANFANFAN*PSUDrive PlaneDisk DrivesP

3、SURAID8磁盘阵列系统装置前视图9磁盘阵列系统装置后视图10磁盘阵列系统装置背板11阵列控制器内部结构Block DiagramServer / ServersorSwitch / SwitchesorZones on one SwitchRAID Controller BDrive-PlaneRCC COMInfortrendASIC400RAID64G FCSASSASDrive ChannelsHost ChannelsPCI-X #1SATAPCI-X #2RAID Controller ACH 0CH 1PowerPCCPUCACHE MEMORYPCI-X #3Redundan

4、t FansRedundant PSUsInfortrendASIC400RAID64G FCSASSASDrive ChannelsHost ChannelsPCI-X #1SATAPCI-X #2CH 0CH 1PowerPCCPUCACHE MEMORYPCI-X #312阵列控制器外部结构iSCSI 主机控制器面板光纤主机控制器面板SAS 主机控制器面板13Infortrend控制器缓存保护技术CBM (缓存备份模块) BBU + Flash 备份模块Cache Safe 技术 Cache safe技术可在突然断电的情况下将缓存中数据永久保存在Flash SSD中，不受传统的72小时保

5、护机制限制.14典型中端磁盘阵列扩展15数据存储架构DAS NAS SAN16DAS (Direct Attached Storage)存储设备直接连接到服务器；传统的、最常见的连接方式，容易理解、规划和实施；没有独立操作系统，不能提供跨平台的文件共享，各平台下数据需分别存储；各DAS系统之间没有连接，数据只能分散管理；备份软件不能离开服务器支持；DAS的前期投资比较少；文件服务器存储设备应用服务器存储设备数据库服务器存储设备LAN数据流数据流数据流17NAS (Network Attached Storage)NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Li

6、nux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据；磁盘I/O会占用业务网络带宽。文件服务器应用服务器NAS存储设备LAN数据流数据流18SAN (Storage Area Network)SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及联接它们的可靠的基础结构 ；高可用性，高性能的

7、专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。文件服务器应用服务器存储设备LAN数据流SAN存储设备存储设备数据流19存储网络的三种形态比较DASNASSAN传输类型SCSI、FCIPIP、FC、SAS数据类型数据块文件数据块典型应用任何文件服务器数据库应用优点磁盘与服务器分离，便于统一管理不占用应用服务器资源广泛支持操作系统扩展较容易即插即用，安装简单方便高扩展性高可用性数据集中，易管理缺点连接距离短数据分散，共享困难存储空间利用率不高扩展性有限不适合

8、存储量大的块级应用数据备份及恢复占用网络带宽相比NAS成本较高安装和升级比NAS复杂20存储架构适用分类SAN:提供可用性、可管理性和扩展性目标应用:数据库/ERP/OLTP灾难恢复数据仓储NAS:易于安装和管理，低价位, 目标应用:文件服务器集中/更换PDM/CAD文件共享DAS: 只适用于小型商务21多路径冗余路径管理软件能够解决哪些问题？避免存储链路单点故障保证在磁盘阵列控制器切换时数据访问的不间断多链路负载均衡提升存储系统访问性能交换机磁盘阵列控制器1控制器2HBA 01HBA 02主机A主机B222324数据存储需求挖掘？25广州原创动力数据集中存储、管理一体化解决方案26数据分层与

9、数据分级？27备份/恢复技术28备份（Backup）收集数据存储在非易失性的存储介质上（通常为可移动的介质），万一当原先的数据丢失或不能访问时，可以用来进行恢复。备份就是创建备份副本的操作, 应用和用户不能直接访问备份副本。备份方式：LAN备份、LAN Free备份、Server Free备份。什么是备份？文件服务器数据库服务器备份服务器磁带库磁带29RTO (恢复时间目标) 在业务中断后的某一个时间点，业务的进程或应用服务必须恢复，确保业务正常进行（你能接受多长的宕机时间）RPO (恢复点目标) 在已确定的RTO内，应用数据或文件系统信息必须恢复到某一个时间顺序点 (你能接受丢失多少数据）什

10、么是RTO/RPO？数据保护时间轴Failure出错时刻12 hrs12 hrs12 hrs12 hrs12 hrs12 hrsRecovery Point Objective BUBURecovery Time Objective Recover30全备份.全备份全备份是在某一个时间点上所有数据的一个完全拷贝Full backup（全备份）备份类型-全备 31全备份.增量全备份增量备份即对上次备份以后的最新变化数据的备份Incremental Backups（增量备份）备份类型-增量 32全备份差分全备份差分备份即对上一次全备份以后的所有变化数据的备份.Differential Backup

11、s（差分备份）备份类型-差分 33合成全备份 合成全备份：将增量备份或差异备份合成一份全备文件34LAN环境下数据流走向ApplicationServerLANRAID or JBODTape LibraryBackupServer35LANfree备份数据流的走向Local Area NetworkMetadataReadWriteBackupServerBackupClient36Serverfree数据流走向DiskFibre ChannelLocal Area NetworkTapeStorage Area Network37产品背景： 存储介质售价一直都在不停下降，却远远赶不上数据保

12、存和备份的数据量的攀升速度，在这种环境下重复删除技术应运而生。 重复数据删除是一种数据缩减技术，通常用在基于磁盘的备份系统，目的是为了减少存储系统中使用的存储容量。采用“重复删除”技术可以将存储的数据缩减为原来的1/15，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。 用更少的空间存更多的数据。重复数据删除38依据数据处理方式的不同，分为以下两种： 其一是在线处理（Inline），Data Domain就是这一技术的代表厂商，这一方式中，数据在读进来之后，在存到磁盘之前就已经进行了重复数据删除； 其二是以昆腾作为代表的后处理（Pos

13、t-processing），采用这一方式的话，数据在存到磁盘上后，才会进行重复数据删除，在存到磁盘前，数据没有减少。重复数据删除的处理方式39快照（Snapshot）为指定的数据集创建一个完全可用的数据副本，它包含了副本在创建时刻（时间点）的数据映像快照实现方法：存储嵌入式快照：快照软件运行在网上的存储设备中基于主机的快照：快照软件运行在服务器中，通常驻留在操作系统级别的逻辑卷中快照Database ServerBackup ServersTape LibraryTapes40 Continuous Data Protection持续数据保护是一套方法，CDP可以捕获或跟踪数据的变化，并将其独

14、立存放在生产数据之外，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。” 从数据保护时间上分为：CDP技术分为真CDP（True CDP）和准CDP（Near CDP）两类 CDP 技术简述41备份、快照、复制、CDP42源文件归档后的文件 归档过程 移动, 校验Archive(归档) 将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上，是一种最原始却最为有效的节约成本的方式。数据归档集成了数据迁移、管理、收集、保存以及介质管理等功能 ，主要用于长久保存数据和文件以备日后查询取用。43数据备

15、份手段 一硬件级备份 硬件级的备份是指用冗余的硬件来保证系统的连续运行。比如磁盘镜像，双机容错等方式。如果主硬件损坏，后备硬件马上能够接替其工作，这种方式可以有效地防止硬件故障，但无法防止数据的逻辑损坏 当逻辑损坏发生时，硬件备份只会将错误复制一遍，无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能够连续运行，更应称为硬件容错44数据备份手段 二软件级备份 软件级的备份是指通过备份软件将数据保存到其他介质上，当出现错误时可以将系统恢复到备份时的状态。由于这种备份是由软件来完成的，所以称为软件备份。 用这种方法备份和恢复都要花费一定时间。但这种方法可以完全防止逻辑损坏，因为备份介质和

16、计算机系统是分开的，错误不会复写到介质上。这就意味着，只要保存足够长时间的历史数据，就能够恢复正确的数据。45数据备份手段 三人工手动备份人工级的备份最为原始，也最简单的备份。但如果要用手工方式从头恢复所有数据，耗费的时间恐怕会令人难以忍受。46备份需求挖掘？47集群基础什么是集群技术？所谓集群就是为客户机提供资源的一组计算机系统，常见集群技术一般包括三类：高可用集群（以减少服务器中断时间为目的的集群技术）高性能计算集群（以提高科学计算能力为目的的计算机集群技术）高扩展集群（带负载均衡策略的服务器群集）48服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC集群技

17、术：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。 集群概述49服务器A服务器B镜像盘心跳线客户端PC公用网络1、在服务器之间，通过网络方式镜像数据，不需要采购磁盘阵列，节约成本2、大数据量读写时，两台服务器会出现数据不同步3、镜像数据占用大量服务器资源，降低系统性能无磁盘阵列有磁盘阵列1、双机集群的主流配置方式2、采用了共享存储，消除数据不同步的现象，系统性能不会降低3、多服务器集群常采用NAS模式实现存储共享服务器A服务器B磁盘阵列心跳线

18、客户端PC公用网络集群的存储系统50双机热备磁盘阵列心跳连接公用网络客户端ActiveStandby服务器A服务器B应用 双机热备是指两台计算机为某一目的组合在一起的技术，两台计算机构成系统的两个节点，当其中一个节点不可用或者不能处理用户请求的时候，系统自动将该节点资源转移到另一个节点处理。51双机互备磁盘阵列心跳连接公用网络客户端ActiveActive服务器A服务器B应用A应用B52构建适用的存储系统 -Infortrend产品交流531993年创立，致力于磁盘阵列控制器以及整机产品的研发；在美国、欧洲、亚洲多个国家设有分支机构；全球众多OEM合作伙伴，包括Quantum、Adaptec、

19、Sun、 DotHill， Toshiba，Bosch，HoneyWell，曙光，浪潮，联想 中兴等知名企业；世界第3大，亚洲第1大磁盘阵列厂商拥有众多的专利技术，处于第三方存储产品市场的领先地位；多规格、多技术的磁盘阵被广泛应用到世界各地的众多领域；平均故障率业内最低。一、Infortrend公司简介54Infortrend公司实力技术开发人员 (3)项目管理 (17)专利申请 (7)TR IPPMEMC/Safety EVT DVTASIC Firmware 硬件机械设计 软件信号完整性ASIC 设计 (12)Firmware 设计（23)软件设计 (15)硬件设计 (22) - EE h

20、ardware design - Utility design机械设计14) - Mechanism design - Thermal team信号完整性 (7)Board simulationHigh Frequency signal problem solvingEMC / 安全 (12)工程验证测试(13)设计验证测试 (32)Product Maturity testEnvironment testHALT / HASS test坚实而强大的技术基础Total: 177名核心技术研发人员55产品一站式设计与制造 100% 自主研发, 包括 ASIC, firmware, 硬件和整机系统

21、集成 专业的设计、生产部门，每一部件都经过严苛测试Infortrent具有存储行业最长的产品线多项技术都是全球首发 8Gb/s FC-host RAID array -2009年2.5”-drive RAID array -2007年SAS-drive RAID array -2005SATA-drive RAID array -200356功能Entry-levelMidrangeHigh-end1U-4U FC, iSCSI, SAS, SCSI hostSAS, SATA, FC drives 最大扩展 224 颗磁盘基于 EonStor硬件支持 快照 和卷拷贝/卷镜像 Scale-ou

22、t（横向扩展） 存储虚拟化 FC, iSCSI 主机同道 SAS, SATA 磁盘 （SSD固态磁盘 ） 最大扩展 1344 颗磁盘Infortrend产品之路57Infortrend里程碑1993200320072009存储控制器OEM / ODM300 个型号全球销量200,000EonStor 入门级 DAS/SAN 存储系统400 个型号全球销量128,000SANWatch 存储管理软件 ESVA中高端 虚拟化存储系统 2010EonStor DS入门级 DAS/SAN 存储系统 (加入数据保护软件)58Source: Worldwide Disk Storage Systems 2

23、007 Vendor Shares : Year in Review, IDC2007年磁盘存储排名5960全球：入门级存储阵列供应商出货量所占市场份额（0-24999美元）Vendors201020102010HP40,53114.424.2Dell22,828-4.313.6Infortrend20,475 - 12.2EMC12,559-14.57.5IBM 10,581-27.16.3Sun Microsystems7,097-43.04.2NetApp4,0183.62.4Fujitsu3,68250.82.2Dot Hill3,500-5.82.1Nexsan3,080-3.01.

24、8Hitachi/HDS3,062-31.01.8SGI2723.40.2Bull95-5.00.1全球：外接存储阵列供应商出货量所占市场份额-针对所有操作系统Vendors201020102010HP59,6990.321.2Dell38,914-0.813.8EMC 33,282-4.411.8IBM27,844-11.69.9Infortrend20,475 - 7.3Hitachi/HDS13,571-15.44.8Sun Microsystems 12,452-37.64.4NetApp10,3539.53.7Fujitsu6,54352.92.3Dot Hill3,640-7.11

25、.3NEC3,177-9.11.1Nexsan3,085-3.41.1Compellent2,00129.40.7Teradata1,065-9.70.4DataDirect96415.70.3SGI439-17.30.22010年3月数据 来自Gartner60Infortrend产品亮点概览 整机模块化无线缆设计 RISC+ASIC架构控制器 CacheSafe 绿色环保设计 多种管理警示方式- 智能磁盘降速 80Plus认证电源- LCD前面板 SANWatch一体化存储管理套件 基于Java的WEB浏览器管理 RS-232管理 蜂鸣报警及指示灯、Email、 SNMP等方式 扩展能力6

26、1传承的高可用性硬件设计无单点故障冗余热插拔部件PSU, FAN, RAID Controller数据传输保障CacheSafe缓存保护技术杜绝系统断电造成的数据丢失多种管理及警示方式 SANWatch一体化集成管理套件Redundant Power Supplies & FansRedundant Controllers 62快照及卷拷贝/镜像/远程复制快照数千份指针型快照几秒种内恢复数据卷拷贝/镜像/远程复制卷拷贝/镜像实现本地备份远程复制实现数据容灾同步/异步两种复制模式6380+高效率电源 提供高于80的交直流转换效率磁盘 drive spin-down 技术节省高达 65% 的pow

27、er两段式风扇，动态冷却机制绿色节能设计Source: datasheet/ spec of each storage vender64EonStor系列产品概述简易,稳定,实用,极富性价比的入门级磁盘存储1U/2U/3U/4U,12/16/24BaySATA, SAS,FC,SSD多种磁盘规格融合6Gb SAS,FC 8Gb,ISCSI 10Gb等尖端接口技术PowerPC, 独立ASIC XOR引擎FC-SAN,IP-SAN,DAS多种存储架构High CapacityReliableSuperior PerformanceReliable65EonStor 系列产品结构66EonStor

28、 DS系列产品概述稳健，可靠，高效的中端存储解决方案控制器2P1A(2PowerPC+1ASIC667)，Active-Active双活设计广泛的SAN连接性 FC 8Gb,ISCSI 10Gb支持AIX,HP-UX,Solaris，Linux，Windows等众多系统平台，Vmware ESX认证完善的多路径管理（Multipath）解决方案增强的数据保护功能67ESDS系列产品结构DS=Data Service68EonStor DS系列产品特点培训验收实施高性能 增值 69ESVA-开创存储新纪元Enterprise Scalable Virtualized Architecture 企

29、业级可扩充的虚拟化存储系统架构基于虚拟化技术的集群存储架构SCALE-OUT/UP架构，实现性能和容量的同步提升自动精简技术（Thin provisioning）最大化存储利用率并行I/O技术和多通道负载均衡机制最优化存储系统的性能关键任务优先QOS高级数据保护功能强化数据安全与业务连续性70ESVA虚拟化集群架构71传统通道带宽恒定不变存储容量利用率低Scale-Up 纵向扩展单一系统CPU单一系统内存单一系统带宽Scale up 纵向扩展72通道带宽大幅提升数据空间集中管理单系统带宽 Distributed Load Balance分布式负载均衡24颗CPU96GB内存1344颗磁盘768

30、Gb/sScale-outScale Out横向扩展73向虚拟池添加子系统Application Server 2TB2TB2TBVirtual Pool迁移数据停机时间为02 x Bandwidth74从虚拟池中删除子系统Application Server 2TB2TB2TBVirtual Pool迁移数据停机时间为0757676ESVA分布式负载平衡增强的EonPath多路径技术IO请求均匀的分布于存储系统的各个虚拟池成员中横向扩展架构中，性能成线性上升76关健任务优先-QOS 可针对不同的应用的重要性或访问频度来定义访问优先级计算能力，带宽，Cache，容量等资源均可自动调节面向应用的

31、存储服务(AOS)77存 储 池ESVA N+1架构78SASSATAESVA自动分级存储依據IO數據塊活躍程度自動區分磁盤性能存儲數據塊79ESVA重复数据删除8081ESVA自动精简配置在数据写入时，动态的 分配容量成本效益延迟采购设备使容量利用率最优化30-40% 80-90% 降低能源、空间和制冷的费用管理效益扩展卷时，不需要停机时间简化容量规划消除个別卷的使用率低監控的人工投入减少81数据保护 软硬兼施基本数据保护卷快照 1024/VOL卷复制卷镜像高级数据保护远程复制防范物理故障,逻辑故障基于数据的增值应用数据备份数据分析开发测试82智能数据保护快照在短期内恢复文件和回滚数据卷镜像/复制发生灾难后，能在几分钟内重启服务在单个虚拟池中或多个虚拟池之间进行拷贝83远程复制同步模式/异步模式目标卷上备有快照Virtual Pool #1Virtual Pool #2采用同步模式进行数据I/O采用异步模式进行数据读写84性能对比SPC-1 (Storage Performance Council)在相同环境下对同档次产品进行的性能测试报告85ESVA带宽