版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
中交航道设计院 NAS存储资源池建设项目技术方案NetAppConfidentialPAGE552013-10中交航道设计院NAS存储资源池建设项目技术方案©2017©2017NetAppAllrightsreserved本文档包含NetApp公司的商业及技术机密。未经NetApp公司许可,不得向第三方泄漏或使用。目录TOC\o"1-3"\h\z1. 需求分析与设计方针 51.1. 需求分析 51.2. 设计方针 51.2.1. 灵活 51.2.2. 弹性 61.2.3. 分层 61.2.4. 其他特性 62. 方案配置与说明 82.1. 系统配置 82.2. 存储机柜安装图 102.3. 存储控制器接口图 112.4. 硬盘柜连接 112.5. 存储系统逻辑拓扑 122.6. 系统部署与架构 122.7. 端口使用与功能 132.8. 系统管理 142.9. 部件通用性与故障应急处理 142.10. 灾备功能的扩展 153. 产品特性 173.1. NetApp集群存储架构 173.2. 真正的统一存储架构 193.3. 硬件冗余与在线操作 193.4. 灵活先进的QoS功能 203.5. 快照与克隆 213.6. 自动精简配置 213.7. 数据块级别的重复数据删除与数据压缩 223.8. 独特的多点灾备技术 233.9. 机房和设备搬迁 244. 产品规格 255. 项目实施计划与风险应对 305.1. 项目实施进度安排 305.2. 风险管理与风险应对措施 316. 项目质量管理 336.1. 工程质量验收标准 336.2. 质量保证小组 337. 项目组织、沟通与人员资质 357.1. 项目组成员与组织架构 357.2. 项目组成员工作安排 357.3. 项目组成员资质 368. NetApp支持与服务 438.1. 技术支持中心TSC(TechnicalSupportCenter) 438.2. NetApp的产品售后支持服务 458.3. NetApp专业培训服务 53
需求分析与设计方针需求分析在中交航道设计院生产系统NAS存储资源池的建设需求中,以“开放、灵活、弹性、分层”为出发点。根据对现有系统状况的调研分析结果,当前中交航道设计院生产系统的存储资源已经不能全部满足未来各个项目预估的需求或满足已有系统数据增长对上述基础环境的要求,因此需要有针对性地进行全新的NAS资源池架构建设,同时保证未来平滑的升级扩容与管理维护。本次采购方案计划包括用于NAS数据存储的存储资源池一套。NAS存储资源池针对项目的需求,本次采购是为了配合中交航道设计院未来若干年内存储资源池整体化系统平台的建设,针对包括工作流影像系统数据在内的众多NAS应用。虽然在该项目需求上,本次采购仅要求支持NAS存储,但根据之前用户在用于生产的NetApp存储上逐步扩展了SAN和NAS应用的经验来看,未来也有可能会产生类似的扩展需求,因此仍然需要为将来的存储架构扩展预留接口;此外,虽然本次没有专门针对万兆网络端口提出要求,但预计在不久的将来万兆网络也将成为被用户所广泛采纳的标准架构,因此我们的建议方案中也包括了万兆网络端口的配置,可以为用户将来更新的网络架构提供完善的平台支持能力。设计方针我行在NAS资源池的基本建设目标仍然将重点关注于开放、灵活、弹性、分层等几个方面,其中由于NAS访问天生具有开放性的特点,因此不需要额外考虑主机端的兼容性。以下是基于NetApp的解决方案所提供的功能特性。灵活NetApp集群存储系统能够提供数据在集群存储系统内部自由迁移的功能,并且该迁移对前端用户访问透明,不会造成应用中断。该迁移过程发生的场景包括由于升级性能、调整数据分布、系统维护、更换存储控制器以及硬盘柜等。该在线迁移功能应当对SAN和NAS数据都有效。NetApp集群存储系统能提供高可用以及数据保护功能,可靠性超过99.999%,任意单点故障都不会影响应用运行或导致数据丢失;不同部件双点或者更多点故障也不会影响应用运行或导致数据丢失(比如,一个存储控制器与2块硬盘同时故障)。NetApp集群存储系统在日常的磁盘分配、回收、firmware完全升级、设备更换、设备升级等操作过程中完全在线,可以避免停机对前端访问的影响。NetApp集群存储系统具有灵活而全面的管理监控软件,可以提供包括实时数据、历史数据以及物理和逻辑资源状况在内的所有监控功能。弹性NetApp集群存储系统可以平滑无中断地实现横向扩展,最大可扩展到24个存储控制器节点;此外,每个控制器节点都具有独立的扩展性,包括容量扩展、端口扩展、性能扩展等。NetApp集群存储系统可针对各种应用和数据实现精简配置,并且针对NAS资源可实现自动的持续精简。NetApp集群存储系统对设备型号无限制,可以在一个集群中兼容已经停产的旧型号、当前主流产品以及未来推出的新型号,可以完全保护用户的前期投资;同时无论是新设备的加入、移除还是更换都可以保证应用完全无中断。分层NetApp集群存储系统内可以容纳不同规格的多个设备,本身就可以实现存储级分层功能。每一个存储控制器节点都可以混合使用SSD、SAS、SATA等各种类型硬盘,在单个节点内部也可以实现分层存储。NetApp集群存储系统提供完全自动化的缓存模式自动分层功能,对于热点数据的性能提升实时生效而无滞后性,且完全无需人工干预和管理。NetApp的自动分层机制可以识别经过重复数据删除以后的数据,因此具有极高的加速效率。其他特性NetApp集群存储系统可适用于针对顺序、随机读/写操作以及核心应用、二级存储等各种不同场合,可以满足多样化的应用需求。可通过较少的控制器节点提供很高的性能,大大简化了网络维护的复杂性和减少了管理维护成本。逻辑分区及多租户功能,可针对不同子部门提供相应的下一级存储资源分区,且可以通过QoS管理功能针对极细颗粒度的存储对象进行性能管控。可通过瞬间快照实现数据保护,对系统性能完全无影响;数据恢复也可在瞬间完成。数据卷级别克隆功能,操作简单,空间回收也可通过简单的操作实现。原生的重复数据删除和数据压缩等功能,大大提升存储利用率。空间扩容瞬间完成,对应用性能无任何影响,无需数据校验和重构。无需额外硬件支持即可实现二级存储数据复制以及NDMP备份功能。可支持通过NetAppV系列产品将第三方存储的空间也投入到集群存储中,充分保护用户前期投资。必要时可无缝扩展出对SAN功能的支持。
方案配置与说明根据上述的基本分析,以及结合用户包括应用环境、管理环境和备份环境在内的实际现状,我们建议按照下文的方案进行部署。系统配置我们建议的系统配置如下。用于邮件系统的办公SAN存储FAS8020集群存储一套含2个FAS8020冗余控制器;48GB系统缓存;96块600GB15KSAS硬盘,18块2TB7.2KSATA硬盘;12个千兆网口,4个万兆网口,4个4GB光纤口,12个6GbSAS口;2个万兆交换机;原厂机柜一台;含包括CIFS/NFS在内的NAS协议;快照;克隆;自动分层;存储虚拟分区;存储QoS;基于数据块级别的重复数据删除;数据压缩;精简配置等功能许可;含3年原厂7×24×2小时维保服务。PartNumberProductQtySW-2-CL-BASESW-2,Base,CL,Node1FAS8020-R61FAS8020AE-UTA-BASE-R6FAS8020HASYSWithDualCntrlr&IOXM&UTA2SW-2-CIFS-CSW-2,CIFS,-C2SW-2-3250A-NFS-CSW-2,NFS,3250A,-C2SW-2-3250A-ONTAP8-CSW-2,DataONTAP-Essentials,3250A,-C2DS4243-1514-24S-EN-R6-CDSKSHLF,24x600GB,15K,EN,-C4X870D-EN-R6-CCab,Deep,HeavyDuty,Empty,NoPDU,NoRail,EN,-C1X8712C-EN-R6-CPDU,1-Phase,12Outlet,30A,NEMA,EN,-C,R64X6584-R6-CCable,Ethernet,1mRJ45CAT6,-C1X6594-R6-CCable,SASCntlr-Shelf/Shelf-Shelf,HA,1m,-C4X6553-R6-CCable,Cntlr-Shelf/Switch,2m,LC/LC,Op,-C4X6557-R6-CCable,SASCntlr-Shelf/Shelf-Shelf/HA,0.5m,-C4X6558-R6-CCable,SASCntlr-Shelf/Shelf-Shelf/HA,2m,-C4X6560-R6-CCable,Ethernet,0.5mRJ45CAT6,-C7X6561-R6-CCable,Ethernet,2mRJ45CAT6,-C1X-SFP-H10GB-CU1M-R6-CCiscoN50XX10GBaseCopperSFP+cable,1m,-C,R62X1049B-EN-R6-CNIC4-PortCopperGbEIIPCIe,EN,-C2X1117A-EN-R6-CNICII2-PortBareCageSFP+10GbEPCIe,EN,-C4X2065A-EN-R6-CHBASAS4-PortCopper3/6GbQSFPPCIe,EN,-C2X6569-R6-CSFP+forX1117A,Optical,10GbE,R6,-C4X6589-R6-CSFP+Optical10GbShortwave,-C4X8778-R6-CMountingBracket,Tie-Down,32X0,-C,R62X877B-R6-CRailKitII,Cab,-C,R66X1985-R6-C12-NodeClusterCableLabelKit,-C1FAS-V32XX-CHASSIS-R6-CFAS/V32XX,Chassis,ACPS,-C,R62DOC-32XX-CDocuments,32XX,-C1X800-42U-R6-CPowerCable,In-Cabinet,C13-C14,-C24X1960-R6-CClusterNetInter-connect,16Pt,10Gb,-C2CS-O2-NOINSTALL-2HR-VASupportEdgePremium2hrOnsite,w/oInstall,VA1DS4243-R51DS4243-0724-12A-QS-R5DSKSHLF,12x2.0TB,7.2K,QS1X800-42U-R6PowerCable,In-Cabinet,C13-C142X8781-R6HardwareKit,Add-OnPeripheral,Cabinet,R61X6558-R6Cable,SASCntlr-Shelf/Shelf-Shelf/HA,2m4X6560-R6Cable,Ethernet,0.5mRJ45CAT61X6561-R6Cable,Ethernet,2mRJ45CAT62CS-O2-2HR-VASupportEdgePremium2hrOnsite,VA1X302A-R5DiskDrive,1.0TB7.2k,DS424x,FAS2240-46存储机柜安装图存储控制器接口图硬盘柜连接我们将SAS硬盘和SATA硬盘分别部署到两个Stack中,因此本次部署完成后盘柜Stack示意图如下:存储系统逻辑拓扑本次新采购的存储设备在系统拓扑图中的位置如下所示。系统部署与架构本次项目部署涉及到的系统架构图如下图所示:本次部署的5个盘柜总共包含96块600GBSAS硬盘和18块SATA硬盘,可以按照以下方式进行分配:对于SAS硬盘,为每一个控制器保留1块硬盘用于热备:创建(21+2)的双校验RAID组用于数据RAID,总共2组;创建(22+2)的双校验RAID组用于数据RAID,总共2组。以上4组RAID组用于应用数据存储,实际可用容量为42.4TB。对于SATA硬盘,由一个存储控制器进行管理,保留1块硬盘用于热备:创建(15+2)的双校验RAID组用于应用数据存储,总共1组,实际可用容量为21.3TB。端口使用与功能根据我们的建议方案,本次项目存储系统的端口配置和建议部署方案如下。千兆数据端口,每个存储控制器使用6个,其中1个用于集群管理端口,1个用于Vserver管理端口,余下的4个端口按照每2个端口一组的模式绑定为同时工作的虚拟端口,并分别连接到前端交换机,构成冗余连接。针对每一台存储控制器的千兆端口绑定模式,采用虚拟端口+Failovergroup方式,即每2个千兆端口绑定为Active-Active模式的虚拟端口并连接到网络交换机,同时配置相应的IP地址;所有的虚拟端口都加入到同一个Failovergroup,在任意虚拟端口故障的情况下,该端口的访问功能将被Failovergroup组内其他端口所接管。对于每一台存储控制器,端口绑定和Failovergroup的示意图如下:4个光纤口:用于通过光纤交换机连接到磁带库并实现NDMP备份,可采用标准的跨交换机、跨控制器冗余连接方式,完全避免包括单个端口、单根光纤、单个交换机、单块光纤卡、单个控制器在内的单点故障所导致的链路中断。系统管理NetApp存储集群的管理模式与原先的7-mode相同,都可以在NetAppSystemManager管理界面下统一实现。该软件安装于一台用于管理的Windows电脑上(可以是服务器、台式机、笔记本或者是虚拟机),可以与生产环境的管理机复用。通过SystemManager,管理员可以实现存储集群几乎所有的管理任务,包括管理RAID和硬盘、创建/删除Vserver、创建/管理/删除数据卷、数据共享设置、快照功能和时间表设置、物理端口和逻辑端口设置与管理等等。此外,还可以通过UnifiedManager管理平台(原DFM)对存储集群进行状态监控。NetAppOperationManager利用基于策略的配置和数据保护自动化,将共享IT基础架构作为一个或多个存储池进行管理;通过集中式仪表板和直观的点击钻取式界面,实现对存储的透明化管理。OperationManager还能够通过监控、警报和精细的阈值设置,对NetApp存储进行性能管理。上述管理功能涵盖了硬件、系统、性能、告警等各方面内容,能够让管理员对存储系统的状况了然于胸。部件通用性与故障应急处理根据我们的建议方案,本次项目完成部署后,用户将有四套NetAppFAS3200产品处于使用状态。显然,各存储设备上所承载的应用很可能具有不同的重要性,因此在紧急情况下,为了尽快恢复应用运行,用户可以从相对次要的存储系统上取得部件并安装到重要的存储系统上,尽最大可能挽回业务损失。在同为FAS3200系列而型号不同的情况下,可以互换的备件包括:内存,IO模块,电池,控制器电源,扩展卡,接口模块,盘柜电源,盘柜接口模块,连接线缆等在同为FAS8020的情况下,包括CPU在内的整个控制器都可以进行互换。在另一种故障场景下,假设某台存储系统完全宕机,则用户可以将宕机系统的硬盘全部取下,并在线添加到正常运行的存储设备上以延续应用运行。这也是部件和系统通用性所带来的额外好处。灾备功能的扩展在我们本次项目提供的产品上,已经内嵌了基于SnapMirror的两点或多点灾备功能。由于本项目需求产品用于核心生产系统,因此在将来中交航道设计院要求部署灾备架构时,不需要对系统硬件架构做改动,仅仅需要在灾备端部署一套基于NetApp的存储系统即可实现。比其他产品具有明显优势的是,NetApp的灾备架构不要求两端配置对等的设备型号,用户完全可以在灾备端配置低端产品来实现灾备的目标;此外,NetApp的灾备功能为全功能配置,后续不会随着数据量的增加而不断追加投资。NetAppSnapMirror功能易于使用和管理,允许用户灵活地连接链路(可以选择IP或者FC链路),选择一对多或者多对一的传输模式,还可以选择多层级联的传输模式。它满足了当前企业用户对于数据迁移、数据分布解决方案和远程备份以及容灾的需求,通过在复制链路上高速传输变化的数据块,SnapMirror软件能够为数据迁移工作带来最大的灵活性和便捷性,为关键应用程序提供最高的数据可用性和最快的恢复速度。当传输过程中链路遇到意外情况导致中断时,SnapMirror能够保留中断点状态,无论链路恢复需要多少时间,都可以在链路修复后自动续传。相反,某些厂家的解决方案在链路中断超过一定时间后将会断开复制连接,这也意味着用户需要在链路修复后重新执行一遍源数据的全部复制。更为重要的是,SnapMirror本身的设计就已经实现了仅针对变化数据块的增量传输,同时SnapMirror还能感知源存储端已经经过重复数据删除的源数据,因此可以大大降低实际所需的传输数据量。作为对比,其他厂商的存储设备即使能够支持重复数据删除,由于其并非基于数据块而是基于文件,而且删除后的数据无法被复制功能所感知,因此所需要的传输数据量和实际数据基本没有差别。SnapMirror技术作为和NetApp内核紧密集成的核心功能之一,在数据复制的可靠性以及传输效率方面具有极高的水准。SnapMirror基于NetApp的文件系统实现数据块的差异比对,并通过内建的多层次校验和写保护机制保障复制动作的准确无误。此外,由于SnapMirror针对已经存在于硬盘上的数据进行对比和复制,因此该部分数据一定具有本地一致性的特征,完全可以用于恢复和容灾功能。由于SnapMirror的简单易用、灵活高效的特性,NetApp在存储数据复制领域长期占据领先位置,并经过了严格的市场考验并获得出色的用户评价。
产品特性针对本次采购方案,我们的方案充分发挥了NetApp的产品特性以满足用户需求,并且基于用户现有的NetApp存储系统,我们认为我们针对本次采购的建议方案在以下几方面具有相对突出的优势。NetApp集群存储架构NetAppDataONTAP8软件提供统一存储平台来实现可扩展性和灵活性,并采用集群功能确保用户的业务无中断运营。DataONTAP为客户部署软件定义的数据中心铺平了道路,可消除传统硬件孤岛模式在性能、可用性和效率方面的限制。与其他任何存储操作系统相比,NetAppDataONTAP8操作系统可在不中断运营的情况下实现业务灵活性。借助集群模式DataONTAP,用户可在单个功能丰富的平台上扩展基础架构,而无需增加IT人员。集群模式DataONTAP优点包括:无中断运行•在不中断业务的情况下,执行存储维护、硬件生命周期操作和软件升级。•消除计划内和计划外停机时间,确保业务持续不中断。经过验证的高效率•采用业内最全面的存储效率技术,全面降低存储成本。•针对具有不同性能、容量和安全要求的工作负载或租户,整合并共享同一基础架构,从而节省时间和资金。无缝可扩展性•无论使用什么应用程序,均可扩展容量、性能和操作,而不会造成任何负面影响。•将SAN和NAS从数TB扩展到数十PB,且无需重新配置正在运行的应用程序。统一存储架构NetAppDataONTAP8存储平台支持多种网络协议,有助于整合混合IT环境。在当今的协作业务环境中,用户往往需要一个统一存储平台来支持组织中的各种应用程序。NetAppDataONTAP8存储操作系统为SAN和NAS存储工作负载提供本机支持,包括光纤通道、FCoE和iSCSI,以及最新版的NFS和SMB/CIFS网络协议。DataONTAP8可使用相同的功能和数据管理工具进行扩展,无论协议种类或系统规模如何。存储效率DataONTAP8可简化数据管理任务,从而提高IT效率,让工作人员可以腾出更多时间专注于业务发展。NetAppDataONTAP8存储操作系统提供了可扩展的共享基础架构,该基础架构可令用户使用更少的空间存储更多的数据,从而能够延长数据在磁盘上的保留时间。DataONTAP8还提供了集群功能,可降低与电耗和散热相关的资本成本和运营成本。极高的空间利用率•将数据卷和数据集复制为节省空间的虚拟克隆。•使用透明的实时和后处理数据压缩技术实现数据精简。•使用通用重复数据删除技术删除冗余数据对象。经济高效的存储•利用SATA技术,将每TB成本降低多达46%。•借助“即时”存储和内置精简配置功能降低购置成本。•利用专为多工作负载和租户设计的本机多租户和QoS功能,最大限度地提高共享存储的投资价值。数据保护通过NetAppDataONTAP8内置的数据保护服务功能,用户还可以实现备份恢复目标并降低停机的风险。要实现业务连续性,数据必须保持随时可供访问。因此,全面数据保护是NetAppDataONTAP8存储操作系统的核心组成部分。NetApp集成数据保护直接通过存储平台提供可用性、备份、合规性和灾难恢复(DR)服务。DataONTAP8数据保护服务利用NetApp存储效率技术,并实现与领先的数据保护应用程序的集成。用户可以降低存储成本和数据管理成本,从而降低总拥有成本。集群与资源虚拟化NetAppDataONTAP8存储操作系统提供了统一的集群架构,可通过扩展来适应用户不断变化的需求,从而降低风险和成本。集群模式DataONTAP可以对存储资源进行虚拟化,将其作为一个逻辑池进行管理,并扩展至数十PB和数千个卷。集群模式DataONTAP的设计意图是消除停机,借助该系统,即使是在正常工作时间内,用户也可以在不中断用户数据和应用程序访问的情况下维护基础架构。集群模式DataONTAP提供了无中断的横向扩展存储解决方案,可适应共享基础架构上混合工作负载和多SLA的需求,支持高速应用程序,以及创建大型内容存储库。真正的统一存储架构迄今为止,NetApp仍是在硬件平台和软件内核两者上都实现真正融合的唯一的统一存储产品。通过单一的NetApp产品即可提供完整的各种访问协议,并且在NetApp产品线中从最低端到最高端都采用相同的硬件架构和系统内核,因此用户可以毫不费力地仅仅通过更换控制器的方式就实现不同型号存储系统之间的任意平滑升级,而数据和配置信息都无需更改直接可用,连操作和管理界面都完全相同。通常,执行一次完整的NetApp硬件升级过程可以在一小时之内完成。硬件冗余与在线操作NetApp全面支持基于存储系统的高可用结构,控制器的HA机制可保证在硬件故障或手动情况下的热冗余切换,且控制器可在实现Active/Active模式的同时仍然允许包括SAN和NAS在内的所有应用无中断地在控制器之间进行故障切换。相比较之下,大部分其他产品由于在SAN和NAS数据管理层面存在隔断,因此往往只能在自动切换与控制器双活两个选项当中选择其一。借助于上述功能特性,NetApp还支持冗余部件在线更换或者部件在线添加/移除,并且通过依次升级与切换完成整套系统的无中断升级微码。NetApp在自己的增强性RAID4算法基础上,还推出了RAID-6算法,即DoubleParity(双重校验)。该算法可以保证即使在同一RAID组里任意两块磁盘同时发生故障,RAID组结构依然完好无损,应用可以正常运行。更为重要的是,在两块硬盘同时进行数据重建的极端情况下,RAID组也几乎没有性能损失。RAIDDP所带来的另一个额外优势在于,由于安全性得到了有效的保障,NetApp可以允许最大28块硬盘(针对FC硬盘)或16块硬盘(针对SATA硬盘)构成一个RAID组,而(26/28)的比例也令硬盘利用率达到了一个前所未有的高度。此一RAID算法为NetApp产品独有,且远远领先于其他厂家。其他厂家即使可以采用RAID6技术实现双硬盘校验,由于其基于RAID5的校验算法需要消耗大量资源进行校验计算,RAID组写性能将下降30%或者更多,而RAID重建时间也将更长。特别地,在NetApp集群存储架构中,还配置了独一无二的聚合重分配功能,该功能允许用户在应用无中断且数据原地不动的前提下,通过直接更换控制器实现整套系统的滚动硬件升级。借助于此类功能以及灵活的管理和控制方式,NetApp可以确保用户在数据中心的整个生命周期内不会因为存储系统的管理维护而造成应用停机。灵活先进的QoS功能在存储资源池和云计算部署日益广泛的今天,用户所关心的已经不仅仅是存储资源的集中使用和灵活调配,更关注针对不同应用需求提供相应的服务级别,以最大化提升存储平台的使用效率。在其他厂家产品还不具备基本的QoS能力的时候,NetApp就已经在原有的QoS特性基础上进一步优化了产品功能,可针对更加灵活多样的存储目标进行更加具体的性能管控。NetApp的QoS功能能够以Verser、数据卷、LUN或者是单个文件为管理目标,并且实际管理的参数可以根据不同的应用类型设置为针对顺序操作的吞吐量(MB/s)或者针对随机操作的并发性能(IOPS),从而真正贴合存储资源池的运行和管理模式。NetApp的QoS功能操作极为简单,并且管控策略可即时生效,可以帮助运维人员根据复杂多变的应用状况及时作出调整,大大提升了存储系统的使用效率。快照与克隆Snapshot是NetApp的WAFL文件系统“任意位置写入”功能带来的一项突出优势。一份Snapshot是文件系统的在线只读拷贝。相对于其他厂商需要很长时间才能创建Snapshot的copy-out模式,创建NetApp的一份Snapshot仅仅需要几秒种的时间,并且除非原始文件被删除或者更改,数据快照并不占用额外的磁盘空间。这种只有当数据块发生改动时才进行数据块复制的技术被称作“copy-on-write”,只有修改活动文件系统中的数据块并写入磁盘中新的位置时,Snapshot才会占用额外的磁盘空间。在NetApp的全线产品平台上都免费提供Snapshot技术作为数据备份的首要策略;对于每一个单独的卷而言,用户可拥有最多255个时间点数据备份,且备份空间仅存储时间点变动块,空间占用极少,而且在备份过程中系统性能丝毫不受影响。SKIPIF1<0利用Snapshot快照,系统可以每隔几分钟或几小时进行一次全部数据的快照(快速备份),快照所需的时间仅仅是短短的几秒钟。这样的快照不仅仅系统管理员可以使用,普通用户也可以为此而受益。例如用户误删除了文件,就可以自行在一个特殊的目录下找回几分钟或几小时前的备份。用户可以自行定义快照所占空间的大小、频度、数目等参数。而利用快照恢复功能,原来需要数小时的恢复时间现在只需要几秒钟就可以了。在NetApp高效率的快照基础上,克隆技术可以创建真正的可读写克隆副本,无需增加存储空间而瞬间完成克隆操作。克隆的LUN副本属于可写的Snapshot副本,能够提供原先数据的所有功能。自动精简配置NetApp的自动精简配置功能基于特有的弹性卷–FlexVol而实现。自动精简配置所创建的卷采用的是“虚拟”大小,这些卷看起来配置的是全部容量,但实际上是以较小的容量创建的,仅在实际需要时才使用更多空间。其他未使用的存储容量由所有卷共享,这些卷可根据需要增大或缩小。设置自动精简配置的功能非常简单,而用户在实际使用中的颗粒度为数据块级别。自动精简配置技术可显著改善存储配置、利用率和容量调整,数据卷可根据应用程序需求的变化,快速、动态地不断调整大小。NetApp的自动精简配置功能可针对包括NAS和SAN在内的所有数据,在NAS模式下,NetApp设备可以实现自动精简配置和持续精简(伴随空间使用量降低而自动释放空间);在SAN模式下,NetApp可以实现自动精简配置,针对Windows、Linux和VMware系统则可以实现手动持续精简。数据块级别的重复数据删除与数据压缩在各种虚拟化环境中,非常流行的部署方式是从预先创建的虚机的模板来快速创建新的虚机。一个虚机的模板通常包含了虚机的配置文件以及一个或多个虚拟磁盘文件,其中包含了操作系统、公共应用程序、以及补丁文件或系统更新等数据。从模板来创建新的虚机,通过拷贝配置文件以及虚拟磁盘文件,并注册成为独立的虚机,大大减少了管理上的时间开销。但是,在这种方式下,造成了大量的重复数据,从而降低了系统使用效率。当意识到用户数据在许多不同场合都会存在大量重复现象,NetApp专门为此开发了基于数据块级别而非文件级别的重复数据删除功能,并显示出了良好的实用效果。需要强调的是,NetApp是唯一在主存储系统中集成了重复数据删除功能的存储厂家,我们的重复数据删除技术也是第一个可以在多个应用程序间(包括虚拟化环境、主数据、备份数据和存档数据)广泛使用的技术。NetApp提供的重复数据删除技术使得多个虚机可以共享在NetApp存储上的相同物理数据块。该功能可以无缝集成到虚拟化产品环境中,而不需要在虚拟化产品的配置和管理中进行任何的改变。实际用户经验表明,对于通常的办公文档数据,NetApp的重复数据删除功能可达到至少30%的数据削减量;针对设计文档等类型的数据则可以达到70%以上的数据削减量;而对于大量虚拟化的应用,由于多个虚拟化主机的操作系统镜像实际上绝大部分的数据块都完全相同,因此该功能能够节省高达95%的硬盘空间,具有极高的实用价值。相应地,该功能为用户带来的直接收益就是存储利用效率的显著提高。此外,根据应用的需求不同,NetApp还提供基于在线数据消减的数据压缩功能,用于对实时写入数据中的重复数据块进行归并。该功能和后处理的重复数据删除可针对特定应用选择使用,也可以同时生效以获得更高的存储效率。独特的多点灾备技术为确保重要数据始终能得到保护并且易于恢复,NetApp提供了SnapVault多点备份功能。SnapVault为异构存储环境提供了一种基于磁盘的集中式备份解决方案。通过将多个Snapshot副本中的备份数据存储到SnapVault存储系统上,用户可以联机保留数周甚至一年的备份,以便于进行快速恢复。SnapVault采用具有RAID保护措施的磁盘存储系统作为备份介质,可提供较高的可靠性。将备份数据存储到磁盘上后,管理员可以方便地对数据进行校验,从而提高对备份信息的信心。利用SnapVault按小时备份的功能,用户可以明显提高恢复时间目标和恢复点目标,以满足对业务连续性日益增长的需要。SnapVault可以通过多种方式降低成本。第一,SnapVault是一个自动化解决方案,可以节省管理时间和资源,同时降低日常备份数据的成本。第二,SnapVault非常易用,员工可以自己进行恢复,从而提高生产率。第三,使用SnapVault管理员可以首先恢复最重要的关键数据,以最快的速度使业务运作恢复正常。第四,SnapVault支持多分支节点集中和统一备份,因此其基础设施成本较同类解决方案要低得多,从而进一步降低了总备份成本。最后一点,由于SnapVault可以联机存储多个长期Snapshot副本,因此无需频繁进行磁带备份,节省了介质成本。由于备份联机存储,因此即使没有管理员帮助用户也可以恢复文件。他们可以浏览文件系统,查看备份了哪些文件,然后只需简单地拖放就可以恢复相应的文件和目录。由于SnapVault备份是只读的,因此可以防止用户或应用程序不小心将其覆盖。机房和设备搬迁对于任何用户而言,必要情况下的机房搬迁都是难以避免而又艰巨复杂的任务。特别是对于存储系统而言,沉重的机柜包含大量硬盘,难以移动且无法保证数据安全,因此通常都是将所有硬盘从盘柜中卸下独立进行包装和运输。然而几乎所有存储厂家的RAID机制都要求硬盘拆卸和安装顺序不能有任何差错,否则将会导致数据全部丢失的灾难性后果,因此对硬盘的编号、包装、运输、管理和上架又带来额外的负担,且包含潜在的巨大风险。对比明显,NetApp的RAID机制可以实现完全的硬盘漫游功能,对硬盘的拆卸和安装顺序没有要求,在我们之前为其他用户提供的多次搬迁服务中,操作人员只需要将硬盘全部卸下,运输到新地点,无需考虑顺序即可进行安装,系统运行不会出现任何问题,大大减轻了存储搬迁的工作量和操作成本。
产品规格本次规划建议采用中高端的NetAppFAS3200系列产品,可以提供的协议包括FC、FCoE、iSCSI、NFS/pNFS、CIFS/SMB,还可以另外通过FlashCache、SSD、FlexCache来进一步提升性能。此外,本次建议采用的存储系统还可以通过高带宽的IO通道,提供多个FCoE、10GbE、8GbFCP、GbE、SAS等端口,具备良好的IO扩展能力。FAS3200系列存储产品定位于中高端统一化存储架构,适应于海量文件共享、混合业务模式、虚拟化整合架构以及大部分企业级应用,我们选择了其中最具性价比的一款型号FAS8020,完全可以满足中交航道设计院针对本次项目以及未来可能的扩展需求。FAS8020
(具有扩展I/O)最大系统容量2,160TB最大驱动器数量720控制器外形规格双机箱HA;在两个3U机箱中有2个控制器,共6U内存40GB总闪存上限4TBPCIe扩展插槽数12板载I/O:4GbFC4板载I/O:6GbSAS4板载I/O:GbE4支持的存储网络FC、FCoE、IPSAN(iSCSI)、NFS、CIFS、HTTP、FTP操作系统版本DataONTAP®8.1.2及更高版本高可用性特性替代控制路径(ACP);
基于以太网的服务处理器和DataONTAP管理界面;
冗余热插拔控制器、冷却风扇、电源和光学器件支持的配置高可用性的控制器配置主动-主动控制器,带有控制器容错和多路径HA存储功能
主动-主动控制器,带有延伸型(非交换机)和光纤MetroCluster™
V系列
存储加速设备SA320软件特性标配一个SAN或NAS协议(iSCSI、FC、NFS或CIFS)
RAID管理器,包括RAID-DP®
Snapshot™
FlexVol®
FlexShare®
重复数据删除
压缩(与销售代表联系了解订购说明)
精简配置
磁盘清理
OperationsManager
ProvisioningManager
ProtectionManager
ProtectionManagerDR
DFMManagementServer(可选)
SystemManager
FilerView®
MultiStore®
FlexCache™
群集容错
MetroCluster
SyncMirror®
OpenSystemsSnapVault
DSM/MPIO可选增值软件:附加的SAN/NAS协议(iSCSI、FC、NFS、CIFS)
SnapRestore®
SnapMirror®
SnapVault®
FlexClone®
SnapManager®套件,包括:SnapManagerforMicrosoft®Exchange
SnapManagerforMicrosoftSQLServer®
SnapManagerforOracle®
SnapManagerforMicrosoftSharePoint®Server
SnapManagerforSAP®
SnapManagerforVirtualInfrastructure
SnapManagerforHyper-V™
SnapDrive®forUNIX®
SnapDriveforWindows®NetApp完整包(包括上述所有ExtendedValue软件)其他软件:SnapLock®Compliance
SnapLockEnterprise支持的磁盘架DS2246(2U;24个驱动器、2.5英寸SASSFF10000RPM450GB/600GB)
DS4243/DS4246(4U;24个驱动器、3.5英寸SATA7200RPM1TB/2TB/3TB;3.5英寸SAS15000RPM、450GB/600GB;3.5英寸SSD100GB)(注意:3TB驱动器需要DataONTAP8)
DS4486(4U、48个驱动器、3.5英寸SATASFF10000RPM3TB)
DS14mk2和DS14mk4(3U;14个驱动器、3.5英寸FC450GB/600GB、3.5英寸SATA1TB/2TB)最大RAID组大小RAID6(RAID-DP)SAS和FC:28(26个数据磁盘加2个奇偶校验磁盘)
SATA:20(18个数据磁盘加2个奇偶校验磁盘)
RAID4FC:14(13个数据磁盘加1个奇偶校验磁盘)
SATA:7(6个数据磁盘加1个奇偶校验磁盘)支持的操作系统Windows2000、WindowsServer2003、WindowsServer2008、WindowsXP、Linux®、SunSolaris、AIX、HP-UX、Mac®OS、VMware®、ESXLUN数量上限4,096支持的SAN主机数量每个HA对最多可以有512个主机
每个HA对最多可以有24个直接连接的服务器FlexVol®卷每个控制器最多500个Snapshot副本最多127,000聚合大小上限105TB卷大小上限70TB最大端口数包括集成端口和PCIe扩展插槽FC目标(8Gb/4Gb)(最大)2410GbE/FCoE目标端口数(最大)24GbE(最大)526GbSAS(最大)52FC启动器(最大)52适配器最大数量双通道10GbE(光纤或铜线)12四通道GbE(铜线)12[1]双通道10GbEFCoESAN统一目标适配器(光纤或铜线)128GbFC目标(光纤)12用于光纤通道上SnapMirror®(SMoFC)的双8GbVI2闪存性能加速模块(1TB)2闪存性能加速模块(512GB)4四通道6GbSAS存储HBA12四通道4GbFC存储/磁带HBA12双SCSI磁带HBA12系统环境规格额定散热量1,393BTU(典型)1,867BTU(最坏情况)重量148磅高度10.2英寸(26厘米),适合6U空间宽度可安装在19英寸IEC机架上(17.6英寸,44.7厘米)深度24英寸(带电缆管理支架26.5英寸)工作温度、海拔高度和相对湿度10°C至40°C(50°F到104°F);海拔高度低于或等于3,000米(10,000英尺);20%至80%相对湿度,非凝结(28°C湿球温度计)存放温度和相对湿度-40°C至65°C(-40°F至149°F);相对湿度5%至95%,非凝结(在原包装中)工作噪声正常工作条件(22°C室温下,海平面)下≤61dBA声压(LpA)合规性符合RoHS安全/辐射/抗扰度安全:EN60950、CE、CSA60950、UL60950、CBIEC60950-1(各种类似国家标准)、EN60825-1、IRAM、GOST-R、BSMI、SONCAP、NRCSLOA(南非)
辐射/抗扰度:FCC第15部分A类、ICES-03、CE、KCC、VCCI、AS/NZSCISPR22、EN55022、EN55024、EN61000-3-2、EN61000-3-3、SABSCOC(南非)、BSMINetApp系统机柜储存架区42U尺寸(高/宽/深)78.75英寸(200厘米)/23.6英寸(60厘米)/44.3英寸(112.5厘米)用于通风的机柜最小间隙正面10英寸(25.4厘米),背面12英寸(30.5厘米)用于维护的机柜最小间隙正面和背面均为30英寸(76.3厘米),顶部12英寸交流电源200至240VAC当前30A单相或三相重量(空载)307磅(138公斤)特性带电缆出口的分离式后门,可反转前门(左侧或右侧)法规FAS3200系列存储系统安全/辐射/抗扰度安全:EN60950、CE、CSA60950、UL60950、CBIEC60950-1(各种类似国家标准)、EN60825-1、IRAM、GOST-R、BSMI、SONCAP、NRCSLOA(南非)
辐射/抗扰度:FCC第15部分A类、ICES-03、CE、KCC、VCCI、AS/NZSCISPR22、EN55022、EN55024、EN61000-3-2、EN61000-3-3、SABSCOC(南非)、BSMI
项目实施计划与风险应对项目实施进度安排针对本项目的总体进度安排如下:名称开始时间完成时间项目准备阶段NN了解客户需求NN检查销售订单NN成立项目组NN确认客户联系方式NN检查服务需要交付物NN草拟SOWNN发送实施需求给客户NN完成前期配置步骤准备NN项目启动会准备NN项目启动会会议议题创建NN发起项目启动会NN
实施启动阶段N+1N+3项目启动会N+1N+1项目介绍N+1N+1项目背景回顾N+1N+1Review项目实施内容N+1N+1实施大体计划、维护时间窗口N+1N+1调研会议
现有环境调研N+2N+2创建项目计划N+3N+3创建详细的项目实施计划N+3N+3
详细设计阶段N+4N+9架构设计N+4N+9与客户Review调研结果N+4N+9创建详细的实施计划N+4N+9创建方案架构文档N+4N+9编写功能性测试方案N+4N+9与客户Review下列内容N+4N+9系统架构方案N+4N+9详细实施计划N+4N+9系统架构文档N+4N+9根据客户反馈更新所有文档N+4N+9
项目实施阶段N+15N+30设备到货N+15N+25设备安装N+15N+30
方案部署N+20N+30
实施验证阶段N+30N+35验证测试N+30N+35测试报告N+30N+35
设备上线N+36N+36
试运行阶段N+37N+67结束阶段与客户Review实施方案N+68N+78文档提交N+68N+78客户签署验收证书N+68N+78重要日期(Milestones)项目启动确定实施方案NetApp产品交付NetApp硬件安装NetApp产品测试以及演练NetApp存储上线验收风险管理与风险应对措施根据项目进展和对项目的预期情况,我们把项目状态分为3级。针对不同的级别制定相应的应急计划。项目状态级别描述影响风险触发器应对计划第一级由于自然灾害或其他原因造成系统性破坏项目被中断,无法按期完成超出项目计划4周或项目停滞1.向项目组报告,召开联席会议2.进行项目状态确认,项目组变更项目计划3.消除影响因素,后续任务赶工第二级设备、软件或相互间的配合出现难以立即解决的障碍影响设备和软件间的联合测试,有可能影响项目进度超出项目计划2周1.报告项目组2.要求供应厂商以最大的努力解决,并建立跟踪和控制机制,问题解决前提升响应级别3.建立联合攻关团队,解决问题或提出变更建议4.后续的任务赶工完成第三级项目单个设备或软件出现到货、设备或软件临时性故障仅影响单个设备或软件的安装,有可能影响到相关部分的联合测试超出项目计划1周1.报告项目组2.要求供应厂商以最大的努力解决,并建立跟踪和控制机制,在问题解决前提升响应级别3.后续的任务赶工完成
项目质量管理质量管理小组将在项目实施全过程中进行质量保证和控制,满足项目对实施工程的质量控制的要求。工程质量验收标准在项目计划规定的时间内,在项目计划的范围内,提供完整的设备安装和配置、提供项目计划所要求的文档,提供项目支持计划所要求的支持。质量保证小组在服务实施期间,NetApp将设立质量控制小组(SQC)小组来进行项目质量管理,质量控制小组(SQC)负责对实施质量进行全程管理,文档审核,阶段考核,归档等工作。NETAPP质量控制小组人员组成:姓名项目职务职务联系方式王维栋组长NetApp销售经理Weidong@严斌组员NetApp售后服务经理biny@朱敬凉组员项目经理Jingliang.zhu@该小组将主要负责:配合招标人做好对质量保证活动的指导和监督;根据质量控制的有关标准和规范,结合实施工作的实际,制定实施工作的质量控制计划和措施;落实质量保证计划的实施,检查和监督质量保证计划的执行情况;在实施各阶段及时向招标人汇报质量情况。按照招标人要求,组织实施质量检查,并提供检查报告;对发现的质量问题及时组织整改并将结果反馈给招标人;负责将实施过程中出现的质量问题及时报告招标人。定期举行质量会议,检查所有工作的实施情况和实施结果。跟踪和记录项目组的质量保证活动情况,及时纠正不符合质量管理要求的错误;
项目组织、沟通与人员资质项目组成员与组织架构项目经理组成:NetApp的项目的管理者职责:从总体上讲,项目经理负责项目的成功实施。在整个项目实施过程中需要担负起制订项目计划、建立及/或贯彻项目管理制度、项目资源的组织、项目团队的建设、项目控制、成员考核等职责。在本项目中,NetApp项目经理作为项目首要沟通窗口,将负责本项目下工作内容的管理,和与项目相关各方协调工作。并及时与NetApp项目经理沟通,汇报。NetApp技术顾问组成:NetApp技术专家职责:项目技术负责人总体负责本项目下所有技术工作,主要负责制定和审核项目的实施和测试方案;分析和解决项目中的具体技术问题;确保通过项目最终测试验收;及本项目的质量管理和控制等工作。项目实施工程师组成:NetApp技术工程师和NetApp认证工程师职责:作为本项目一线实施工程师,负责本项目下产品的安装、配置和测试工作;负责向NetApp项目经理和技术顾问汇报项目实施进度及相关技术问题;负责相关安装实施文档的撰写交付等工作。项目组成员工作安排项目职务人员主要职责和工作内容参与时间项目经理朱敬凉项目经理沟通、协调,共同负责整体项目的顺利实施78项目技术顾问唐超总体负责本项目下所有技术工作,确保项目通过最终测试验收78实施工程师任西负责本项目下产品的安装、配置和测试,及安装实施文档交付工作78项目组成员联系表Company
公司Name
姓名Role
工作角色MobilePhone
电话EmailAddressNetApp朱敬凉NetApp项目经ingliang.zhu@NetApp唐超项目技术顾hao.tang@NetApp任西项目实施工程i.ren@项目组成员资质项目经理姓名朱敬凉年龄36身份证号码毕业学校中国矿业大学专业测量工程学位学士职称职务客户服务经理、项目经理现所在机构或部门NetApp服务时间1年拟在本项目担任中职务项目经理主要经历2000.6–2001.11,FOIF,软件工程师2001.11-2003.3BENQ,软件工程师,系统分析师,项目经理2003.3-2008.6HP,工程师、客户支持经理、项目经理2008.6–2012.9Symantec,关键业务支持经理、项目经理2012.9.12-至今NetApp客户服务经理、项目经理日期参加过的项目名称担任何职备注2009-2013太保终端安全准入控制项目项目经理2009.3–2010.8浙商银行核心系统存储同城灾备项目项目经理2006.12-2008.06上海证券交易所新一代交易系统基础架构升级现场项目经理2003.6-2005.8和舰科技建厂基础架建设项目项目经理2003.8–2005.8江苏国税HP高端存储容灾项目项目经理NetApp技术顾问姓名唐超年龄身份证号业学校上海交通大学专业电子工程学位硕士职称职务顾问现所在机构或部门NetApp服务时间9年拟在本项目担任中职务技术顾问主要经历2003~NetApp2000~2003Openwave1996~2000SunMicrosystem日期参加过的项目名称担任何职备注2012深发展2012存储项目设计,实施NAS/SAN/DR2011上海电气电站集团SAP存储项目设计,实施SAN/DR/BR/虚拟化2011交通银行总行数据中心和交行卡中心SANscreens实施项目设计,实施管理平台2010中国证券登记结算公司统一存储项目虚拟化备份容灾部分设计,实施NAS/SAN/DR/BR/虚拟化2009BSH存储平台备份和容灾设计,实施SAN/DR/BR2008BSH&HJTC虚拟化项目评估设计,实施虚拟化咨询2007西门子SBS上海虚拟化平台存储项目设计,实施SAN/BR2006Wacker化学一体化存储和异地容灾项目设计,实施NAS/DR2004上海社保客户系统存储容灾项目设计,实施NAS/DR项目实施工程师姓名任西年龄30身份证号业学校攀枝花学院专业信息与计算科学学位本科职称无职务工程师现所在机构或部门NetApp服务时间2年拟在本项目担任中职务主要经历2011、12~NetApp日期参加过的项目名称担任何职备注2011年12月上海中芯国际高性能计算平台负责NetApp存储实施2012年2月中国银行浙江分行桌面虚拟化平台负责NetApp存储设计、实施2012年2月华为计算中心文件分发平台杭州节点负责NetApp存储实施2012年3月华为IT2011年云计算与平台优化项目南京节点第三批负责NetApp存储实施2012年3月华为计算中心文件版本分发平台扩容项目负责NetApp存储实施2012年4月Datapipe虚拟化存储平台负责NetApp存储设计、实施2012年5月华为存储云计算平台建设与优化项目(NAS)FY12第四批负责NetApp存储实施2012年5月中国人寿存储平台长沙节点负责NetApp存储实施2012年6月天安保险FAS3240存储实施及迁移项目负责NetApp存储设计、实施2012年7月上海google存储升级项目负责NetApp存储实施2012年9月上海外汇交易中心Metro-Cluster项目负责NetApp存储实施2012年11月上海招商银行“招赢”扩容项目负责NetApp存储设计、实施2012年12月中交航道设计院生产办公环境控制器升级及扩容项目负责NetApp存储设计、实施2013年1月中交航道设计院FAS8020存储项目负责NetApp存储设计2012年11月-至今负责浦发、交行、招行、农商行等客户的现场技术支持
NetApp支持与服务NetApp在中国地区的服务体系包括全球支持体系和本地支持体系两部分,NetApp提供3年原厂7*24的服务。技术支持中心TSC(TechnicalSupportCenter)TSC是一个分布在美洲、欧洲、亚洲,包含5个支持中心的支持网络,能够在全球的任何地方为您的运营提供服务,从而保证最高水平的全天候支持。每个支持中心采用follow-the-sun模式为其邻近地区提供服务。该中心时间范围以外的呼叫将自动路由到一个开放着的支持中心,有效地让您的IT人员能够始终即时获得专业NetApp工程师的支持。TSC接受全球范围内包括电子邮件、电话和web的服务请求,同时自动处理经在线连接NetApp设备发回的自动支持(AutoSupport)请求,由支持中心专家组会同全球各地的现场支持队伍和合作伙伴,提供最快速的响应和有力的支持。目前,TSC支持中心分别位于加利福尼亚州桑尼维尔市(Sunnyvale)、北卡罗莱纳州Raleigh市、荷兰Hoofddorp、印度班加罗尔(Bangalore)以及日本东京。技术支持中心(TSC)提供24x7x365全天候支持。随着亚洲,尤其是中国业务的发展,在中国大连市,主要服务于大中华及北亚地区的NetApp全球第六个技术支持中心已于2007年九9月加入到全球支持中心的网络中,从而能为中国本地客户提供更加及时全面的技术支持服务。全球支持中心提供多种语种电话支持服务,包括英语、汉语普通话、韩语、日语、法语、德语、荷兰语等。TSC人员组成客户服务代表(CSR):为需要协助的客户提供第一线即时支持。CSR根据客户需要和实际情况,在线启动支持案例(SupportCase)和ReturnMaterialRequests(RMA)、处理备件订单、分派现场服务、处理AutoSupport讯息,并管理其它非技术领域的支持。
技术支持工程师(TSE):是专职技术支持人员。TSE是具有熟练技能的工程师,负责日常与客户共同解决技术问题。
企业支持工程师(ESE):是专门面向SupportEdge服务客户的技术支持人员。这些具有熟练技能的工程师直接与客户合作,提供针对各类技术问题的解决方案。ESE能够获得各种工具、客户资料和大量专业资源,以实现基于“深入接触(hightouch)”关系的服务。
技术顾问(TA):是高级TSE,协助TSE或ESE来解决问题。TA还负责案例上报。
产品支持工程师:产品工程师是客户的第三道技术支持。产品支持工程师是经过专业培训并具有丰富经验的高级工程师,负责关键任务和复杂案例。
全球支持中心经理:负责确保GSC的平稳运行和客户问题的及时解决。
全球技术顾问(TechnicalGlobalAdvisor):专门为特别选择NetAp
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 翼型浮袋市场发展现状调查及供需格局分析预测报告
- 2024年度汽车销售与购销合同
- 酒具市场需求与消费特点分析
- 2024年度供应链管理合同:供应链公司与生产企业之间的合作协议
- 2024年度文化旅游产业投资与运营合同
- 运动负重用沙袋市场发展预测和趋势分析
- 2024年度旅游服务合同(景点)
- 芳香精油市场发展现状调查及供需格局分析预测报告
- 2024年度品牌授权使用合同(含区域独家授权和违约责任)
- 2024年度住宅小区车位租赁合同范本
- 护理不良事件分析-跌倒-根因分析法
- 《土木工程制图》复习题20145要点
- 幼儿园小班音乐《妈妈来抓兔兔》的优秀教案
- 钢结构厂房水电安装施工组织设计方案
- 业务学习简报(简笔画)
- 宁波地区冬闲田利用现状及对策
- 自动升降柱施工方案(1)
- 绿水青山就是金山银山心得体会范文(三篇)
- 新视野大学英语第三版读写教程第二册Unit5
- 安全文明施工二次策划方案(完整版)
- 胸椎管狭窄症诊疗指南(全文)
评论
0/150
提交评论