




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
©2011Nexenta NexentaSystems(在此指“Nexenta”)的明确,本物的Nexenta保留随时更改该文档而不另行通知的权利,并且不承担由于该文档的使用而产生的任何责任。Nexenta的产品和服务,仅可在NexentaSystems适用协议的条款和NexentaSystems销售办事处,以取得产品功能及产品可用性的信息。本文档包含在时Nexenta是NexentaSystems在和其他国家的商标。本文档中的其他商标、服务标日期:2011年8月26Tableof概 目 读 文档规 介 术 原理框 限 NMC概 帐 命令补 命 编 NMV概 帐 登 导航 终端查看日 初始设 安装向导 安装向导 管理数据 数据冗 创建数据 重复数据删除 自动扩展 编辑属 扩展数据 销毁数据 导出/导入数据 导出 导入 数据清理 紧急的卷空间保 磁盘管 定位磁 JBOD管 关于 NMV的JBOD管 NMC的JBOD管 查看磁盘状 给数据卷添加备份设 添加全局备份设 添加缓存设 添加日志设 移除设 替换磁 使磁盘离 恢复先前断开的磁 替换冗余 创建镜 分离镜 重联镜 管理文件系统 创建文件系 编辑属 销毁文件系 搜索&索 共享文件系 通过NFS和CIFS共享文件系 NFS文件共 在Linux上挂 CIFS文件共 介 配置CIFS服务 其他共享选 管理快 创建快 创建恢复 设置定期快 查看快 查看预订的快 恢复快 删除快 快照的其他操 SCSI目标设备(管理块 创建 添加启动器和目标设 创建启动器群组(Initiator 创建LUN映 管理 添加启动器(Remote 创建iSCSI目标门户组(TargetPortal 设定CHAP验 异步 安 准备工 可选的主机 开启Auto-CDP服务实 卷的操作与Auto- 服务 服务状 故障处 反向镜像–例 线程 触发器 处理不可恢复的I/O错 处理系统故 分 NMV的ytics(分析 I/O性 性能基准测试工 I/O性能基准测试工 网络性能基准测试工 管理用 添加本地系统用 本地系统用户 控制列表 用户用户组管理NMS属 概念图 已知问 管理网 更改网络接口设 链路聚 NexentaStor使用的TCP端 管理系 安全为商业版 安装/移除插 保存及恢复配 升 参 联系信 支持请 其他资 概目本指南旨在描述使用NexentaStor操作系统之各方面的问题。要获得安装步骤指导,请阅读NexentaStorQuickStartGuide。 包含基本的NexentaStor术语,NMV及NMC的管理指导,提供关于NexentaStor的基本功能的信息。关于管理各种NexentaStor插件的详细信息,请阅读NexentaStorationpage上的插件用户指南。读Nexenta管理控制台(NMC)命令UNIXs命令##介NexentaStor是一个建立在OpenSolaris的ZettaFileSystem(ZFS)之基础上的基于软件的存储系统。NexentaStor支持文件和块,以及多种高级功能,如在不同之间进本产品支持直连的SCSI、SAS和SATA硬盘,以及通过iSCSI、光纤通道或AoE协议连接的磁盘。网络连接支持包括10/100/1GBaseT和各种10G以太网解决方案,以及链路聚合提供了一个在内核中的CIFS堆栈,并支持NFSv3及v4。为便于从Windows,WebDAVNFS传输协议来实现分层与,并提供了块级别的(镜像)作为一个可选的模块。支持诸如活动(ActiveDirectory)LDAP这类的服务,包括UID映射、netgroups和基于的X.509客户端认证。术AI)。(是SAIAI服的有端应序相的AI(P)监并理务为第程的性在SAI阅读AI测客户端,包括(但不限于)NMC,提供公开且有文档记录的系统API(SA-API)。网络服务,错误触发器和统计数据收集器。NMC通过与本地NMS(见前述)、管理控制台及管NMC实例可以同时运行在一个给定的系统上。NMC是一个上所有系统的状态,并显示由"statisticcollectors"(见后述)收集的图形化统计数据,以及其他NexentaStor的volume(卷)是一ZFS池(即zpool),其带有某些额外的属性。在一vol-ume和底层的ZFS池之间有着一对一的关系。ume的多种时间间隔的定期快照(可以配置为是否对嵌套的文件系统进行递归)。另外,auto-snap允许定义某个快照保留策略,可以将快照保留几年,和/或在一天之内频繁的产生快照。种服 的,NexentaStor系统或非NexentaStor系统)到一个任意类型的本地或目的端上。NexentaStor的auto-tier服务运行在不同的传输协议上,并可将快照作为其系的种务。y(简ycng个eta系上持e或eraSr的-ycir与usc服务()在时可精恢供向在ycserdeAycRAID1的本地磁盘镜像,只不过就auto-cdp而言是通过IP网络来实现的。Auto-CDP是通Plugin(见后述)发布的。Auto-CDPUserGuide中可找Auto-CDP插件()网络与IO计数被定期地收集并记录在SQL数据库中。然后这些数据被用来产生每日或每周的报表,以及(通过NMV-见前述)各种不同的性能/使用率曲线图及图表。现有的收集器包括'volume-collector','nfs-collector','network-collector'。reporternfs-reportervolume-reporterservices-re-◦索最近的数据和结构化数据之外,Indexer还允许回溯到历史中去搜索,只要这些历史数据还存在于现有的快照(即根据auto-sync/tier/snap策略被保留的)中。模块,执行特定的故障管理、性能监测、生成报告以及归档索引事务。系统的所有runners使用由NMS(见前述)提供的同SA-API(见前述)。runners可以很容易地被添加–它们是未来产品建立一个完全遵从(从严格的T10标准的意义上来说)的块级目标。NexentaStor可将ZFS导出为完全虚拟化的精简配置的FCLUN或iSCSILUN。欲了解另见基于系统中一个给volume的仿真(虚拟)块设备。除了其主要用iSCSI集成之外,还可被用作额外的交换分区。Zvol作为一个强大又灵活的工具,也是因为它与系统的服务紧密地的分配的容量只需达到其自身元数据的最低要求即可。您可以通过的数据来使zvol的有效(实际使用的)容量增长,并通过增加它的'volsize'属性的值,来使zvol的最大容量增长。NexentaStor的扩展模块,可以很方便地被添加(安装)和移除。这些插件和其他软件组件一样,将自己与系统的软件集成在一起。许多插件都与NMC和NMV集成在一起,并且加入了新的菜统还原点,并可通过GRUB启动菜单看到它。务器及其客户端:NMC,NMV,NexentaStorrunners(见前文2.1.术语),NexentaStor限一 NMC概NesntaStor实例上记录并重现命令的功能。命令补全可用于指导您遍历所有接口。另一种学习可用命令的方法是使用'helpkeyword'。帐作的权限。账号的默认为"nexenta",系统安装结束后应立即将之修改。此可通过以下NMC命令修改:nmc:/$nmc:/$setupappliance式,或添加"-h"以获得完整令使用说明和范例(对大多数辅助命令的使用来说是必需的)。nmc:/$show的含义,请键入'?'showappliancenmc:/$show作为响应,NMC将显示一些选项–在此特定示例中将显示系统的服务和工具程序。注意,<?>是showappliance令补全集-它的存在表明这里有每个选项的简短描述。接下来键入 命NMC中可用令如下表所示auto-syncauto-通过iSCSI共享zvol(见“术语”部分)。其中最主要令是setup和show。您可以运行setupusage或showusage来得到这些Option?<?>applianceauto-scrubauto-diagnosticsfoldergroupplug-inrecordingreporterusagevolumeauto-syncauto-tiercollectorinboxindexeriscsilunmypool/script-runnersnapshotNavigatewitharrowkeys(orhjkl),'q'orCtrl-CtoSummaryinformation:shortdescriptionsandnmc:/$nmc:/$OptionOptionallapplianceauto-scrubauto-snapauto-syncauto-tiercollectorfaultsfoldergroupinboxindexeriscsilunmypool/networkperformanceplug-inrecordingreporterscript-runnerscsi-targetsharesnapshottriggerusageversionvolumezvolNavigatewitharrowkeys(orhjkl),'q'orCtrl-CtoquitApplianceataglance:showappliance'snetworkand 编NMC'foreach'-aneasyLOOPCustomscripting:functionalityandNMV概帐操作的权限。账号的默认为"nexenta",系统安装结束后应立即将之修改。此可在'Appliance'标题下的'Administration'选项卡中修改。登导航栏NMV中的主选项卡为DataSettingsDataManagement终端之动作的结果,可点击图形用户界面右上角的'Viewlog'。Web服务器了。要通过WebNMV,只需在浏览器中输入配置的网络地址并使用2000端口。首次连接到Web安装向导第2步:指定root和admin用户的Support发送报告,或请求额外容量,等等。您可以为统计数据(卷报表,网络统计数据,NFS统计数据)、通知(带有"NOTICE"和"INFO"状态的系统报告)和故障(带有"WARNING"和"CRITICAL"状态的系统报告)e-mail安装向导统支持所有3种类型的iSCSI发现。第4步:接下来,向导将帮助您创建或导入数据卷第5步:创建文件系统第6步:在最后一个屏幕上,向导会要求您请检查并保存所有更改向导还会建议创建系统还原点(见上图)一个新安装并做了初始配置的系统的快照”本章描述了数据卷的管理。NexentaStor允许您先将可用的磁盘组合成数据卷,然后从数据卷中数据卷提供冗余功能,在概念上类似于其他系统的RAID功能。冗余选项有:none,mirrored,RAID-Z1singleparity),RAID-Z2doubleparity)RAID-Z3tripleparity)。建议NexentaStor的冗余选项可能听起来类似于其他标准的RAID类型,但也有一些重要的差异。例在RAID-5中,如果将要写入的数据小于条宽度,则需要进行多个I/O操作(数据,修改数据,写入数据)NexentaStorRAID-Z1中,所有的写操作都是全条带写。这有助于确一个做了镜像的卷池包括一些匹配的驱动器或驱动器群组,借此,数据总是在磁盘的镜像组上有一个冗余副本。镜像可以使用其他诸如校验一类的池技术,可设置多个磁盘组,每个组都有一个主阵列和一个次的镜像阵列。在大多数情况下,为了获得最佳的可靠性和性能,管理员会设置一个组合的或条带化的镜像设(有时指RAID10))。在一个双路镜像的情形中,RAID10会将您的整体容量减半,但会提供最好的读/写性能,因为读操作会所有的主磁盘做条带化,并且对于写操作来说只需要简单地重复每一个写到另一 基于校验的RAID卷使用一个或两个的驱动器来最大化容量,同时不减少所数据的冗余性。每个写会被提交给一组磁盘并所有的成员,包括校验设备,然后它们在进一步计算校验时会产生一定的惩罚。基于校验的RAID组结合起来条带化,以允许并行地/写入磁盘。这就是通常所指的RAID50。一次最多可以在RAIDZ1组中有一个,或在RAIDZ2组中有两个驱动器失败,而不会丢失数据。在RAID50设置中, 带化的阵列,只要有足够的备份磁盘,就可以在磁盘上实现最大程度的可靠性。随着磁盘容量的增长及不断ZFS的文件系统允许卷的大小一直增长,但要求一个条带化阵列对于检验型(RAID-Z,RAID-Z2)配置:连续创建数据卷数据卷可以在NMVDataManagement选项卡中管理。点击了DataManagement选项卡之后,会有一个到DataSets的。您可以在这个页面上创建一个卷。下面是一个截图,在其冗余选项包括mirroring、RAID-Z1singleparity)、RAID-Z2(doubleparity)RAID-Z3triple除了选择磁盘,您也可以指定卷名和各种属性,如描述(Description)、重复数据删(Deduplication)和自动扩展(Autoexpand)重复数据删除SHA-SHA-256池大小平均块大小*270字节2256次方分之一的机会,SHA-256会报告一个哈希匹配,即使两个作比对的块是不一样verify这个选项包括进来,这样在每次哈希匹配时将会读在运行auto-synch服务时,也可使用重复数据删除。细节请见“异步”一章中的内容 自动扩展.创建不同类型的RAID配当您创建一个数据卷时,您可以为数据卷中的每一组磁盘选择一个冗余类型,如RAID-Z1。。若在一个RAID-Z1(或-Z2,-Z3)组中加入过多的磁盘,则会造成一定的惩罚,如缓慢的重建设它们的名字是:c1t1d0c1t2d0c1t3d0c1t4d0c1t5d0c1t6d0。在NMC中:nmc:/$nmc:/$setupvolumecreatemy-notexactly-raid50Groupofdevices:c1t1d0,c1t2d0,c1t3d0Groupredundancytype:然后您会被询问'Continueaddingdevicestothevolumemy-notexactly-raid50'?GroupGroupofdevices:c1t4d0,c1t5d0,c1t6d0Groupredundancytype:raidz1Createvolume'my-notexactly-raid50'?NMC中,您可以使用'showvolumevolumenamestatus'来获得数据卷的状况。该命令会列出池中每个设备的状况,以及任何I/O错误或校验错误。Deduplication、Sync和Autoexpand属性。其中两个在本节之前已经描述了。Sync选项会在下面描述。nmc:/$nmc:/$showvolume<volumename>nmc:/$nmc:/$setupvolume<volumename>property 从sync=standard文件系统的同步事务被写入ZIL中,然后所有设备的写入被刷新以确保数据是稳定的。此状 扩展数据卷Summary页面上的"Grow"来扩展一个数据卷。在创建卷时您会看到一个与之类随着时间的推移所有的冗余组来平衡写操作。nmc:/$nmc:/$setupvolume<volumename>销毁数据卷Summary页面上的delete图标可以删除一个卷。在实际地销毁该卷之前,会出现一个对下面是一个在NMC中销毁一个名为“myvolume”的卷的例子:nmc:/$nmc:/$destroyvolume导出/导入数据卷理驱动器免受I/O活动的影响。导出个新的系统中,任何数据集和ZFS配置将从此被恢复。在NMV中,可以在Summary页面上找到导出选项。会出现一个框要求确认您导出卷的决nmc:/$nmc:/$setupvolume<volumename>导入在NMC中设置卷导入的语法是:nmc:/$nmc:/$setupvolumeimport[-D][-f][-s][vol-name][new-'–s'选项用于将默认的auto-snap服务策略应用在导入的卷上。NMCshowvolumeimportGUID。如果两个已被nmc:/$nmc:/$setupvolumeimport要从故障或关机中恢复,导入操作将重新处理ZFS意图日志(ZIL)中的任何事务。这种ZIL设备且其目前不可用,则导入将失败。为防止这种情形出现,在使用专门的日志设备时一定要使用镜像的ZIL。数据清理配置中有冗余,则NexentaStor可以纠正发现的任何错误。DataManagementAutoServices。选择型的,所以若是可能最好是在时间窗口内来执行它。nmc:/$nmc:/$setupauto-scrubnmc:/$nmc:/$createauto-scrub紧急的卷空间保的'autoreserve_space'NMCnmc:/$nmc:/$setupappliancenmspropertynmc:/$nmc:/$setupvolume NexentaStor支持基on-diskGUID的物理LUNs的映射。NexentaStor的槽位映射工具会生成一个映射{diskGUID<=>slotnumber}。JPEG图像(包括显示并列出的驱动器槽位)NexentaStor用户界面户界面不需要被重新构建。硬件合作伙伴可以运行一个简单的工具,为一个安装了NexentaStor的给定的硬件平台预先生成slotmap文件。现存的driveslotLEDnmc:/$nmc:/$showlunnmc:/$nmc:/$setuplunnmc:/$JBOD管关于JBOD即"justabunchofdisksordrives"spanning,是指一台计算机上尚未被配置为RAID(即独立磁盘冗余阵列,可提高容错能力和数据性能)系统的硬盘。JBOD也可以使多个磁盘呈现为一个单一的磁盘,即通过将许多驱动器合并成一个JBOD在合并独立磁盘之外不能提供任何好处,不能提供任何容错能力或由RAID带来的性能优势。设备状态监测和通NMVJBOD管理要查看JBOD的状态,点击Settings→Disks→JBODs:JBOD的页面列出了所有连接的点击JBOD点击JBODJBOD:请注意,完整的功能仅对被支持的JBOD可用。在 的HardwareSupportedList里有兼容的JBOD列表。磁盘归属的池(可选理磁盘上的LED闪烁。接着,JBOD图像上的小灯也会出现红灯闪烁: 必须配置好邮寄程序(Mailer) 关于Mailer的设置见安装向导I之步骤*请注意,不同供应商的每个传感器(例如:jbod_temperature1或jbod_voltage3,等等)可能指向不同的参数。用户应当从供应商的技术文档或支持中获得相关细节 NMCJBOD管showFAILED--|[][][][]||[][][][]||[][][][]123-SEAGATE,4 -SEAGATE,58 9- - - nmc:/$nmc:/$showjbod<jbod:id>showshowjbod<jbod:id><psu|fan><id>showshowjbod<jbod:id>lun<disk>nmc:/$nmc:/$showjbodjbod:1对于所有的nmc:/$nmc:/$showjbod对于特定的nmc:/$nmc:/$showjbod<jbod:id>nmc:/$nmc:/$showjbod查看磁盘状况给数据卷添加备份设备在NMV中,要给一个数据卷添加一个或多个设备,您可以点击数据卷的Summary视图中的击按钮"Addtospare"。您将看到一个与下面类似的截图:“GrowVolume”添加全局备份设备NexentaStor允许您让所有的卷使用热备。如果池中的一个设备出现故障,系统将检测到该故障并自动激活备份设备。然而,如果您有多个卷,并且可能不想为每一个卷指定的备份设备,个例子中我们创建了一个镜像,但其他冗余选项如RAID-Z1也同样适用。nmc:/$createvolumemy-mirrorGroupnmc:/$createvolumemy-mirrorGroupofdevices:c1t1d0,c1t2d0Groupredundancytype:mirrorContinueaddingdevicestothevolume'my-mirror'?(y/n)AfterAftersettingupthemirror,addthesparedevice.Groupofdevices:c1t3d0Groupredundancytype:Continueaddingdevicestothevolume'my-mirror'?(y/n)nCreatevolume'my-mirror'?(y/n)ynmc:/$createvolumemy-mirror2Groupnmc:/$createvolumemy-mirror2Groupofdevices:c1t4d0,c1t5d0Groupredundancytype:mirrorContinueaddingdevicestothevolume'my-mirror2'?(y/n)nCreatevolume'my-mirror2'?(y/n)yNowyouhavetwovolumes.Toallowforc1t3d0tobeaspareforthesecondvolume,inadditiontothefirstvolume,dothefollowing:nmc@myhost:/$setupvolumemy-mirror2growspare此时每个卷都使用设备'c1t3d0'作为备份。若任一池中有一个设备失败,则备份设备将被激活NMV提供了同样的功能。请注意下面的例子NMVDataManagementDataSetsHot标题下的方框并点击'Allow'。在下面的例子中我们给'pool1'添加了一个热备接着,对您要添加同一热备的另一个卷采取相同的动作。在下面的例子中此卷为添加缓存设备,也称为L2ARC,可被分配给一个特定的数据卷在NMVSummary视图中Grow。随后将出现GrowVolume页面,上面会显示可用的磁盘。选择一个或多个磁盘,然后点击按钮"Addtocache"。您将看到一个与下面类似的截图:缓存设备可以提高随机I/O负载的读性能。添加日志设备在NMVSummary视图中Grow。随后将出现GrowVolume页面,上面会显示可用的磁盘。选择一个或多个磁盘,然后点击按钮"Addtolog"。您将看到一个与下面类似的截图:nmc:/$nmc:/$setupvolume<volumename>remove-NMC中做到这一点nmc:/$setupvolumeOption?mypoolOption?re nmc:/$setupvolumeOption?mypoolOption?re LUNto :LUNtouseasa cement: ce‘c1t1d0’with‘c1t4d0’inthevolume‘mypool’?nmc:/$nmc:/$showvolume<volumename>使磁盘离线nmc:/$nmc:/$setupvolume<volumename>offline-恢复先前断开的磁NMC命令把它添加回nmc:/$nmc:/$setupvolume<volumename>online-替换冗余组NMCnmc:/$nmc:/$setupvolume<volumename> nmc:/$nmc:/$setupvolume<volumename>attach-nmc:/$nmc:/$setupvolume<volumename>detach-nmc:/$nmc:/$setupvolume<volumename>attach-管理文件系统创建文件系统nmc:/$nmc:/$create可以在此页面上输入信息,如文件系统的名字(FolderName)、描述(Description)、RecordSize和其他属性。文件夹的case-sensitivity(区分大小写)的默认选择为“mixed”CIFS和NFS的混合 nmc:/$nmc:/$showfolder<foldername>nmc:/$nmc:/$setupfolder<foldername>propertyLogbias属请求的提示。注意,数据库引擎在写入事务日志时,往往使用同步I/O。如果logbias被设置可以在NMC中设置此属性,如下所示:nmc:/$nmc:/$setupfolder<foldername>propertylogbiaslogbias:throughput销毁文件系统nmc:/$nmc:/$destroy可以从NMV中的文件系统 视图中删除一个文件系统。点击delete图标移除这个文件系统。也可以在NMV中进行该操作。转至DataManagement→Datasets→'Folders'→Show.选择文件系统并点击'Deleteselected'删除选定的文件系统击文件系统Summary视图的Index复选框。选择索引器之后,会出现一个框,确认您要创建一个索引器。请注意,索引器运行于预定的共享文件系统NexentaStor可以使用多种协议共享文件系统,包括CIFS、NFS、WebDAV、RSYNCFTPCIFSNFS通过NFSCIFS共享文件系统NFS和CIFS共享文件系统将在不同章节中分别描述。如果您计划同时使用这两个协议共通过CIFSNFS共享,这将确保合适的行为。仅在创建文件系统时,您才可以更改此属性。另一个重要的属性是"nbmand"。当您以NFS的方式共个已通过CIFS共享了的文件系统,NexentaStor将检查这此属性,反之亦然。如果该属性为offon置为'on,这样就可以在一个NFS/CIFS混合环境中执行强制性跨协议sharereservations和byte-rangelocking机制。NFS文件共享创建NFS共nmc:/$nmc:/$sharemypool/folder1 :group- :group- 编辑NFS文件系统属性点击Edit来管理NFS共享属性Linux上挂CIFS介NexentaStor提供了一个当前最好的内核以及与ZFSCIFS的控制列表(ACL)NexentaStorCIFSUserGuideCIFS协议的各方面知识,如在NexentaStor中为域或工作组共享文件系统,使用用户或用户,活动集成,标识映射(Identity配置CIFSNMVCIFS(DataManagement在NMV的这个页面上您将找到许多相关的,可用于配置、加入工作组、加入活动 nmc:/$shownetworkservicecifs-servernmc:/$shownetworkservicecifs-server置。在NMC中,相应令为(见脚注nmc:/$nmc:/$setupnetworkservicecifs-serverAsetup,然后继续按TAB-TAB默默 于阅CIFS共享在NMC中您可使用同一类型的'showshare'、'share'和'unshare'命令,例如:'NMVDataManagementShares是唯一的控制点,它允许使用一组给定的属性创建文见截图(上图)底部的FilterCIFS(还有NFS、FTP、RSYNC及WebDAV)被共享。NMVDataManagementShares认的设置自动地共享文件系统。您可以通过点击复选框右侧的Edit来查看和修改这些设置享的信息,请参考NexentaStorCIFSUserGuide。其他共享选项NMVDataManagementShares并勾中WebDAV复选框来共享文件系统。在A要要用户名:默认情况下,WebDAV443https连接的。要启用通过80基于httpWebDAV服务器设置中取消选中'UsesecureHTTP'NMV中请转至:DataManagement→Shares→WebDAVServer→Configure NMVDataManagementShares并勾选RSYNC来共享所选的文件系统。在下面的例子中,文件系统'vol1/folder1'被通过RSYNC共享出去。根据您的操作系统使用相应的RSYNC客户端该共享(例如DeltaCopy,Syncrify等等)快照(Snapshot)zvol在某一时间点的只读表示。因为ZFS本身具有您都可以恢复到这个时间点。您可以在NMV里,从DataManagement选项卡下的Create。快照被立即执行,之后若您点击在该页面上Snapshot标题下的Show,即会显示创建恢复点nmc:/$nmc:/$setupappliancecheckpointcreate-fromNexenta保持着一定数量的还原点,默认值是8。要设置保存在系统中的还原点的数量,运行nmc:/$nmc:/$setupappliancenmspropertynmc:/$nmc:/$setupappliance<checkpoint_name>nmc:/$nmc:/$setupappliance<checkpoint_name>Whatisasystem设置定期快照AutoServicesDataManagement子选项卡,然后在'Auto-SnapServices'标题下选择Create,您将得到一个类似以下的页面:在这里您可以选择现有数据集的名称,并指定时间计划:周期间隔(PeriodicInterval),保持快照的天数(KeepDays),特例(Excludefolders),级别(Tracelevel)。如果您需要在快照中包含子文件系统,则勾选recursive。在选择了所需的选项后,点击CreateService。'从这个视图,您可以克隆快照,或将一个文件系统或zvol查看预订的快照 列表,选择'Auto-SnapServices'下的Show。HowdoIaccessdatastoredinasnapshotviaNFSor例如,为'vol1/fol1'创建了一个名为'archive1'通过在文件系统上点击编辑属性。将参数'Snapshotvisibility'的值从'hidden'修改为在Windows中映射网盘(关于CIFS共享的细节,请阅读9.3Anonymousaccess) 打开\.zfs\snapshot\archive1,可找到文件的只 DataManagementDataSetsSnapshots选择快照,然后点击'Deleteselected'删除选定的快NMCnmc:/$nmc:/$setupsnapshot<snapshotname> 快照的其他操作nmc:/$nmc:/$setupsnapshot<snapshot_name>nmc@myhost:/$setupsnapshotsyspool/rootfs-nmu-000@nmu-003renameInputnmc@myhost:/$setupsnapshotsyspool/rootfs-nmu-000@nmu-003renameInputnewnameforsnapshot'syspool/rootfs-nmu-000@nmu-003':upgrade1Snapshot'syspool/rootfs-nmu-000@nmu-003'wassuccessfullyrenamedto'syspool/rSCSI目标设备(管理块SCSIiSCSI或光纤通道。创建备输出给主机。例如,一个zvol可以作为一个iSCSI目标设备的后端空间。一个zvol也可zvols可用于服务,如快照和vol15TBzvolnmc:/$nmc:/$createzvolvol1/zvol1-S-s在NMV中,您可以在“SCSITarget”页面上创建一个zvol。您将被提示选择包含该新zvol的nmc:/$nmc:/$createauto-snapzvol您可以通过的数据来使zvol的有效(实际使用的)容量增长,并通过增加它'volsize'属性的值,来提高zvolNMCnmc:/$nmc:/$setupzvol<zvol-name>propertyzvolzvol容量少于其目前使用量,则可能会导致数据丢失。通过NMV的Web图形用户界面提供了类似的功能。查看ZvolzvoliSCSI和/或FC共享为一个SCSII/O到达启动器而被完成之前,数据不会被刷到zpool的后端空间中。禁用回写缓存将始终确保在一个写被完成之前为了控制回写缓存,请选择'SCSITargetViewZvols)'zvol的名称,其属性将显示出销毁nmc:/$nmc:/$destroy添加启动器和目标设备启动器和目标设备的配置是基于特定协议的。iSCSI是NexentaStor出厂默认自带的,在“管创建启动器群组 您可以把一个zvol共享给所有的启动器。在这种情况下您不需要创建任何启动器群组。如一个单独的启动器与一个zvol关联起来,该启动器仍需要在一个启动器群组中。要在NMV中创建一个启动器群组,点击InitiatorGroups创建目标设备群组 zvol和一组目标设备关联起来。目标设创建LUN映射一个iSCSI目标设备,iSCSI启动器将无法找到这个目标设备。管理以选择CHAP,RADIUS或none。您还可以指定配置的目标设备是否应通过iSNS。添加启动器 程启动器指定CHAP验证信息。创建iSCSI目标设备(iSCSI如果您为iSCSI映射一个zvol,除非已经定义了至少一个iSCSI目标设备,否则启动器然后点击Create。您会看到以下页面:也可进行其他设置,如别名和CHAP用户/。这里指定的CHAP用户/只用于双向LUNs,将通过这个目标设备输出到iSCSISAN中。创建iSCSI目标门户组(TargetPortal设定CHAP验CHAP(又名相互CHAP)对于NexentaStor的iSCSI目标设备,当使用标准CHAP的时候,CHAP是基于每个启动用户需要创建一个启动器并设置其CHAP。只在使用双向CHAP验证时,才需要为目标设备设置CHAP。方式为CHAP。表中选择chap。不要在这里输入CHAP,除非您想使用双向CHAP验证。接下来通过选择'SCSITargetRemoteInitiators来创建启动器。输入启动器的iSCSI名称。对于iSCSIinitiator,启动器的名称是在initiator用户界面的'General'选项卡下。现在可为该启动器输入一个CHAP。CHAP必须至少为12个字符。点击'Create'创建一个带CHAP的启动器。现在去到Initiator用户界面,并发现这个目标设备(主要是在下输入系统的选择新发现的目标设备,并点击'LogOn'。在'LogOntoTarget'屏幕上点击'Advanced...'。现在选择CHAP登录信息并输入目标设备的(与设置上述创建的启动器一样)。然后,点击'OK',再点'OK'就可登录到目标设备。此时,启动器就可以使用CHAP录到目标设备上了。异步异步(Auto-Tier,Auto-Sync同步(Auto-CDP)基于磁盘的持续增长,带来了两个主要的影响。备份的数据量越来越难以适应于磁带或备窗口内,容量的成本使得在磁盘子系统本身之外建立备份成为可行。NexentaStor的主包括主,相对任何主阵列的二级,甚至站点和存档。、本地或任何性质的端,到任何类型的目的端。唯一的限制是,至少有一个源端或目的间点的那份数据到另一个卷。在目的端使用快照,您可以保持主的一个完整的有效备份的auto-tiering◦常见的分层服务是在本地通过NFS或CIFS,或使用rsync直接配合或不配合SSHauto-sync和auto-tier两者都是可调度、可故障管理并可调auto-sync和auto-tier两者都是可调度、可故障管理并可调的NexentaStor数据 Auto-tier和auto-sync不只是限于前两层,它们作为为着更关键数据的第三层也很常见。根据法据的无论是作为主服务器或二级服务器,NexentaStor可以每隔一段任意的时间间隔,定期的分层和需求,或对提供广域网异地镜像来说是很理想的。Auto-Tier-就'auto-tier'(或简单地说,分层)服务来说,NexentaStor使用快照和用户自定义的源端和目的端,将一个文件系统的单一副本,定期地到另一个本地或的开管理。NexentaStor的分层服务运行于各种传输协议之上,并可使用快照作为源。该解决方案适用于在磁盘到磁盘的备份方案中见到的较为常见的备份场景。auto-tier服务不只是限于前和和 主机或 主 时 主机并非必须是一个NexentaStor系统,尽管auto-sync的情况下,它必须是另一个基于ZFS的系统auto-syncauto-sync和auto-tier都提供一个合并 - auto-sync可用于 的目的端可能是或可能不是另一个NexentaStor设备,并且-当它是一个这样的设备时-可能会或混合-tier/syncNexentaStor提供了一个混合tieringsyncing的服务,使分层的目案的优势在于可保留“最近的副本”以及可配置数量的先前的副本-后者根据保留策略确定。◦数据和元数据。Auto-sync不仅传输数据(文件,)文件系统和。Auto-tier可以把一个文件系统内的一个作为其顶级源端。而auto-sync则不能。为了能够传输元数据,auto-sync必须把一个文件系统作为其顶级源端。覆写。当第一次执行时,auto-tier可以在目的端覆写现有的文件和。而auto-sync在第一次执行时不能它会在目的端创建新的文件系统,并在每次的后续计划服务运行之后,保持这些文件系统与源F.A.QWhatisthedifferencebetweenauto-sync'andauto-tierstorage 、恢复或重置系统的配置,和/或克隆整个系统的根文件系统,请参阅上述F.A.Q或 HowcanIprotect/replicate/recover/restoreappliance'ssystemconfigurationandtheOSNexentaStor的auto-sync服务可在系统之间传输快照。服务是建立在ZFS的auto-sync服务包括了一个有利数据传输的重复数据删除功能。发送和接收系统都需要支持重复别有利的。每个auto-sync流的重复数据删除是分开管理的。Auto-SyncUserNexentaStor的auto-tier(分层)服务定期并增量地一个给定的源(以及所有嵌套的NMV中建立一个auto-tier,请选择DataManagement选项卡下的AutoServices,然后在在NMC中提供相应的操作为nmc:/$nmc:/$setupauto-tierauto-tier属性表有三种可能的流方向:本地到本地(L2L),本地(L2R),到本地(R2L)NexentaStorUserGuideDestinationReplicate仅源文件系统的子文件系统Periodic包括两个参数:Period和Frequency。Frequency的值取决于Period。例如:‘Period:hourly,frequency:4’指每4小时运行一次服务,‘Period:daily,Frequency:05’5有四种可能的选择:RSYNCRCYNC+sshRemotesourceRemotesourceKeep在auto-tierRate网络流量限制。此参数决定auto-syncTiering此参数允许从任何指定的快照ExcludeRSYNC。在NMC中键入'manrsync'以获得的信息(仅用高级用法)ServiceCopy在某些情况下auto-tier可以文件系统的ACL。此选 L2R或R2L的情况下,两台主机必须是Symlinkas 中 系统中,否则其ACL将不会被 Auto-tier协议RSYNC用于本地到本地的。在这种情况下RSYNC只是简单地将文件从本地的一个 用于本地到和到本地的。在同步期间本机通过ssh连接到并在主机上开始RSYNC,然后本地和的RSYNC会同步 用于本地到和到本地的。通过RSYNC服务器建立连接。通过开启了用于本地到和到本地的。在同步期间的NFS共享被挂载于本地系统。请在下 使用'rsync+nfs'传输协议设定auto-建立DataManagementSharesNFSEdit。在'Root'NexentaStor系统的IP地址,它将作为NFS客户端连接到当前系统。NexentaNFS客户端上创建auto-tier2中创建的共享指定为目的端文件系点击创建好的auto-tier服务,再点击'Runnow'DataManagementAuto-ServicesAuto-TierServicesEdit,点击'More同步(Auto-两个NexentaStor系统之间提供块级别的镜像。 功释可使用任何支持TCP/IP反向同步:次(secondary)主同时向卷发送并从之接收数据副本。也被称为bilalRAID支端口121是镜像软件所使用的默认TCP/IP端口。必须打开以允安的)块都会通过IP网络进行一个扇区接着一个扇区的块级别的传输。I'musingauto-cdpplug-intoblock-mirrormystorage.Initialreplicationisverynmc:/$nmc:/$showplugin nmc:/$nmc:/$setupplugininstallNexentaStor的Webnmc:/$showpluginnmc:/$showplugin 同时也是相关Auto-CDP服务的名称。选择系统。指定与本地系统做了SSH绑定的现有系统选择系统上的磁盘作为本地(主)卷中磁盘的块级品次()卷。系统的Auto-CDP使得在任何时候磁盘上的数据和ZFS元数据保持在同步状态多信息,请参考'setupappliancehosts-h'。nmc:/$nmc:/$createauto-关于创建服务和所有支持令行选项的详细信息,请参阅相应的mannmc:/$nmc:/$createauto-cdp-nmc:/$nmc:/$setupauto-cdp”Auto-CDPAuto-CDP插件的全面介绍见于Auto-CDPUserGuide可选的主机名Auto-CDP根据指定的IP地址和它们对应的完全合格的主机名,来标识一对主次关联。在一个IPIPIPCDP数据传输寻找nmc:/$nmc:/$createauto-cdp-H开启Auto-CDP服务实例在Auto-CDP服务实例成功创建后,向导会询问是否启用服务。使用以下命令可以在任何给定的nmc:/$nmc:/$setupauto-cdp:volnameNexentaStor的Auto-CDP服务实例一旦启用,将更新镜像的数据卷。只有在镜像记分nmc:/$nmc:/$setupvolumevolnamenmc:/$nmc:/$setupvolumeimport模式,一旦主站点起来了,即可重复nmc:/$nmc:/$setupauto-cdp:volnameenable-ZFSSNDR操作的同步模式,在nmc:/$nmc:/$setupvolumeimportvolname-然后进行反向操作'-r',可自动将镜像的更新内容从主卷恢复到次卷,使该卷组保持同容的之前,主卷与次卷是匹配的。 卷的操作与Auto-卷扩容。向现有的数据卷添加新的LUN或一组LUNAuto-CDPNMC向卷的导出。将确保在必要时相应的Auto-CDP卷的导入。将确保在必要时相应的Auto-CDP实例被启用器上,并且在用于failover的机器上自动激活Auto-CDP服务。 服务NexentaStor触发器'autocdp-check'NexentaStor触发器一样,如果服务状态和I/O进程的AVS级监测。可以使用下面令nmc:/$nmc:/$showauto-cdp:volname Pt 0.05rolerkpsrtpswkps8300 P 0.4000 TheoutputincludesthefollowingVolumetypePercentageofvolumerequiringsyncRoleoftheitembeingreportedNumberofreadsNumberofKilobytesnmc:/$nmc:/$showauto-cdp:volnamenmc:/$nmc:/$showauto-cdp:volnamenmc:/$nmc:/$showauto-cdp:volnamelogtail- Auto-CDPcdproot-AutoCDP内部的数据库根文件系统。NMS和Auto-CDP服务其内部数据的地 volumefailedVF一个针对本地数据卷的I/ObitmapfailedBF一个针对本地I/OneedsyncSN)一个针对该卷的同步已被中断。它需要被完成。在一个或其他同步已被完成needreversesyncRN一个针对该卷的反向同步已被中断。它需要完成(或通过基于时间logging(L)-接收到的写入只被记录在位图设备中。数据不会被到站点。need;reversesyncing(RS)-一个从次卷到主卷的正在进行中syncing-一个从主卷到次卷的正在进行中 nmc:/$nmc:/$setupauto-cdp:volnamenmc:/$nmc:/$setupauto-cdp:volnameenable-为服务实例“:volname”重新启用特定的<LUN>对nmc:/$nmc:/$setupauto-cdp:volnamelun<LUN>为服务实例“:volname”重新启用并完全地重新同步特定的<LUN>对nmc$nmc$setupauto-cdp:volnamelun<LUN>enable-nmc$nmc$setupauto-cdpnmc:/$nmc:/$setupvolumevolname 上面列出的所有命令之间的主要区别是:粒度前两个命令(1,2)执行在整个服务实例的水平上,与之相应的操作被应用到所有关联的磁盘对。如果您想将服务从“logging”模式切回“replication”模式,可使用命令(1)第二对(3,4)的故障处理操作是针对特定的LUN。(3,4)的这两个命令是特别有用的,尤其是当一个相关的情形与导入次卷有关。如果新导入的镜像卷显示有故障驱动器,可使用针对特定LUNreset命令(5)作用于整个插件及服务,并会影响主动和站点上的所有实例AVS磁盘集管理相关的复杂创建Auto-CDP一个创建auto-cdp的完整示范:nmc@testbox1:/$createauto-cdpRemotenmc@testbox1:/$createauto-cdpRemoteappliance:28RemoteRemoteforc2t1d0:c2t1d0Remoteforc2t0d0:CreatingnewAutoCDPservice'auto-cdp:vol1',pleasewait...Successfullycreatedservice'auto-cdp:vol1'Enableitnow?Enablingservice,pleasewait... 2Thelocalhostis'active'auto-cdpnmc:/$nmc:/$showauto-cdp<name>或nmc:/$shownmc:/$showauto-cdp<name>事实上,在监测数据流方面,无论是对于auto-cdp,auto-sync或是auto-tier服务,上面两个命令总是很有用的。总之,auto-cdp流量监测在块级同步初始阶段是特别有用的。建议在首次(初始)建议在首次(初始)CDP同步期间不要使用主(活动)卷,因为在此期间主卷上的任何更新都可能会大 信息,请查看'showauto-cdp<name>stats'的输出细节658.882.141.25955.381.25一旦数据流停止,就可以在站点上看到块级的卷nmc@testbox2:/$nmc@testbox2:/$showauto-cdp:vol1-v 2Thelocalhostis'passive'auto-cdp反向镜像–例子在在反向CDP中一个很关键的准则是 Step#1.testbox1(primary):first,exportvol1nmc@testbox1:/$setupvolumevol1exportExportvolume'vol1'anddestroyallassociatedshares?Step#2.testbox2(secondary):importnmc@testbox2:/$setupvolumeimportvol1volume:vol1state:scrub:nonerequested000000000000Step#3usingsecondaryvolumeuntil(andif)theproblemwithprimaryisStep#4.testbox2(secondary):exportvol1nmc@testbox2:/$setupvolumevol1exportExportvolume'vol1'anddestroyallassociatedshares?Step#5.testbox1(primary):reversesyncingnmc@testbox1:/$setupauto-cdp:vol1enable-rEnablereversesynchronizationforautoCDPservice'vol1'?YesEnablingservice,pleasewait...AutoCDPservice':vol1'Step#6.testbox1(primary):importvol1nmc@testbox1:/$setupvolumeimportvol1volume:vol1state:如何建立SSH绑定通过SSH分层(Tiering),通过SSH同步(syncing),并通过SSH管理设备-这些被系系。SSH绑定允许进行管理,配合多主机信任的强大加密验证,形成了一个通过SSH绑定下面令管理主机绑定及解除绑定nmc:/$nmc:/$setupnetworkssh-和nmc:/$nmc:/$setupnetworkssh-nmc:/$nmc:/$shownetworkssh-nmc:/$nmc:/$shownetworkssh-bindings-nmc:/$nmc:/$setupnetworkssh-bindnmc:/$nmc:/$setupnetworkssh-unbindserver2-欲了解信息,运行nmc:/$nmc:/$setupnetworkssh-bind-→SSH-48SSHSSH绑定故障诊断 nmc:/$nmc:/$setupnetworknmc:/$setupnmc:/$setupappliance 'iscom.nexenta.nms.ConnectFailure:com.nexenta.nms.ConnectFailure:host'ingTCPconnectionsonport22'isalivebutnmc:/$nmc:/$setupnetworkssh- com.nexenta.nms.ConnectFailure:com.nexenta.nms.ConnectFailure:unabletoconnecttohostport'22':Connection'nmc:/$nmc:/$setupnetworkssh- com.nexenta.nms.OperationFailed:timedoutwaitingforsshserveronhost'$host'torespondsshconnectioncom.nexenta.nms.AuthenticationFailed:com.nexenta.nms.AuthenticationFailed:permissiondeniedwhileaccessing 主机配置错误。检查etc/ssh/sshd_config中是否允许root'PermitRootLoginyes'nmc:/$optionexpert_mode=nmc:/$!ssh[-p2222]jac 'ls-la~/.ssh'total36drwx2rootroot4096nmc:/$optionexpert_mode=nmc:/$!ssh[-p2222]jac 'ls-la~/.ssh'total36drwx2rootroot4096Jan701:13drwx37rootroot4096Mar3119:05-rw1rootroot1769Mar1701:04-rw1rootroot1675Nov510:50-rw-r--r--1rootroot393Nov510:50-rw-r--r--1rootroot13428Mar1920:29,请阅读以下FAQSSHbindingfailed-whatcanbethe系统运作与错误管线程dailyatweeklyonSatweeklyonSatdailyatdailyat几个故障触发器(faulttriggers)(“check”),其次是统计数据收集器(StatisticsCollectors),接着是和网络服务报表器(reporters),再接着是两个特定的索引API(见2.1.Terminology或21.References),可定期执行,和/或在发生时执行,和/或nmc:/$nmc:/$setupappliancenmc:/$setuptriggernmc:/$nmc:/$setuptriggernmc:/$setupcollectornmc:/$setupreporternmc:/$setupindexernmc:/$nmc:/$shownmc:/$nmc:/$showcollectornmc:/$showreporternmc:/$showindexernmc:/$nmc:/$setuptriggercpu-按TAB-TAB或回车键,键入或选择'property',并查看所有用于调试的'cpu-utilization'属性。您可以改变用于产生的阈值(在这种情况下,CPU的空闲比率非常低),使变得或nmc:/$nmc:/$showtriggercpu-utilization-上面令显示触发器当前的运行时状态、状况和配置细节(注意使用verbose-v选项)触发器NexentaStor故障管理工具的一部分是通过故障触发器来实现的。一个故障触发器,或简称一个触发器,是一种特殊的可插拔线程模块('helprunners'),执行一定的故障管理和监视操作。每'showtriggerall-faultsshowtrigger<name>showappliancerunnersshowfaultsall-appliancesNMC中查看所有可用的故障触发器,使用命令'showtriggerall'在所有情况下一个携带的触发器将会显示为红色,其前提是NMC的彩色功能被启用了。此量的次数时,故障触发器将发送电子邮件。并且,在触发器本身进入'maintenance'它将运行并计数故障条件触发次数,但不会再发送电子邮件通知了也就是说,直到系统管理员将它从状态中清理出来为止:nmc:/$nmc:/$setuptrigger<name>clear-nmc:/$nmc:/$showtrigger<name>-where<name>standsforthetrigger'sname,and-v(verbose)isusedtodis 器-' nmc:/$showtriggernms-check-生成总结后,使用NMC的'switch'命令(“CommandReference-switch”部分)结合'showde-faults'命令-可“近距离”查看一个 nmc:/$showfaultsall- 处理不可恢复的I/OFMAFMAEVENT:=======STARTFMAEVENT:SOURCE:zfs-FMAEVENT:PROBLEM-IN:zfs://pool=iscsidisk/vdev=56f1d7932d4c039dFMAEVENT:AFFECTS:zfs://pool=iscsidisk/vdev=56f1d7932d4c039dFMAEVENT:========ENDfaulttrigger'nms-fmacheck(E1)'reachedthe umof1FAULT:Appliance :ups-nxstor1(OSv0.99.5b82,NMSv0.99.5)FAULT:MachineSIG:FAULT:PrimaryMAC:FAULT: :TueMar1114:10:47FAULT:Trigger FAULT:FaultType:ALARMFAULT:FaultID :1FAULT:FaultCount:1FAULT:Severity FAULT:Description:FMAModule:zfs-diagnosis, FAULT:Faultclass:Description:ThenumberofI/OerrorsassociatedwithaZFSdeviceexceededacceptablelevels.Referto /msg/ZFS-8000-FDformoreinformation.如果您已经启用了FMA检查并正确地配置了系统的邮寄程序,以下是您可能会收到的电子邮件/msg/ZFS-8000-FD)以获得的提示和指导示您执行纠正措施(您只需简单地按Enter键)。 处理系统故障如果NexentaStor系统失败并被重启,则您会在重启后收到一封电子邮件,其中包括重启的日期和时间信息。默认情况下,系统日志文件的最后20行会包含在电子邮件中。要改变该属性,运行以下NMC命令:nmc:/$nmc:/$setuptriggernms-分DTrace是一个由SunMicrosystems创建的全面的动态框架,可实时分析生产系统的性能并解决疑难问题。请OpenS上的DTrace以获得Dtrace语言的细节和深入指导。DTrace命令行Nexenta管理控制台中作为一个顶级命令(见'Top-LevelCommands'部分)Enter键并做选择。DTraceOption?<?>IOcpulocksmemorymiscnetworkreport-Chooseoneoftheoptionsabove,'q'orCtrl-CtoquitMemoryutilization,physicalandvirtualmemorystatisticsnmc:/$nmc:/$dtracecpucpuwalknmc:/$nmc:/$dtracecpucpuwalk按TAB-TABhelp(-h)nmc:/$nmc:/$dtracecpucpuwalk- 的ytics(分析NMV中设置并查看性能图表,请选择yticsProfiles子选项卡。在选择一些I/O性nmc:/$nmc:/$showvolume<volumename>性能基准测试工具DTrace(17.1Dtrace)NMV性能图表(17.2.NMV的ytics)。还有用于运行I/O压力测试和网络操作的性能基准测试工具,可输出nmc:/$nmc:/$run (andpressTAB-TABornmc:/$nmc:/$showplugin I/O性能基准测试工具Usage:Usage:[-pnumprocs][-bblocksize][-q][--p Numberofprocesstorun.Defaultis-b Blocksizetouse.Defaultis- Nowritebuffering.fsync()aftereveryThisben arkisusingwellknownBonnie++tool,itisbasedontheBonnie arkwrittenoriginallybyTimBray.SequentialWrite(SEQ-Block.Thefileiscreatedusingwrite(2).TheCPUoverheadshouldbejusttheOSfilespaceallocation.Rewrite.Each<blocksize>ofthefileisreadwithread(2),dirtied,andrewrittenwithwrite(2),requiringanlseek(2).SequentialRead(SEQ-网络性能基准测试工具的吞吐量。Iperf是一个流行的网络性能测量工具,是用C++编写的。并可以测量两端之间的吞吐量,无论是单向的或双向的。它是开源软件,可在Linux、Unix和Windows等各种平台上运行,并由国家网络应用研究室(NLANR)提供支持。Usage:Usage:[-[-Pnumthreads][-iinterval][-llength][-wwindow][-t--P-i-l-w-ttime
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 城区供热改造工程可行性研究报告(仅供参考)
- 贵金属回收再利用技术考核试卷
- 糖果企业财务分析与内部控制考核试卷
- 定期更新护理管理制度
- 学校厨房防疫管理制度
- 宝塔实业存货管理制度
- 向上向下领导管理制度
- 安全标志使用管理制度
- 金属工具个性化定制服务的发展趋势考核试卷
- 金属工艺品的工艺与文化研究考核试卷
- 新版2025心肺复苏术指南
- DB45T 1056-2014 土地整治工程 第2部分:质量检验与评定规程
- 国有企业合规管理与风险控制
- 2025非开挖施工用球墨铸铁管第1部分:顶管法用
- TNXZX 031-2024 牛羊肉电商销售质量服务规范
- 调味品干货供货服务方案
- 花样跳绳知到智慧树章节测试课后答案2024年秋深圳信息职业技术学院
- 《霸王别姬》电影分享
- 国家开放大学-02154《数据库应用技术》期末考试题库(含答案)
- 【初中物理】专项练习:电学部分多选题30道(附答案)
- 2025江苏省全日制劳动合同书范本
评论
0/150
提交评论