




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
VeritasStorageFoundation™ClusterFileSystemAvailability本手册所述是根据协议而供,仅可按该协议的条款用。产品版本1文档版本6.0.1RevCopyright©2012SymantecCorporation.©2012SymantecCorporation。All .保留所利。Symanec、Symanec徽标、ertas、eritsSorge mndenra、eckup、nerpreVut和Lvepde是SymanecCorporation或其附属公司在和其他国家/地区的商标或商标“Syanec”和“赛门铁克”是Symnecorporaton的商标。其他名称可能为其各自所有者的商标,特此。本文档中介绍的产品根据限制其使用、、分发和反编译/逆向工程的协议分发。SymantecCorporation及其特许人(如果存在)事先,不得以任何方式任何形式本文档的。本文档按“现状”提供,对于所有明示或暗示的条款、陈述和保证,包括任何适销性、针对特定用途的适用性或无知识的暗示保证,均不提供任何担保,除非此类免责的范围在法律上视为无效。Symanecorporation不对任何与提供、执行或使用本文档相关的伴随或性损害负责。本文档所含信息更改,恕不另行通知。根据FAR12.212中的定义,的文档被视为“商业计算机”,受FAR第52.227-19节“CommercialComputerSoftware-RestrictedRights”(商业计算机受限权利)DFARS227.7202节“RightsinCommercialComputerSoftwareorCommercialComputerSoftwareation”(商业计算机或商业计算机文档权利)中的适用规定,以及所有后续中规定的权利的制约。仅可根据本协议的条款对的文档进行使用、修改、发布、执行、显示或披露。SymantecCorporation350EllisStreetMountainView,CA94043Symantec技术支持具有全球性支持中心。技术支持的主要任务是响应有关产品特小组与Symantec内的其他相互协作,及时解答您的问题。例如,技术支Symantec提供的服务包括
有关Symantec计划的信息,请的 NICIP联系Symantec之前执行过的故障排除操
如果您的Symantec产品需要或证密钥,请的技术支持网页/可从以下获得客户服务信息 产品更新(例如,更改地址或名称Symantec有关Symantec技术支持选项的建
800810 中国00801611 中国特别行政 800963 介质中提供了PDF格式的产品指南。请确保您使用的是文档的 的第2页上提供了文档版本信息。从Symantec可以获取 您对产品文档的反馈对很重要。请发送改进建议和有关错误或疏漏的报告。请章节标题。请将反馈发送到:如需HOWTO文章、文档更新的信息,或询问有关产品文档的问题,请SymantecConnect上的StorageandClustering management/ 关于SymantecSymantecConnectSymantec企业客户提供的点对点技术社区可以与其他产品用户联络并共享信息,包括发布帖子、文章、、、博行评分,成员可凭其贡献获得积分。 StorageFoundationClusterFileSystemHighAvailability版本说明本文档包含以下关于VeritasStorageFoundationClusterFileSystemHigh关于SymantecOperationsReadiness6.0.1中引入的更
本文档提供有关适用HP-UX11iv3VeritasStorageFoundationClusterFileSFCFSHA之前仔细阅读整个文档。“版本说明”中的信息可取代SFCFSHA的产品本文档是《VeritasStorageFoundationClusterFileSystemHighAvailability版本说明》的“文档版本:6.0.1Rev0”。开始之前,请确保使用的是本指南的版本。Symantec上提供了的产品文档,为: 介质上的以下位置提供了PDF格式的产品指南:Symantec建议将这些文件到系统上的/opt/VRTS/docs 《VeritasStorageFoundation《VeritasClusterServerVeritasStorageFoundationClusterFileSystemHighAvailabilitySymantecVeritasStorageFoundationClusterFileSystemHighAvailability对VeritasStorageFoundation进行了扩展,以支持区域网络(SAN)环境中的共享数据。使用StorageFoundationClusterFileSystemHighAvailability,多台服务器可以同时对应用程序透明的共享和文件。VeritasStorageFoundationClusterFileSystemHighAvailability还增强了可用性VeritasStorageFoundationClusterFileSystemHighAvailability包括VeritasClusterServer,它为该产品增加了高可用性功能。要安装该产品,请按照《VeritasStorageFoundationClusterFileSystemHighAvailability安装指南》中的说明进行操作。关于高可用性环境的信息,请阅读VeritasClusterServer文档SymantecOperationsReadiness些最耗时的管理任务。SORT有助于您更高效地管理数据中心,并充分利用SymantecSORT可以帮助您执行以下操
间和体系结构。分析系统以确定是否已做好安装或升级Symantec产品的准从库的修补程序、文档和高可用性硬件、、数据库和操作系统的兼容性列表理风险 ■从库获取有关对修补程序阵列特定模块SL/PMDDIDDL)和高可用性所做更改的自动电子邮件确定并降低系统和环境风显示数百个Symantec提高效 ■根据产品版本和平台查找并修补程序列出已安装的Symantec产品和证密钥调整并优化您的环境注意:SORT注意:SORT的某些功能并非SORT不需要额外费用要SORT,请转到:有关此版本的重要更新,请查看Symantec技术支持上发布的和技 持硬件的信息,请以下URL: 在安装或升级StorageFoundationandHighAvailabilitySolutions产品之前,请查看的兼容性列表,以确认硬件和的兼容性。SFHASolutions产品的新版本控制过备份、存档和企业安全产品中部署其不同产品时拥有的体验。经历此次更改之后,所有产品的版本3位数。为了遵循此方法,SFHASolutions版6.0.1。文档在介质上的 位产品文档的PDF文件现位于介质上的/docs中。/docs为每款捆绑产品的子,其中包含特定于此产品的文档。sfha_solutions包含适用与安装和升级相关的更在6.0.1中,产品安装程序的本地安装的安装和卸载现加入版本信运行本地(/opt/VRTS/install)配置Veritas产品时,已安装的名称现加入其中:<version>为当前版本,无或空格。例如,要配置6.0.1版本的产品#/opt/VRTS/install/installsfcfsha601-升级之前,VxVM区域备份预先检查磁盘否已保存到/etc/vx/cbr/bk 其他安装postcheck所有产品的检查VolumeManager(VM)检查集群文件系统(CFS)现在可以使用安装程-configcps选项配置CP服务器。这项用于配置CP服'/tmp/sample1.res'选项配置CP服务器。有关详细信息,请参见《VeritasClusterServer安装指南》VeritasStorageFoundationClusterFileSystemHighAvailability(SFCFSHA)相关的更改SFCFSHA包括6.0.1中的下列VeritasVolumeManager相关的6.0.1中,VeritasVolumeManager(VxVM)包括以下更改新的use和require子句支持您从明确定义的意向磁盘属性集中选择。require类型的子句从满足所有指定属性的交集中选择磁盘。use类型的子句从use和require约束在默认情况下保持不变。您可以设置、清除、更新和列出卷的use和require意向。管理指南》和vxassist(1M)手册页ClusterVolumeManager(CVM)引入了新功能来支持可以更具恢复能力地应对CVM节点可以加入参加集群,即使该节点无法在本地所有共享也是如此。此行为可确保脱机的节点能够重新加入集群。本地故障,asymmetric。此行为独立于磁盘分离策略或ioship如果连接故障未影响所有节点,则CVM可通过网络将I/O重定向到存默认情况下,I/O传送已禁用。要启用I/O传送,请将磁盘组的ioship可调参数设置为on。I/O可更新数据更改对象(DCO)。默认情况下,此行为已启用,且与磁盘分离策略或ioship即时快照数据更改对象(DCO)即时快照数据更改对(DCO)(以前称为版本20DCO)支持VxVM卷创建即DCO卷可确保与版VxVM兼容。升级操作可以在卷处于联机状态时执行。升级操作不支持从0DCO请参见《VeritasStorageFoundation管理指南》和vxsnap(1M)置LUN或HBA的交互工具。动态重新配置包括添加、删除或替换LUN,以及替换杂的DMP和操作系统相关命令。VeritasFileSystem相关的6.0.1中,VeritasFileSystem包含以下更改 tat命令可显示GLM缓存内存的使用情况信息您可以使用g 有关信息,请参见g tat(1M)手册页。SmartTier可能会压缩或解压您可以压缩文件以减少文件使用的空间,同时保留文件的可性,并让压缩对应SFDB以下各节介绍了与6.0.1StorageFoundationforDatabasesSFDB工具相关请参见第14页的“支持使用OracleFlashSnap创建黄金映像快照”。请参见14页的“OracleVVRFlashsnap”。请参见第14页的“OracleCompressionAdvisor工具简介”。支持OracleFlashSnap创建黄金在此版本中,SFDB工具支持使用Oracle数据库的FlashSnap您可以分FlashSnap快照,它可用作创建一个或多个克隆实例的主副本。通过副本。这些实例依赖FlashSnap映像执行操作。OracleVVR辅助站点上的在此版本中,SFDB工具支持Oracle数据库的VVR辅助站点上的Flashsnap于同步主站点和辅助站点中的活动。快照从VVR辅助站点中启动。OracleCompressionAdvisor工具简在此版本中,SFDB工具为Oracle数据库CompressionAdvisorVeritasFileSystem(VxFS)提供了press实用程序,可用来压缩对基础应用程序透明的各个文件。压缩文件的应用程序将自动接收仅在内存中解压缩的解CompressionAdvisor可为Oracle单一实例和OracleRAC环境中的Oracle数据库文件提供扩展的压缩功能。CompressionAdvisor命令 p_adm驻留在 中,且必须由DBAVeritasStorageFoundationandHighAvailabilitySolutions6.0.1中包含与相由于VVR锁定和代码优化,CPU使用率I/O处理的速度更快,I/O吞存级别,可以提供最佳压缩性能,从而减少CPU利用率。提高TCP协议中的VVR性VVR层实I/OTCP网络带宽的使用率。(不适用于UDP协每个RVGRVGSRL回读中出现内存争用单独的回读线程可从SRL中数据。默认禁用此功能使用CVMI/O传送框架提高了集群环境中的VVR数据卷出现故障后的如果数据卷出现故障,某些SRL写入因I/O故障也不会写入到该数据卷中。要使数可传送到具有连接的节点,并写入到数据卷中。这样,数据卷可保持一致,且在具有连接的所有节点上均可用。LLT此版本包括对LLT的下列/etc/llttab文件中的peerinact的Symantec建议不要将peerinact的值设置为0。要实现peerinact的无限超时功能,peerinact设置为更大的值。支持的值范围介12147483647之间I/O防护的中的CoordPoint的增强功行了VxVM管理命令而从协调器磁盘组中删除时,或磁盘的VxVM区域被损CoordPoint资源执行详细的监视,并报告故障。您可以通过设置此版本有关CoordPoin的信息,请参见《VeritasClusterServerBundled置为监视协调器磁盘的信息,请参见《VeritasClusterServer安装指南》。《VeritasClusterServer管理指南》此版本的SFCFSHA产品不支持fsppmk命令已废弃,无法再用来创建SmartTier放置策略不再支持的VeritasStorageFoundationforDatabases(SFDB)工具功StorageFoundationforDatabases(SFDB)工具功能FlashSnap
HP-UX11iv3操作系表1-1显示了此版本支持的操作系统。 HP-UX11iVersion3March2011HP-UXPA-EnvironmentsUpdateRelease或更高版HP-UXHP-UX如果您运行的是OracleV或V,则必须应用Oracle错误4130116修补程序。请与 VeritasStorageFoundationClusterFileSystemHighAvailability硬件VeritasStorageFoundationClusterFileSystemHigh VeritasStorageFoundationClusterFileSystemHigh2GB2CPUNode(节点和更新级别。共享共享器可以是一个或多个共享磁盘,也可以是直接或通过光纤通道交换机连接到集群节点的磁盘阵列。O/、/usr、/var及其他系统分区。光纤通道交换共享设备。光纤通道架构的主要组件为光纤通道交换机集群平VeritasStorageFoundationClusterFileSystemHighAvailability(SFCFSHA)集群中有几个可充当节点的硬件平请参见《VeritasStorageFoundationClusterFileSystemHighAvailability版本说明》。在各个节点上安装HP-UX11iV3.0(20113月版)或高11iv3HP-UX11i64位操作系统,并安装光纤通道果没有运行网络时间协议(NTP)驻留程序,请确保组成数据库环境中受支持的StorageFoundationforDatabasesVeritasStorageFoundation功OracleDiskVeritasStorageFoundation功OracleDisk否是是否CachedOracleDisk否是否否Quick是是是是Quick是是是是是是是是检查是是是是是是是是是是是是数据库检查注意:需要Enterprise否是是否Database注意:需要Enterprise否是是否VeritasStorageFoundation功SmartTierfor注意:需要Enterprise否是是否SmartTierDynamicStorageTiering(DST)StorageFoundationforDatabasesSFDB工具数据库检查点、DatabaseFlashsnap和SmartTierforOracle受Enterprise产品证支持。有关支持的StorageFoundation产品和单实例Oracle版本的信息,请参见 请查看当前的Oracle文档以确认您的硬件与的兼容性磁盘空间要
VeritasStorageFoundation产品之前,请确认您的系统有足够的可用可使用产品安装程序的“PerformaPreinstallationCheck(执行安装前检查#./installer-支持的节点
SFCFSHA支持最多包64个节点的集群配置已解决的安装和升级问1109熔合版本的全新安装中未删除Base501包1109熔合版本的全新安装中未删除Base501包如果存在锁同步问题,有时会显示不正确的服务器名称如果指定-version,安装程序将检查VRTSfsadvCPI无法在升级后删除较旧的VRTSperl包从5.1SP1升级至6.0之后,DMP-OSN可调参数值未产品迁移期间安装程序估算的磁盘空间使用量过高VeritasStorageFoundationClusterFileSystemHighAvailability中已VeritasStorageFoundationClusterFileSystemHighAvailability中已解决的事件。 VeritasStorageFoundationClusterFileSystemHigh由于日志重放较慢,CFS故障转移用了20分钟删除某些检查点时,VRTScavf包的cfsumount(1M)命6.0RP1中已解决的VeritasStorageFoundationClusterFileSystemHighAvailability问题1-6列出VeritasStorageFoundationClusterFileSystemHighAvailability(SFCFSHA)问题。 已解决的VeritasStorageFoundationClusterFileSystemHA问重复数据删除会话未完成进程未以“共享”形式传输共享扩展区在集群装入的文件系统中,执行SmartMove在写入操作期间,cfs.stress测试因EIO错误退出在CFS压力重新配置测试期间,fsck(1M)命令退出1-7列出了此版本VeritasClusterServerAgentsforClusterFileSystem问题。表1-7 已解决的VeritasClusterServerAgentsforClusterFileSystem问在存在CVM恢复能力的情况下,完全失败后,将会在引擎日志中记录意外消息。VeritasFileSystem中已解决的VxFS针对CFS返回错误VxFS针对CFS返回错误61493(VX_EFCLNOSPC)press解压缩时忽略限制文件创建线程可能会挂起移动大量文件时,使用fsppadmenforce对层重定位的性能系统发生spinlock锁定程序忘记线程在VxFSvx_free()尝试解除fiostat时,系统发生,红域出现在继承父项的默认控制列表(ACL)条目的文件中执getaccess()删除某些检查点时,VRTScavf包的cfsumount(1M)命可以 中看到重复的文件名使用跨共享转换包含多个32knlink的文件系统时不更新vx_maxlink和maxlink_enable可调参数。VxFS文件系统上的ls-l命令运行缓慢,且CPU使用率使用fsadm(1M)命令扩展或缩小DLV5文件系统会造成系统会发生转储。在包含分 和检查点的文件系统上从磁盘布局版8升级到9时,可能返回只读文件系统错误消息超过限制的写入(2)操作在达到用户限制之前失败,显示EDQUOT(“Discquotaexceeded(已超过磁盘配命令fsck_vxfs(1m)可能发生转储,显示错误sendfile()未在VxFS上创建层次结构管理(HSM)DMAPI如果已启用FCL,则fscdsconvFSGAB导致机箱发生,因为VS引擎HAD未响应。ooltVxFSmmapHP-UX11.31上的性能降低Sock在vxfspock上保留的时间太长,且存在激烈争VeritasFileSystem6.0RP1中已解决的本节介绍VeritasFileSystem6.0RP1中已解决的事件 VeritasFileSystem6.0RP1中已解决的问由于旋转锁中断级别()libvxfssnap.sl库的二进制文件在inode时会转储。可以 中看到重复的文件名超出限制的write(2)操作因发生EDQUOT错误而失败fiostat命令在计数值为0时会转储在fscdsadm(1M)命令中验 时,需要计算PD的nlink计数执行带-r-R选项的fsckptadm(1M)命令时,会同时执行两个互vxfilesnapioctl不会刷新与源inode关联的任何脏缓冲区对到共享压缩扩展区的常规文件执行的写入操作会造成损坏 恢复后可能会出现元数据损坏使用DMAPI列出已分区 时不会将所有条目都列出当源文件系统中存在共享扩展区时,进程会转储使用fsadm(1M)命令重新组织文件系统时,系统可能会发生用于转换已损坏的文件系统或非VxFS文件系统的fscdsconv(1M)命令会生成。在fsmap(1M)UX:vxfsfsmap:ERROR:V-3-使用fsadm(1M)命令扩展或缩小DLV5文件系统会造成系统VeritasVolumeManager中已解决的问题本节介绍了此版本VeritasVolumeManager中已VeritasVolumeReplicatorClusterVolumeManager中已解决的问题。表1- VeritasVolumeManager中已解决的问VVR辅助节点在vol_rv_update_expected_pos中发生从GUI中应用模板文件之后,ESX发生name的输出中未显示pwwn。vxdmpraw实用程序,支持设置权限和rootnon-所并保持其持久性vxdgadddisk命令不允许磁盘组中混合克隆和非克隆磁无法配置ASM使用DMP本机块设备路径CVMfd在执行区域删除/添加操作后,I/O挂起svol_flush_srl_to_dv_startIO如果磁盘名称列表很长,则vxdiskrm命令将会发生如果卷在引导时启动,则voldco_or_drl_to_pvm中将发生混在vxsnap操作期间,vxconfigd驻留程序在所有集群 恢复的驻留程序在系统启动期间无法重新启动与磁盘组重建相关的问题VVR:repstatus磁盘联机时,vxconfigd驻留程序会发生转储导致系统挂起。无论磁盘大小如何,均不写入CDS磁盘的备份启用防护后,dmp_pr_do_reg中的节点在密钥期间发生站点故障(和包括主节点在内所有节点)导致所有点出现“无法配置驻留程”错误。CVM启动期间,vxconfigd驻留程序中存在SEGV如果主节点和辅助节点具有相同的主机名,且主节点上存在活动的状态会话,则vradmind驻留程序将发生转EMCBCV(NR)建立的设备导致出现多条DMP事件消息(已针对瘦LUNvxassistmirror命令由于statvfs失败而升级后,部分VxVM磁盘更改为错误状态,且磁盘组导入失因日志客户端上的I/O负载繁重,日志所有者缺少本地连I/Ovxconfigbackupd驻留程序无法正确处理中的NUM_BK空 留在 中I/O传送时,在集群中的curpri路径升级期间节点发生使用CVMvxesd驻留程序的SIGILL发生转储vxdiskresize命令可能会导致数据损坏添加/删除LUN已引入一小部分可能的内存如果磁盘的配置副本包含无效UDD则磁盘组导入将失败。启动32TBRAID5卷失败,并显示V-5-1-10128“Unexpectedkernelerrorinconfigurationupdate(配置更新中出现意外vxnetdstart和stop操作之间的争夺导致非活动状态的快照LUN使用数据更改对象(DCO)进行恢复时,主节点和从属节点中的执行vxassistmove操作之后,出现间歇性数据损坏盘将会分离,且所有磁盘均标记为RLOC。混合(非克隆和克隆)磁盘组导入时的消息增强大量I/Odmp_delayq和中。 驻留程序未唤醒,无法对其进行处理vxassistoorderedmediatype:hdd选项一起使vxdmpadmlistdmpnode打印的路径类型不正确(标记ID)”错误。SRL溢出后,IOIOSRL溢出和CVM ysisvxautoconvert命令需要手册页因日志客户端上的I/O负载繁重,VVRI/O删除任一节点中的SAN电缆时,导致所有节点中Oracle应用程序组关闭使用错误的语法执行vxdglisttag时,显示错误消息和正volcvm_msg_rel_gslock()中出现对空指针取消vxdiskadm命令自动执行LUN置备(添加)/删除步DMP- /etc/vx/.vxdmprawdev记录丢失EMCClariion磁盘状态在升级后更改为onlineclone_disk启动使用quit而不是exit,从而导致/tmp中存在空目vxvmconvertLVMVxVM:hpdisk在I/O负载繁重的情况下vxsnapaddmir命令有VIS开发一款用来获取磁盘相关属性(如几何结构、、质容量、分区信息等)的工具。vxdgmove事务未完成,并且备份失败rk不会重新连接。导入磁盘组时,在/var/adm/messages(syslog)文件中记vxdglistdgname命令显示错误“state=newfailed”vxdisk-finit已解决的LLT、GAB和I/O防护vxfen启动错误grep:can't/etc/vxfen.d/dp_uid_db出现错误的原因是vxfen启动尝试一个可能不存vxfen启动错误grep:can't/etc/vxfen.d/dp_uid_db出现错误的原因是vxfen启动尝试一个可能不存在的文件。通常,安装vxfen后首次启动时将显示此错误。如果将/etc/llttab文件peerinact值设置为0,则大量日志消息将充已解决的StorageFoundationforDatabases(SFDB)工具问1-12介绍了VeritasStorageFoundationforDatabasesSFDB)工具中已如果向如果向vxsfadm的-r选项提供不正确的主机名,则该命令会失败并显示与以下示例之一类似的错误消息FSMError:Can'tusestring("")asaHASHrefwhile"strictrefs"inuseat/opt/VRTSdbed/lib/perl/DBED/SfaeFsline776.SFDBvxsfadmERRORV-81-0609Repositorylocation这些错误消息不太明确如果数据卷和存档日志卷的镜像共享相同的磁盘组,则FahSnpSFAEError:0642:Storagefordiskgrouporadatadgisnot使用快照计划执行FlahSnp克隆后,使用dbed_vmclonedb从同一快照计划创建克隆的任何进一步尝试都将继续使用原始克隆SD,而不是使用neid参数指定的新SID。在重新同步快照计划时,如果在未指定新克隆SID的情况下重新创建快照,然后尝试使用新SD进行克隆,也会发现此问题。用于向用户的sfae_auth_op-oauth_user命令失败并显示以下错误SFDBvxsfadmERRORV-81-0384Unabletostorecredentialsfor<username>
已知的安装问使用基于的安装程序安装SFCFSHA安装程序时,可能会显示以下警告消息interpreter"/opt/VRTSperl/bin/perl"not解决方法:必须安装perl才能解决该问题。perl#cd#/usr/sbin/swinstall-x-xautoreboot=false-s`pwd`#hagrp-list#haconf-#hagrp-unfreezeservice_group-#haconf-dump-在VxFS文件系统上NetBackup6.5或更StorageFoundation(SF)6.0.1之前卸载所有VxFS文件系统(NetBackup二法查出是否在同一计算机上安装了NetBackup,并会卸载共享基础结构depotVRTSpbx、VRTSatVRTSicsco。这NetBackup停止工作。解决方法:在卸载NetBackup所在的VxFS文件系统之/usr/openv/netbackup/bin/version和/usr/openv/netbackup/version这两个文件到/tmp 。如果安装了集群NetBackup,则还必须将/usr/openv/netbackup/bin/cluster/NBU_RSP文件到/tmp NetBackup文件系统后,手动将这两个文件从/tmp到其原始 了集群NetBackup,则还必须将/usr/openv/netbackup/bin/cluster/NBU_RSP文件从/tmp到其原始 #mkdir-p#mkdir-p VRTSat和VRTSicscodepot。例如,可以clus1拆分clus1Aclus1B。但是,如果使用安装程序重新配置SFCFSHA,则安装程序会在以下位置中保留与在更改区域设置之后重新启动vxconfig驻留程序在更改了使用vxconfig驻留程序的节点的区域设置之后,需要重新启动该驻留程序。vxconfig驻留程序将在系统引导时启动。如果更改了区域设置,则需要重新启动该驻留程序。解决方法:请参考《VeritasStorageFoundationClusterFileSystemHighAvailability管理指南》中的“vxconfigd驻留程序恢复”一节。败:./installsfcfsha<version>-addnode。解决方法:设置passwordlessssh或remsh,然后运行-addnode命令其中:<version>是版本任何错误(2595441)错误。CVM协议版本无法在CVM脱机或有错误的节点上成功升级。如果CVM协议版本无法成功升级,请在CVM主节点上升级CVM协议。CVM主节点上升级CVM协议CVM#vxdctl-cCVM主节点上,升级CVM#vxdctl(2509330)如果您安装并启动了SFCFSHA,但之后使用installvcs配置了SFCFSHA,则当安装程序尝试停止并重新启动SFCFSHA驱动程序和进程时,某些驱动程序可能无法成功停止。驱动程序无法停止的原因是某些相SFCFSHA进程可能正处于运行状态。解决方法:要重新配置产品,请使用对应的installproduct命令重新配置产品。否例如,请使用installsfcfshaSFCFSHA,而不要使用installvcs删除6.0.1VRTS包后在swagent.log中显示错误消在删除6.0.1VRTS包之后、重新启动系统之前,您有时会在swagent.log文vxfsmount:V-3-21272:mount patiblewithfile显示以下消息的原因是删除了VRTS包但尚未加载内核。HP-UXPrecisionArchitecture(PA)平台上,如果运行安装程序时指定了某些选而该depot不是VxFS所必需的。停止Web安装程序导致出现错误消息称设备正忙终止start.pl在主节点上完成内核升级后,从属节点上的cvm组未解决方法:在执行滚动升级之前,确保集群未处于状态。的包(2821560)如果从5.0.1或早期版本升级,VRTSobc33、VRTSpbx和VRTSicsco包不会卸产品时,安装程序将卸载这些包。resstatechange触发器发出错CPIWARNINGV-9-40-4317TheinstallerhasdetectedthatresstatechangetriggerisconfiguredbysettingTriggerResStateChangeattributes.置TriggerResRestart属性,则将调用resrestart触发器。版本中提供了resrestart触发器。有关详细信息,请参考VCS文档。如果启用了SmartMove,则在重新挂接断开快照卷时,VeritasFileSystem模块可能无法卸载(2851403)如果启用了SmartMove,则在重新挂接断开快照卷时,VeritasFileSystem模块vxportal和vxfs可能无法卸载。重新挂接快照将导致vxportal模块的计数增请在卸载vxportal模块之前,手动卸VeritasVolumeManager模块(vxspecvxio、vxdmp)。此操作将减少vxportal模块的计数安装、配置或卸载SFCFSHA时,安装程序将提示您有选Symantec。如果安装程序遇到连接问题,则可能会出现类似如下的错误Statusreadfailed:Connectionresetbypeer<midia_path>/../perl/lib/5.14.2/Net/HTTP/Methods.pmlineVeritasStorageFoundationClusterFileSystemHighAvailability已知(SFCFSHA中的已知问题。root用户运CFS命令时CFS命令可在非root用户会话中运行任何CFS命令之前,使用halogin命令保存验 检查点。使用fsckptadm命令可以看到此问题:#fsckptadmgetquotalimit#fsckptadmquotaoff#fsckptadmquotaon#fsckptadmgetquotalimit 站点上联机(2107386)vx_bmap_lookup()中对空指针取消导致 使用当您卸载mntlock保护的VxFS文件系统时,如果该设备重复装入在不同的 则会发生系统。当调用hastop-local时,VCS引擎日志中显示“Configuration请使用haconf-makerw)”错误消息(2609137)CFSMount资源的SFCFSHA集群中的任何系统hastop-2011/11/1519:09:57VCSERRORV-16-1-11335ConfigurationmustbeReadWrite:Usehaconf-makerw(2170318)情况是因为MountAgent进程正在等待通知,但通知处于取消状态。从辅助节 inode 和修改时间从辅助节点主节点所拥有的文件时,不会在主节点上更新inode的时间和文件系统检查驻留程序(vxfsckd)在异常终止后,无法使用vxfsckd进程的新进程ID(pid)更新vxfsckd-pid文件。因此,CFSfsckd无法检测vxfsckd驻:要解决以root用户登录到节点#kill-9`ps-ef|grepvxfsckd|awk'{print删除vxfsckd-pid#rm/var/adm/cfs/vxfsckd-#hares-onlinevxfsckd_resname-sys在某些情况下,当fsadm等命令设置大量排除区域时,如果空闲扩展区的委派不可用,则集群文件系统应用程序可能会出现ENOSPC错误。手动终止vxfsckd并重新启动集群节点时,vxfsckd资源无法hastop-rm/var/adm/cfs/vxfsckd-VeritasVolumeManager中的已知VeritasVolumeManagervxrecover命令失败,并显示:Cannot/etc/vx/type/static/vxassist:NosuchfileordirectoryCannotexecute/etc/vx/type/static/vxassist:Nosuchfileor如果在执行vxrecover操作的过程中出发了卷的增加或缩小恢复操作,则通常/etc/vx/type/static/vxassist如果即使站点一致性关闭之后,Plex分离操作仍执行,则完整站点将会分离(2845383)服务器与Voting磁盘断开连接后发生此问题发生在A/P阵列上。如果Voting磁盘与主路径断开连接,则DMP需要一段disktimeout的默认值为200。如果可调参数的值小于该值,请将该值重置为默认值。要将disktimeout设置为200,请执行以下操作$CRS_HOME/bin/crsctlsetcssdisktimeout200[-force]已启用ioship的节点的层叠故障可能会导致vxconfigd驻留程序挂起(2865771)下挂起。从在本地与磁盘断开连接的从属节点中启I/O时,I/O将传送到其他节节点重新加入集群,则层叠故障可能会导致vxconfigd驻留程序挂起。在某些路径上失败(2091619)对IO可。原留序照过调数dp_resore_nrald_restore_intervl参O升级到VxVM6.0.1后不会持续保留磁盘阵列属性的VeritasVolumeManager(VxVM)6.0.1中的某些阵列名称不同于5.1SP1之前版本中的阵列名称。因此,如果从早期版本升级到VxVM6.0.1,磁盘阵列属性的变化可能不会持续保留。升级到VxVM6.0.1后,为这些阵列设置的任何磁盘阵列属性都TagmaStore-TagmaStore-Hitachi_USP-Hitachi_USP-<新增部分TagmaStore-TagmaStore-Hitachi_USP-Hitachi_USP-<新增部分HitachiAMS2300新阵列名称基于型号8x。例如,AMS_100、AMS_2100、AMS_2300、AMS_2500,等等VIX3PAR(ASL)现在会将报告的机柜号由十六进3PARDMP设备上使HP-UXLVM时,如果DMP设备的基于磁盘阵列的名称包含s#vxdmpadmsetattrenclosureenclr_namevxdglistclone命令输出可能未列出带有clone_diskudid_mismatch标志的所有磁盘ClusterVolumeManager环境中,vxdglistclone命令输出可能未列出带clone_disk或udid_mismatch标志的所有磁盘。此问题可能会出现在主/从节点中。管理员必须先运行vxdiskscandisksvxdiskoalldgslist,再vxdglistclone,以便获取各主机上包含clone_disk或udid_mismatch标志的所有磁盘。如果在非A/A上配置了CVM,则当节点无法通过所有主路径时,集群中的所有节点都将切换到辅助路径。如果协议的节点离开集群,而且集群中的当未运行vxconfigd的CVM从属节点失去与数据磁盘的连接时出现问题(2562889)如果未运行vxconfigd的CVM从属节点失去与数据磁盘的连接,则当vxconfigd 任何事务(如VxVM配置更改)。CVM主节点上重新启动vxconfigd只有主节点支持vxcdsconvert实用程序磁盘处于本地故障(lfailed)状态时重新启用连接ClusterVolumeManager(CVM)集群中,您可以使用vxdmpadmdisable命令在控制器或磁盘阵列级别禁用与磁盘的连接。此种情况下,CVM可以将磁盘置于#vxdisk在所有节点上重新启动vxconfigd之后CVM从属节点上的磁盘状态问题(2615680)当CVM主节点和从属节点失去权限,并且在所有节点上重新启动vxconfigd之后,CVM从属节点上的磁盘状态将显示为无效。恢复连接使用IBMStorwizeV7000系统时,删除一个阵列节点后,也会删除对应的控#vxdmpadmsetattrenclosureencl1recoveryoption=throttle\SANVC(DMP)vxdctl#vxdctlIBMXIVVeritasStorageFoundationClusterFileSystemHighAvailability5.x6.0.1可能VeritasStorageFoundationClusterFileSystemHighAvailability5.1SP1版本中启动时,IBMXIV磁盘阵列的阵列支持库(ASL)会将LUN序列号从十六进制转换为十进制。由于此更改,磁盘阵列名称将与5.1SP1版本之前的版本不同。如果将VeritasStorageFoundationClusterFileSystemHighAvailability从该版本之前的的上的上
版本,则XIVLUN可能会处于错误状态。请注意,的RP已修改,可将相同的逻辑应用于磁盘阵列名机制在ClariionLUN到不同于其快照的主机时,出现持续侵入循环(2761567)上述行为将导致这些LUN中出现循环。#vxdmpadmsettunevxrecover命令无法正确地处理RAID5卷vxvol实用程序,按照如下所示手动恢RAID5#vxvol-gdiskgroupresync同步无法完成(2788077)-#usr/lib/vxvm/type/fsgen/vxplex-Ufsgen-gdiskgroup-oforceuseoptattvolume将(2828328)此问题通常出现在大型LUN设置中。在某些情况下,完成DMP设备扫描之后将。DMP设备扫描是使用vxdiskscandisks命令或vxdctlenable命令生成的。即使OSioscan可以发现设备,但VxVM/DMP无法发现。如果磁盘组具有DC像卷或快照,则不支持使用-o和-ouseclonedev选项进行BCVLUN的磁盘组导入。M的UD唯标所对。DCO卷将镜和照的GI-opded和-oselodevM配置的U新DCO的U及DCO的操作将法使用UD查找象,有可能导致及DCO如果无法属于卷的任意Plex的磁盘,则主节点无法执行恢由于无法属于卷的任意Plex 如果要加入丢失的磁盘,则需延长VCSVolumeManager命令延迟(2757198)在包含EMCPowerPath所管理设备的环境中,断开连接会导致VeritasVolumeManager命令延迟。如果丢失,则VxVM从每个LUN路径发送SCSI查询,检查路径的运行状况,这将因EMCPowerPath的存在而导致出现延迟。#vxdg-ouseclonedev=onimportEI磁盘进行动态N享(D)盘式。使用vxcdsconvert实用程序将磁盘格式转换为CDS系统可能无法从瘦LUN上的VxVM根磁盘中引导。这是一种间歇性问题,仅在使用瘦LUN时会出现。引导过程将中止,并显示以下错误:SystemConsoleisontheBuilt-InSerialInterfaceAF_INETsocket/streams 和其他驱动程序具有不正确的版本。kcmodule-v vxdmp VxVMDMP WedAug110:17:122012 static(beststate)StateatNextBootstatic(beststate) staticunusedDependsOninterface(2876256)#vxdisk-f-gdiskgroupsetda_name#vxdisk-f-gdiskgroupsetdm_nameCVMVolDg可能无法逐出CVM磁盘将根据CVMVolDg资源脱机的顺序依次逐出CVM磁盘组。如果磁盘组中CVMVolDg资源的CVMDeportOnOffline10的混合设置,则仅当最后一个脱机的CVMVolDg资源的属性值为1时,才会逐出磁盘组。如果最后一个脱机的CVMVolDg资源的属性值为0,则不会逐出磁盘组。解决方法:如果为共享磁盘组配置了多个CVMVolDg资源,请针对所有资源CVMDeportOnOffline属性值设置为1VeritasFileSystem中的已知本节介绍此版本的VeritasFileSystem(VxFS)中的mesg001:V-2-1:vx_nospace-file_systemfilesystemfull(sizeblockextent):使用100% 2011/10/2601:38:58Endfullscanwitherror2011/10/2601:35:09DEDUP_ERRORAddBlockfailed.Error=缩小文件系统时vxresize失败并显示“blocksarecurrentlyinuse(块当前正在使用)”错误(2437138)率时,vxresize缩小操作可能会失败。您会看到与以下示例类似的消息:UX:vxfsfsadm:ERROR:V-3-20343:cannotshrink/dev/vx/rdsk/dg1/vol1-blocksarecurrentlyinuse.VxVMvxresizeERRORV-5-1-7514Problemrunningfsadmcommandforvolumevol1,indiskgroupdg1 条目(2623412)在HP-UXNFS服务器上导出某个VxFS文件系统后,如果通过NFS客户端该文件系统,该文件系统可能不会列出分区中的所有条目。只有HP-UXNFS服务器和VxFS磁盘布局版本8及更高版本才会出现此问题。vx_freeze_block_threads_all()中可能会出现失败中可能会出现失败。vx_worklist_lk()调用中的互斥争用最多可100%占用单CPU。 已知的问本节介绍此版本VeritasStorageFoundationClusterFileSystemHigh 6.0版本VVR升级到IPv6的环境后RVG、数据卷和/SRL名称中指定冒号,vradmin命令可能无法工作。另VVR升级到仅IPv6的环境后,如果提供的RVG、卷和/或SRL名称包含冒号,则vradmincreatepri解决方法:在VVR配置中,不得在卷、SRLRVG名称中指当vradmin命令运行时,vradmind可能会暂时失去时,vradmind可能会暂时失去心跳,随后此类命令会终止并显示以下错误消息:VxVMVVRvradminERRORV-5-52-803Lostconnectiontohosthost;terminatingcommandexecution.根据应用程序I/O工作负载和网络环境,在RDS大该值。以下示例将超时值增大到120秒。RDSvradmind,使新的值生效。在RDS的所有主机上输入以下命#/sbin/init.d/vras-vradmind.sh#/sbin/init.d/vras-vradmind.shvradminsyncvol命令与IPv6地址的兼容性IPv6 故障回复期间,RVGPrimary在原始主节点和Bunker之间启动的操作失败(2054804) 和Bunker之间启动 VxVMVVRvxrlinkERRORV-5-1-5282Errorgettinginformationfromremotehost.InternalError.此问题适用于包含Bunker配置的局集群其中的Bunker用配kerkery故障回复之前,请确保Bunker故障回复后,请在原始主节点上逐出然后导入Bunker尝试在不受VCS控制的情况下启动操作ClusterFailoverPolicy设置为AUTO时,不会发生Bunker重放全局集群故障转移某个应用程序服务组所需的时间有时可能少VVR在检测与主VPrarySRVGPrimary:RVGPrimary:online:Diskgroupbunkerdgnamecouldnotbeimportedonbunkerhosthostname.Operationfailedwitherror256andmessageVxVMVVRvradminERRORV-5-52-901NETWORKERROR:Remoteserverunreachable...TimestampVCSERRORV-16-2-13066(hostname)Agentiscallingcleanforresource(RVGPrimary)becausetheresourceisnotupevenafteronlinecompleted.当配置中包括BunkerRVGPrimary资源的OnlineRetryLimit属RVGPrimary无法使应用程序服务组在新主站点上联机点,或者如果先前的ElectPrimary命令未成功完成,则可能会发生这种情况。解决方法:使vxrvggdg-Psnap_prefixsnapdestroyrvg命令手动破坏VxFS文件系统的快照卷可能无法在行VxFS文件系统读写装入时,可能会失败(1558257)UX:vxfsmount:ERROR:V-3-21268:/dev/vx/dsk/dg/snapshot_volumeiscorrupted.needschecking 2:的数据卷时,可能会失败,并显示以下错误:UX:vxfsmount:ERROR:V-3-21268:/dev/vx/dsk/dg/data_volumeiscorrupted.needschecking处于对于问题1,请在辅助站点的快照卷上运行fsck命令,以还原驻留在快照上的文件#fsck-Fvxfs对于问题2,请在新主站点的数据卷上运行fsck命令,以还原驻留在数据卷上#fsck-Fvxfsvxassistrelayout会删除DCM不会显示任何消息来指明这种情况。要还原DCM,请输入以下命令:#vxassist-gdiskgroupaddlogvolvxassist和vxresize操作对与RVG关联的分层卷不起调整与RVG关联等待RLINK#vxrlink-gdiskgroupstatus停止受影响的RVG。输入以下命令#vxrvg-gdiskgroupstop将卷与RVG#vxvol-gdiskgroupdis调整卷大小。在本示例中,卷的大小将增加到10GB。输入以下命令#vxassist-gdiskgroupgrowtovol将数据卷关联到RVG#vxvol-gdiskgroupassocrvg启动RVG#vxrvg-gdiskgroupstart如果没有额外的LUN来镜像数据更改,则创建主磁盘组失(2478684)如果没有额外的LUN来镜像数据更改(DCM),则即使具有足够的磁盘空间,解决方法:在创建主磁盘组之前,将LUN添加到磁盘组当在版本5.1与6.0之间进行时,vradminverifydata操作失败(2360713)StorageFoundation5.1的主机和运行StorageFoundation6.0的主机组成的跨版本VVR环境中进行时,vradminverifydata命令失败并出现以下VxVMVVRvxrsyncERRORV-5-52-2222[fromhost]:VxVMin.vxrsyncdERRORV-5-36-2125Servervolumeaccesserrorduring[assignvolids]volumepath:[/dev/vx/dsk/dg/snapshot_volume]reason:[thiscouldbebecauseavolumeisdisabledoranrlinkassociatedwithavolumeisnotdetachedduringsyncoperation].StorageFoundation5.1StorageFoundation5.1SP1或更高版本,然后重新运行vradminverifydata命令。请参考VeritasStorageFoundationandHighAvailabilitySolutionsReplicationAdministrator'sGuide(《VeritasStorageFoundationandHighAvailabilitySolutions管理指南》)的VerifyingthedataontheSecondary(验证辅辅助节点是的,并要求先暂停,然后运行带有-verify选项的vradminsyncrvg命令。无法将RVG中的数据卷从连续布局转换为条带镜像布局将RVG中的数据卷从连续布局转换为等待RLINK#vxrlink-gdiskgroupstatus停止受影响的RVG。输入以下命令#vxrvg-gdiskgroupstop将卷与RVG#vxvol-gdiskgroupdis#vxassist-gdiskgrouprelayoutvollayout=stripe-将数据卷关联到RVG#vxvol-gdiskgroupassocrvg启动RVG#vxrvg-gdiskgroupstartvradminverifydata可报告cross-endian环境中的差异在跨平台环境的两个节点之间进行并且执行自动同步或 verifydata命令可能会报告差异。这是由于平台之间不同的字节 在CVR环境中重新配置集群之后,vradminrepstatus操作可能会显示配置错误(2779580)NoPrimary运行vxrvgsnaprestore操作时I/O在主节点上挂起在CVR环境中,如果将辅助节点设置为RVG执行主节点切换操作后 功能可能不起作用VxVMVVRvxrlinkERRORV-5-1-15861Commandisnotsupportedforcommandship.Operationmustbeexecutedonmaster在执行主节点切换操作后还原vradmin#/sbin/init.d/vras-vradmind.sh#/sbin/init.d/vras-vradmind.sh重新输入失败令vxrecover命令不会自动恢复RVG中的分层卷无法正确地处理分层卷。恢复进程无法恢复仍然保持为NEEDSYNC状态的子卷。#vxvol-gdiskgroupresync已知LLT本节介绍此版本中已知的LLT相关问题LLT端口统计数据有时显 t大于recvbytes随着每个数据包的接收,LLT会增大下列变量这量整着的,recbes会迅速到或超过MX_IN。致recvyes于 t值。但这并不影响LLT导致LLT链路之一无法启动(2848001)会导致链路之一关闭。运行lltstat-nvv命令,了解关闭的链路。解决方法:在重新启动的节点上重新启动LLT无法使CPI响应文件将节点添加到使LLToverUDP的集群(2869763)运行addnode-responsefile命令时,如果集群正使LLToverUDP,则新节点上生成的/etc/llttab文件不正确。因此,此过程将会失败,且您无法使用CPI响应已知的GAB本节介绍此版本中已知的GAB相关问题当取消初始化GAB客户端时,gabdebug-RGabTestDriver命令将refcount值记录为2(2536373)在使用-nodeinit选项取消gtx端口后,gabconfig-C命令将refcount显示为1。但是,当运行强制性的deinit选项(gabdebug-RGabTestDriver)来取消初始化GAB客户端时,将记录类似如下的消息。GABINFOV-15-1-ClientGabTestDriverwithrefcount2forciblydeinitedonuserGAB可能由于没有响应而发生GAB可能由于没有响应而发生。此问题是线程在vx_event_wait()调用 极短的时间段中发生,最终导致GAB主节点。已知的I/O防护针对LLT、GAB和VXFEN报告的启动或关闭失败消息如果在安装SFCFSHA时需要重新启动系统,LLT、GAB和VXFEN的init会如果协调点服务器(CP服务器)无法侦听vxcps.conf文件中提到的或使用命令行动态添加的任何IP地址,则CP服务器定期记录错误以指示该故障。记录将一直继续,直到成功绑定该IP地址。CPSERRORV-97-51-103Couldnotcreatesocketforhost0onport14250CPSERRORV-97-1400-791Coordinationpointservercouldnotopenlisteningport=[0]:14250Checkifportisalreadyin解决方法:使用cpsadmrm_port操作,从侦听的IPIP有关详细信息,请参见《VeritasStorageFoundationClusterFileSystemHighAvailability管理指南》。即使集群节点未向CP服务器,防护端口b也会出现几秒(2415619)vxfenmode文件中提供协调点服务器(CP服务器)信息,然后启动防护,则即使集群节点未在CP服务器上,防护端口b也会在出现几秒钟后。用安装程序,安装程序会在配置期间将集群信息添加到CP服务器。如果应用集群中未配置LLT,则cpsadm命令失败如果在运行cpsadm命令的应用集群节点上未配置LLT,则cpsadm命令无法与协调点服务器(CP服务器)通信。您会发现类似如下的错误:#cpsadm-s00-aCPSERRORV-97-1400-729PleaseensureavalidnodeidusingenvironmentvariableCPSERRORV-97-1400-777ClientunabletocommunicatewithCP服务器上运行cpsadm命令,则即使在承载CP服务器的节点上未配置LLT,此问题也不会LLT,则CP服务器cpsadm命令总是将LLT节点ID假设为0。cpsadm需要将本地节点LLTID发送到CP服务器。但是,如果临时取消配LLT节点ID。在这种情况下,cpsadm命令失败。解决方法:将CPS_NODEID环境变量的值设置为255。如果cpsadm命令无法从获取LLT节点ID,则该命令CPS_NODEID变量并且继续进行操作已存在裂脑消息(2433060)在/var/VRTSvcs/log/vxfen/vxfen.logVXFENvxfenconfigERRORV-11-2-Detectedapreexistingsplitbrain.Unabletojoin在/var/VRTSvcs/log/vxfen/vxfen.logoperationCPSERRORV-97-1400-446Un-authorizedusercpsclient@sys1,typevx;notallowingaction应用集群中的vxfend驻留程序查询协调点服务器(CP服务器),以检查GAB成员集中显示的集群成员是否已向CP服务器。如果应用集群出于某种原因未VxFEN之前,请确保集群详细信息(例如集群名称、UUID、节点和权限)已添加到CP服务器。(2531561)vxfenswap实用程序在每个集群节点RSHSSHvxfenconfigo命令,则RSH测节点上的协调点验证是否失败。vxfenswap继续从这点进行VxFEN驱动程序时,则会失败。失败之后,它回滚整个操作,彻底退出,并显示个非零错误代码。如果您使用SSH(-n选项)运行vxfenswap,则SSH可以正确地检测协调点验证并立即回滚整个操作。解决方法:将vxfenswapSSH(-n选项)一同使用如果VxFEN取消配置在内核中未完成其处理,而同时您又尝试启动VxFEN,则可能会在/var/VRTSvcs/log/vxfen/vxfen.log文件中看到以下错误:VXFENvxfenconfigERRORV-11-2-1007VxfenalreadyVXFENvxfenadmERRORV-11-2-1115Localnodeisnotamemberof解决方法:过一段时间后再启动VxFENvxfenconfig-l命令输出不列出端解决方法:当将自定CP/etc/vxfenmode文件中保留port=<port_value>设置。默认端口值为14250。安全CP服务器
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 财务制度合同管理范例
- 公司汽车租赁协议合同
- 有关个人和企业借款合同
- 小区门口门面租赁合同
- 进口销售合同
- 金融行业投资产品风险提示合同
- 湖南环境生物职业技术学院《ntroductontoMarketng》2023-2024学年第二学期期末试卷
- 运城师范高等专科学校《社会化阅读》2023-2024学年第二学期期末试卷
- 上海师范大学天华学院《展具设计》2023-2024学年第二学期期末试卷
- 中山职业技术学院《工程流体学》2023-2024学年第二学期期末试卷
- 班会课件:逆风飞翔破茧成蝶-从《哪吒之魔童闹海》看青春期的成长与责任
- 2.1 坚持依宪治国 教案 -2024-2025学年统编版道德与法治八年级下册
- 【语文试卷+答案】2024-2025学年泉州高二上期末质检
- 《修缮定额讲解》课件
- 大学学生宿舍管理员工作培训
- 初三物理常识试卷单选题100道及答案
- 浙江2024公务员考试真题及答案
- 初中新课标培训课件
- 2025年吉林省吉林市事业单位招聘入伍高校毕业生54人历年高频重点提升(共500题)附带答案详解
- 公司银行贷款申请书范文
- 机械设计制造及其自动化专业知识
评论
0/150
提交评论