版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
双机热备及高可用性技术常见问题与方案选择?双机热备、双机互备与双机双工的区别?心跳故障检测过程说明?常见问题与方案选择对于企业重要的应用系统而言,保证系统能持续、可靠地提供服务是非常重要的,因此就出现了对高可用性的需求和高可用性的解决方案。对于如何选择高可用性的解决方案,特别是关于双机热备的方案选择,常见的有以下问题:Q:已经采取了RAID技术和数据备份技术,还有必要做双机吗?A:参见:双机热备与数据备份及RAID的关系Q:高可用性的解决方案有哪些?A:从广义讲,高可用性包括一切避免系统服务中断的技术。而一般所说的系统高可用性,往往特指服务器的双机或多机热备/容错。Q:什么时候需要双机热备?A:决定是否使用双机热备,正确的方法是要分析一下系统的重要性以及对服务中断的容忍程度,以此决定是否使用双机热备。即,你的用户能容忍多长时间恢复服务,如果服务不能恢复会造成多大的影响。。:双机热备、双机互备与双机双工三个概念都是什么意思?有什么区别?A:参见:双机热备、双机互备与双机双工的区别。:双机热备方案与集群的区别?A:从概念上,双机热备是集群(Cluster)的一种。集群一般包括两类,一类是纯粹应用服务器的集群,各个应用服务器都访问统一的数据库服务器,但彼些并不需要共享存储,这种集群是比较简单的,往往采取各个服务器同时提供服务的方式,并且往往同时采用负载均衡技术。另一类是数据库服务器(或其他需要访问存储数据的系统如Exchange.Notes)的双机热备,这种双机热备往往是两台服务器同时使用共享的存储设备,在大多数情况下,均是采取主、备的方式,但也有高端的系统采用并行的方式。有关应用服务的集群,请参见:谈Web服务器和应用服务器的负载均衡Q:数据库服务的高可用性有几种方式?A:最简单的,是采用备机的方式。这其实不属于高可用性的范围,但可以将出现故障后恢复服务的时间控制在几十分钟的量级,而且备机平时还可用作其他用途。这种方式是一种低成本的简单方案,对于不是非常重要的应用比较适合。它不适用于重要应用,但是除非你的应用停上几天都无所谓,否则至少要有这一级别的保护措施。第二种是通过软件方式实现双机热备。即不采用共享的存储设备,而是数据不再单点存储,本机数据可以向多台主机做实时的数据复制。这种方式的优点是节省了昂贵的存储设备投资。缺点是或者会产生数据的差异,或者会影响数据库的速度。比如,如果在服务中断时切换到备机,则可能有少量已经在主机完成的事务在备机上尚未实现。而与备份数据的恢复不同,备机启动后,后续的操作已经进行,因此丢失的事务就很难补上。因此,这种方式适用于对于丢失少量数据不是非常敏感的系统。有关这种方式的深入探讨,可参见:镜像与HA-数据库双机热备的两种方式第三种是基于共享存储设备和双机软件实现双机热备。这是标准的方法,能够在无人值守的情况下提供秒级的切换,并且不会丢失数据。当然,投资会比较高。Q:数据库双机热备时,双机是同时工作吗?A:在一般的中小规模应用中,数据库的双机热备都是主/备方式,主服务器工作时另一台等待,在主服务器出现故障时借助双机软件自动切换至另一台服务器。而有些大规模应用为充分利用设备,可以采用并行服务的方式,两台服务器同时提供服务,如Oracle的RAC(OracleRealApplicationCluster)。Q:如何选择与实施系统高可用性方案?A:参见:如何选择与实施系统高可用性方案?目前,市场上主要的基于Windows和Linux平台的双机软件包括LifeKeeper、RosaHA、Pluswell等。双机热备、双机互备与双机双工的区别双机热备即是目前通常所说的active/standby方式,服务器数据包括数据库数据同时往两台或多台服务器写,或者使用一个共享的存储设备。当active服务器出现故障的时候,通过软件诊测(一般是通过心跳诊断)将standby机器激活,保证应用在短时间内完全恢复正常使用。双机互备,在双机热备的基础上,两个相对独立的应用在两台机器同时运行,但彼此均设为备机,当某一台服务器出现故障时,另一台服务器可以在短时间内将故障服务器的应用接管过来,从而保证了应用的持续性。这种方式实际上是双机热备的一种应用。它避免了两个应用使用四台服务器分别实现双机热备。双机双工,两台或多台服务器均为活动,同时运行相同的应用,保证整体的性能,也实现了负载均衡和互为备份。需要利用磁盘柜存储技术(最好采用san)。对于数据库服务而言,它同时需要数据库软件的支持,是比较复杂的。而WEB服务器或应用服务器就比较简单了,可参见:谈Web服务器和应用服务器的负载均衡谈Web服务器和应用服务器的负载均衡本文对Web服务器和应用服务器的负载均衡进行说明。在负载均衡的思路下,多台服务器为对称方式,每台服务器都具有同等的地位,可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术,将外部发送来的请求按一定规则分配到对称结构中的某一台服务器上,而接收到请求的服务器都独立回应客户机的请求。提供服务的一组服务器组成了一个应用服务器集群(cluster),并对外提供一个统一的地址。当一个服务请求被发至该集群时,根据一定规则选择一台服务器,并将服务转定向给该服务器承担,即将负载进行均衡分摊。通过应用负载均衡技术,使应用服务超过了一台服务器只能为有限用户提供服务的限制,可以利用多台服务器同时为大量用户提供服务。当某台服务器出现故障时,负载均衡服务器会自动进行检测并停止将服务请求分发至该服务器,而由其他工作正常的服务器继续提供服务,从而保证了服务的可靠性。上述的集群技术一般都用于Web服务器、应用服务器等,而不是用于数据库服务器,即不是用于有共享的存储的服务。数据库服务器将涉及到加锁、回滚等一系列问题,要复杂的多。一般数据库服务器只是使用双机,其中一台工作,另一台备份。数据库的双机并行只用于大型数据库中。可参见:系统高可用性与双机备份常见问题与方案选择负载均衡实现的方法有几种:最简单的是通过DNS,但只能实现简单的轮流分配,也不能处理故障如果是基于MSIIS,Windows2003Server本身就带了负载均衡服务。但这一服务也只是轮流分配。硬件方式,通过交换机的功能或专门的负载均衡设备可以实现。对于流量的分配可以有多种方式,但基本上都是应用无关的,与服务器的实现负载关系也不大。另外,设备的价格较贵(优点是能支持很多台服务器)。这种方式往往适合大流量、简单应用。软件方式,通过一台负载均衡服务器进行,上面安装软件。这种方式比较灵活,成本相对也较低。另外一个很大的优点就是可以根据应用的情况和服务器的情况采取一些策略。关于负载均衡中比较高级的功能是FailOver,即一台出现故障时,在这台服务器上正在进行中的进程也会被其他服务器接过去。相应的成本也很高,一般是要象WebLogic、WebSphere软件的群集版本才支持。心跳故障检测过程说明PlusWellCluster容错软件在集群节点间保持着间歇的通信信号,也叫做心跳信号,是错误检测的一个机制。即通过每一个通信路径,在两个对等系统之间进行周期性的握手,如果连续没有收到的心跳信号到了一定的数目,PlusWellCluster容错软件就把这条路径标示为失效(红色)。如果你只定义了一条通信路径,当PlusWellCluster容错软件把这唯一的一条通信路径标为失效时,PlusWellCluster容错软件便立即开始恢复过程。然而,如果你有冗余路径,PlusWellCluster容错软件能够通过第二条路径确定是系统故障还是只是通信路径有问题。如果PlusWellCluster容错软件开启优先级第二的通信路径并收到了心跳信号,它就不开始failover恢复,只需要把第一条通信路径标成红色(失效)作为信号告诉你需要修复有故障的路径。一般情况下PlusWellCluster容错软件只在下列事件发生时,启动系统恢复功能:所有的通信路径故障。如果所有节点都没能收到心跳信号,把所有通信路径都标为失效,PlusWellCluster容错软件开始安全检查。安全检查失败。当所有通信路径故障时,PlusWellCluster容错软件向整个网络发出安全检查信号。如果信号指出配对系统还“活”着的时候,PlusWellCluster容错软件不启动Failover。如果安全检查没从配对节点返回信号,PlusWellCluster容错软件就开始Failover。因而,为了减少由于潜在的通讯错误所引起的不必要的系统切换,建议您使用不同介质的多条通信路径。双机热备与数据备份的关系一些用户在规划双机热备或双机备份时,会有这样的问题:我已经有了RAID,以及磁带备份,还有必须做双机吗?或者,如果我做了双机备份,还有必要做磁带备份吗?应该说RAID和数据备份都是很重要的。但是,RAID技术只能解决硬盘的问题,备份只能解决系统出现问题后的恢复。而一旦服务器本身出现问题,不论是设备的硬件问题还是软件系统的问题,都会造成服务的中断。因此,RAID及数据备份技术不能解决避免服务中断的问题。对于需要持续可靠地提供应用服务的系统,双机还是非常重要的。只要想一想,如果你的服务器坏了,你要用多少时间将其恢复到能正常工作,你的用户能容忍多长的恢复时间就能理解双机的重要性了。从另外一个方面,RAID以及磁带备份也是非常需要的。对于RAID而言,可以以很低的成本大大提高系统的可靠性,而且其复杂程度远远低于双机。因为毕竟硬盘是系统中机械操作最频繁、易损率最高的部件,如果采用RAID,就可以使出现故障的系统很容易修复,也减少服务器停机进行切换的次数。数据备份更是必不可少的措施。因为不论RAID还是双机,都是一种实时的备份。任何软件错误、病毒影响、误操作等等,都会同步地在多份数据中发生影响。因此,一定要进行数据的备份(不论采取什么介质,都建议用户至少要有一份脱机的备份),以便能在数据损坏、丢失时进行恢复。Oracle,HA在Unix上双机环境的安装指南将我们最近在6000上安装ORACLE和HA的东西整理了一下,希望对大家有帮助。一、环境1、硬件环境IBMM852台IBM7133-D40SSA磁盘阵列2、软件环境AIX4.3.3HACMP3、软件安装规划:软件类别软件名称软件状态备注操作系统AIX4.3.3已安装操作系统补丁AIXPATCH已安装补丁10,以及安装ORACLE需要的Iy30886、Iy30927、Iy31003补丁。热备软件HACMP4.4.1已安装数据库ORACLE9.2已安装4、磁盘规划:物理硬盘pdisk0pdisk1以raid1方式做成hdisk2,逻辑硬盘hdisk2放在vg01卷组上,正常工作时为M851服务;物理硬盘pdisk2pdisk3pdisk4pdisk5pdisk6pdisk7以raid1+0方式做成hdisk3,逻辑硬盘hdisk3放在vg02卷组上,正常工作时为M852服务;物理硬盘pdisk8作HOTSPARES;M851上的rootvg使用逻辑硬盘hdisk0与hdisk1做成镜像;M852上的rootvg使用逻辑硬盘hdisk0与hdisk1做成镜像;5、IP地址规划:主机名启动地址服务地址等待地址M851M852二、操作系统安装(1)安装基本操作系统将AIX安装盘第一张放入光驱打开计算机或在开机状态下重新启动(#reboot)当系统自检keyboard通过后,按"F5"(从光驱引导)系统提示:PleasedefinethesystemConsole后,按"1"(确认终端)系统提示:Typea"1"andpressEntertousethisterminalasthesystemconsole后按1(选择英语为安装语言)进入安装程序,按系统提示操作:选择"2Chang/showInstallationSettingsandInstall"其它选项不需改变,只需改以下两项:将安装方式改为"NewandCompleteInstallation"选择所要安装系统的disk开始installo"root"登录,接着出现系统设置(时间,密码等),设置完毕退出(2)选择安装基本软件包执行smitupdate_all命令,按F4选择/dev/cd0光驱进入SOFTWAREtoinstall选择所需安装的软件开头有"@”符即已安装过开头有"+"符即未安装过需要安装以下部分:bos.adtbos.perfbos.dosutiljava.*perfagent.tools(3)操作系统补丁安装1、基本补丁(AIXUPDATECD)需要将补丁版本升级至9或10。执行smitupdate_all命令,按F4选择/dev/cd0光驱。升级后可以使用instfix-i|grepML命令查看补丁版本情况,示例:Allfilesetsforwerefound.Allfilesetsforwerefound.Allfilesetsforwerefound.Allfilesetsfor4320-02_AIX_MLwerefound.Notallfilesetsforwerefound.Allfilesetsfor4330-01_AIX_MLwerefound.Allfilesetsfor4330-02_AIX_MLwerefound.Allfilesetsfor4330-03_AIX_MLwerefound.Allfilesetsfor4330-04_AIX_MLwerefound.Allfilesetsfor4330-05_AIX_MLwerefound.Allfilesetsfor4330-06_AIX_MLwerefound.Allfilesetsfor4330-07_AIX_MLwerefound.Allfilesetsfor4330-08_AIX_MLwerefound.Allfilesetsfor4330-09_AIX_MLwerefound.AllfilesetsforAIX43MLwerefound.此系统的补丁版本是92、特殊补丁(ORACLE安装需要)JRE2002-05-09、bos、JAVA131三个补丁包,在如下Iy30886、Iy30927、Iy31003三个文件夹中。将补丁包解包后文件拷贝至/usr/sys/inst.images目录下;运行如下命令:installp-acgXd/usr/sys/inst.images生成安装文件包;执行smitupdate_all命令,按F4选择/usr/sys/inst.images光驱。三、ORACLE安装(1)系统要求1、Oracle9iSERVER的硬件要求RAM>=512。使用此命令检查物理内存情况:lsattr-Elsys0-arealmemPAGINGSPACE一般来说等于2*RAM,最小400MB。使用此命令查看:lsps-a例:PageSpacePhysicalVblumeVolumeGroupSize%UsedActiveAutoTypehd6hdisk0rootvg480MB10yesyeslv使用smitlvm(逻辑卷册系统管理员管理)改变大小fPagingSpacefChange/ShowCharacteristicsofaPagingSpacef修改NUMBERofadditionallogicalpartitions这里每增加1个代表增加16MBTemporaryDiskSpace:/tmp目录下需要500MB;使用此命令查看:df-k安装目录磁盘空间:4G。2、Oracle9iSERVER的软件要求操作系统AIX”2.2操作系统补丁安装”部分3、创建oracle用户及dba组首先创建dba组:smitgroups->AddaGroup->在GroupName栏输入dba。仓^建oracle用户:smituser->AddaUser->在UserName栏输入oracle;在PrimaryGroup栏选择(F4)system;在GroupSet栏选择system和dba;在HOMEdirectory栏输入/home/oracle。(2)单机安装步骤实际操作是4个以cpio为扩展名的压缩包AIX64_SERVER_92010_DISK1〜4.CPIO的安装介质。先创建一个临时的文件系统,将安装包拷贝并释放到临时文件系统中,安装完毕后删除临时文件系统,步骤如下:1、创建一个新的文件系统并mount该文件系统SMITTYSystemStorageManagement(Physical&LogicalStorage)FileSystemsAdd/Change/Show/DeleteFileSystemsJournaledFileSystemsAddaJournaledFileSystemAddaStandardJournaledFileSystemVolumeGroupName选择默认项即可在设置界面中SIZE=6000000(3G)、MOUNTPOINT=/install回车创建完毕SMIT(图形界面中)SystemStorageManagement(Physical&LogicalStorage)FileSystemsMountaFileSystem设置界面中FILESYSTEMname=/dev/lv01(可选)、DIRECTORYoverwhichtomount=/install、TYPEoffilesystem=jfs(可选)OK2、将压缩包拷至临时文件系统上并解压缩将安装包光盘放入光驱mount光驱:mount-rvcdrfs/dev/cd0/cdrom拷贝文件到硬盘/ORACLE目录下:cd/oracle、cp/cdrom/AIX64_SERVER_92010_DISK1〜4.CPIO.cpio-idcmv<AIX64_SERVER_92010_DISK1〜4.CPIOunmount/cdrom->取出光盘->下一个文件删除AIX64_SERVER_92010_DISK1〜4.CPIQrmAIX64_SERVER_92010_DISK1〜4.CPIO3、安装以ORACLE身份登录,cd/install/Diskl目录,运行./Runinstaller脚本,提示按y后弹出安装界面同时另启一个窗口,以root身份登录,cd/install/Disk1目录,执行./rootpre.sh同时另启一个窗口,以root身份登录,在安装过程中需要执行/tmp/orainstRoot.sh、/home/oracle/OraHome1/root.sh两个脚本需要输入ORACLEHOME的名字和路径,如下ORACLE_HOME、/home/oracle/ora9InstallationTypes选择EnterpriseEdition->TransactionProcessingGlobalDataBaseName:ORA、SID:ORADirectoryForDataBaseFiles:/home/oracle/ora9/oradataCharacterSet:SimplifiedChineseZHS16GBK(可选择)JDKHome:usr/jdk_baseRoot登录执行/home/oracle/OraHome1/root.sh脚本EnterthefullpathnameofthelocalbinDIR:[/usr/local/bin]:回车4、ORACLESERVER启动步骤更新oracle用户的.profile和.dtprofile文件(用于设置环境变量)以oracle身份登录.profile文件和.dtprofile文件示例:ORACLE_BASE=/home/oracleORACLE_HOME=$ORACLE_BASE/ora9ORACLE_SID=orcla(A机/B机)ORACLE_OWNER=oracleORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataSHLIB_PATH=$ORACLE_HOME/libLD_LIBRARY_PATH=$ORACLE_HOME/libLN_CNTRL=L_PTHREADS_D7ORACLE_TERM=ansiPATH=$ORACLE_HOME/bin:$ORACLE_HOME/network/bin:$PATHexportPATHORACLE_BASEORACLE_HOMEORACLE_SIDORACLE_TERMexportORACLE_OWNERexportNLS_LANGORA_NLS33SHLIB_PATHLD_LIBRARY_PATHLN_CNTRL5、数据库实例的启动与关闭启动数据库实例sqlplus/nologconn/assysdbastartup关闭数据库实例sqlplus/nologconn/assysdbashutdownimmediate这里启动与关闭的实例的对象是由环境变量中ORACLE_SID指定的,可以通过export命令来改变它的值。例如:exportORACLE_SID=orcla6、数据库监听服务的启动与关闭启动监听器lsnrctlstart关闭监听器Isnrctlstop这里可以在命令的末尾加上监听服务的名字(在ORACLE_HOME/network/admin/listener.ora中配置),例如:lsnrctlstartlsnr_ta(3)在双机热备系统中ORACLE的安装1、磁盘状况描述A机与B机的本地各有两块硬盘作镜像;磁盘阵列划分成分别为TA和直销服务的两个物理卷;正常情况下:A机接管为TA服务的物理卷;B机接管为直销服务的物理卷。2、安装方法在A机和B机上创建dba组和oracle用户,两台机器的id需要保持一致,使用id命令看用户属性:idoracleuid=203(oracle)gid=0(system)groups=202(dba)在A机和B机上同时开始安装数据库,在A机指定数据库实例名时,指定TA的实例名,例如:SID=orcla;在B机指定数据库实例名时,指定直销的实例名,例如:SID=orclb;在A机指定数据库文件的路径时,指定TA在磁盘阵列上的路径,例如:DirectoryForDataBaseFiles:/adata/orcla;在B机指定数据库文件的路径时,指定直销在磁盘阵列上的路径,例如:DirectoryForDataBaseFiles:/bdata/orclb;4.ORACLE安装结束后,使A机接管直销的物理卷、B机接管TA的物理卷。操作步骤如下:在A机上unmountA机的文件系统unmount/adata;在A机上Deactivatesmittyvg->DeactivateaVolumeGroup->在VolumeGroupName栏内选择adatavg;在B机上unmountB机的文件系统/bdata命令:unmount/bdata;在B机上smittyvg->DeactivateaVolumeGroup->在VolumeGroupName栏内选择bdatavg;在A机上激活直销卷组smittyvg->ActivateaVolumeGroup->在VolumeGroupName栏内选择bdatavg;在A机上装配文件系统mount/bdata;在B机上激活TA卷组smittyvg->ActivateaVolumeGroup->在VolumeGroupName栏内选择adatavg;在B机上装配文件系统mount/adata;运行dbca创建数据库实例,在A机上创建直销的实例,在指定数据库文件的路径时,指定直销在磁盘阵列上的路径,覆盖原来在B机创建的数据库文件,例如:DirectoryForDataBaseFiles:/bdata/orclb;在B机上创建TA的实例,在指定数据库文件的路径时,指定TA在磁盘阵列上的路径,覆盖原来在A机创建的数据库文件,例如:DirectoryForDataBaseFiles:/bdata/orcla;注意创建的实例名和指定的数据库文件路径要和前面创建的实例保持一致。(在指定数据库文件路径时,所有CTL、.log、.DBF、.ORA的文件路径均需要手工指定到同一文件路径下)。把B机$ORACLE_HOME/dbs/目录下orapworcla和spfileorcla.ora两个文件拷贝到A机上$ORACLE_HOME/dbs/目录下;把A机$ORACLE_HOME/dbs/目录下orapworclb和spfileorclb.ora两个文件拷贝到B机上$ORACLE_HOME/dbs/目录下;修改两台机器$ORACLE_HOME/network/admin/目录下listener.ora和tnsnames.ora两个文件并保持一致,示例:listener.oraLSNR_A=(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC)))(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST==1521)))))LSNR_B=(DESCRIPTION_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST==1522)))SID_LIST_LSNR_A=(SID_LIST=(SID_DESC=(PROGRAM=extproc)(SID_NAME=PLSExtProc)(ORACLE_HOME=/home/oracle/ora9))(SID_DESC=(GLOBAL_DBNAME=orcla)(ORACLE_HOME=/home/oracle/ora9)(SID_NAME=orcla)))SID_LIST_LSNR_B=(SID_LIST=(SID_DESC=(GLOBAL_DBNAME=orclb)(ORACLE_HOME=/home/oracle/ora9)(SID_NAME=orclb)))tnsnames.oraorcla=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST==1521)))(CONNECT_DATA=(SERVICE_NAME=orcla)))orclb=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST==1522)))(CONNECT_DATA=(SERVICE_NAME=orclb)))8,在A机上ORACLE环境变量的ORACLE_SID指定TA的实例名,例如:ORACLE_SID=orcla;在B机上ORACLE环境变量的ORACLE_SID指定直销的实例名,例如:ORACLE_SID=orclb;行到水穷处,坐看云起时。由sirenzh于02-12-1815:22最后编辑02-12-1613:44[大中小]sirenzh一沙一界,一尘一劫注册日期:2001Nov来自:深圳技术贴数:95论坛积分:429论坛排名:2956论坛徽章:1Oracle,HA在Unix上双机环境的安装二四、HACMP的安装与配置(1)安装HACMP软件的安装与AIX基本*作系统选项软件的安装相同,用户可以根据需要选择安装HACMP软件,一般HACMP软件光盘上的内容全选。smitupdate_all选择光驱默认安装光盘上所有软件(2)配置1、/.rhosts在两台主机上用VI建立.rhosts文件,内容为:m851_svcm851_stbm851_bootm852_svcm852_stbm852_boot在两台机器上分别改变.rhosts文件的属性:chmod644.rhosts2、/etc/hosts在两台主机上的/etc/hosts文件中用VI编辑,内容为:m851_svcm851_stbm851_bootm852_svcm852_stbm852_boot3、配置网络拓扑结构smithacmp:屏幕显示hacmp菜单:HACMPClusterConfigurationClusterServicesClusterSystemManagementClusterRecoveryAidsRASSupportendofscreen选择ClusterConfiguration,ClusterConfigurationClusterTopologyClusterSecurityClusterResourcesClusterSnapshotsClusterVerificationClusterCustomModificationRestoreSystemDefaultConfigurationfromActiveConfigurationAdvancedPerformanceTuningParametersendofscreen选择ClusterTopologyClusterTopologyConfigureClusterConfigureNodesConfigureNetworksConfigureAdaptersConfigureSitesConfigureGlobalNetworksConfigureNetworkModulesConfigureTopologyServicesandGroupServicesShowClusterTopologySynchronizeClusterTopologyendofscreen选择ConfigureClusterConfigureClusterAddaClusterDefinitionChange/ShowClusterDefinitionRemoveClusterDefinitionendofscreen选择AddaClusterDefinition,并进行配置:AddaClusterDefinition[EntryFields]**NOTE:ClusterManagerMUSTBERESTARTEDinorderforchangestobeacknowledged.**ClusterID[188](输入)#ClusterName[test](输入)endofscreen添加成功后返回到ClusterTopologyClusterTopologyConfigureClusterConfigureNodesConfigureNetworksConfigureAdaptersConfigureSitesConfigureGlobalNetworksConfigureNetworkModulesConfigureTopologyServicesandGroupServicesShowClusterTopologySynchronizeClusterTopologyendofscreen选择ConfigureNodesConfigureNodesAddClusterNodesChange/ShowClusterNodeNameRemoveaClusterNodeendofscreen选择AddClusterNodes,并进行配置(添加两个Node,M851、M852):AddClusterNodes[EntryFields]NodeNames[m851](输入NodeName)endofscreenAddClusterNodes[EntryFields]NodeNames[m852](输入NodeName)endofscreen添加成功后,返回到ClusterTopologyClusterTopologyConfigureClusterConfigureNodesConfigureNetworksConfigureAdaptersConfigureSitesConfigureGlobalNetworksConfigureNetworkModulesConfigureTopologyServicesandGroupServicesShowClusterTopologySynchronizeClusterTopologyendofscreen选择ConfigureAdaptersConfigureAdaptersAdaptersonIP-basednetworkAdaptersonNonIP-basednetworkendofscreen选择AdaptersonIP-basednetworkAdaptersonIP-basednetworkDiscoverCurrentNetworkConfigurationAddanAdapterChange/ShowanAdapterRemoveanAdapterendofscreen选择AddanAdapter,配置m851_bootAddanIP-basedAdapter[EntryFields]AdapterIPLabelm851_bootNewAdapterIPLabel[]+NetworkType[ether]+NetworkName[test_eth]+NetworkAttribute[public]+AdapterFunction[boot]+AdapterIPaddress[AdapterHardwareAddress[]NodeName[m851]+Netmask[+endofscreen配置m851_stbAddanIP-basedAdapter[EntryFields]AdapterIPLabelm851_stbNewAdapterIPLabel[]+NetworkType[ether]+NetworkName[test_eth]+NetworkAttribute[public]+AdapterFunction[standby]+AdapterIPaddress[AdapterHardwareAddress[]NodeName[m851]+Netmask[+endofscreen配置m851_svcAddanIP-basedAdapter[EntryFields]AdapterIPLabelm851_svcNewAdapterIPLabel[]+NetworkType[ether]+NetworkName[test_eth]+NetworkAttribute[public]+AdapterFunction[service]+AdapterIPaddress[AdapterHardwareAddress[0x0002556affff]NodeName[m851]+Netmask[+endofscreen配置m852_bootAddanIP-basedAdapter[EntryFields]AdapterIPLabelm852_bootNewAdapterIPLabel[]+NetworkType[ether]+NetworkName[test_eth]+NetworkAttribute[public]+AdapterFunction[boot]+AdapterIPaddress[AdapterHardwareAddress[]NodeName[m852]+Netmask[+endofscreen配置m852_stbAddanIP-basedAdapter[EntryFields]AdapterIPLabelm852_stbNewAdapterIPLabel[]+NetworkType[ether]+NetworkName[test_eth]+NetworkAttribute[public]+AdapterFunction[standby]+AdapterIPaddress[AdapterHardwareAddress[]NodeName[m852]+Netmask[+endofscreen配置m852_svcAddanIP-basedAdapter[EntryFields]AdapterIPLabelm852_svcNewAdapterIPLabel[]+NetworkType[ether]+NetworkName[test_eth]+NetworkAttribute[public]+AdapterFunction[service]+AdapterIPaddress[AdapterHardwareAddress[0x0002556ad9ff]NodeName[m852]+Netmask[+endofscreen分别增加TTY在两台主机上:smittty选择:AddaTTYAddaTTYTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[TOP][EntryFields]TTYtty2TTYtypettyTTYinterfacers232DescriptionAsynchronousTerminalStatusAvailableLocation01-S4-00-00Parentadaptersa3PORTnumber[0]+EnableLOGINdisable+BAUDrate[9600]+PARITY[none]+BITSpercharacter[8]+NumberofSTOPBITS[1]+[MORE...35]在第二台主机上同样方法配置一个TTY。配置心跳线TTYClusterTopologyConfigureClusterConfigureNodesConfigureNetworksConfigureAdaptersConfigureSitesConfigureGlobalNetworksConfigureNetworkModulesConfigureTopologyServicesandGroupServicesShowClusterTopologySynchronizeClusterTopologyendofscreen选择ConfigureAdaptersConfigureAdaptersAdaptersonIP-basednetworkAdaptersonNonIP-basednetworkendofscreen选择AdaptersonNonIP-basednetworkAdaptersonNonIP-basednetworkAddanAdapterChange/ShowanAdapterRemoveanAdapterendofscreen选择AddanAdapter,并进行配置AddanAdapter[EntryFields]AdapterLabelm851_ttyNewAdapterLabel[]NetworkType[rs232]+NetworkName[test_tty]+DeviceName[/dev/tty2]NodeName[m851]+endofscreenAddanAdapter[EntryFields]AdapterLabelm852_ttyNewAdapterLabel[]NetworkType[rs232]+NetworkName[test_tty]+DeviceName[/dev/tty3]NodeName[m852]+endofscreen配置资源组:smithacmp:屏幕显示hacmp菜单:HACMPClusterConfigurationClusterServicesClusterSystemManagementClusterRecoveryAidsRASSupportendofscreen选择ClusterConfiguration,ClusterConfigurationClusterTopologyClusterSecurityClusterResourcesClusterSnapshotsClusterVerificationClusterCustomModificationRestoreSystemDefaultConfigurationfromActiveConfigurationAdvancedPerformanceTuningParametersendofscreen选择ClusterResourcesClusterResourcesDefineResourceGroupsDefineApplicationServersConfigureApplicationMonitoringDefineTapeResourcesDefineHighlyAvailableCommunicationLinksDiscoverCurrentVolumeGroupConfigurationConfigureDynamicNodePriorityPoliciesChange/ShowResources/AttributesforaResourceGroupClusterEventsChange/ShowRunTimeParametersChange/ShowClusterLockManagerResourceAllocationShowClusterResourcesSynchronizeClusterResourcesendofscreen配置应用服务器选择DefineApplicationServersDefineApplicationServersAddanApplicationServerChange/ShowanApplicationServerRemoveanApplicationServerendofscreen1.选择AddanApplicationServer,并进行配置AddanApplicationServer[EntryFields]ServerNameadata_appStartScript[/usr/sbin/cluster/appserver/startapp1]StopScript[/usr/sbin/cluster/appserver/stopappl]endofscreenAddanApplicationServer[EntryFields]ServerNamebdata_appStartScript[/usr/sbin/cluster/appserver/startapp2]StopScript[/usr/sbin/cluster/appserver/stopapp2]endofscreen增加资源组选择DefineResourceGroupsDefineResourceGroupsAddaResourceGroupChange/ShowaResourceGroupRemoveaResourceGroupendofscreen选择AddaResourceGroup,并配置两个资源组AddaResourceGroup[EntryFields]ResourceGroupNameresourcelNodeRelationshipcascading+ParticipatingNodeNames/DefaultNodePriority[m851m852]+endofscreenAddaResourceGroup[EntryFields]ResourceGroupNameresource2NodeRelationshipcascading+ParticipatingNodeNames/DefaultNodePriority[m852m851]+endofscreen配置资源组选择Change/ShowResources/AttributesforaResourceGroup,配置resource1和resource2配己置resource1Change/ShowResources/AttributesforaResourceGroup[TOP][EntryFields]ResourceGroupNameresource1NodeRelationshipcascadingParticipatingNodeNames/DefaultNodePrioritym851m852DynamicNodePriority[]+ServiceIPlabel[m851_svc]+Filesystems(defaultisAll)[]+FilesystemsConsistencyCheckfsck+FilesystemsRecoveryMethodsequential+Filesystems/DirectoriestoExport[]+Filesystems/DirectoriestoNFSmount[]+NetworkForNFSMount[]+VolumeGroups[adatavg]+ConcurrentVolumegroups[]+RawDiskPVIDs[]+ConnectionsServices[]+FastConnectServices[]+TapeResources[]+ApplicationServers[adata_app]+HighlyAvailableCommunicationLinks[]+MiscellaneousData[]AutomaticallyImportVolumeGroupsfalse+InactiveTakeoverActivatedfalse+CascadingWithoutFallbackEnabledfalse+9333DiskFencingActivatedfalse+SSADiskFencingActivatedfalse+FilesystemsmountedbeforeIPconfiguredfalse+endofscreen西己置resource2Change/ShowResources/AttributesforaResourceGroup[TOP][EntryFields]ResourceGroupNameresource2NodeRelationshipcascadingParticipatingNodeNames/DefaultNodePrioritym852m851DynamicNodePriority[]+ServiceIPlabel[m852_svc]+Filesystems(defaultisAll)[]+FilesystemsConsistencyCheckfsck+FilesystemsRecoveryMethodsequential+Filesystems/DirectoriestoExport[]+Filesystems/DirectoriestoNFSmount[]+NetworkForNFSMount[]+VolumeGroups[bdatavg]+ConcurrentVolumegroups[]+RawDiskPVIDs[]+ConnectionsServices[]+FastConnectServices[]+TapeResources[]+ApplicationServers[bdata_app]+HighlyAvailableCommunicationLinks[]+MiscellaneousData[]AutomaticallyImportVolumeGroupsfalse+InactiveTakeoverActivatedfalse+CascadingWithoutFallbackEnabledfalse+9333DiskFencingActivatedfalse+SSADiskFencingActivatedfalse+FilesystemsmountedbeforeIPconfiguredfalse+endofscreen拓扑同步和资源同步在主机一配置完成以后,用菜单中的同步命令进行将第一资源放到第二台机器上的工作。拓扑同步具体配置方法如下:smithacmp:屏幕显示hacmp菜单:HACMPClusterConfigurationClusterServicesClusterSystemManagementClusterRecoveryAidsRASSupportendofscreen选择ClusterConfiguration,ClusterConfigurationClusterTopologyClusterSecurityClusterResourcesClusterSnapshotsClusterVerificationClusterCustomModificationRestoreSystemDefaultConfigurationfromActiveConfigurationAdvancedPerformanceTuningParametersendofscreen选择ClusterTopologyClusterTopologyConfigureClusterConfigureNodesConfigureNetworksConfigureAdaptersConfigureSitesConfigureGlobalNetworksConfigureNetworkModulesConfigureTopologyServicesandGroupServicesShowClusterTopologySynchronizeClusterTopologyendofscreen选择SynchronizeClusterTopology,回车确认等待同步完成。资源同步具体配置方法如下:smithacmp:屏幕显示hacmp菜单:HACMPClusterConfigurationClusterServicesClusterSystemManagementClusterRecoveryAidsRASSupportendofscreen选择ClusterConfiguration,ClusterConfigurationClusterTopologyClusterSecurityClusterResourcesClusterSnapshotsClusterVerificationClusterCustomModificationRestoreSystemDefaultConfigurationfromActiveConfigurationAdvancedPerformanceTuningParametersendofscreen选择ClusterTopologyClusterTopologyConfigureClusterConfigureNodesConfigureNetworksConfigureAdaptersConfigureSitesConfigureGlobalNetworksConfigureNetworkModulesConfigureTopologyServicesandGroupServicesShowClusterTopologySynchronizeClusterTopologyendofscreen选择ClusterResourcesClusterResourcesDefineResourceGroupsDefineApplicationServersConfigureApplicationMonitoringDefineTapeResourcesDefineHighlyAvailableCommunicationLinksDiscoverCurrentVolumeGroupConfigurationConfigureDynamicNodePriorityPoliciesChange/ShowResources/AttributesforaResourceGroupClusterEventsChange/ShowRunTimeParametersChange/ShowClusterLockManagerResourceAllocationShowClusterResourcesSynchronizeClusterResourcesendofscreen选择SynchronizeClusterResources,回车确认等待同步完成。3.校验具体配置方法如下:smithacmp:屏幕显示hacmp菜单:HACMPClusterConfigurationClusterServicesClusterSystemManagementClusterRecoveryAidsRASSupportendofscreen选择ClusterConfiguration,ClusterConfigurationClusterTopologyClusterSecurityClusterResourcesClusterSnapshotsClusterVerificationClusterCustomModificationRestoreSystemDefaultConfigurationfromActiveConfigurationAdvancedPerformanceTuningParametersendofscreen选择ClusterVerificationClusterVerificationVerifyClusterDefineCustomVerificationMethodendofscreen选择VerifyClusterVerifyCluster[EntryFields]BaseHACMPVerificationMethodsboth+(Clustertopology,resources,both,none)CustomDefinedVerificationMethods[]+ErrorCount[]#LogFiletostoreoutput[]endofscreen回车确认即可。人生一世,无非对已尽心,对爱人尽心,对生活之土地尽心,尽心则无所谓得失,无所谓成败荣辱,而懂得舍,懂得放,自然春风和煦,月明清风。谢谢您的指点,现在把我的安装文档给您看看,能不能帮我看一下在哪一步出了问题?
第一章安装说明整个ORACLE双机热备份系统的安装需要以下前提条件:第一项:硬件环境的安装。此步骤包括硬件设备的安装,服务器及盘柜底层环境的配置。第二项:服务器Windows2000操作系统的安装。此步骤包括两台服务器的win2k操作系统安装,域环境设置,网卡IP地址的设置。第三项:群集软件MSCS的安装。安装微软的群集软件MSCS,以及相关设置。在以上三项安装完成后,方可进行ORACLE双机热备份系统的安装整个双机系统参数设置表如下:参数说明节点一:内置硬盘分区群集专用网卡IP地址局域网网卡IP地址节点二:内置硬盘分区群集专用网卡IP地址局域网网卡IP地址磁盘柜:在以上三项安装完成后,方可进行ORACLE双机热备份系统的安装整个双机系统参数设置表如下:参数说明节点一:内置硬盘分区群集专用网卡IP地址局域网网卡IP地址节点二:内置硬盘分区群集专用网卡IP地址局域网网卡IP地址磁盘柜:盘符磁盘阵列两个逻辑区在Win2K操作系统的盘符F盘30G群集软件MSCS:集群名称管理的共享盘符ORACLE设置:ORACLE主目录名数据库名数据库系统标识符(sid)sys帐户口令system帐户口令oracleorahome8agent月艮务oracleorahome8datagathereroracleorahome8tnslistenerOracleorahome8PeerMasterAgentoracleserviceCSZLS第二章ORACLE双机的安装数值内置硬盘分区大小C盘大小为10GB双机系统专用心跳线网卡IP地址连接局域网交换机网卡IP地址内置硬盘分区大小C盘大小为10GB双机系统专用心跳线网卡IP地址连接局域网交换机网卡IP地址集群对外公布的名称CLUSTER由群集所管理的磁盘柜上的共享盘符D:\ORACLE\ORA81CSZLSCSZLS
change_on_install
manager更改为手动更改为手动更改为手动更改为手动更改为手动D盘大小8GB。D盘大小8GB。E盘101GE,F2、启动节点1,在节点1上安装oracle数据库软件。3、进入oracle安装界面,选择自定义安装,选择oracle主目录名称OraHome81,路径为d:\oracle\ora81。4、选择安装组件时,选择除HttpServer以外所有组件。5、建立数据库,选择不创建数据库。6、设置NET8,监听服务定为LISTENER7、节点1安装完成。8、在节点2上按照3—7的步骤执行安装。9、两台机器都安装成功后,分别都在控制面板中将相关oracle服务全改为手动。10、确认磁盘阵列所有权在节点2。11、在节点2上,使用数据库助手创建数据库。开始菜单一》oracle—》数据库管理一》数据库安装助手,执行数据库安装助手程序。12、在安装过程中,选择定制安装,数据库名及SID定为:CSZLS,数据库字符集定为:WE8ISO8859P1。将所有的路径都指向共享磁盘E盘。安装完成后,在控制面板中将其服务器改为手动。13、在节点2上,打开群集管理器,创建IP地址资源。1、创建IP地址资源:选择“文件”“新建”“资源”。在以下域输入信息:域名样例名称vip描述Oracle服务器的IP地址资源类型IP地址群组Cluster资源群组可以在线获取其中资源的节点Cluster-A,Cluster-B在此资源处于在线状态之前必须处于在线状态的其他资源NONE在此资源处于在线状态之前必须处于在线状态的其他资源NONE地址子网掩码将使用的网络PUBLICNETWORK注意:不要选中标记为“在单独的资源监控器运行此资源”的复选框。当选择此框时,MSCS将使用其他的系统资源而不会带来额外的益处。单击“完成”。14、停止两个节点所有的ORACLE服务。15、在节点2上编辑Listener.ora、snmp_ro.ora、snmp_rw.ora、tnsnames.ora文件(路径为D:\ORACLE\ORA81\Network\admin\)。把SERVER和HOST名为本地服务器的都改为上一步所建的虚拟IP地址(16、在节点2修改d:\oracle\admin\network\sqlnet.ora文件SQLNET.AUTHENTICATION-SERIVES=(NONE).17、将节点2的d:\oracle\ora81\network\admin目录下所有文件复制到节点1的d:\oracle\ora81\network\admin目录下。18、将节点2的d:\oracle\ora81\database目录下initCSZLS.ora复制到节点1的相应目录下19、将节点2的d:\oracle\admin目录下CSZLS目录复制到节点1的d:\oracle\admin目录下20、在节点1启动侦听服务,并建数据库服务。在命令行输入如下:C:\>SETORACLE_SID=CSZLSC:\>oradim-new-sidCSZLS-intpwdoracle-startmodeauto-pfileE:\oracle\admin\CSZLS\pfile\initCSZLS.ora其中:-sid为全局数据库名-intpwd为指定internal的口令为oracle-startmode指定启动方式为auto-pfile指定初始化文件路径,本例中E为共享盘21、在MSCS里面增添oracleorahome8tnslistener和oracleserviceoracledb服务,依赖关系中都将磁盘、IP地址、服务器名称加进去。22、通过双机切换,看在MSCS里面增添oracleorahome8tnslistener和oracleserviceCSZLS服务是否运行正常。23、在局域网内其他机器建立ORACLE本地服务命名,并连接数据库,如能正常操作,表明ORACLE数据库安装完成。什么是双机热备?双机热备这一概念包括了广义与狭义两种意义。从广义上讲,就是对于重要的服务,使用两台服务器,互相备份,共同执行同一服务。当一台服务器出现故障时,可以由另一台服务器承担服务任务,从而在不需要人工干预的情况下,自动保证系统能持续提供服务。(相关文章:为什么需要双机热备?)双机热备由备用的服务器解决了在主服务器故障时服务不中断的问题。但在实际应用中,可能会出现多台服务器的情况,即服务器集群。(相关文章:双机软件与集群软件的异同)双机热备一般情况下需要有共享的存储设备。但某些情况下也可以使用两台独立的服务器。(相关文章:双机热备的实现模式)实现双机热备,需要通过专业的集群软件或双机软件。(相关文章:双机与集群软件的选择)从狭义上讲,双机热备特指基于active/standby方式的服务器热备。服务器数据包括数据库数据同时往两台或多台服务器写,或者使用一个共享的存储设备。在同一时间内只有一台服务器运行。当其中运行着的一台服务器出现故障无法启动时,另一台备份服务器会通过软件诊测(一般是通过心跳诊断)将standby机器激活,保证应用在短时间内完全恢复正常使用。(相关文章:双机热备、双机互备与双机双工的区别)为什么要做双机热备?双机热备针对的是服务器的故障。服务器的故障可能由各种原因引起,如设备故障、操作系统故障、软件系统故障等等。一般地讲,在技术人员在现场的情况下,恢复服务器正常可能需要10分钟、几小时甚至几天。从实际经验上看,除非是简单地重启服务器(可能隐患仍然存在),否则往往需要几个小时以上。而如果技术人员不在现场,则恢复服务的时间就更长了。而对于一些重要系统而言,用户是很难忍受这样长时间的服务中断的。因此,就需要通过双机热备,来避免长时间的服务中断,保证系统长期、可靠的服务。决定是否使用双机热备,正确的方法是要分析一下系统的重要性以及对服务中断的容忍程度,以此决定是否使用双机热备。即,你的用户能容忍多长时间恢复服务,如果服务不能恢复会造成多大的影响。在考虑双机热备时,需要注意,一般意义上的双机热备都会有一个切换过程,这个切换过程可能是一分钟左右。在切换过程中,服务是有可能短时间中断的。但是,当切换完成后,服务将正常恢复。因此,双机热备不是无缝、不中断的,但它能够保证在出现系统故障时,能够很快恢复正常的服务,业务不致受到影响。而如果没有双机热备,则一旦出现服务器故障,可能会出现几个小时的服务中断,对业务的影响就可能会很严重。另有一点需要强调,即服务器的故障与交换机、存储设备的故障不同,其概念要高得多。原因在于服务器是比交换机、存储设备复杂得多的设备,同时也是既包括硬件、也包括操作系统、应用软件系统的复杂系统。不仅设备故障可能引起服务中断,而且软件方面的问题也可能导致服务器不能正常工作。还应指出的是,一些其他的防护措施如磁盘阵列(RAID)、数据备份虽然是非常重要的,但却不能代替双机热备的作用。可参见相关文章:双机热备与数据备份/Raid的关系双机热备的实现模式一基于共享存储与纯软件方式双机热备有两种实现模式,一种是基于共享的存储设备的方式,另一种是没有共享的存储设备的方式,一般称为纯软件方式。基于存储共享的双机热备是双机热备的最标准方案。对于这种方式,采用两台(或多台,参见:双机与集群的异同)服务器,使用共享的存储设备(磁盘阵列柜或存储区域网SAN)。两台服务器可以采用互备、主从、并行等不同的方式。在工作过程中,两台服务器将以一个虚拟的IP地址对外提供服务,依工作方式的不同,将服务请求发送给其中一台服务器承担。同时,服务器通过心跳线(目前往往采用建立私有网络的方式)侦测另一台服务器的工作状况。当一台服务器出现故障时,另一台服务器根据心跳侦测的情况做出判断,并进行切换,接管服务。对于用户而言,这一过程是全自动的,在很短时间内完成,从而对业务不会造成影响。由于使用共享的存储设备,因此两台服务器使用的实际上是一样的数据,由双机或集群软件对其进行管理。对于纯软件的方式,则是通过镜像软件,将数据可以实时复制到另一台服务器上,这样同样的数据就在两台服务器上各存在一份,如果一台服务器出现故障,可以及时切换到另一台服务器。对于这种方式的深入分析,请参见:纯软件方式的双机热备方案深入分析纯软件方式还有另外一种情况,即服务器只是提供应用服务,而并不保存数据(比如只进行某些计算,做为应用服务器使用)。这种情况下同样也不需要使用共享的存储设备,而可以直接使用双机或集群软件即可。但这种情况其实与镜像软件无关,只不过是标准的双机热备的一种小的变化。纯软件方式的双机热备方案深入分析本文将对双机热备的纯软件方式进行深入分析。数据库双机热备有两种典型的方式,一种是比较标准的,两台服务器通过一个共享的存储设备(一般是共享的磁盘阵列或存储区域网SAN),并且安装双机软件,实现双机热备,称为共享方式。另一种方式是通过纯软件的方式,一般称为纯软件方式或镜像方式Mirror)。对于共享方式,数据库放在共享的存储设备上。当一台服务器提供服务时,直接在存储设备上进行读
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 考察报告内容要点
- 2023年青岛市市北区招聘社区专职工作者考试真题
- 2024年地铁建设项目提案报告的范文
- 2024年古董收藏品项目规划申请报告
- 2023年份甘肃庆阳西峰数字服务就业中心招募笔试真题
- 白蚁防治业务开发方案
- 2024年林业服务项目规划申请报告
- 2023年北京积水潭医院聊城医院招聘备案制工作人员考试真题
- 白沟展览地毯施工方案
- 2024年电磁离合器项目规划申请报告模板
- 水稻栽培技术-水稻常规栽培技术
- 常见营养相关慢性疾病的营养指导
- 标准报价单模板(二)
- 《mc入门教程》课件
- 物理化学实验B智慧树知到课后章节答案2023年下北京科技大学
- 建筑大师林徽因智慧树知到课后章节答案2023年下潍坊工程职业学院
- 塔里木盆地主要地震反射波组的说明
- 初中英语教学经验交流PPT教学课件
- 英文介绍新疆乌鲁木齐ppt
- 钛白硫酸衡算
- 土力学(全套课件)
评论
0/150
提交评论