




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、服务器虚拟化技术与应用工业和信息化“十三五”人才培养规划教材第9章 高可用性与容错人民邮电出版社能力CAPACITY要求了解vSphere 高可用性和容错的基础知识。掌握创建和使用vSphere HA群集的方法。学会配置和使用vSphere FT。从总体上了解vSphere可用性。vSphere可用性概述vSphere HA基础创建和使用vSphere HA群集vSphere FT基础配置和使用vSphere FT9.1 vSphere可用性概述主要的可用性功能减少常见维护操作的计划停机时间。在发生故障的情况下提供自动恢复。提供独立于硬件、操作系统和应用程序的高可用性。9.1 vSphere可
2、用性概述减少计划停机时间避免常见维护操作的停机。排除计划维护时间段。无须干扰用户和服务,随时执行维护。防止非计划停机共享存储。NIC组合。支持单个网卡故障的容错。存储多路径。高可用性(High Availability)。容错(Fault Tolerance)。避免计划停机与非计划停机9.1 vSphere可用性概述vSphere HA保护应用程序可用性的方式通过重启群集中其他主机上的虚拟机来防范服务器故障。通过持续监控虚拟机并在检测到故障的情况下对其重新设置来防范应用程序故障。通过在仍能访问其数据存储的其他ESXi主机上重启受影响的虚拟机,来防范数据存储可访问性故障。如果虚拟机所在的主机在管
3、理网络或vSAN网络上被隔离,则可以通过重启这些虚拟机防止虚拟机被网络隔离。vSphere HA提供快速恢复9.1 vSphere可用性概述vSphere HA与其他的群集解决方案的不同之处无须在应用程序或虚拟机中安装特定的软件,所有工作负载都受到vSphere HA的保护。可以将vSphere HA与vSphere DRS组合使用来防范数据存储可访问性故障。vSphere HA相对于传统故障切换解决方案的优势最小化设置。降低硬件成本和设置。提高应用程序的可用性。与DRS和vMotion集成。vSphere HA提供快速恢复9.1 vSphere可用性概述vSphere FT提供更高级别的可用
4、性,防止任何虚拟机发生主机故障时丢失数据、事务或连接,确保业务运行不中断,保持连续可用性。通过确保主虚拟机和辅助虚拟机的状态在虚拟机的指令执行中的任何时间点都相同,vSphere FT能够提供连续的可用性。如果运行主虚拟机的主机或运行辅助虚拟机的主机发生故障,则会立即进行透明的故障切换。vSphere FT提供连续可用性9.1 vSphere可用性概述使用vCenter HA保护vCenter Server Appliance防止主机和硬件故障.防止vCenter Server Appliance故障。vCenter HA保护vCenter Server Appliance。必须保证PSC的高
5、可用性。使用嵌入式PSC部署主动(Active)节点。至少部署两个PSC实例,并将它们置于负载平衡器后面。使用VMware Service Lifecycle Manager保护vCenter ServervCenter Server本身的可用性由VMware Service Lifecycle Manager提供。如果vCenter服务失败,VMware Service Lifecycle Manager会重新启动它。保证vCenter Server的可用性vSphere可用性概述vSphere HA基础创建和使用vSphere HA群集vSphere FT基础配置和使用vSphere FT
6、9.2 vSphere HA基础首选主机和从属主机每个群集通常只有一个首选主机。所有其他主机都是从属主机。群集中的首选主机职责监控从属主机的状态。监控所有受保护虚拟机的电源状态。管理群集主机和受保护虚拟机的列表。充当群集的vCenter Server管理接口,并报告群集运行状况。群集中的从属主机职责主要通过在本地运行虚拟机监控其运行时状态。向首选主机报告状态更新。vSphere HA的工作原理vSphere HA基础主机故障类型故障(Failure)主机停止运行。隔离(Isolation)主机与网络隔离。分区(Partition)主机失去与首选主机的网络连接。主动式(Proactive)HA故
7、障当主机组部件发生故障时,会出现主动式HA故障,并导致冗余损失或非灾难性故障。如果发生主动式HA故障,则可以自动执行vSphere Web Client的vSphere可用性部分提供的修复操作。vSphere HA的工作原理9.2 vSphere HA基础主机故障的响应方式主机隔离响应。虚拟机依赖关系。虚拟机重启的考虑因素文件可访问性。虚拟机与主机的兼容性。资源预留。主机限制。功能限制。vSphere HA的工作原理9.2 vSphere HA基础虚拟机和应用程序监控如果在设置的时间内未收到VMware Tools检测信号,虚拟机监控(VM Monitoring)将重启特定的虚拟机。如果未收到
8、正在运行的应用程序的检测信号,则应用程序监控(Application Monitoring)可以重启虚拟机。虚拟机组件保护用于检测数据存储可访问性故障,并为受影响的虚拟机提供自动恢复。数据存储可访问性故障类型有以下两种。PDL(Permanent Device Loss)永久设备丢失。APD(All Paths Down)全部路径异常。vSphere HA的工作原理9.2 vSphere HA基础网络分区(Network Partitions)发生管理网络故障时,群集中的一部分主机可能无法通过管理网络与其他主机进行通信,一个群集中就可能会出现多个分区。已分区的群集会导致虚拟机保护和群集管理功能
9、的降级。数据存储检测信号首选主机使用数据存储检测信号来判断从属主机是否发生故障,是否位于网络分区,是否处于网络隔离状态。如果从属主机已停止数据存储检测信号,则认为其发生故障了,其虚拟机在别处重启。vSphere HA的工作原理9.2 vSphere HA基础概述vSphere HA使用准入控制来确保在主机出现故障时为虚拟机恢复预留足够的资源。准入控制对资源使用进行限制,任何可能违反这些限制的操作都是不允许的。可能被禁止的操作包括打开虚拟机电源、迁移虚拟机、增加虚拟机的CPU或内存预留等。vSphere HA准入控制的基础是允许群集容忍多少主机故障仍然能够保证故障切换。主机故障切换容量可以通过3
10、种方式进行设置。群集资源百分比插槽策略(Slot policy)专用故障切换主机。vSphere HA的准入控制9.2 vSphere HA基础群集资源百分比准入控制群集资源百分比可执行的准入控制计算群集中所有已启动的虚拟机的总资源需求。计算可用于虚拟机的主机资源总量。计算群集的当前CPU故障切换容量和当前内存故障切换容量。确定当前CPU故障切换容量或当前内存故障切换容量是否低于相应的配置故障切换容量。计算当前故障切换容量CPU组件值是对已启动的虚拟机的CPU预留计算总和。内存组件值是对每个已启动的虚拟机的内存预留(加上内存开销)计算总和。vSphere HA的准入控制9.2 vSphere
11、HA基础群集资源百分比准入控制使用群集资源百分比准入控制的示例vSphere HA的准入控制9.2 vSphere HA基础插槽策略准入控制插槽策略执行准入控制的方式计算插槽大小。插槽是内存和CPU资源的逻辑表示。确定群集中每个主机可以容纳多少个插槽。确定群集的当前故障切换容量。确定当前故障切换容量是否低于配置的故障切换容量。插槽大小计算插槽大小由CPU和内存两个组件组成。使用插槽来计算当前的故障切换容量确定每个主机的可用于虚拟机的CPU和内存资源。确定每个主机可以支持的最大插槽数量。通过确定发生故障仍然有足够的插槽来满足所有已启动的虚拟机的主机数量(从最大值开始)来计算当前故障切换容量。vS
12、phere HA的准入控制9.2 vSphere HA基础插槽策略准入控制使用插槽策略准入控制的示例vSphere HA的准入控制9.2 vSphere HA基础专用故障切换主机准入控制述通过专用故障切换主机准入控制,当主机发生故障时,vSphere HA会尝试在任何指定的故障切换主机上重新启动其虚拟机。要确保故障切换主机上的备用容量可用,将无法启动虚拟机或使用vMotion将虚拟机迁移到故障切换主机。如果使用这种准入控制并指定多个故障切换主机,则DRS不会为在故障切换主机上运行的虚拟机强制执行虚拟机关联规则。vSphere HA的准入控制9.2 vSphere HA基础将vSphere HA
13、与DRS一起使用这种组合将自动故障切换与负载平衡相结合,可以将虚拟机移动到不同的主机后形成资源更加平衡的群集。在启用了DRS和vSphere HA准入控制的群集中,虚拟机可能不会从进入维护模式的主机撤离。如果为群集创建DRS关联性规则,则可以指定vSphere HA在虚拟机故障切换期间应用该规则的方式。虚拟机-虚拟机反关联性规则强制指定的虚拟机在故障切换操作期间保持分开。虚拟机-主机关联性规则在故障切换操作期间将指定的虚拟机放置在特定主机或特定的主机组的成员上。vSphere HA互操作性9.2 vSphere HA基础将vSphere HA与vSAN配合使用组合使用vSphere HA与vS
14、AN的ESXi主机要求所有群集的ESXi主机必须是版本5.5或更高版本。群集必须至少有3台ESXi主机。vSphere HA与vSAN的网络差异容量预留设置vSphere HA互操作性启用vSAN禁用vSANvSphere HA使用的网络vSAN存储网络管理网络检测信号数据存储挂载到一台以上主机的任何数据存储,但不是vSAN数据存储挂载到一台以上主机的任何数据存储声明隔离的主机隔离地址不可ping通,vSAN存储网络不可访问隔离地址不可ping通,管理网络无法访问9.2 vSphere HA基础其他vSphere HA互操作性问题虚拟机组件保护VMCP不支持vSphere Fault Tole
15、rance。VMCP不检测或响应位于vSAN数据存储上的文件的可访问性问题。VMCP不检测或响应位于虚拟卷数据存储上的文件的可访问性问题。VMCP不能防止不可访问的裸设备映射(RDM)。IPv6群集仅包含ESXi 6.0或更高版本的主机。群集中所有主机的管理网络必须配置为同一IP版本(IPv6或IPv4)。vSphere HA使用的网络隔离地址必须与群集管理网络使用的IP版本相匹配。不能在使用vSAN的vSphere HA群集中使用IPv6。环回地址类型不能用于管理网络。vSphere HA互操作性vSphere可用性概述vSphere HA基础创建和使用vSphere HA群集vSphere
16、 FT基础配置和使用vSphere FT9.3 创建和使用vSphere HA群集所有主机必须获得vSphere HA许可。群集必须至少包含两个主机。所有主机必须配置静态IP地址。所有主机必须至少有一个共同的管理网络。要确保任何虚拟机可以在群集中的任何主机上运行,所有主机都必须具有访问相同虚拟机网络和数据存储的权限。要使虚拟机监控(VM Monitoring)工作,必须安装VMware Tools。vSphere HA支持IPv4和IPv6。要使虚拟机组件保护工作,主机必须启用所有路径下降(APD)超时功能。要使用虚拟机组件保护,群集必须包含ESXi 6.0主机或更高版本。只有包含ESXi 6
17、.0或更高版本主机的vSphere HA群集才能用于启用VMCP。vSphere HA群集的要求9.3 创建和使用vSphere HA群集创建vSphere HA群集的准备工作确定群集的节点。准备虚拟网络。准备共享存储。创建vSphere HA群集要使群集可用于vSphere HA,必须首先创建一个空群集。在将主机添加到群集之前,可以启用和配置vSphere HA,但是没有主机成员的群集不能完全运行,并且某些群集设置不可用。创建一个vSphere HA群集9.3 创建和使用vSphere HA群集vSphere HA群集的基本配置打开vSphere可用性页面创建一个vSphere HA群集9.
18、3 创建和使用vSphere HA群集vSphere HA群集的基本配置设置故障和响应创建一个vSphere HA群集9.3 创建和使用vSphere HA群集vSphere HA群集的基本配置查看vSphere HA配置进度创建一个vSphere HA群集9.3 创建和使用vSphere HA群集vSphere HA群集的基本配置查看HA首选主机创建一个vSphere HA群集9.3 创建和使用vSphere HA群集vSphere HA群集的基本配置查看HA从属主机创建一个vSphere HA群集9.3 创建和使用vSphere HA群集完善vSphere HA群集的冗余配置查看默认的管理
19、网络创建一个vSphere HA群集9.3 创建和使用vSphere HA群集完善vSphere HA群集的冗余配置增加一个管理网络创建一个vSphere HA群集9.3 创建和使用vSphere HA群集完善vSphere HA群集的冗余配置重新配置vSphere HA创建一个vSphere HA群集9.3 创建和使用vSphere HA群集完善vSphere HA群集的冗余配置发现vSphere HA检测信号数据存储没有冗余创建一个vSphere HA群集9.3 创建和使用vSphere HA群集禁用准入控制vSphere HA功能测试9.3 创建和使用vSphere HA群集在主机上运行
20、虚拟机vSphere HA功能测试9.3 创建和使用vSphere HA群集发现虚拟机仍在运行vSphere HA功能测试给出主机状态异常和vSphere HA正在故障切换的提示9.3 创建和使用vSphere HA群集主机A出现故障vSphere HA功能测试9.3 创建和使用vSphere HA群集虚拟机已经迁移到主机B上vSphere HA功能测试9.3 创建和使用vSphere HA群集主机B成为首选主机vSphere HA功能测试9.3 创建和使用vSphere HA群集发现当前vSphere HA群集的问题vSphere HA功能测试9.3 创建和使用vSphere HA群集主机A
21、变为从属主机vSphere HA功能测试9.3 创建和使用vSphere HA群集测试:发现请求超时,接着就是无法访问,这是虚拟机被关闭;后面有一个较大的延时,表明虚拟机正在恢复;最后又能正常访问,延时都不超过1ms,这说明恢复成功。vSphere HA功能测试请求超时。请求超时。来自 192.168.1.111 的回复: 无法访问目标主机。来自 192.168.1.136 的回复: 字节=32 时间=1999ms TTL=128来自 192.168.1.136 的回复: 字节=32 时间1ms TTL=128请求超时。来自 192.168.1.136 的回复: 字节=32 时间1ms TTL
22、=128来自 192.168.1.136 的回复: 字节=32 时间1ms TTL=1289.3 创建和使用vSphere HA群集主机故障响应设置如何响应vSphere HA群集中发生的主机故障。配置vSphere HA故障响应9.3 创建和使用vSphere HA群集主机隔离响应设置如何响应vSphere HA群集中发生的主机隔离。配置vSphere HA故障响应9.3 创建和使用vSphere HA群集配置VMCP响应设置APD故障响应配置vSphere HA故障响应9.3 创建和使用vSphere HA群集配置VMCP响应设置PDL故障响应配置vSphere HA故障响应9.3 创建和
23、使用vSphere HA群集设置虚拟机监控打开虚拟机和应用程序监控,并设置vSphere HA群集的监控敏感度。配置vSphere HA故障响应9.3 创建和使用vSphere HA群集设置主动式HA故障和响应配置主动式HA配置当提供程序通知vCenter其运行状况降级时主动式HA的响应方式。9.3 创建和使用vSphere HA群集选择准入控制策略避免资源碎片。故障切换资源的灵活性。群集的异构。运行环境。配置准入控制9.3 创建和使用vSphere HA群集设置基本控制策略设置准入控制配置准入控制9.3 创建和使用vSphere HA群集选择群集资源百分比查看HA群集的摘要信息配置准入控制9
24、.3 创建和使用vSphere HA群集选择群集资源百分比调整预留资源的百分比配置准入控制提示配置的资源不足9.3 创建和使用vSphere HA群集选择插槽策略查看默认的插槽策略配置准入控制9.3 创建和使用vSphere HA群集选择插槽策略插槽计算数据配置准入控制9.3 创建和使用vSphere HA群集选择插槽策略找出CPU和内存资源占用最多的虚拟机配置准入控制9.3 创建和使用vSphere HA群集选择插槽策略更改插槽大小策略配置准入控制查看调整后的插槽参数9.3 创建和使用vSphere HA群集选择插槽策略更改虚拟机的CPU预留配置准入控制计算和查看需要多个插槽的虚拟机9.3
25、创建和使用vSphere HA群集选择插槽策略查看故障切换前的插槽数据配置准入控制查看故障切换后的插槽数据9.3 创建和使用vSphere HA群集选择专用故障切换主机添加故障切换主机配置准入控制设置专用故障切换主机9.3 创建和使用vSphere HA群集选择插槽策略选择检测信号数据存储选择策略自动选择可从以下主机访问的数据存储。仅使用指定列表中的数据存储。使用指定列表中的数据存储并根据需要自动补充。设置检测信号数据存储配置检测信号数据存储9.3 创建和使用vSphere HA群集自定义个别虚拟机的vSphere HA设置通过设置替代项来自定义个别虚拟机的HA设置vSphere可用性概述vS
26、phere HA基础创建和使用vSphere HA群集vSphere FT基础配置和使用vSphere FT9.4 vSphere FT基础vSphere FT的工作原理vSphere FT的工作原理9.4 vSphere FT基础旧版FT的工作原理vSphere FT的工作原理9.4 vSphere FT基础需要始终可用的应用程序,尤其是用户希望在硬件故障期间保持持久客户端连接的应用程序。不能通过任何其他方式实现群集功能的自定义应用程序。可以通过自定义群集解决方案提供高可用性,但这些解决方案太复杂,很难进行配置和维护的情况。按需容错(On-Demand Fault Tolerance)。vS
27、phere FT的应用场合9.4 vSphere FT基础FT不支持的vSphere功能快照。Storage vMotion。链接克隆。虚拟机组件保护(VMCP)。虚拟卷数据存储。基于存储的策略管理。I/O 筛选器。vSphere FT互操作性9.4 vSphere FT基础与FT不兼容的功能和设备物理裸磁盘映射(RDM)。由物理或远程设备支持的CD-ROM或虚拟软盘设备。USB和声音设备。网卡直通(NIC passthrough)。热插拔设备。串行或并行端口。启用了3D的视频设备。虚拟EFI固件。虚拟机通信接口(VMCI)。将FT功能与DRS配合使用仅当启用EVC(增强型vMotion兼容性
28、)功能时,才可将vSphere FT与DRS 配合使用,这将使容错虚拟机受益于更好的初始放置位置。vSphere FT互操作性vSphere可用性概述vSphere HA基础创建和使用vSphere HA群集vSphere FT基础配置和使用vSphere FT9.5 配置和使用vSphere FTvSphere FT的网络要求运行容错虚拟机的每台主机上必须配置两个不同的网络交换机,分别用于vMotion流量和FT日志记录流量。每台主机建议最少使用两个物理网卡,一个网卡专门用于FT日志记录,另一个则专门用于vMotion。使用专用的10Gb网络用于FT日志记录,并确认网络滞后时间非常短。vSp
29、here FT的群集要求创建vSphere HA群集并启用HA功能。为确保冗余和最大程度的容错保护,群集中应至少有3台主机。vSphere FT的要求9.5 配置和使用vSphere FTvSphere FT的主机要求主机必须使用受支持的CPU。主机必须获得FT的许可。主机必须已通过FT认证。配置每台主机时都必须在BIOS中启用硬件虚拟化(HV)。vSphere FT的虚拟机要求没有不受支持的设备连接到虚拟机。不兼容的vSphere功能一定不能与容错虚拟机一起运行。虚拟机文件(VMDK文件除外)必须存储在共享存储中。开启FT功能后,容错虚拟机的预留内存设置为虚拟机的内存大小。vSphere F
30、T的限制没有不受支持的设备连接到虚拟机。不兼容的vSphere功能一定不能与容错虚拟机一起运行。vSphere FT的要求9.5 配置和使用vSphere FTvSphere FT的限制群集中的主机上允许的最大容错虚拟机(包括主虚拟机和辅助虚拟机)数量默认值为4;跨主机上所有容错虚拟机聚合的最大vCPU数量默认值为8。单个容错虚拟机支持的vCPU数量vSphere Standard和Enterprise最多允许2个,而vSphere Enterprise Plus最多允许4个。每个容错虚拟机最多使用16个虚拟磁盘。vSphere FT的要求9.5 配置和使用vSphere FT用于vMotio
31、n流量的交换机为支持FT的ESXi主机配置网络9.5 配置和使用vSphere FT启用FT日志记录流量的服务为支持FT的ESXi主机配置网络设置IP地址9.5 配置和使用vSphere FTvSphere FT必须在vSphere HA群集环境中使用。为每台主机配置网络连接后,创建vSphere HA群集并向其中添加主机。例中使用之前已创建好的vSphere HA群集(名为DRS-HA_Cluster)。创建vSphere HA群集9.5 配置和使用vSphere FT虚拟机启用FT的前提条件虚拟机所驻留的主机并未获得使用该功能的许可证。虚拟机所驻留的主机处于维护模式或待机模式。虚拟机已断开
32、连接或被孤立(无法访问其.vmx文件)。用户没有打开此功能的权限。为虚拟机启用FT功能9.5 配置和使用vSphere FT启用FT功能的过程检查出来的FT兼容性问题为虚拟机启用FT功能9.5 配置和使用vSphere FT启用FT功能的过程检查出来的FT兼容性警告为虚拟机启用FT功能9.5 配置和使用vSphere FT启用FT功能的过程选择用于放置辅助虚拟机文件的数据存储选择用于放置辅助虚拟机的主机为虚拟机启用FT功能9.5 配置和使用vSphere FT启用FT功能的过程主虚拟机辅助虚拟机为虚拟机启用FT功能9.5 配置和使用vSphere FT启用FT功能的过程在vSphere HA群
33、集中同时查看主、辅助虚拟机为虚拟机启用FT功能9.5 配置和使用vSphere FT启用FT功能的过程系统重置虚拟机的内存限制为虚拟机启用FT功能9.5 配置和使用vSphere FT辅助虚拟机放置虚拟机的容错状态为虚拟机启用FT功能9.5 配置和使用vSphere FT启动容错虚拟机打开电源故障先后启动主虚拟机和辅助虚拟机为虚拟机启用FT功能9.5 配置和使用vSphere FT启动容错虚拟机发现主虚拟机和辅助虚拟机已经加电运行为虚拟机启用FT功能9.5 配置和使用vSphere FT启动容错虚拟机主虚拟机的操作菜单辅助虚拟机的操作菜单为虚拟机启用FT功能9.5 配置和使用vSphere FT测试故障切换辅助虚拟机成功接管主虚拟机原主虚拟机变为辅助虚拟机(状态未知)测试虚拟机的FT功能9.5 配置和使用vSphere FT测试故障切换新的辅助虚拟机(未打开电源)新的辅助虚拟机(已打开电源)测试虚拟机的FT功能9.5 配置和使用vSphere FT测试故障切换新的主虚拟机容错状态测试虚拟机的FT功能9.5 配置和使用vSphere FT测试故障切换测试故障切换的事件测试虚拟机的FT功能9.5 配置和使用vSphere FT测试重新启动辅助虚拟机通过触发辅助虚拟机发生故障来测试主虚拟机提供的FT功能。执行“测试重新启动辅助虚拟机”命令触
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 浓香型白酒行业发展趋势与市场前景洞察
- 四年级信息技术上册 第一单元 第2课《我的小简历》教学设计 冀教版
- 七年级生物下册 4.12.3 感知信息教学设计 苏教版
- 接听礼仪西安铁路史歌课件
- 2024年安徽高考化学试卷知识点分布
- 全国山西经济版小学信息技术第一册第二单元活动5《收发电子邮件》教学设计
- 注册测绘师题库带分析2024
- 注册电气工程师仿真通关试卷带答案2025
- 小学英语冀教版 (三年级起点)六年级上册Lesson 15 Winter Fun教学设计
- 一级建造师考试必考题含答案2024
- 婚育情况登记表
- INVOICE-商业发票样本格式
- 圆周率1000000位 完整版
- DB33-1036-2021《公共建筑节能设计标准》
- 岩芯鉴定手册
- 快速排序算法高校试讲PPT
- 甘肃历史与甘肃文化
- 工程勘察设计收费标准
- 高边坡施工危险源辨识及分析
- 江苏工业企业较大以上风险目录
- 监理质量评估报告(主体分部)
评论
0/150
提交评论