版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
云资源池的运维管理-vRealize
Operations程恒
chengh@技术顾问2Agenda云资源池运维需求分析用户的现状和不足(AS-IS)解决方案及价值(TO-BE)解决方案功能验证说明逻辑架构及集成关系HWOSHWApp
App虚拟化环境传统IT环境App
App
OS
OS VMM
VMMHypervisore.g.
SolarisZonese.g.
vSphere,Hyper-V传统IT
VS虚拟化环境管理:当前各企业对虚拟化环境的运维管理还处于空白或非常初级的阶段,这与虚拟化环境在企业IT中所提供的价值和体现的重要性严重不符,IT部门迫切需要成熟的专业管理工具来更有效的管理虚拟化或云环境。IBMBMCHPCA众多国产软件HP
insightmanagerIBM
system
directorDell
Openmanage没有或非常基础虚拟化环境的管理特点确定系统动态变迁,负载在不同环境不一样。如VM从A机飘移到B机,B物理机的硬件配置及在运行VM数量与A不同,导致VM在B机负载表现不同。资源动态变化,用户动态扩展或收缩资源配置的情况下,VM内部对资源的占以跟踪,监控阈值难以
配置变化更快,统计虚拟化环境虚拟机的产生和释放频度远高于物理环境,平均来看生命周期更短,变化更频繁,因此对其配置状态的跟踪更复杂,整个系统范围内的资产信息更难掌握,传统的统计办法不及时也不准确。容量性能评估难,难以有效分配资源不同于Pa物ris理ia机n
,虚拟化环境
中多台Ho系te统l
共享资源,不同
的业务系统对资源的需求周
期不同,传统的系统级CPU,MEM的占用已失去指导意义,并不能完全代表系统资源是否存在瓶颈。同样的道理难以判断服务器资源是否得到了充分利用,用比例都会变化。 是否E有ffic必ie要nt优化,虚拟机密Ma系na统g状e态m更e
复杂,nt
难以准确评估状态虚拟机环境涉及系统硬件,操作系统,网络以及存储,系统环境更加复杂,传统的设备边界不P再ar那isia么n清晰,承载的VM对资H源ot既el共享又竞争,所以系统处于不断的动态调整中。单一类型的监控指标很难判断系统的健康状态,必须收集该物理机上运行的多台虚机机状态进行综合分析。指标专业性强,理解其含义需要专业知识。Efficient管理缺乏标准和规范虚拟P化ar层isi在an整个系统构建中占H的o位tel置越来越重要,但与OS相比系统级的加固和检查机制相对薄弱,成熟度及普及度都不高,存在系统缺陷,安全漏洞,管理不规范等薄弱环节,容易成为新的木桶短板。:针对传统环境的管理方法和工具在高度是度M否a恰na当ge。meCONFIDENTIAL4资源动态变化,状态动难态,系统高度融合(计算,存储,网络)nt的虚拟化环境分下析存难,在数严据不重准不确足。虚拟化环境运维目标分析目标CONFIDENTIAL5基本思路需要的能力面临的问题健康:提高系统可用性降低故障率,提高故障平均间隔时间MTTB;尽可能缩短故障处理时间,减少
MTTR。安全加固-清理系统隐患,系统加固,确保系统符合安全、规范等最佳实践方面的要求;故障生命周期管理(故障发现,故障分析,故障解决);缺乏适用于虚拟化环境加固策略和自动化手段;缺乏完善的虚拟化环境的监控指标体系,专业分析和处理能力,传统工具能力不足(具有部分故障发现能力,缺乏故障分析和处理能力)。风险:降低管理及系统风险定期检查,确保系统各方面符合管理和法规标准,消除风险隐患。借助故障报表分析是否存在系统问题,不断优化系统。加强对虚拟化资产的管控,及时掌握资产分布和使用情况。1.合规审计-确保系统符合业内标准管理规范如PCI,ISO以及企业内部管理规范要求;专家面板,专家建议;4.配置管理;缺乏适用于虚拟化环境管理的规范要求和自动化处理手段;缺乏针对虚拟化环境的专业数据分析2.运行分析,系统优化-专业报表,能力;3.虚拟化环境的配置数据采集空白,手工统计不现实;效率:提高效率,降低成本提高资源利用率,减少无效资源损耗,合理配置,合理规划资源需求;自动化管理,减少单位人工管理成本。资源使用情况的统计和成本计量。容量管理-容量规划,容量优化(容量规划和优化在高度共享和动态变化的环境中尤其重要);自动化管理-监控自动化,操作自动化;成本管理能力.缺乏针对虚拟化环境的性能长期跟踪,分析以及预测能力;缺乏手段评估虚拟机资源的应用效率;运维工具不专业,缺乏专业领域的能力,需定制开发。动态的根据虚拟化环境资源使用的变化更新成本计算。管理层决策层维护人员面向问题,面向风险容量规划技术管理提高可用性降险和成本容量优化安全加固
合规审计虚拟化环境运维能力需求配置管理 成本管理面向故障,面向系统故障管理
运行分析故障发现 专业报表故障分析 专家面板故障解决管理项功能故障管理故障发现,故障分析,故障解决容量管理容量优化,容量规划风险管理安全加固,合规审计资产管理配置管理,成本管理运行管理专业报表,专家面板容量管理风险管理低资产管理风7Agenda虚拟化运维需求分析用户的现状和不足(AS-IS)解决方案及价值(TO-BE)解决方案功能验证说明逻辑架构及集成关系Page8控工程师监数据展现层数据处理层数据采集层报表IBM、BMC、HP、CA、北塔等国产监控软件…数据汇聚层门户中间件WebsphereWeblogicTuxedo数据库Db2,OracleInformix,SQlOSAIX,Hpunix,Solaris,linux,windowsHarware(X86)DellHPLenovoIBM用户应用网银柜面…Networkswitcherrouter现状分析AS-IS虚拟化Vmware采集代理集中告警平台Dell,HP,IBMHP,IBM,国产某软件vCenterBMC系统管理员运维经理监控对象覆盖不足;监控深度有限,在虚拟化环境下,传统的监控指标不准确;监控指标不直观,仅靠单一指标难以判断实际情况;缺乏虚拟化环境的故障日志采集手段无动态基线技术,误报漏报率高,手工维护工作量大;无针对虚拟化告警根源分析和专家建议;无法自动化处理虚拟化环境告警故障;长期的历史性能数据保存机制能力不足,无法进行长期数据分析;仅提供基本的告警报表,无虚拟化环境性能报告和配置报告;无虚拟化环境容量分析类报表;与其它告警事件混杂在一起,无针对虚拟化环境的专业面板,监控不直观,难以分析。缺乏针对虚拟化或云环境以下功能:容量管理安全加固合规审计专家面板故障管理故障分析故障处理以下功能不足:故障发现专业报表配置管理告警是否有效,指标代表什么含义,有太多指标,如何处理?监控阈值如何设置?告警如何处理?性能瓶颈在哪里?没有历史性能数据。告警阈值怎么设?有没有安全隐患?现有资源是否被有效利用?扩容该买多少硬件?到底有多少VM?都在干什么。4.合规吗?有什么风险?有多少虚拟资产。管理层决策层维护人员故障发现容量规划提高可用性降低风险和成本容量优化故障分析合规审计配置管理虚拟化环境运维现状安全加固故障解决专业报表专家面板成本管理借助云平台有部分配置管理能力具备初级的综合管理障报表,缺乏性能,故合规,容量,安全,资产等报表。故障发现能力故障管理
运行分析功能项描述故障发现配置管理专业报表指标数量少,覆盖不全;以监控传统指标为主,缺乏虚拟化环境的特定指标项目。借助云平台的管控或自开发实现了部分配置管理能力,但在颗粒度(对象和属性)以及准确性完整性上相对不足,如云平台部分部署环节或变更环节仍由手工完成。缺乏虚拟化相关的资产,合规,安全,性能机容量报表。能力有限无此功能技术面向故障,面向系统面向问题,面向风险CONFIDENTIAL10指标类型
vCops
BMC
OpenviewVirtualMachine139204(to
be
confirm)HostSystem1794610(to
be
confirm)ClusterComputeResource82200?ResourcePool28100?Datacenter360?Datastore3130?VMwareAdapterInstance3900?虚拟机环境日志采集能力oknono合计53499?故障发现能力说明-监控指标不足故障发现能力说明-缺乏专用指标(Demand)是否需要购买更多的内存?ESXi一共有32GBRA内存,目前系统已使用了大部分资源。Deep
understanding
of
vCenter
is
required过去24小时一直处于比较高的内存使用状态,需要增加内存资源.实际上这是一个位于VMware
ASEAN实验室的ESXi主机。vCenterOperations显示完全不同的信息,内存仅使用了32%.vCenterOperations显示完全不同的信息,内存仅使用了32%.避免了不必要的内存升级CONFIDENTIAL15场景总结虚拟机的内存管理是个比较复杂的问题,部分应用如数据库等,在系统初始化完成时既申请了一定量的内存空间,从操作系统层面来看,这部分空间已被分配,但从虚拟化层来看,这部分内存中的相当部分可能并不活跃,既这部分内容并没有实际的访问发生,这种情况造成系统的内存利用率较高,但实际
demand(vMware专有指标,指实际的内存请求)并不高,既系统实际并没有遇到严重的内存不足问题,并不需要扩充内存,针对这种情况用户可根据实际情况设置虚拟机的内存使用限制
即可。16Agenda解决方案功能验证说明逻辑架构及集成关系虚拟化运维需求分析用户的现状和不足(AS-IS)解决方案及价值(TO-BE)CONFIDENTIAL17vMware解决方案-vRealize
OperationvRealize
Operation管理套件统一的操作员控制台(支持单点登录)性能容量应用可见性报表日志基本服务清单工作流扩展:APIs,
SDKs3rd
PartyAdaptersContentPacks成本配置合规CloudPhysicalVirtualvSphereHyper-VXenServerLinuxWindowsCloud
ProvidersvCloudHybridServicePage18数据展现层数据处理层数据采集层报表BMC数据汇聚层门户中间件WebsphereWeblogicTuxedo数据库Db2,OracleInformix,SQlOSAIX,Hpunix,Solaris,linux,windowsHarware(X86)DellHPLenovoIBM用户应用网银柜面…Networkswitcherrouter虚拟化运维TO-BE虚拟化Vmware采集代理集中告警平台BMC,HP,IBMNetcoolvCenter监控工程师
系统管理员运维经理vRealizeOperation(vCops,vCM,loginsight)告警事件故障全生命周期管理-故障发现,故障分析,故障处理容量管理,性能分析;运行分析;配置管理;合规检查。故障报表配置报表;容量报表;合规报表;性能报表。健康,风险,效率专家面板故障,状态热图;动态基线避免误报漏报,具体告警处理专家建议;综合分析指标简单直观;监控阈值有动态基线,不需要手工维护。专家建议;根源分析;系统诊断;容量建议;自动修复故障。容量规划;资源配置优化;合规审计;配置统计;运行分析。专业虚拟化环境管理功能:容量管理配置管理安全加固合规审计故障管理专业报表专家面板成本管理管理层决策层维护人员容量规划管理提高可用性降险和成本安全加固
合规审计虚拟化环境运维解决方案功能总结故障解决配置管理 成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析故障发现 专业报表 容量优化故障分析 专家面板管理项 功能产品组件故障管理
故障发现,故障分析,故障解决容量管理 容量优化,容量规划风险管理 安全加固,合规审计资产管理 配置管理,成本管理运行管理 专业报表,专家面板vCopsvCopsvCMvCM,ITBMvCops容量管理风险管理低资产管理风20Agenda解决方案功能验证说明逻辑架构及集成关系虚拟化运维需求分析用户的现状和不足(AS-IS)解决方案及价值(TO-BE)管理层决策层维护人员管理提高可用性降低风险和成本解决方案功能项及场景验证故障发现专业报表容量优化容量规划故障分析专家面板配置管理合规审计故障解决安全加固成本管理技术面向故障,面向系统故障管理
运行分析面向问题,面向风险管理项功能产品组件故障管理
故障发现,故障分析,故障解
vCops本次PO决C由于只有一周时间,所以只对容量管理
vReali容ze量优op化e,ra容t量io规n划标准功能进v行Co了ps测试验风险管理
证,复安杂全场加景固,可合参规考审计报告材料说v明CM。资产管理 配置管理,成本管理
vCM,ITBM运行管理 专业报表,专家面板
vCops本次测试范围测试总结测试周期CONFIDENTIAL2211.3~11.7,合计5日。测试人员Sean
Tung,Wang
yu,David
lv功能测试(46项)产品组件测试项目完成情况vCops28100%vCM8100%vSphere
logInsight10100%集成测试(4项)集成项目描述
完成情况vCops与VCM双向集成配置变更集成(vCm->vCops)
100%合规检查集成(vCops-vCM)vCops与vSphereloginsight双向集成告警集成(loginsight->vCops)Drilldown分析集成(vCops->loginsight)100%产品类型CONFIDENTIAL23功能项vCops试确认Opeations
Manager所支持性能的指标数目测试确认Opeations
Manager的整体状态信息仪表板测试确认Opeations
Manager的不同颜色区分状态功能测试确认Opeations
Manager的溯源功能测试确认Opeations
Manager的系统异常分数功能测试确认Operations
Manager监控性能风险功能测试确认Opeations
Manager的预测资源可能耗尽天数功能测试Opeations
Manager的容量风险信息功能测试确认Opeations
Manager容量不足与利用过度的统计功能测试Opeations
Manager的实时效能图标监控功能测试确认Opeations
Manager的可回收的总容量百分比功能测试Opeations
Manager的整合率比较功能测试Opeations
Manager的管理资源对象功能测试Opeations
Manager的分析性能和故障数据功能测试Opeations
Manager的事件与性能健康度的关联功能测试Opeations
Manager的图形展示自定义处理功能vCM自动发现功能功能信息自动收集功能配置比对功能功能虚拟环境集中管理与检查功能与Operations
Manager合规集成功能报表导出功能健康检查功能配置合规性检查功能Loginsight结构化分析功能日志全文搜索功能日志搜索关键字自动补完功能模糊查询,组合查询与高亮显示功能内容套件功能快速构建搜索功能日志搜索与告警关联功能Log
Insight可与vcops关联功能日志服务器的统计功能功能日志服务器自身健康监控功能测试确认Opeations
Manager的扩展规模测试Opeations
Manager的动态阈值功能测试确认Opeations
Manager的告警自动功能测试确认Opeations
Manager的虚拟机效率瓶颈功能测试Opeations
Manager的趋势分析功能测试Opeations
Manager的假设影响分析功能测试Opeations
Manager的展现系统性能状态功能测试确认OpeationsManager的展示系统架构运行状态和健康状况功能测试Opeations
Manager的容量分析和预测Report功能测试确认Opeations
Manager的热图功能测试Opeations
Manager的预警能力功能测试Opeations
Manager的性能瓶颈关联功能测试细项决策层维护人员管理提高可用性降低风险和成本虚拟化环境运维功能项及场景-故障发现故障发现专业报表容量优化容量规划故障分析专家面板安全加固合规审计故障解决配置管理成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析管理层发现性能低下!问题分析确定根源解决纠正措施虚拟化环境运维故障管理-故障发现描述:结构化数据覆盖,监控指标的广度和深度覆盖,横向上能够覆盖虚拟化环境的各类对象,纵向上针对每类指标具有较深入的监控指标。总计超过
500多种监控指标,全面涵盖vsphere环境的各类对象,包括
world,vc,resourcepool,datastore,datacenter,cluster,host,VM等各类对象。特点:与业内同类产品相比具有更丰富的指标集合,合计超过500多个指标。描述:非结构化数据覆盖,运行日志收集分析,可深入收集分析虚拟化环境系统运行日志,及时发现运行故障。运行日志是监控非常重要的组成部分,许多指标上的各种变化都可以在日志中找到根本原因。特点:将Log分析的事件与监控分析平台整合在一个视图中,协助用户快速分析问题原因。同样可从监控告警中追溯到日志分析组件的具体日志信息条目。场景:告警事件集成日志关联分析Vmware虚拟化环境运维工具借助vmware对vsphere环境的深入理解,提供了完整的故障发现能力,包括结构化和非结构化数据采集能力,以及针对虚拟化高度动态环境特点构建的动态阈值判断能力,从监控的覆盖能力和监控的判断准确度两个方面着手提高监控发现故障发现能力。指标分析日志分析12描述:由于系统的复杂性,只靠单一指标往往难以确认系统是否存在故障,因此往往需要对多个指标进行综合分析,才能对情况做出准确判断,而这往往需要较为专业的知识和经验。vCOPS提供针对虚拟化系统的健康,风险以及效率综合状态分析,这种带有知识经验的综合类指标能够给以更直观准确的指示。特点:vMware根据自身实践提供了健康,风险,效率,压力等类型的独有综合性指标,帮助用户更方便直观的理解系统目前的运行情况。综合指标326指标类型vCopsBMC
OpenviewVirtualMachine139204(to
be
confirm)HostSystem1794610(to
be
confirm)ClusterComputeResource82200?ResourcePool28100?Datacenter360?Datastore3130?VMwareAdapterInstance3900?虚拟机环境日志采集能力oknono合计53499?监控指标指标数量的多寡直接体现的是监控的覆盖能力,但众多的专业性指标并不利于直接使用,因此vMware提供基于基础指标的综合指标分析能力,并且在具体项目交付时,vMware服务团队可根据用户的实际情况和不同角色的需求,对指标进行裁剪,并定制专业的管理面板,以方便最终用户的使用。CONFIDENTIAL1Example
of
counters:
MemoryESX有32RAM指标,以及10个vmkernelRAM相关指标.vmkernel
有55被监控进程。8个ESX组成的cluster只针对RAM就有超过
800个计数值。VM有28个RAM相关指标具有1000个虚拟机的环境总计有超过28000个VMRAM相关计数值,包括RAMovercommit,TPS,Ballooning等.举例:RAM举例:CPUVM
有14
CPU相关指标.每个核都有自己的值.超过1000个虚拟机的FARM针对VMCPU就有超过50000个指标值.包括sharing,DRS,vNUMA等类型.ESX有14个CPU相关指标以及10个vmkernelCPU指标.由于每个核都有自己的值,因此一个两socket的SXi只是针对CPU就有超过200个指标.一个8ESX的群组有超过1000个针对CPU的指标.ESX有20个datastore类指标,25个disk指标,8个path指标,8个adapter指标,Replication指标.典型的ESX主机有超过1000
存储计数值包括datastores,disks,adapters
和paths等.VM
有10个virtual
disk指标,7个datastore指标.举例:存储日志分析30SCSI
ErrorsNFS
ErrorsvMotion
FailuresHost
DisconnectsDropped
PacketsFailed
TasksSlow
Host
SyncsSlow
DB
Queries2场景:告警集成Loginsight告警集成到vCops中场景:日志关联分析vCOPS上看到部分VM
I/O
latency很高,直接连到LogInsight找寻相关讯息vCOPS直接切到LogInsight!问题原来是Datastore失联CONFIDENTIAL
34综合指标 描述健康-Health
健康指标将使您能够快速地大体了解资源的当前状况。vCOPS
将检查内部生成的衡量指标,并使用其专有的分析公式确定运行状况等级。内部生成的衡量指标包括警示和异常总数以及活动警示数量。负载-Workload
负载指标是表明对象资源需求的衡量指标组合。这些衡量指标包括
CPU使用和内存使用。某个对象的工作负载评分大于
100
时,您可能需要为该对象分配更多的资源或将某些任务移至其他对象。异常-Anomalies
异常指标表示根据对象历史衡量指标得出的对象行为异常程度。较低的异常评分表示对象行为符合其既定的历史参数。较高的异常数量通常表示存在需要关注的问题或情况。故障-Faults
故障指标用于指示对象出现的问题的程度。它包括多种事件,例如,“网卡或HBA”中冗余丢失、内存校验和错误、HA
故障切换问题和
CIM
事件。风险-Risk
风险指标主要用于警示管理员vSphere系统所存在的潜在问题,比如磁盘剩余空间过小等。剩余时间-Time
剩余时间评指标示对象资源耗尽之前剩余的时间⻓度。vCOPS
根据资源类型使用模式的历史数据按remaining
资源类型(例如CPU使用或磁盘I/O)计算评分。您可使用剩余时间评分规划对象物理资源或虚拟资源的置备,或者重新平衡虚拟基础架构中的工作负载。容量剩余-Capacity
容量剩余指标表示虚拟对象接近耗尽可用计算资源的程度。计算资源包括磁盘空间、内存大小和网Remaining
络容量。压力-Stress
压力指标容量紧张评分表示对象的历史高工作负载是否是常态。效率-Efficiency
效率指标分可帮助您确定系统中的优化机会。vCOPS
根据资源浪费和密度标志的评分计算效率评分。可回收资源-Reclaimable
可回收资源指标表示虚拟基础架构中或特定对象的资源过度置备。vCOPS
将计算环境中每个对象的Waste
每个资源类型(例如CPU、内存和磁盘)的浪费。您可使用浪费评分确定可回收并置备给环境中其他对象的资源量。密度-Density
密度指标表示整合比率,例如虚拟机与主机数量之比、虚拟CPU与物理
CPU数量之比以及虚拟内存与物理内存量之比等。您可使用密度评分实现更高的整合比率和成本节省。大量的基础指标复杂多样,不利于用户使用和掌握,并对情况加以判断,因此vMware定制了综合指标以直观的展示系统运行状态。综合指标3管理层决策层维护人员管理提高可用性降低风险和成本虚拟化环境运维功能项及场景-故障分析故障发现专业报表容量优化容量规划故障分析专家面板安全加固合规审计故障解决配置管理成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析性能低下!问题发现分析确定根源解决纠正措施虚拟化环境运维故障管理-故障分析描述:根据具体的告警情况,提供结合
vmware智能引擎的智能分析,帮助用户快速定位故障的具体原因,缩短故障的实际分析时间。特点:内置vmware智能分析引擎,提供root
cause分析,处理建议以及修复动作的完整处理机制。故障分析具有专利的分析工具和基础架构识别功能相结合,使vCenterOperations能够更加准确、迅速地分析故障,从而帮助基础架构和营运团队快速地查明系统各层面出现问题的根本原因。
vCenterOperations提供了⼀种更加适于协同工作的⽅式,能够加速解决问题、改变管理周期和减少40%的手工操作。描述:变更往往是导致系统故障的主要因素,因此在对故障分析时与配置的变更相关联能够有效促进故障的分析和解决。(如系统的迁移有可能导致出现性能问题,而且日常监控人员并不知道何时发生了何种变更),这种跨虚拟基础架构、操作系统和应用对变更事件与性能数据进行可视化关联非常有助于深入了解因配置变更而导致的性能下降。特点:将变更事件和性能分析结合在同
一个视图中,用户可根据按时间
轴排列的各种信息快速进行分析。场景:变更关联分析变更关联3描述:通过计算被监控指标的日常波动变化,构建动态阈值区间以适应系统负载随着环境的迁移或自身业务负载变换而变化的指标值。特点:通静态阈值和分时段阈值相比,
Vmware采用了更先进的动态阈值
技术,该技术有两个主要特点:1.自学习能力,系统可通过对负载
变换的跟踪分析和学习,自动计
算合适的阈值区间,既节省了人
工维护工作量,也更精准及时。2.阈值粒度更细,相比静态或分时
段阈值来说,动态阈值在时间轴
上切割的粒度更细,针对每个时
间点形成当前更合适的阈值区间。动态阈值 诊断分析1
2。传统告警判断模式:固定阈值不能反应系统负载的实际情况,监控精细度不足,容易产生误报只有上限阈值或者下限阈值,容易产生漏报。
如CPU阈值设置85%,但该阈值为日间用户访问高峰期设置,在夜间无用户访问,所以CPU消耗不会这么高,但仍有批处理任务运
行,一般资源消耗不低于50%,一旦批处理没有正常调度,系统CPU消耗可能降至20%以下,这种情况系统由于没有设置下限阈值就不会报警。手工维护阈值,工作量大,时效性及准确度较低,监控有效性严重下降:对于新部署系统无历史参考,阈值如何设置。监控人员不是业务系统维护人员,不了解系统运行特征。如系统增加CPU,MEM,或运行环境变迁的情况下,资源消耗比例发生变化,原有阈值设置失效,新的阈值设置需要根据观察结
果设置,甚至需要咨询业务系统人员。
如按照1000虚拟机,每虚拟机50个监控指标计算,总计50000指标,每台服务器的业务负载不尽相同,实际上每个指标都有自身
的波动范围,而在虚拟化和云环境下由于运行环境的动态变化,这种波动本身还在变化,传统的根据经验手工阈值设置的手段基本 无法维护,而简单批量设置最大值,最小值的方法无法满足精细化管理的需求,监控管理成熟度难以提高。动态阈值-静态阈值的不足Time1必须借助动态阈值解决阈值设置时效性和准确性问题随实际负载波动的阈值;阈值区间-上下限;自动计算,动态生成阈值曲线。动态阈值是must
to
have,在虚拟化和云环境下尤其重要灰条动态阈值的上下范围–“正常”蓝线:指标的当前值红条超出动态阈值–“异常”动态阈值实例CONFIDENTIAL
40DB
InstanceClusterVMData
StoreCPUMemoryNetworkDisk
I/O动态阈值LUN管理員收到Oracle应用程序缓慢的告警Oracle
虚拟机性能异常存储LUN
健康异常VNX
|
目標HBA
重設目标HBARESETS过高,影响应用程式性能检查LUN
详细情况(EMC
VNX:LUN44)IO
未完成磁碟IO(870/1024)高I/O
未完成檢查EMC
VNX
分析SP-A为紅色1234交易延迟异常诊断分析(跨应用程序,虚拟机及存储综合分析)2日志分析42SCSI
Errors变更关联4变更事件与性能曲线相关联来自vCM的告警事件指出当前有一个软件被卸载场景:变更关联分析-当内存配置过少或人为误改到0
修改了VM
内存配置250监控仪表板上显示AlertsKPI
异常配KPI破表,追根结底是由于内存置被误改了!找出Root
CauseRoot
Cause
与KPI破表发生时间先后由于内存错误配置,导致I/O,CPU等效能都受到牵连…由于Memory
Contention,Swap
升高Disk
I/O
跟着升高CPU
也升高管理层决策层维护人员管理提高可用性降低风险和成本虚拟化环境运维功能项及场景-故障解决故障发现专业报表容量优化容量规划故障分析专家面板安全加固合规审计故障解决配置管理成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析性能低下!问题发现分析确定根源解决纠正措施虚拟化环境运维故障管理-故障处理描述:通过短信邮件及时将告警信息通知给用户,提供丰富的告知方式。也可与第三方的监控平台进行集成,提供多种集成方式。描述:针对虚拟化环境的故障处理为了提高系统快速处理和响应能力,vMware提供了缺省的自动化处理能力,如开关机,动态扩展资源,清理未使用的snapshot以增加可用资源等,用户还可根据自身的需求通过vCO等工具组件定制扩展故障处理能力。特点:vMware基于对vSphere环境的深刻理解,在对虚拟化环境的自动管控上具有更强的操控能力和更深入的操控粒度。场景:事件处理自动化故障处理自动化工作流程触发程式使得系统管理员能够将在VMwarevCenter
Orchestrator™中建立的工作流程与vCenter
Operations
警示相关联,管理员能够创建并轻松实施工作流。通过自动执行主动管理,能够动态调配新服务、平衡资源和自动实现高可用性,从而达到相应的服务级别要求。告警通知自动处理13描述:对指定的故障告警,给出具体的处理意见,并可关联自动化处理措施。特点:内建知识库,提供处理意见,并可进
行编辑,不断根据实际处理经验丰富。专家建议2告警集成发送告警到其它系统开箱可用EmailSNMPTrap*SMARTS*Rest
API*Log
File50CONFIDENTIALAlert
DefinitionSymptom(s)Recommendation(s)Action(s)Notification(s)1Workflow–告警通知AlertsNotification
PluginNotificationsRules(Optional)Destination专家建议提供的操作:关闭VM电源建议:增加CPU资源关闭非关键应用2故障解决-缺省Actions+VCO扩展工作流53CONFIDENTIALction
Modified
Object Object
Levelsower
Off
VM
VM •
Cluster•
Host
System•VMhut
Down
VM
VM •
Cluster•
Host
System•VMower
On
VM
VM •
Cluster•
Host
System•VMelete
Powered
Off
VM
VM •
Cluster•
Datastore•
Host
SystemOOTB
ActionsAAction
Modified
Object Object
LevelsPSet
Memory
for
VM
VM •
Cluster•
Host
System•VMSSet
CPU
Count
for
VM
VM •
Cluster•
Host
System•VMPSet
CPU
Count
and
Memory
for
VM •
ClusterVM •
Host
System•VMDDelete
Unused
Snapshots
Snapshot •
Cluster•
Datastore•
Host
System3This
information
isintended
to
outline
ourgeneral
product
direction
and
itshould
notbe
relied
on
in
making
apurchase
decision.
It
isfor
informational
purposes
only
and
may
not
beincorporated
into
any
contract.55NSxscreenCONFIDENTIAL56事件处理自动化场景:Service
Auto
Scale-Out3.传送信号vCenterServervSphere5.自动再上线⼀台Web服务器4.执行程序监控中心
vCenter
OperationsManager
&
HypericWeb服务器的虚拟机群组扩充完成事件处理自动化
vCenterOrchestrator1.监控使用者人数负载平衡2.大量使用者登入使用应用程式CONFIDENTIAL57自动监控Sharepoint
服务线上连线数量监控使用者登入人数第三台Web服务器为关机待命狀況CONFIDENTIAL58自动侦测到Sharepoint连线数增加=>自动執行预定义处理机制1.检测到大量使用者登入2.发送告警,并启动自动扩充流程。3.第三台Web服务器自动开启服务整体完成时间约为3分钟CONFIDENTIAL59自动扩充Sharepoint
Web
Server
增加使用者容量第三台Web服务器开始接手使用者登入的工作量新上线服务器开始接手工作约为开机后2
~
3分钟CONFIDENTIAL60管理层决策层维护人员管理提高可用性降低风险和成本虚拟化环境运维运行分析-专业报表故障发现专业报表容量优化容量规划故障分析专家面板安全加固合规审计故障解决配置管理成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析虚拟化环境运维运行分析-专业报表&专家面板运行分析专业报表:提供多种类型的针对虚拟化环境的分析报表。专家面板:从健康,风险,效率等角度综合展示虚拟化环境的整体运行态势;提供多指标对比分析热图;3.提供综合虚拟机,网络,存储的拓扑面板展示;容量类报表:展示各级对象的资源容量,如虚拟机容量概览报表,容量清单和优化报告,群集及主机利用率报告;资产类报表:资产列表信息,如虚拟机列表报告;健康类报表:展示各类系统的运行健康状况和趋势,如运行状况评分和警示趋势报告;性能类报表:展示并分析影响系统运行效率的关键性能指标的情况,如虚拟机存储访问滞后时间平均值和峰值报告。综合面板:可以通过自定义Dashboard由基础架构角度、应用角度、租户角度、项目角度等方向考察虚拟环境的各项指标;热图面板:热图面板通过方格颜色、面积、分组的维度直观反映多种信息的对比,用户可从自身需求出发自定义各类指标组合。拓扑面板:形成整个虚拟化环境从vworld知道存储的类拓扑架构图,并以不同颜色显示各类组件的不同运行状态,包括健康,风险,负载等,用户可直观掌握虚拟化环境中复杂的依赖承载关系,快速定位根源故障组件。专家报表1专家面板2CONFIDENTIAL报表类型
描述虚拟机容量概览报告
1.已用和剩余容量2
剩余时间2.1
虚拟机2.2
资源3
容量使用情况3.1
虚拟机平均需求配置文件3.2
常⻅虚拟机配置3.3
平均虚拟机容量4
效率4.1
容量效率容量清单和优化报告
•
虚拟机优化•
闲置虚拟机•
容量过剩的虚拟机•
容量不足的虚拟机•
已关闭电源的虚拟机虚拟机列表报告
显示指定范围内的虚拟机CPU,内存,网络,存储等配置及关键指标信息。运行状况评分和警示趋势报告
显示系统健康指标状态及趋势,以及告警统计信息。虚拟机存储访问滞后时间平均值
显示虚拟机存储访问的关键性能运行情况。和峰值报告群集/主机利用率报告
•
群集/主机利用率和⻛险摘要•
群集/主机内存、CPU
利用率和运行状况趋势数据存储滞后时间和吞吐量
显示主机关联存储访问的关键性能运行情况。平均值/峰值报告损耗、压力和容量报告
•
配置的容量•
虚拟机容量使用情况•
虚拟机容量损耗和压力
63专家报表1CONFIDENTIAL
64主机容量报表表存储性能报虚拟机容量报表专家面板—综合面板的意义现状:–
vRealizeOperations
的数据采集范围太广、信息量太大,普通的Dashboard与Report功能只能提供标准的界面,无法为不同IT管理角色的用户基于关心的内容进行“私人定制”解决方案-私人定制式的内容CONFIDENTIAL65IT管理角色关心内容应用or数据库运维人员应用or数据库的健康状况和性能数据,以及应用相关的各种资源基础架构管理员“一键式”的环境整体情况展现与“抽丝剥茧”式的故障分析测试云管理员各个测试项目的资源使用和健康状况,部分压力测试需要判断性能瓶颈出现的位置私有云管理员各个租户(公司部门、集团子公司、下属单位)业务应用的资源使用和健康状况决策层通过容易理解的、“形象直观”的报表看到业务健康度、财务成本、合规安全等角度的综合信息2CONFIDENTIAL
66专家面板:群集综合角度Dashboard(Cluster
Level
->
CPU
->
Mem
->
Storage)CPU
Usage
|
CapacityCPU
Usage
|
DemandCPU
Usage
|
ContentionMemory
|
BaloonMemory
|
Swap
in
RateCPU
Usage
|
CapacityCPU
Usage
|
DemandCPU
Usage
|
ContentionMemory
|
BaloonMemory
|
Swap
in
RateCentralInformationCentralInformationHealth
TreeHealth
TreeDatastore
ThresholdDatastore
ThresholdCPUHealthCPUHealthMemory
HealthMemory
HealthCluster
HealthCluster
HealthCPU
ResourceCPU
ResourceMemory
ResourceMemory
ResourceCapacity
RemainingCapacity
Remaining专家面板:“一键式”群集容量Dashboard选择ClusterCluster概览CONFIDENTIAL67整合比与剩余可部署VM数量不同纬度的资源剩余情况浪费与使用吃紧的资源情况专家面板:自定义Resource
Tag—从不同纬度汇聚信息(对象)按部门名称按项目名称按业务名称按应用类型Web/App/DB)按地理位置/DC名称……vCenter中的各种对象:
1.VM名称2.Datastore名称
3.Host名称4.第三方Adapter实例5.文件夹……CONFIDENTIAL68专家面板:Oracle
DashboardCONFIDENTIAL69专家面板:拓扑面板-Oracle
DashboardCONFIDENTIAL70专家面板:私有云租户角度的DashboardvCAC租户vCAC租户部门vCAC预留vCAC预留策略租户的部门对资源的消耗速度是否过快?租户的预留资源是否消耗过快?CONFIDENTIAL71专家面板-热图面板示例(1)Datastore延迟情况(方格面积:容量,方格颜色:IO延迟)&存储控制器资源使用情况CONFIDENTIAL72专家面板-热图示例(2)Datastore延迟情况(方格面积:VM数量,方格颜色:IO延迟)CONFIDENTIAL73客户实例:云负责人的视图-概要与资源客户实例:云用户项目经理的视图-资源和KPI客户实例:云管理员视图-云管理的应用监控vR
Ops–报表和面板定制化Technical
Overview可定制的视图,报告和仪表板Custom
Views对象细节可见性大量的视图类型和选项建立一次使用很多次Custom
Reports拖拽视图到报告中Custom
Dashboards拖放一个视图到仪表板拖放一个小部件到仪表板(前)ViewsReportsDashboardsWidgets(from
the
Old
Custom
UI)View
your
data
the
way
you
need
tovR
Ops
Adv决策层维护人员故障发现容量规划管理提高可用性降低风险和成本容量优化故障分析安全加固
合规审计虚拟化环境运维容量管理-容量优化配置管理故障解决专业报表专家面板成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析回收容量管理层分析当前利用率优化预测预测未来容量管理虚拟化环境运维容量管理-容量优化描述:VMware提供了”The
ReclaimableWaste”badge
指出从现有虚拟机环境中可回收多少闲置资源,该指标可帮助用户排查在数量众多的服务器集群中,那些服务器的虚机资源使用率极低可以被回收供给那些急需资源虚拟机使用。特点:针对vsphere环境,内置Vmware最佳实践和知识模型帮助用户有效管理资源,避免资源浪费。描述:密度是虚拟化环境一个非常重要的指标,它指出的是虚拟机环境的VM配置比例,该值是个动态的结果,系统根据实际的
负载情况给出合理的建议比例。管理员
可根据改该值调整在该host上运行的VM的数量和类型。特点:采用Vmware最佳实践和知识模型为用
户提供业务最专业的配比建议,包括
“VM:Host
Ratio”,“vCPU:CPURatio”以及vMEM:Physical
Memory”等多种配比建议。容量优化优化资源配置,提高现有资源利用率。发现并回收低效、未使用的容量,发现容量不足和超额配置情况,以便合理调整虚拟机大小、回收闲置资源,在不影响性能的情况下优化整合率和虚拟机密度。浪费资源回收密度建议12可回收资源801自动容量优化工作流vCenter
Operations
中的容量警报触发
vCenter
Orchestrator工作流删除已关闭虚拟机和虚拟机快照以解决容量问题的工作流准备报告并发送电子邮件通知配置比建议:实际vs理想密度CONFIDENTIAL822决策层维护人员故障发现容量规划管理提高可用性降低风险和成本容量优化故障分析安全加固
合规审计虚拟化环境运维容量管理-容量规划配置管理故障解决专业报表专家面板成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析容量管理预测未来管理层分析当前利用率优化回收容量预测虚拟化环境运维容量管理-容量规划描述:显示当前虚拟基础架构中各节点的资源使用情况和资源需求情况,并以数字的形象直观地呈现负载的高低。对于主要的环境资源,包括CPU,内存,网络以及存储等,进行使用情况汇总特点:可以在vCenter级别,数据中心级别,集群级别,ESXi主机级别以及虚拟机级别上显示节点信息仪表盘上独特的徽标显示,更加直观从风险和效率2个维度,来呈现现有资源的使用现状.描述:提供趋势分析视图,可以查看任意时间段的容量趋势分析,进而预测容量短缺和瓶颈出现的时间特点:在虚拟机、主机、集群和数据中心等多个级别持续评估、分析和跟踪容量.可根据历史容量使用模式,对当前和未来的容量需求进行趋势分析和预测.报告选项卡可以将数据导出成PDF或者CSV格式的文件。报告可立即生成报告或定期运行。描述:支持what-if分析功能,可以在不改变实际配置的情况下,修改模拟变量以帮助规划容量和负载。特点:场景可以基于集群,模拟改变主机、存储和虚拟机数量的效果;What-if场景可以保存,而且可以多元化套用,也可针对vApp設定容量规划场景容量规划vCOps借助VMware对vSphere和云计算环境的深入理解,提供了智能的容量分析和规划能力,包括对vSphere虚拟化环境的CPU,内存,存储以及网络等资源的现有容量使用情况统计,
容量使用趋势,进而帮助运维管理人员合理规划虚拟化环境的资源,避免资源耗尽及资源浪费,提高虚拟化效率.容量现状容量预测12容量假设场景分析(What-if)3容量现状-仪表板截图从风险和效率2个维度显示容量使用情况风险:
剩余时间,
剩余容量,
以及压力效率:可回收的废弃容量,密度1CONFIDENTIAL85容量预测在仪表板上显示趋势曲线(如下图剩余容量和剩余时间)2CONFIDENTIAL86预测分析实例当前容量跨越点实际部署的虚拟机虚拟机计数容量当前容量状态如果我新添加10
台虚拟机,则将出现新的容量不足剩余时间CONFIDENTIAL88容量预测场景分析在”计划”选项板上显示单个对象(如主机,datastore等)的详细剩余时间不改变实际配置的情况下,修改模拟变量以帮助规划容量和负载模拟向集群添加更多主机、数据存储和虚拟机的效果。。容量假设场景分析3CONFIDENTIAL89管理层决策层维护人员故障发现容量规划管理提高可用性降风险和成本容量优化故障分析合规审计安全加固虚拟化环境运维风险管理-安全加固配置管理故障解决专业报表专家面板成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析安全加固风险管理低虚拟化环境运维风险管理-安全加固安全加固依据VMwareHardingguide自动按照vMware最佳实践和策略检查系统各项设置,出具相关报表,并可进行自动设置,实现系统自动化的安全检查和加固。加固项目策略数量VM55EXI38vNetwork35vCenterServer31VUM10SSO6WebClient2VCSA3合计180安全配置检查92按对象进行安全检查93不符合vSphere的安全实践要求94CONFIDENTIAL95CONFIDENTIAL96vCops内嵌安全加固规则Analysis–Compliance
Tab页面“预期”和“发现”属性值违反合规规则违反规则的日期管理层决策层维护人员故障发现容量规划管理提高可用性降风险和成本容量优化故障分析合规审计安全加固虚拟化环境运维风险管理-合规审计配置管理故障解决专业报表专家面板成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析风险管理低虚拟化环境运维管理-合规审计描述:从一个中心控制台为虚拟环境中的物理
主机、虚拟机、操作系统提供合规审计
的高度可见性、控制能力和策略合规性。以图表化的方式提供全面的配置与遵从
性报告,以便管理员及时了解系统不同
层面的遵从性情况。特点:图形化指标显示整个虚拟和物理环境中的违规问题。集成性通过使用VMware
vCenterServer
合规性插件,您可以在vCops中一键式查看虚拟环境的合规性,并在该环境中启动vCM控制台。可以在虚拟化管理中心级别,数据中心级别,集群级别,虚拟化主机级别以及虚拟机级别上向用户提供格式丰富图文并茂的遵从性与配置报告。描述:您可以根据行业、法规和供应商安全性标准以及添加自定义的安全标准,自动评估虚拟基础架构与虚拟机、操作系统的合规性。特点:内置全面的遵从性策略模板,包括相关的法律法规,提供受支持的法规标准和行业最佳实践–包括–PCI
DSS
–CISBenchmarks–FISMA
–GLBA–HIPAA
–DISA
–FDCC–ISO
17799/
27001–NERC/FERC
–Sarbanes-Oxley描述:VMware
vCenter™ConfigurationManager
的策略驱动型自动化功能可深入检测系统更改,并确定这些更改是否符合策略(基于行业或法规标准的预期行为及可接受的行为),或者这些更改是否会导致违规或安全漏洞。主动强制实施合规标准,尽早识别变更并自动执行修复。将变更事件与环境任意级别合规性遵从性进行关联。特点:当检测到不满足遵从性策略的项目时,可根据策略要求自动修复不满足要求的系统配置。合规审计VMware虚拟化环境合规性检查工具借助VMware对vSphere环境的深入理解,提供了集成的虚拟和物理混合环境下合规性审计管理的高度可视性和自动化以及全面的业界安全法规策略模板。vCM可以为虚拟机,vSphere环境和物理机定义强制标准和法规遵从性(HIPAA,
PCI-DSS等)报告不遵守合规状况并提出整治建议,合规性标准的即时可用且可自定义的策略能够提供建议或自动触发修复操作,强制实施安全配置标准,帮助企业降低IT运营风险。基于策略的合规自动化全面的合规性审计 合规性遵从的可见性123CaptureChangesAssessReportRemediate为了帮助保护您的隐私,PowerPoint已阻止自动下载此图片。持续操作系统合规(虚拟与物理均可)从目录创建和部署合规的虚拟机按需分派更多的策略Specific
for
the
role
of
the
VM/app
inthe
consumer’s
businessPCI,
SOX,
HIPAA,
ISO,
etc.持续自动的合规性审计Regulatory:
SOX,
HIPAA,
GLBA,
FISMA,DISA,
ISOIndustry:
PCI
DSS,
NERC/FERCVendor
hardening
guides合规性自动修复、补丁管理防止安全性攻击Assess
(Win,
UNIX,
Linux,
MAC)Deploy目录部署HIPAAHIPAA添加策略1广泛的标准合规性模板库立即使用而无需修改易于扩展用户自定制合规性规范允许管理人员为系统提供特例基础架构和安全管理员:“我们如何快速符合业界安全合规性标准?”–配套完整的安全法规的遵从性检查包合规性VIvSphereHardeningGuidesvCM
BestPracticesDISA
ESXPCI
DSS
2.0forvSphere/ESXISO
27002
-vSphereBasel
III
-vSphereCIS
forESXFISMA
ESXGLBA
ESXHIPAA
ESXSOX
ESXViewHardeningGuidelines执行业界安全合规标准获得遵从性报告CONFIDENTIAL22格式丰富的合规遵从性报表103从vCops联动合规分析系统的不合规项目vCM的合规性分析与自动化整治可用的合规模板选择PCI合规分析结果强制合规3创建内部IT最佳实践标准虚拟化架构&
云平台管理员:“我如何才能察觉不需要的变化?给我最佳实践”vCM遵从性管理构建遵从性规则,满足您的内部标准可跨多个vCenter
和vCD创建简单规则通过规则组实现合规性遵从性的最佳实践严重程度持续的、自动化的虚拟化合规性创建IT合规性来驱动你的IT内部标准创建一个新的合规性策略选择要检查的数据类型丰富的数据条目创建一条合规性规则管理层决策层维护人员故障发现容量规划管理提高可用性降低险和成本容量优化故障分析合规审计安全加固虚拟化环境运维资产管理-配置管理配置管理故障解决专业报表专家面板成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析资产管理风虚拟化环境运维资产管理-配置管理配置管理提供详尽而持续的配置数据收集、配置评估和更改审核,提供统一配置数据报告,帮助用户及时掌握虚拟化环境资产信息。描述:收集虚拟化环境各类资产配置信息,涵盖vcenter,datastore,cluster,portgroup,role,hosts,vm,license,配置参数,容量等各类vsphere环境的资产信息,并为用户提供非常二十余种非常详尽的报告。特点:针对vsphere环境业界收集对象最全,信息粒度最细的配置信息采集工具。描述:自动跟踪扫描vsphere环境各类对象当前配置信息的变更情况,包括配置参数的改变,对象的增加删除,包括系统软件的安装卸载等,为用户及时掌握资产配置的变化提供详细及时的报告。特点:配置变化可与监控平台集成,在监控平台中显示配置的变更情况,有效帮助用户分析故障。配置信息采集配置变更发现12CONFIDENTIAL110资产配置信息收集1CONFIDENTIAL111资源报表参数虚报拟表机信息CONFIDENTIAL112资产配置变更检查2管理层决策层维护人员故障发现容量规划管理提高可用性降低险和成本容量优化故障分析合规审计配置管理虚拟化环境运维资产管理-成本管理安全加固故障解决专业报表专家面板成本管理技术面向故障,面向系统 面向问题,面向风险故障管理
运行分析资产管理风虚拟化环境运维-成本管理描述:显示当前环境资源使用情况,并对其进行成本分析,可以设置采购成本和运维成本,并且按VM,租户,业务组织,用户,服务模板为单位进行成本计量和核算.特点:支持混合云环境(vsphere,
Xen,Hyper-V,
Vcloud
Air,
AWS,
Azure等)可以从硬件,软件,运维成本多个维度计量成本.支持手工设置资源使用成本,也支持开箱即用的业界参考成本.描述:提供多种开箱即用的成本分析报表供云管理员以及财务人员分析.特点:报告可以按租户,业务组织,用户,VM,以及服务模板为单位进行分析.报告选项卡可以将数据导出成PDF或者CSV格式的文件。支持虚拟化备份成本分析
(vsphereDataProtection)描述:提供业界Benchamark数据,用于分析比较当前云环境成本。特点:支持支持混合云环境;可以自动下载更新工业benchmark数据,无需手动维护直观显示,一目了然.成本管理ITBM借助VMware对vSphere和云计算环境的深入理解,全面分析虚拟化和云计算环境的各种成本包括采购成本(软硬件)以及运维成本(人工,维护等),帮助管理员和企业财务人员快速了解各种云服务的业务成本状况,将IT和业务很好的结合,提高业务敏捷度,优化云成本.成本计量与核算
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 乡镇教育工会年工作计划工会工作计划
- 学校党建工作总结及计划范本
- 销售工作2019工作总结及2019工作计划
- 8月初三班主任工作计划范文
- 2024小学语文教师个人研修计划表
- 国有企业革新验收工作计划范文
- 公司2021年客服工作计划例文
- 2024平面设计师个人的工作计划
- 二年级下册数学教学计划冀教版
- 获奖创业计划书范文
- (完整版)电力工程施工方案
- 电焊工_3级_鉴定要素细目表(共14页)
- 带教述职报告课件
- 尿液沉渣图谱分析
- 我的家乡——河南PPT课件
- 环境工程的课程设计---填料吸收塔
- 中心传动刮泥机现场施工方案
- 论农村科技创新型人才存在的问题及对策
- 中国科学技术大学抬头信纸(word版)
- 气管切开(一次性气切导管)护理评分标准
- 保安工作日志表
评论
0/150
提交评论