版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
VMware虚拟化方案及其应用
SystemMaintenanceServicesATI刘ang.liu@2016年8月安图特为北京水务局自动化所准备X86服务器虚拟化的一些基础概念虚拟架构解决方案简介虚拟化在宇信的银行解决方案的应用场景分析虚拟化产品组件虚拟化和非虚拟化的情况对比虚拟化服务项目能够给我们公司和系统服务部带来哪些利益和收益的分析AgendaX86架构服务器现状服务器的百分比主时间高峰时间20%40%60%80%0%0-10%20-30%40-50%60-70%80-90%CPU利用率当前服务器利用率很低而且技术进步会使它继续降低时钟速度不断增加超线程4/6/8/10核心系统CPU硬件辅助虚拟化技术为未使用的计算资源买单X86架构服务器采购量/年需要管理的服务器数量不断增长服务器部署:20%杂项30%安全:10%支持:20%备份和监视:15%在低价值的任务上花费了太多的时间,例如采购和调配数据中心管理效率低系统管理员如何使用他们的时间低价值任务硬件采购:5%除了硬件的成本,服务器对空间的不断侵占还带来了管理成本的增长20002002200420062008费用(以十亿美元为单位)管理和管制成本服务器费用501001500200管理成本占TCO的大部分100%传统数据中心架构面临的挑战应用相关的架构层Exchange文件/打印WebhttpdCRMBI商务应用App1WeblogicApp2weblogic关键指标(某农信87台套)资产利用率运营费用高可用/容灾计划覆盖数据中心扩展的努力资源配置/移动/变更123456数周$-百万时间:数月/数年<10%覆盖~$4,000/服务器/年<20%%花费(维护对创新)72%/28%App3websphereApp4webspher数据中心的挑战和其结果挑战服务器对空间的不断侵占服务器利用率低管理员时间的使用效率低需要高的服务水平:快速响应、高可靠、高可用和灾难恢复结果成本升高可管理性降低效率和响应速度降低总体拥有成本(TCO)初期费用硬件采购成本软件使用授权成本培训费用后继费用管理操作维护支持了解当前架构的总体花费是估算整合后节约的费用的先决条件什么是虚拟化?灵活性、可靠性、可扩展性、安全性简单来说,虚拟化就是淡化用户对于物理计算资源,如处理器、内存、I/O设备的直接访问,取而代之的是用户访问逻辑的资源,而后台的物理连接则由虚拟化技术来实现和管理。Poolof
ResourceProductionPlannerOtherusersSysMgrsTestingCenterOtherDedicatedResourceERPDataCenterDepartmentalDataCentersPartnersSuppliersFinanceHR,LOB服务器虚拟化的两个方向一变多将一台服务器虚拟化成更多的虚拟机大机的虚拟化:IBM的LPARUNIX服务器:IBM的LPARHP的nPAR,vPARSun的Domain、Containerx86架构服务器:VMware的vSphere5多变一将多台服务器虚拟化成一台虚拟机网格计算(NetGrid)高性能运算(HPC)vSphere
组件物理层:主机、网络、共享存储虚拟机层:ESX™/ESXi中央管理层:vCenter™Server功能组建层:HA、FT、VmotionVMwareConverterUpdatemanagerVMwareguidedConsolidationESX:Hypervisor;Firmware;微码级的底层管理程序物理服务器和操作系统之间的中间软件层,可允许多个操作系统和应用共享一套基础物理硬件,因此也可以看作是虚拟环境中的“元”操作系统,它可以协调访问服务器上的所有物理设备和虚拟机,也叫虚拟机监视器V5Enterprise
VMotionDRSStorageVMotionV5Standard
VMwareHAVMware企业级虚拟化产品企业级虚拟构架(vSphere5)
ESXiServe5VirtualCenter
V5FoundationVirtualSMPVMFSVCBUMCapacityPlanner容量测试与计划
VMwareConverter
实机到虚机的快速迁移VMware
Consolidated
BackupVCBESX/ESXi:虚拟化平台ESX和ESXi是在服务器上直接运行的高效、可靠的裸机虚拟化管理程序。ESX和ESXi可对CPU、内存、存储和网络资源进行抽象处理,使其成为多个虚拟机。VMware内核–VmkernelESXi虚拟机群集文件系统设备驱动程序存储协议栈虚拟网卡和交换机网络协议栈虚拟多处理器SMPVMMVMMVMMVMMPhysicalHardware服务控制台ServiceConsolehostd管理代理Agents和接口其它外设I/O周期性负载均衡器资源管理虚拟机-VM在创建虚拟机的时候,选择设备以及内存的容量VMkernel将虚拟机设备映射到主机上的物理设备虚拟机独立于主机系统和硬件设备VMwarevSphere5简介整个IT架构的虚拟化套件1。企业级虚拟化ESXi;2。中央管理vCenter;3。功能组件HA、DRS等自动化资源积聚可用性性能优化
2。中央管理1。企业级的虚拟化系统分区
Vmotion/StorageVMotionResourcePoolsDRSDPMHAUMConsolidatedBackup
VirtualCenterVirtualSMPVMFSESXiServer53。功能组件自动化资源积聚可用性性能优化中央管理企业级的虚拟化系统分区
VMotion/StorageVMotionResourcePoolsDRSDPMHAUMConsolidatedBackup
VirtualCenter2VirtualSMPVMFSESXiServer5VMwarevSphere5简介(ESXiServer5)虚拟化如何实现虚拟化前虚拟化后服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中软件必须与硬件相结合每台机器上只有单一的操作系统镜像每个操作系统只有一个应用程序负载每台机器上有多个负载软件相对于硬件独立未更改过的应用未更改过的OS虚拟硬件虚拟化的关键特征硬件独立可以在其他服务器上不加修改的运行虚拟机兼容性虚拟机完全兼容标准的操作系统,以及在这些操作系统之上建立的硬件驱动和应用隔离每一个虚拟机都与同在一个服务器上的其他虚拟机相隔离封装虚拟机将整个系统,包括硬件配置、操作系以及应用等封装在文件里…………...………………...………………...……广泛的互操作性和兼容性认证ServerFarmESXiServerESXiServerESXiServerESXiServer虚拟机VmwarevSphere5ESXiServer网络FCSAN,iSCSISAN,NAS管理平台:应用:操作系统:CPU:I/O子系统:网络:存储设备:服务器硬件:跨越不同层的互操作性实现了企业级的虚拟化VMwarevSphere™:最全面的操作系统支持(银行网点上收)
VMwarevSphere™MSHyper-VWindowsServer2008(最多4处理器vSMP)WindowsServer2003SP2(最多2处理器vSMP)WindowsServer2000SP4(仅单处理器)SLES10(仅单处理器)WindowsVistaSP1WindowsXPProSP2/SP3WindowsNT4.0Windows2000WindowsServer2003WindowsServer2008WindowsVistaWindowsXPRHEL5RHEL4RHEL3RHEL2.1SLES10SLES9SLES8Ubuntu7.04Solaris10forx86NetWare6.5NetWare6.0NetWare6.1DebianCentOSFreeBSDAsianuxSCOOpenServerSCOUnixware…vSphere=4倍的客户操作系统数量支持企业级的负载ESXi5.0支持多达32core
CPU的虚拟机,从而允许在VMwareESXi平台上运行较大的CPU密集型工作负载vSphere5.0支持具有多达160个逻辑CPU(物理的Core)和高达2TB内存的系统。vSphere5.0支持每台物理主机上多达512台虚拟机,共计最多2048个虚拟CPU在虚拟机中已经可以运行资源消耗巨大的企业级应用,如数据库、CRM、ERP应用自动化资源积聚可用性性能优化
中央管理企业级的虚拟化系统分区
VMotion/StorageVMotionResourcePoolsDRSDPMHAUMConsolidatedBackup
VirtualCenter2VirtualSMPVMFSESXServer3VMwarevSphere5简介(中央管理vCenter)VMwareInfrastructure的管理ServerFarmESXServerESXServerESXServerESXServerESXServerESXServerVMwareInfrastructureESXServer网络存储系统VirtualCenterVCAgentVCAgentVCAgentVCAgentVCAgentVCAgentVCAgent虚拟机VirtualCenter-关键功能7编程接口虚拟机和服务器管理1虚拟机部署2虚拟机迁移3资源管理4系统监控5安全和访问控制6集中统一管理VirtualCenter组成部分VMwareUpdateManagerServerVMwareLicenseServerVMwareConverterServerWebAccess被管理的主机(ESXServers)活动目录AD域VIClientWebCenterVIWebAccessVirtualCenterServerVirtualCenter数据库VMware软件补丁数据库自动化资源积聚可用性性能优化
2。中央管理1。企业级虚拟化系统分区
VMotion/StorageVMotionResourcePoolsDRSDPMHAUMConsolidatedBackup
VirtualCenter2VirtualSMPVMFSESXServer3VMwarevSphere简介(功能组件:HA、Vmotion等)3。功能组件:用VMotion减少计划内宕机时间VMotion是什么?通过VMwareVMotion可以实现虚拟机的动态迁移,而服务不中断客户优势零宕机时间:进行有计划的服务器维护和升级迁移工作负载,资源利用率最大化服务器的持续可用性,完整的交易集成支持FibreChannel和iSCSISAN环境以及NAS80%的VMware客户实施应用了VMotionx86ArchitectureVMwareESXServerx86ArchitectureVMwareESXServerVMotion迁移虚拟机SAN、iSCSI或NASStorageVMotion:7*24迁移虚拟机文件和优化存储虚拟机磁盘存储独立迁移无需虚拟机停机LUN独立支持光纤通道SAN应用程序操作
系统应用程序操作
系统应用程序操作
系统无中断:刷新到新阵列
迁移到不同类别的存储器升级到新文件系统格式虚拟机粒度,LUN独立VMwareUpdateManager:不宕机的升级管理Update
Manager无需对
ESX
Server
主机和虚拟机修补
程序级别进行手动跟踪自动执行修补程序标准通过快照和虚拟机离线修补降低风险使用UpdateManager和DRS修补ESXServer无需中断*
注意:只能扫描不能修正
RHEL
客户操作系统为
ESX
Server
主机以及选定的
Microsoft
和
RHEL
虚拟机自动执行修补程序管理扫描并修补在线和离线的虚拟机*,以及在线的ESXServer主机在修补之前拍摄虚拟机快照,并允许虚拟机回滚到快照离线通过VMwareHA确保系统高可用VMwareHA是什么?VMwareHA就是发生服务器故障是在其他的物理服务器上自动重启虚拟机客户优势对所有的应用实现了高可用性,并且成本很低不需要完全一致的重复硬件比传统的集群有更高的成本优势,同时易于使用和操作通过VMwareHA可以方便地提高任何应用的高可用性资源池XSAN/NAS/iSCSIVirtualCenterVMwareHA切换过程演示ESXi
Server物理主机宕机!ESXi
Server确保了系统的高可用性使用VMwareDRS进行资源优化DRS是什么DistributedResourceScheduler?跨资源池动态平衡计算资源基于预先设定的规则智能分配资源对客户的优势基于业务优先级分配IT资源简化运行,大幅度提高系统管理员的生产率动态添加硬件资源而避免在繁忙时段服务器的过载动态硬件维护能力动态、智能地分配硬件资源来满足业务部门和IT的不同需求资源池业务需求围绕业务进行组织和规划…而不是您的硬件!ESXServer1ESXServer2ESXServer3SAPCitrixDNS/DHCPOracleSQLServerApacheExchServerDRS发生DistributedResourceSchedulerSAN存储DRS发生时的情形演示启用“即插即用”数据中心插入:接通安装了
ESXi
Server
5的新服务器电源。新服务器即加入
DRS
群集。使用:群集中所有的虚拟机会自动重新进行平衡,以纳入新的可用资源。负载分配规则设定一次,永远有效,自动执行按需分配容量易于扩展避免业务繁忙时段的过载DPM:分布式电源管理资源池业务需求关闭群集需要的资源越少,就将工作负载整合到越少的服务器上将不需要的服务器置于待机模式工作负载需要增加时,再恢复服务器在线状态保证服务级别的同时减少电力消耗虚拟机不中断、不停机DPM可将电力成本进一步降低20%说明:在100台服务器中,有50台每个工作日可关闭8小时,周末每天可关闭16小时。服务器平均总能耗(操作耗电+制冷耗电)=1,130.625瓦/小时能源成本=0.0813美元/千瓦小时(资料来源:美国能源信息管理局)分布式服务-FaultTolerance接管执行操作而不中断服务FaultTolerance(FT)通过在单独的主机上以辅助虚拟机保护主虚拟机,提供了持续可用性。系统将会记录主虚拟机上执行的输入和事件并在辅助虚拟机上重放,从而确保两个虚拟机保持相同状态。例如,系统将记录主虚拟机上的鼠标单击和按键操作,并在辅助虚拟机上重放。它可以在任意点接管执行操作,而不会中断服务或丢失数据。辅助虚拟机主虚拟机VMwareFaultTolerance(FT)
vLockstep技术
新的辅助虚拟机vLockstep技术
VMwareFT为HA群集中的虚拟机提供零停机、
零数据损失的保护。新的
主虚拟机可用性安全性可扩展性操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
操作
系统
应用
程序
GuidedConsolidation自动整合现有服务器搜索环境中的现有服务器针对整合适合度进行分析推荐的整合计划执行P2V并将服务器导入虚拟机
(P2V)纵向扩展应用系统以实现有保证的QoS:热添加
可用性安全性可扩展性可扩展虚拟机热添加CPU内存热添加和删除存储设备网络设备热扩展虚拟磁盘以零停机时间横向扩展虚拟机64GB4个CPU255GB8个CPU操作系统应用程序虚拟机磁盘仅占用正在使用的物理磁盘空间虚拟机始终可以看到完整的逻辑磁盘大小对资源分配和消耗的完整报告和警报显著提高存储利用率减少对虚拟磁盘的过度调配存储成本的减少幅度可达50%vStorageThinProvisioning(精简配置)vComputevStoragevNetworkESX操作系统应用程序操作系统应用程序操作系统应用程序数据存储区Datastor虚拟磁盘.vmdk20GB40GB20GB20GB60GB20GB100GB密集型精简型精简型40GB100GBX86服务器虚拟化的一些基础概念虚拟架构解决方案简介虚拟化在宇信的银行解决方案的应用场景分析虚拟化产品组件虚拟化和非虚拟化的情况对比虚拟化服务项目能够给我们公司和系统服务部带来哪些利益和收益的分析AgendaVMware虚拟架构解决方案业务连续性
减少计划内及计划外宕机时间简化灾难恢复基础架构优化服务器整合降低运维费用固定资产电耗空调传统整合的方法应用整合(每台服务器部署多个应用BOC)应用冲突的风险,资源争夺严重并不适用所有的应用部署难度大物理整合
(例如:采用机架式、刀片式服务器)节约了空间,但没有提升服务器利用率
x86ArchitectureOperatingSystem
App1
App2
App3
App4整合在一台服务器上运行多个操作系统和应用使新的硬件支持老的应用OPENSERVER数据中心撤退旧的硬件抑制用虚拟架构预备新的项目推迟购买新的物理硬件通过虚拟架构整合服务器,控制x86服务器的蔓延服务器整合:数据中心大瘦身VMware客户服务器整合比
ConsecoFinance 8:17-Eleven10:1NationalGypsum10:1AppliedInnovation15:1AIGTechnology20:1Qualcomm30:1GE中国医疗 17:1向导帮助的整合自动发现物理服务器分析利用率和使用模式转换物理服务器为根据用户响应
智能放置的虚拟机降低了给虚拟化新用户进行培训
的需要在整个整合过程中引导用户分析转换发现使用VMwareConverter在线无缝地将物理系统
转换为虚拟机Citrix
Metaframe服务器MicrosoftIISWeb服务器MicrosoftSQLServerMicrosoftExchange服务器VMwareConverter物理到虚拟迁移序号当前问题解决方案优势硬件人工敏捷性可用性安全性1服务器蔓延;数据中心空间、能源、制冷的局限性;硬件利用率低;更少的服务器、更小的占地空间、更高的系统利用率和能效;X
2部署新应用周期长,需采购服务器、网络设备、连接线缆、安装软件通过虚拟机(或应用容器)实现快速的应用部署;
XX
3系统配置缺乏灵活性;有限的I/O端口和扩展卡插槽;可以简便、快速地改变虚拟资源的配置;
XX
4工作负载绑定在服务器上,调整起来很困难;在应用持续运行的条件下实现工作负载在不同服务器上的调配;XXXX
5以服务器为单位进行容量规划和管理;以资源池为单位进行容量规划和管理;
XX
6系统升级需要考虑软件升级、应用兼容性等问题;虚拟机可以保障不同硬件环境下软件的兼容性,实现投资保护;
XX
7软件配置不统一,没有实现标准化;通过映像管理、软件库、Web来快速获取和部署软件应用;
XX
8高可用性/灾备方案需要通过硬件冗余实现,投资较高;虚拟备机解决方案只在需要时使用物理资源;XX
X
9需要保留旧的硬件配置来满足萨班斯·奥克斯利法案的合规性需求;通过虚拟机运行旧的应用,满足合规性需求;X
10安全性保障受到操作系统、配置变化等的限制;工作负载和资源隔离,实现更高的安全级别;
X
XX86服务器虚拟化的一些基础概念虚拟架构解决方案简介虚拟化在银行解决方案的应用场景分析虚拟化产品组件虚拟化和非虚拟化的情况对比虚拟化服务项目能够给我们公司和系统服务部带来哪些利益和收益的分析Agenda提高服务器利用率降低服务器管理成本(机房外的控制台,在办公桌上操作)降低服务器部署时间(提高工作效率,避免重复劳动)系统级隔离和安全(高枕无忧地运行具体应用程序)降低TOC,提高ROI(充分利用各种硬件资源,资源池的利用)虚拟提供全面的可扩展性,时刻提供高可用性(Vmotion、DRS、HA)提高开发人员的工作效率,为其带来诸多便利(搭建开发、测试环境,保存开发、测试环境)虚拟桌面VDI的应用老操作系统在新款服务器或台式机上的使用减少IT设备占用的楼宇空间(建行洋桥机房的A座和B座,07年时还只有A座)什么情况下用户会考虑虚拟架构解决方案?行业适合采用虚拟化的领域基于X86架构的数据库及应用服务器整合(滨海银行信贷,为节省费用采用X86):特点:分散部署,缺乏有效的高可用性保障,管理困难,部署麻烦解决方案:VMware虚拟架构(vSphere5)+高端高性能服务器组方案优势:集中化管理,模板式部署,高可用性保证,易于实现灾备目标,可方便的实现在线迁移与零宕机维护,提高服务级别应用案例:汇丰银行,采用vSphere5整合X86架构服务器,利用VMotion技术实现零宕机系统升级维国内某银行采用VMware产品整合SQL数据库应用行业适合采用虚拟化的领域前端营业网点PC机上收整合:特点:庞大的分散在各个网点的PC机,部署麻烦,管理困难,维护复杂,难于保障安全性和可靠性解决方案:VMware虚拟架构(vSphere5)及虚拟桌面(VDI)+刀片或机架式服务器组方案优势:高度集中化管理,确保高可靠性及安全性,部署方便,易于维护应用案例:国内某大型商业银行营业网点前端通信服务器(SUSE系统)的集中化整合与管理国内某大型商业银行营业网点前端业务服务器(SCO系统)的集中化上收与整合项目行业适合采用虚拟化的领域呼叫中心(CallCenter):特点:大量同质化的PC客户端,部署麻烦,管理困难,维护复杂解决方案:VMware虚拟架构及虚拟桌面(VDI)+刀片或机架式服务器组方案优势:模板化批量部署,集中化管理,高可靠性及安全性应用案例:加拿大BELL,采用IBM上百台刀片部署将近2000个虚拟客户端行业适合采用虚拟化的领域开发测试中心:特点:服务器蔓延无序(建行),系统设置与设立方面开销庞大,低价值重复性装机工作量大,资源难于共享,缺陷的再现与故障处理困难,开发测试人员通常都需要快速形成所要求的环境(数量巨大)。解决方案:VMware虚拟架构(vSphere5)及实验室管理(LabManager)+高端高性能服务器方案优势:整合并高效地共享实验室资源;可以自助的方式,安全地进行资源“签出”和设立,同时保持IT部门对实验室的控制;能够可靠地进行软件缺陷的再现、故障处理和解决应用案例:JuniperNetwork,400多台测试服务器,每个测试周期的测试案例1万4千多个网银系统利用率低下。多个进程在同一个OS环境中容易出现故障和应用之间的干扰。系统没有弹性,处理能力扩充困难网银系统基于X86架构的数据库及应用服务器整合:特点:服务器数目至少6-8台,分散部署,X86服务器缺乏有效的高可用性保障,通常用来做WEB、APP服务器,管理困难,部署麻烦解决方案:VMware虚拟架构(vSphere5)+高端高性能服务器组方案优势:集中化管理,模板式部署,高可用性保证,易于实现灾备目标,可方便的实现在线迁移与零宕机维护,提高服务级别应用案例:所有银行的网银前端WEB、APP服务器,采用vSphere5整合X86架构服务器,利用VMotion技术实现零宕机系统升级维备注:在网银优化的过程中,我们可以规划银行内部全部X86服务器的整合方案一个中等的城商行或者省级农信社,通常都具有100台左右的X86服务器,可以提供规划方案,主导整个服务和集成,可以给客户带来实实在在的好处和价值。例如:哈尔滨银行的网上银行:4台高端HP
X86server满足全部的WEB、APP
server的需求。网银系统信贷系统信贷系统的架构模式(其实质也是一种WEB类应用)信贷系统基于X86架构的数据库及应用服务器整合:特点:服务器数目至少6-8台,分散部署,X86服务器缺乏有效的高可用性保障,通常用来做WEB、APP服务器、数据库服务器,管理困难,部署麻烦解决方案:VMware虚拟架构(vSphere5)+高端高性能服务器组方案优势:集中化管理,模板式部署,高可用性保证,易于实现灾备目标,可方便的实现在线迁移与零宕机维护,提高服务级别应用案例:所有银行的网银前端WEB、APP服务器,采用vSphere5整合X86架构服务器,利用VMotion技术实现零宕机系统升级维备注:在优化的过程中,我们可以规划银行内部全部X86服务器的整合方案一个中等的城商行或者省级农信社,通常都具有100台左右的X86服务器(整合到6-10台X86服务器上),可以提供规划方案,主导整个服务和集成,可以给客户带来实实在在的好处和价值。某银行的外围系统的X86服务器群序号型号序列号1IBMX3650M379450JK2IBMX3650M379450JK3IBMX3650M37945IQ44IBMX3650M37945IQ45IBMX3650M379450JK6IBMX3650M379450JK7IBMX3650M379450JK8IBMX3650M37945INZ9IBMX3650M37945IQ410IBMX3650M37945IQ411IBMX3650M37945IQ312IBMX3650M37945IQ313IBMX3650M37945I5Q14IBMX3650M37945IQ115IBMX3650M37945IQ116IBMX3650M37945IQ117IBMX3650M37945I5Q18IBMX3650M37945I5Q19IBMX3650M37945IQ220IBMX3650M37945I5Q21IBMX3650M3794504322IBMx3650M379450JK23IBMX3650M379450KK序号型号序列号1HPDL380G62HPDL380G63HPDL380G64HPDL380G65HPDL380G56HPDL380G47HPDL380G58HPDL380G49HPDL380G610HPDL380G611HPDL785G612HPDL785G613HPDL380G614HPDL380G615HPDL380G416HPDL580G517HPDL580G518HPDL380G419HPDL380G620HPDL380G521HPDL380G422HPDL380G423HPDL380G424HPDL380G525HPDL380G426HPDL380G527HPDL380G528HPDL380G429HPDL380G530SUNT512031HPDL360G732HPDL360G733HPDL388G734HPDL388G735HPDL388G736HPDL388G737HPDL380G538HPDL380G539HPDL388G740HPDL388G741HPDL380G542HPDL380G543HPDL380G444HPDL380G645HPDL380G546HPDL380G647HPDL388G748HPDL380G549HPDL380G650HPDL380G551HPDL380G552HPDL380G653HPDL380G554HPDL380G655HPDL380G556HPDL380G557HPDL380G658HPDL388G759HPDL380G560HPDL380G561HPDL380G562HPDL380G463HPDL360G764HPDL360G7序号业务系统1移动办公23反洗钱反洗钱培训4反洗钱培训5呼叫中心录音6AVAYAIC7AVAYAIC8AVAYAAES9知识库10TTS11传真12电子地图
13运维监控
141516171819202122数据漂白23其他24电子印章25OA及时通讯26邮件主机27备机28网管服务器29IT管理系统30报表网管31征信应用服务器32
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论