云计算环境下网络与系统监控、管理和运维v30

1、肖德宝华中师范大学网络与通信研究所所长、博士生导师、二级教授云计算环境下网络与系统监控、管理和运维1目录云集群服务器监控系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展012信息技术用于管理和处理信息所采用的各种技术的总称，包括数据与信息的采集、表示、处理、安全、传输、交换、显现、管理、组织、存储、检索等应用技术。信息技术和信息产业发展信息技术高渗透性高倍增性高带动性高投入性高创新性信息技术的特征3通 信 业软件及信息服务业 信息产品制造业 狭义信息产业广告咨询等信息服务业广播电视新闻出版 广 义 信 息 产 业传统信息产业4新一代信息技术产业

2、5计算机的演进1960s1970s1980s1990s2000s2010s6任何人、任何时间、任何地点、任何物体均可以实现互联物联网典型3层体系结构 更精细大量的传感器的使用，提高了数据采集的实时性、精确性。 更智能使人类可管理的范围更加扩大，管理更加智能。 更简单物联网技术将对各类设备的管理和控制更加简单和高效。物联网的特征物联网7物联网的应用88云计算根据维基百科（Wikipedia）的定义，云计算（Cloud Computing）是一种动态的、易扩展的、且通常是通过互联网提供虚拟化的资源计算方式。其主要特点是能够快速部署资源或获得服务，能够按需扩展和使用，能够按使用量付费，并且通过互联网

3、提供服务。云计算这个名词借用了量子物理中的“电子云”（Electron Cloud），强调说明计算的弥漫性、无所不在的分布性和社会性特征。229云计算是什么？云计算的提供者：以租代售云计算的使用者：按需使用使用云计算，企业无需增加硬件基础设施投资，训练员工成为专业人员或购买新软件，就能实现增加资源容量或提升计算性能等IT方面的需求集中式数据处理能力的不足 ，资源利用率不平衡（单机能力）ICT产业由卖产品变为卖服务，从自给自足小作坊到规模化运营用户方便使用，不需要专业知识，设备无需专业人员维护减少初期投资，降低管理开销降低成本，方便使用10云计算介绍云计算架构图云计算是分布式计算（Distrib

4、uted Computing）、并行计算（Parallel Computing）和网格计算（Grid Computing）的发展，是这些科学概念的商业实现云计算也是一种新的基础架构管理方法，是一种有效资源的合理共享，它能够把大量的、高度虚拟化的资源管理起来，组成一个庞大的资源池，统一提供服务11云计算关键技术数据安全技术数据存储技术分布式计算并行计算数据管理技术云计算关键技术虚拟化技术12并行计算并行计算是通过高速网络相互联接的两个以上的处理机相互协调，同时计算同一个任务的不同部分，从而提高问题求解速度，或者求解单机无法求解的大规模问题。13分布式计算分布式计算是利用互联网上的计算机的CPU的

5、闲置处理能力来解决大型计算问题的一种计算科学。一个工作被分成多个任务包，同时在通过网络连接起来的计算机上运行。14虚拟化技术虚拟化对计算资源进行抽象虚拟化对上层应用或用户隐藏了计算资源的底层属性。将单个的资源（比如一个服务器，一个操作系统，一个应用程序，一个存储设备）划分成多个虚拟资源将多个资源（比如存储设备或服务器）整合成一个虚拟资源15数据存储、管理技术数据存储技术云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的高可用、高可靠和经济性云计算系统同时为大量用户提供并行服务，其存储技术必须具有高吞吐率和高传输率的特点数据管理技术云计算系统对大数据集进行处理、分析向用户提

6、供高效的服务，如何从数据中获取有效的信息，这将是决定云计算应用成败的关键云计算数据管理技术能够高效的管理大数据集，能在规模巨大的数据中分析、找到特定的数据16云安全技术数据安全技术-云安全将原本保存在本地、为自己所掌控的数据交给一个外部的云计算服务中心，安全性依旧是重要的顾虑目前云计算数据安全主要通过划分公有云、私有云和虚拟私有公用云，来对不同应用级别下的数据进行保护17云计算在信息产业的层次18中国企业使用云计算现状19中国企业使用云计算现状（续）20各国企业使用云计算目的对比分析多数中国企业使用云计算的目的是：希望云计算为企业节省成本，增加灵活性，并非创新或市场增长21目录云集群服务器监控

7、系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展0122云计算环境下的新特点与新挑战云计算环境下网络与系统的监控、运维，存在以下新特点与新挑战：多种异构平台组成需要处理海量数据虚拟化资源的管理对安全的更高要求23云计算环境下的新特点云计算可以构建在不同的基础平台之上横向维度：可采购不同厂商的软硬件，有效兼容不同种类硬件和软件基础资源纵向维度：既可兼容当下采购的新设备和新软件系统，也可兼容旧有设备和原有软件系统在有效利用老资源的同时，保证新老资源平滑过渡多种异构平台组成 24云计算环境下的新特点云计算的底层需要面对各类众多的基础软硬件资源；上层需

8、要能够同时支持各类众多的异构业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑，并需要实现对云环境下海量数据的监控。Business Model海量数据的处理支持 25云计算环境下的新特点网络环境三大主要资源：计算(服务器)存储 (存储设备)网络(交换机、路由器等设备)云环境下不仅包含物理设备，还包含虚拟化技术形成的逻辑虚拟设备传统的网络管理软件大多只考虑对物理设备的管理只有实现对虚拟设备的管理，才真正实现云集群服务器的网络运维管理虚拟化资源的管理 26云计算环境下的新特点不安全的接口和API针对云端的恶意攻击

9、共享产生的数据安全问题数据泄漏未知的风险场景对云平台提出更高的安全要求对安全的更高要求 27目录云集群服务器监控系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展0128云计算网络监控运维新思路网络监控可扩展的监控系统基于捆绑式的网络监管架构系统管理虚拟化资源管理运维服务可视化的网络监控管理基于云端的运维服务云监控调度方案云平台安全管理业务视角的运维管理基于智慧库的自动化运维自动化的流程服务29云计算网络监控运维新思路基于捆绑式的网络监管架构可扩展的监控系统可视化的网络监控管理网络监控 30基于捆绑式的监管架构采用分布式架构，各个管理服务器分别监

10、控各个服务器集群下的子服务器；通过将多套系统进行捆绑，结合负载均衡处理器，连接各个系统，实现万台级别的管理能力；管理客户端具有单一登录，统一显示界面，节点管理权限设置的功能，部署方式灵活，可根据数据中心的规模灵活扩展。 监测管理服务器监测管理服务器管理客户端服务器集群服务器集群服务器集群服务器集群31基于捆绑式的监管架构数据采集数据采集数据采集系统1DB数据采集数据采集数据采集系统2DB数据采集数据采集数据采集系统NDB负载均衡处理系统WEB服务器被监控对象被监控对象被监控对象管理客户端1管理客户端2管理客户端500管理客户端100支持多达500个客户端同时在线。单套系统1000台服务器管理能

11、力，数据轮询间隔5分钟。配置数据库32多平台、可扩展的监控系统通过预置、整合各类服务器和应用的监控功能模板，可以有效兼容不同种类硬件和软件的基础资源既可以兼容旧有设备和原有软件系统，又便于随时扩展监控新设备和新软件系统，使云监控系统具有更高的兼容性和更好的可扩展性服务器Windows, linux, unix, IBM, Solaris应用数据库MySql, SqlServer, OracleWeb服务/SQAApache, IIS, 网站监测（URL）应用服务器Tomcat33多平台、可扩展的监控系统LinuxWindowsIBM AIXHP UNIXOracleSQL ServerMQAp

12、ache.虚拟机各类服务器各类中间件、数据库各类业务系统WebLogic计费系统营销系统网站数据收集/预处理（主）B/S结构、浏览器、WEB 服务器、处理各类客户请求、数据显示。SNMP采集NREP采集日志采集Agent采集数据收集/预处理（备）告警库性能库报表库数据入库日志分析告警分析性能分析数理统计分析容量分析预测分析策略管理数据处理和分析平台34可视化的云网络监控管理云环境中，服务器、应用、业务、网络更为集中,企业IT环境复杂多样只有通过综合的、可视化的展示界面，才能实时掌控云环境整体架构的综合状况和云下业务及其功能要素的实时性能可视化、整合的性能监控展示界面 35可视化的云网络监控管理

13、在性能监控展示界面中,采用直观的评估指标,来衡量被监控网络的各个服务器节点、服务器下应用等的运行状态服务器类型监测指标windowsPing CPU利用率 内存利用率 磁盘利用率 进程solarisPing CPU利用率 内存利用率 磁盘利用率 进程 服务系统平均负荷 交换空间利用率 打开的文件比率 用户数 进程总数IBMPing CPU利用率 内存利用率 磁盘利用率 进程 CPU统计信息 网络使用率 换页空间使用率 热门工作量管理 事件/队列 文件/TTY NFS显示每秒调用的NFS状态linuxPing CPU利用率 内存利用率 磁盘利用率 进程 服务 系统平均负荷 CPU统计信息 交换空

14、间利用率 打开的文件比率 用户数 进程总数unixPing CPU利用率 内存利用率 磁盘利用率 进程 服务交换空间利用率直观、可自定义的性能评估指标 36可视化的云网络监控管理需要监视的服务器和应用的性能指标，可以根据不同主机/应用，以及不同的环境需要，进行自定义配置直观、可自定义的性能评估指标 37可视化的云网络监控管理需要监视的服务器和应用的性能指标，可以根据不同主机/应用，以及不同的环境需要，进行自定义配置直观、可自定义的性能评估指标 38可视化的云网络监控管理云下的服务器集群众多，集群下的服务器又多达成千上万个，因此考虑将传统网络拓扑图分为根图与子图，便于查看与管理分层次的云网络拓扑

15、展示方式 39可视化的云网络监控管理通过监测采集获得历史监测数据，再引入数理统计学方法，建立较为准确的系统负载趋势分析与容量预测性能趋势预测 40云计算网络监控运维新思路云监控调度方案 虚拟化资源管理系统管理 云平台安全管理41云监控调度方案 云计算环境下对于集群服务器的监控和负载调度的评判分为两种类型：监测各个物理服务器的硬件指标，了解物理服务器的负载状况监测对集群的响应延时，据此调节集群下的资源与服务调度方案虚拟机动态迁移调节负载均衡对集群监控访问实现负载均衡平衡采集流量保证负载均衡42虚拟机动态迁移调节负载均衡通过监测各个物理服务器的硬件指标来了解物理服务器的负载状况，当负载过低或者过高

16、时，对云计算集群服务器中的虚拟机进行动态迁移，使各个服务器的负载保持均衡43对集群监控访问实现负载均衡为了保证多用户同时访问监控管理系统，通过使用tomcat作为web server，在访问端实现负载均衡，当访问流量过大时，自适应地将访问客户分流到不同的管理服务器上，保证监控服务器的工作负荷和运行性能Apache HttpdTomcatProxyTomcatProxyTomcatProxyAJP协议 访问用户44平衡采集流量的负载调度方法云环境下的集群可能有万台服务器，需要对大量服务器进行界面展示，因而需要采集大量服务器的数据通过建立平衡采集流量的调度方法，保证监控采集服务器的负荷均衡。数据采

17、集数据采集数据采集系统1DB数据采集数据采集数据采集系统2DB数据采集数据采集数据采集系统NDB被监控对象被监控对象被监控对象监测采集负载均衡处理系统配置数据库TomcatProxyTomcatProxyTomcatProxy45虚拟化资源管理虚拟化资源管理虚拟化计算管理平台虚拟化网络管理平台基于元数据存储的虚拟存储管理平台46虚拟化计算管理平台47虚拟化网络管理平台VLAN 管理不同用户虚拟机之间的网络安全隔离不同物理服务器上的用户虚拟机安全连接、通信网络IP管理按需为虚拟机分配公网 IP 地址虚拟机关闭公网IP地址回收，提高利用率网络流量控制和监控获得整个云平台网络资源利用率根据各种监控数

18、据提前做出预判充分保证云平台网络可靠性虚拟防火墙管理实现自定义虚拟防火墙，提升管理便利性48基于元数据的虚拟存储管理平台元数据是提供关于信息资源或数据的一种结构化的数据，是对信息资源的结构化的描述。通过将虚拟化整合的云计算存储资源以元数据的形式进行管理，将能非常方便地对整合的资源进行定位和存取。49基于元数据的虚拟存储管理平台虚拟存储管理 元数据管理服务器 客户端 后端存储集群 元数据管理模块元数据存取模块50基于元数据的虚拟存储管理平台利用元数据搜索和定位存储资源客户端先通过与元数据集群交互，获取文件的元数据信息获取元数据信息后，客户端直接和存储集群进行交互，以并行 I/O的方式访问文件数据

19、 控制路径与数据路径相分离 ,避免服务器成为数据传输路径上的瓶颈 基于元数据存储的虚拟存储管理平台原理51云平台安全管理 云计算环境下，各种应用是在虚拟机中运作，因此云平台中需要重点保障各个虚拟机系统的安全。云中虚拟机的安全保障方式主要有以下几种：面向虚拟机的离线安全检测技术 面向虚拟机的在线安全检测技术实时升级的杀毒软件病毒库52面向虚拟机的离线安全检测技术 传统方式创新方式虚拟机病毒查杀采用最近最久未使用算法，提高查杀效率批量查杀管理：查找关闭状态、自上次杀毒后启动过的虚拟机，全部记录后依次杀毒为每个虚拟机安装杀毒软件，根据需要单独对各个虚拟机进行病毒查杀，分散、耗时、效率低下只能对单一虚

20、拟机进行查杀，无法统一管理53面向虚拟机的在线安全检测技术 采用虚拟机透视技术，杀毒引擎安装在主机中，直接扫描客户虚拟机中的内存和进程，找到并清除目标系统内的病毒虚拟机透视在 KVM 平台上通过虚拟机透视(VM-Probing)，为主机内软件访问虚拟机的内存（等系统资源）提供方便且安全的系统调用的接口防止病毒干扰杀毒模块位于主机中，客户机中没有任何辅助杀毒模块，Guest 中的恶意软件无法检测主机中的杀毒模块，更无法干扰杀毒操作减少部署成本无需在客户端安装任何软件，消除了部署多个软件客户端所产生的成本统一配置管理杀毒配置管理模块位于主机，可以集中对各个虚拟机进行个性化管理，有效降低系统开销和安

21、全管理成本54病毒库实时升级在杀毒软件领域，爆发式的病毒传播速度让原来架设在用户终端的病毒库不堪重负。解决每3秒钟一个新病毒的难题，靠的正是云技术实现杀毒软件病毒库实时升级。55云计算网络监控运维新思路基于云端的运维服务业务视角的运维管理基于智慧库的自动化运维运维服务 自动化的流程服务56基于云端的运维服务云计算IT运维服务把数据乃至应用程序全部集中到云端，大量本地的运维工作转移到云服务器端基于云计算的IT运维管理服务模式以各种监控、告警、日志、报告服务工具为依托，结合部署在云端的运维服务，可实现全网的统一运维管理不仅打破传统的本地式运维的地域限制，还能及早发现故障隐患，从而可以建立起主动式I

22、T运维，同时运维总体工作量大大减少，运维成本大幅降低57业务视角的运维管理通过从业务视角统一管理服务器、应用、网络状态，对业务及其下软硬件资源进行高效的运维管理在故障发生时，通过颜色、声音邮件等方式进行报警通知；同时按照业务逻辑进行多层次管理，准确解决业务中出现的问题58基于智慧库的自动化运维云计算能力与规模越来越大，人工管理资源越来越不实际。这些新特性对IT管理自动化能力提出了更高要求部署基于智慧库的自动化运维管理模块，自动化管理云平台智慧库从历史操作中积累运维知识，当发生事件或监控数据触发规则时，基于智慧库中存储的历史方案，由决策引擎提供自动化解决方案，节约人力，同时提高响应速度智慧库 （

23、XML） 策略管理 决策引擎 应用管理对象 服务器管理对象 业务管理对象 选择自动/手动处理从智慧库检索解决方案根据新的事件进行知识积累59自动化的流程管理业务部门选择应用访问自助服务门户挑选应用基础设施模板资源自动供应工具确定资源(验证资源分配)(选择合适的规模 合适的应用)启动(工作流自动启动)(一个完整的应用基础设施启动和运行)(可用的资源和何时使用)ERPCRM数据仓库数据库邮件和消息通信文件, 打印, 基础设施减少人员 自动化的步骤整合的资源信息管理60目录云集群服务器监控系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展0161云计算

24、集群服务器管理软件企业级的云计算整体解决方案 62云计算集群服务器管理软件模块划分服务器管理安全管理应用管理业务管理配置管理事件管理性能管理云平台的虚拟化安全技术，提供无插件、无代理的云安全服务监视服务器各性能指标和阈值、程序组的性能指标以业务视图的形式展示了业务的构成（网络链路、服务器、程序组、端口和监视器），及时了解服务的状态和告警为管理人员提供管理入口，进行设备资源管理和、IP资源管理历史性能、实时性能、性能分析、性能阈值、性能公式设置事件通知、集中展示、查询统计、事件设置及关联事件设置、行为及级别管理等环境管理、模板管理、轮询设置、Trap设置、采样周期设置、数据维护监视各种中间件、数

25、据库、web应用运维管理63云计算集群服务器管理软件项目目标用户群实现效果专门针对数据中心的系统监控和分析系统 实现云计算环境下大量服务器监控中间件、数据库以及业务系统监控虚拟机的监控和管理数据分析和容量预测 提供云服务器的IT企业 IDC企业 企业集团和政府的大型数据中心实现可用性，健康度量化指标，建立可量化的IT系统评估指标，提高服务质量。自动化监控大量服务器，降低劳动强度，节省人力。提供容量规划参考，有效提高服务器利用率，节约购置成本。64模块介绍安全管理无插件、无代理的虚拟化云安全服务实时防护安全查杀批量查杀修复漏洞定制安全策略历史记录WebUI杀毒引擎模块日志模块安全内核模块策略模块UI通信模块在线杀毒功能模块在线管理模块KVMKMODVMM内核Ring 0虚拟机进程杀毒引擎病毒库离线升级补丁库日志数据库云平台的虚拟化基础设施HOST云安全服务镜像处理离线杀毒功能模块离线控制模块日志模块策略模块杀毒引擎模块虚拟机文件离线升级功能模块日志模块策略模块升级模块升级管理模块虚拟机文件镜像处理UI通信模块UI通信模块65模块介绍运维管理66模块介绍配置监视管理67模块介绍服务器管理服务器列表 68模块介绍服务器管理服务器监控详细信息 69模块介绍应用管理应用列表 70模块介绍应用管理应用监控详细信息 71模块介绍业务管