第2节manager架构功能及集群维护管理

FusionInsightHDManager

架构功能及集群维护管理上节课重点回顾数据怎么来互联网：web2.0时代每一个人时时刻刻都在创造数据传统企业：日积月累的企业组织、客户、业务等数据，这些数据不可丢弃。大数据怎么处理数据的存储：HDFS，HBASE（基于上百台数据的集群）数据的计算：MR、Spark、Storm(处理不同场景下的计算框架)资源的调度：Yarn集群怎么管理FusionInsightManager：提供统一的集群管理能力传统怎么处理滚动删除：服务器磁盘只能保存1到两周，滚动删除并行计算：多服务器存储计算，只针对于格式化的数据。功能简介集群基本概念Manager基本概念Manager系统模块Manager功能特性集群升级和补丁集群基本概念节点：节点即服务器，上百个节点分布式部署了Hadoop组成了一个集群。资源：所有节点可用CPU、内存、网络、磁盘的统称集群：管理节点和服务的一个抽象概念服务：对外提供服务的服务组件，比如HDFS、HBase角色：服务组件的逻辑组成部分，比如HDFS的NameNode和DataNode实例：承载角色运行的一个具体进程。名词描述集群基本概念管理节点：ManagementNode(MN)，安装FusionInsightHDManager，即集群管理系统，提供统一访问入口控制节点：ControlNode(CN)，控制监控数据节点执行存储数据、接收数据、发送进程状态等数据节点：DataNode(DN)，执行管理节点发出的指示，上报任务状态、存储数据等。拓扑结构集群基本概念举例：HDFS如何在此拓扑下工作原理介绍HDFS主要采用主备模式，其架构包含NameNode，DataNode，Client三个部分NameNode：NameNode用于存储、生成文件系统的元数据。运行一个实例。DataNode：DataNode用于存储实际的数据，将自己管理的数据块上报给NameNode，运行多个实例。Client：支持业务访问HDFS，从NameNode,DataNode获取数据返回给业务。多个实例，和业务一起运行。HDFS数据读取流程如下：业务调用HDFSAPI打开文件。HDFS

Client联系NameNode，获取到文件信息业务调用readAPI读取文件。HDFSClient根据从NameNode获取到的信息，联系DataNode，获取相应的数据块。HDFSClient会与多个DataNode通讯获取数据块。数据读取完成后，业务调用close关闭连接集群基本概念举例：HDFS如何在此拓扑下工作原理介绍HDFS数据写入流程如下：业务调用HDFSAPI请求写入。HDFS

Client联系NameNode在元数据中创建文件节点。业务应用调用writeAPI写入文件。HDFSClient收到业务数据后，从NameNode获取到数据块编号、位置信息后，联系DataNode，写入数据。写完的数据，将返回确认信息给HDFSClient。所有数据确认完成后，业务调用HDFSClient关闭文件。集群基本概念举例：HDFS如何在此拓扑下工作原理介绍Manager基本概念FusionInsightManager作为运维系统，为FusionInsightHD提供高可靠、安全、容错、易用的集群管理能力，可帮助客户解决在开局、日常维护、故障处理、业务开发场景下的相关问题。FusionInsightManager支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、统一多租户、问题定位、升级和补丁等。Manager功能一览Manager基本概念FusionInsightHD提供大数据处理环境，基于社区开源软件增强，按照场景选择业界最佳实践；

FusionInsightManager是一个分布式系统管理框架，管理员可以从单一接入点操控分布式集群，包括系统管理（OM/NTP/灾备）、数据安全管理，是整个FusionInsight平台的基石。HIVE/ImpalaHBASEHDFSYarn/ZookeeperM/RSparkPorterMinerDataFarmHadoopSolr集群管理FarmerManagerHadoopAPIPluginAPIOpenAPI/SDK应用层DataInformationKnowledgeWisdom实时内存计算YarnSparkSQLStreamingMPPDBMPPDBREST/SNMP/SyslogStorm平台中的位置集群监控系统管理Manager架构安装服务GUI升级服务集群管理用户管理升级管理性能监控告警管理配置管理系统备份北向接口系统恢复Shell日志采集时间管理HA管理ClientManager逻辑结构WebServerIAMCEPPMSFMSControllerAOSACSKerberosCASNTPServerHAMonitorManagerNodeDataBaseLDAPOMAAgentNTPClientAgentNode功能简介Manager功能特性关键特性功能性操作备份及恢复升级和补丁Manager关键特性一键安装 Manager的WebUI提供向导式的集群安装步骤，用户可根据界面一步步完成集群安装，也可以通过提前配置好的模板进行模板安装。Manager关键特性统一监控告警 Manager提供可视化、便捷的监控告警功能。通过Dashboard，用户可以快速获取集群关键性能指标，并评测集群健康状态，同时提供性能指标的定制化显示功能及指标转换告警方法。Manager关键特性单点登录

单点登录是指访问一个系统中的多个应用程序时，只需要登录一次，不用在访问每个应用程序时都需要再次登录。本系统中实现了FusionInsightHadoop系统中FIMWebUI、组件WebUI之间的单点登录，使得用户在这些WebUI之间跳转时只需要登录一次，提升了用户体验。Manager关键特性统一用户权限管理提供RBAC（RoleBasedAccessControl）方式的权限管理模型，并提供界面化管理方式，简化系统的权限管理方式，提高易用性，降低客户使用门槛。提供通用的权限管理机制，统一各组件的权限管理实现，从架构上补全安全系统的基础能力，提高安全系统的可维护性和扩展性。从用户角度来说本特性最主要的作用是建立起了客户的原始需求和权限获取的直接关系，省略了从原始需求中提取权限需求和从各个组件中获取权限的操作步骤，这对用户体验是极大提升。Manager关键特性自动健康检查与巡检 Manager为用户提供界面化的系统运行环境自动检查服务，帮助用户实现一键式系统运行健康度巡检和审计，保障系统的正常运行，降低系统运维成本。用户查看检查结果后，还可导出检查报告用于存档及问题分析。Manager关键特性HDFS联邦配置

HDFS的元数据信息，包括文件信息，块信息等，都存储在NameNode中，一般当存储的文件数大于1亿时，NameNode就成为瓶颈。通过NameNode联邦可突破文件存储数量的限制，最终可达到10亿以上的文件。Manager关键特性统一多租户

为了提高资源利用率和集群吞吐量，满足企业多种业务需求，现在的大数据集群已不满足于运行单一的作业和应用类型。一个集群应同时支持多个组织或部门的多种作业和应用。Manager功能性操作监控面板Manager提供可视化、便捷的监控告警功能。Manager功能性操作服务管理服务管理页面增加服务、下载客户端、卸载集群、导出模板等操作Manager功能性操作服务指标监控对服务的关键性能指标进行监控。Manager功能性操作实例管理可进行增加实例、删除实例、启停实例、退服和入服等操作。Manager功能性操作实例监控快速获取实例关键性能指标。Manager功能性操作配置管理可进行服务配置管理，提供修改、导入/导出配置的功能。Manager功能性操作主机管理可进行增加删除主机操作。Manager功能性操作主机实例管理可进行主机实例的启动/停止等操作。支持跳转Manager功能性操作告警管理可进行告警信息导出、查看告警详细信息和告警过滤。Manager功能性操作主机资源监控可进行主机资源监控，定制监控项，查看并导出其历史监控信息。Manager功能性操作统一多租户管理管理员可统一规划租户资源，集中的权限管理，角色管理。Manager功能性操作审计日志查看操作的审计日志，支持按服务、主机和类型等过滤。Manager功能性操作权限管理-用户管理可增加、编辑、删除用户，对非超级管理员账户还可以重置密码。Manager功能性操作权限管理-用户组管理增加用户组，设置用户组权限，删除用户组，编辑用户组权限。Manager功能性操作权限管理-角色管理增加角色，设置角色权限，删除角色，编辑角色权限。Manager功能性操作告警北向配置通过北向接口可以实现系统与企业现有网管系统集成。Manager功能性操作日志下载可根据服务、主机、开始时间、结束时间等进行日志过滤下载。Manager功能性操作监控转告警当监控数据达到阈值，系统发出告警，在Alarm中出现告警信息。Manager功能性操作密码修改可对OMS密码和服务密码进行修改。Manager功能性操作审计日志转储OM的审计日志可转储到指定服务器的指定目录下。Manager功能性操作静态服务资源池

FusionInsightManager当前支持HDFSDataNode、HBaseRegionServer、Yarn、NodeManager、ImpalaImpalad的静态服务资源配置。静态服务资源池的基数默认以物理资源的70%计算。Manager功能性操作配置跨集群互信

当不同的两个集群需要互相访问对方集群的资源时，系统管理员可以在FusionInsight，Manager设置互信的集群，使外部集群的用户可以在本集群中使用。

每个集群用户安全使用的范围定义为“域”，不同的集群需要定义唯一的域名。跨集群访问实际上就是用户跨域使用。Manager功能性操作配置资源分布

系统管理员可以在FusionInsightManager上修改资源分布，使服务和主机的资源分布图表中，可以按自定义的数值显示一条或多条最高、最低监控数据形成的曲。

Manager功能性操作健康检查系统可对服务级别和主机级别的状态进行健康检查。Manager功能性操作licenseFusionInsight以主机为单位授予许可。Manager功能性操作集群修复提供集群修复功能，在集群出现问题的时候，进行修复操作。Manager功能性操作管理文件上传

在升级集群时，用户可在FusionInsightManager通过文件管理功能上传集群升级包。支持在FusionInsightManager删除上传的文件。备份和恢复OMS数据备份提供对系统内的用户数据及系统数据的备份能力。备份和恢复OMS数据恢复提供对系统内的用户数据及系统数据的备份能力。

恢复OMS数据，需要执行以下命令:./huaweibigdata_backup.sh-r/备份文件路径/OMS数据备份文件

恢复成功，显示如下结果:OMSrestoredsuccessfully.Pleasere-loginOMStoperformotheroperations.功能简介Manager功能特性升级和补丁系统升级操作系统补丁操作系统升级操作系统升级-前提条件

软件环境确保已在执行升级操作的计算机上准备好升级所需的规划文档、软件包。启动升级前，请确保集群内所有组件的service状态都属于正常状态。确保集群内所有的主机状态属于正常状态。管理员需提前通知用户会中断业务，做好业务规划硬件环境升级包所在目录可用空间大于等于6G。系统升级操作系统升级-限制说明

升级过程中不可以手工操作主备OMS倒换。集群内所有主机的root帐户密码要保持一致。保持网络畅通，避免因网络问题导致升级异常，系统升级失败。观察期不能做扩容，否则会导致升级confirm和回退失败。系统升级操作系统升级-升级OMS

使用“PuTTY”，登录主OMS服务器。行以下命令，防止“PuTTY”超时退出： TMOUT=0解压缩升级软件包： tar-zxvfHadoop_UPG_V100R002C02toV100R002C02SPC001.tar.gz执行升级脚本升级OMS： cd/opt/Hadoop_UPG_V100R002C02toV100R002C02SPC001 ./upgrade.sh

业务主机的root名业务主机的root用户密码。单机和双机的升级方法相同系统升级操作系统升级-升级集群

使用管理员帐号，登录FusionInsightHadoopmanager系统。单击“Services->MoreActions->Upgradecluster”,如图：根据界面向导，可选择修改服务的配置参数，提交升级操作。升级观察期内，业务正常，单击“Confirm”，完成升级集群。

系统补丁操作系统补丁-补丁准备

安装前准备1检查集群版本提前1天5分钟2获取补丁包到本地提前1天5分钟上传补丁包到OMS服务器当天01:005分钟3手动备份当天01:101小时安装后验证5验证基本功能当天02:2030分钟6验证补丁功能当天02:5030分钟系统补丁操作系统补丁-上传补丁上传补丁包到OMS服务器。

系统补丁操作系统补丁-补丁安装上传补丁后，启动补丁包安