大数据培训_Module 13 支持大规模集群安装部署FusionInsight HD 安装部署

1、FusionInsight HD安装与部署前言第1页FusionInsight Manager是FusionInsight HD的运维管理系统，为 部署在集群内的服务提供统一的集群管理能力，支持大规模集群的 安装部署、性能监控、告警、用户管理、权限管理、审计、服务管 理、健康检查、日志采集、升级和补丁等功能。本章主要介绍华为FusionInsight HD安装与部署相关流程，以及相关注意事项。目标第2页学完本课程后，您将能够：清楚FusionInsigh HD产品安装流程；描述安装前准备各种事项；了解FusionInsigh HD产品具体安装过程；了解FusionInsigh HD产品安装后配

2、置；能够自行安装FusionInsigh HD产品；处理常见安装问题；目录第3页1. FusionInsight HD基本概念基本概念2.FusionInsight HD安装流程3.FusionInsight HD安装前准备4.FusionInsight HD安装过程具体步骤5.FusionInsight HD安装后检查项6.FusionInsight HD安装后配置7.FusionInsight HD安装过程常见问题处理方法FusionInsight HD基本概念第4页基本概念说明OMS节点：操作维护系统的管理节点，一般有两个，互为主备Agent Node：操作维护系统中的被管理节点，一般有

3、多个，负责接收并执 行OMS节点的管理命令，比如启动一个DataNode实例集群：管理节点和服务的一个逻辑概念服务：对外提供服务的服务组件，比如HDFS、HBase角色：服务组件的逻辑组成部分，比如HDFS的NameNode和DataNode实例：承载角色运行的一个具体进程，比如NameNode会部署到两个节点上形成两个运行的进程，这两个进程就是两个实例目录第5页1.FusionInsight HD基本概念2. FusionInsight HD安装流程安装流程3.FusionInsight HD安装前准备4.FusionInsight HD安装过程具体步骤5.FusionInsight HD安

4、装后检查项6.FusionInsight HD安装后配置7.FusionInsight HD安装过程常见问题处理方法FusionInsight HD安装流程软件安装与部署软件安装与部署PC/工具/文档准备环境规划数据生成配置文件LLD工具生成手动生成配置操作系统安装集群模板自动化安装 手动安装检查服务状态安装前准备安装前准备安装后检查安装后检查检查主机状态北向配置监控告警配置用户配置安装后配置安装后配置校验软件包检查节点环境安装Manager第6页目录第7页1.FusionInsight HD基本概念2.FusionInsight HD安装流程3. FusionInsight HD安装前准备安

5、装前准备4.FusionInsight HD安装过程具体步骤5.FusionInsight HD安装后检查项6.FusionInsight HD安装后配置7.FusionInsight HD安装过程常见问题处理方法FusionInsight HD安装前准备软件工具：PuTTY、WinSCP、网络浏览器、解压工具等 配置规划工具(LLD工具):生成安装过程中所需的配置文件 版本说明书：硬件、软件的版本配套关系指引准备工准备工具和具和文文档档硬件：FusionInsight HD支持通用的X86服务器 软件：Linux操作系统（例如SuSE、RedHat或CentOS）FusionInsight

6、HD软件包 其他：可靠性要求、磁盘分区要求准备环境准备环境规划数据规划数据规划集群部署方案 规划网络参数（支持双平面隔离组网） 规划角色部署位置，可使用配置规划工具辅助规划第8页目录第9页1.FusionInsight HD基本概念2.FusionInsight HD安装流程3.FusionInsight HD安装前准备4. FusionInsight HD安装过程具体安装过程具体步骤步骤5.FusionInsight HD安装后检查项6.FusionInsight HD安装后配置7.FusionInsight HD安装过程常见问题处理方法FusionInsight HD安装与部署将获取的Fu

7、sionInsight HD软件压缩包解压，生成 FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz和 FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256解压软件包用WinSCP工具登录将要安装Manager的服务器，将上述软件包 传输到管理节点指定目录上传软件包校验软件包在管理节点执行命令，完成校验和解压1.sha256sum -c FusionInsight_HD_V100R002C30SPC600_RHEL.tar.gz.sha256 2.tar -zxf FusionInsight_HD_

8、V100R002C30SPC600_RHEL.tar.gz第10页生成配置文件利用配置规划工具生成各项安装配置文件，并上传到相应节点的指定路 径，生成的配置文件在安装Manager和自动化安装集群时会被使用第11页配置节点操作系统第12页目的目的：即执行preinstall.sh，以此来配置节点操作系统环境，使其满足FusionInsight HD的安装要求Step 1. 适配OS：修改OS配置，使OS满足FusionInsight HD的安装要求。包括检查 内核版本、关闭swap分区、设置共享内存大小、设置服务器时区、配置业务和主机 名的映射等Step 2. 补齐RPM包：执行preinst

9、all，可以自动补齐OS缺失的RPM包Step 3. 格式化分区：执行preinstall，可以自动对服务器磁盘进行格式化，使磁盘满 足FusionInsight HD的分区要求具体操作参考软件安装手册，首次安装请务必执行preinstall注意注意：操作前务必保证所有节点的操作系统root用户密码一致。检查节点环境第13页目的目的：即执行precheck.sh，以此来检查节点操作系统环境是否满足FusionInsight HD的安装要求方式方式一一：执行precheck，带配置文件参数，检查所有节点环境（推荐）方式二方式二：执行precheck，不带配置文件参数，只检查本节点环境preche

10、ck脚本可反复使用，执行后会列出检查不通过的项，用户根据软件安装手册的修复建议进行修复，修复完后再次执行precheck检查注注意意：请务必确保precheck脚本的所有检查项都通过，再进入后续安装步骤安装Manager 包含两个管理节点，分别为主管理节点和备管理节 点，用以保证业务的连续性及高可靠性 推荐使用安装双机Manager 仅包含一个管理节点，当出现系统掉电等意外场景时无法保证业务的可靠性 不推荐使用安装单机Manager第14页有双机/单机两种方式进行Manager安装安装双机Manager安装双机Manager步骤1 获取配置文件，该文件可由LLD工具生成， 也可手动填写。配置文

11、件填写举例如右图所 示。2 在主备管理节点分别执行安装命令Eg:sh /opt/FusionInsight_Hadoop/software/install.shf /opt/install.ini第15页安装双机Manager第16页安装命令执行结果显示如果出现”Install Successfully”字样，即表示安装Manager成 功，可以通过提示的URL地址进行浏览器访问，从而继续安装 集群安装单机Manager安装单机Manager步骤使用-m single（也可以通过配置文件安装），执行命令：sh/opt/FusionInsight_Hadoop/software/install.

12、sh m single命令执行结果显示第17页安装集群1 配置浏览器2 登录FusionInsight Manager系统3 首次登录修改密码，修改密码成功后 使用新密码重新登录第18页首次登陆需要修改密码安装集群 使用LLD工具生成的安装模板，可以自动填 写安装时所需的各项参数 推荐使用模板自动化 安装集群 在界面上手工填写各项参数 不推荐使用手动安装集群第19页有模板安装/手动安装两种方式进行集群安装模板自动化安装集群Step1. 进入安装页面，选择Template Installation导入准备好的安装模板，点击OK第20页模板自动化安装集群Step 2. 系统跳转至确认页面，该页面包

13、含安装模板中填写的相关信息第21页模板自动化安装集群Step 3. 如果确认无误，则点击Submit按键进行提交；如果发现 配置规划数据有误，可点击Back按键，回到各配置项检查或更 改参数值第22页模板自动化安装集群Step 4. 安装等待：提交集群安装请求后，界面显示安装集群进度，全部步骤完成后点击Finish按键第23页手动安装集群Step 1. 进入安装页面，选择Manual Installation，点击OK第24页手动安装集群Step 2. 填写集群基本信息，即：填写集群名称、选择集群版 本和安全模式、填写集群描述信息（可选），点击Next按键 进入下一页面第25页手动安装集群St

14、ep 3. 发现节点。输入主机信息以及主机root用户密码，然 后点 击 “Start Discovery”，选择发现成功的节点，点击Next 进入下一页面第26页手动安装集群Step 4. 选择安装节点与设置机架。根据需要选择节点并为其设 置机架信息，支持单独设置和统一设置。完成设置后，点击Next 进入服务选择页面第27页手动安装集群Step 5. 选择安装服务。根据业务需要选择待安装的服务，当 选择上层服务时，系统会自动为其选择依赖的底层服务第28页手动安装集群Step 6. 拓扑设置。根据规划，将组件部署到指定节点上。完 成设置后点击Next进入服务配置页面第29页手动安装集群Step

15、 7. 安装配置。配置必须要设置的配置项，完成设置后点 击Next进入确认页面第30页手动安装集群Step 8. 选择升级模式。选择版本升级模式，推荐选择Common Mode，完成选择后点击Next进入确认页面第31页手动安装集群Step 9. 提交安装。完成配置操作后，进入确认页面，确认页面包含前面步骤的概要信息。确认后点击submit按键进行提交第32页手动安装集群Step 10. 安装等待。提交集群安装请求后，界面显示安装集群 进度，全部步骤完成后点击Finish按键第33页目录第34页1.FusionInsight HD基本概念2.FusionInsight HD安装流程3.Fusi

16、onInsight HD安装前准备4.FusionInsight HD安装过程具体步骤5. FusionInsight HD安装后检查安装后检查6.FusionInsight HD安装后配置7.FusionInsight HD安装过程常见问题处理方法安装后检查集群安装成功后，登录管理页面进行安装后检查Step 1. 观察仪表盘：Dashboard页面上图形正常显示，Service Summary图中组件健康状态为Good第35页安装后检查Step 2. 服务健康检查，集群安装成功后，登录管理页面，点击More Actions中的Health Check进行服务的健康检查第36页安装后检查Ste

17、p 3. 服务状态检查，集群安装成功后，登录管理页面检查 Services页面所有组件，操作状态为Started，健康状态为 Good，配置状态为Synchronized第37页安装后检查Step 4. 主机状态检查，点击”Hosts”图标，各节点”Health Status”均为”Good”第38页安装后检查Step 5. 告警检查，页面右上角各类告警的个数均为0，听不到告警铃声进入告警页面，无告警信息显示第39页目录第40页1.FusionInsight HD基本概念2.FusionInsight HD安装流程3.FusionInsight HD安装前准备4.FusionInsight H

18、D安装过程具体步骤5.FusionInsight HD安装后检查项6. FusionInsight HD安装后配置安装后配置7.FusionInsight HD安装过程常见问题处理方法安装后配置北向配置，点击System页面，可以选择“Syslog Configuration” 和 “ SNMP Configuration”，分别进行 Syslog和SNMP配置第41页安装后配置监控告警配置，点击System页面，点击“ThresholdConfiguration”，可以进行监控告警相关阈值配置第42页安装后配置用户配置，点击System页面，在”Rights Configuartion”功能

19、可以进行用户/用户组/权限配置第43页目录第44页1.FusionInsight HD基本概念2.FusionInsight HD安装流程3.FusionInsight HD安装前准备4.FusionInsight HD安装过程具体步骤5.FusionInsight HD安装后检查项6.FusionInsight HD安装后配置7. FusionInsight HD安装过程常见安装过程常见问题问题处处理方法理方法安装过程常见问题处理方法第45页FusionInsight HD安装过程中会产生详细日志，记录安装的具体情况，在安装过程中如果出现意外情况，请先查看日志模块名称职责描述Preinsta

20、ll安装日志/var/log/fi-preinstall.logManager安装日志/var/log/Bigdata/controller/scriptlog/install.log集群安装与运行日志/var/log/Bigdata/controller/controller.lognodeagent进程安装与启动日 志/var/log/Bigdata/nodeagent/scriptlog/install.log/var/log/Bigdata/nodeagent/scriptlog/start-agent.logWeb服务运行日志/var/log/Bigdata/tomcat/web.log安装过程常见问题处理方法案案例例1. 安装Manager失败，提示“The ws_float_ip_interface isEmpty.”原原因因：该错误一