环境搭建所需和安装包-hcna-big data v1.0实验手册

©技术2015。保留一切权利。式。您的产品、服务或特性等应受公司商业合同和条款的约束，本文档中描述的全部或部分产品、地址 客户服务 本文档主要描述eLab 本文档主要适用于以 FusionInsightFusionInsight文档版本012016-07-前 一、安装FusionInsight实 安装准 安装过 安装双机 二、日常实 备份Manager数 恢复Manager数 安装 HDFS实 创建HDFS角 使用HDFS客户端实 创建HBase角 使用HBase客户 HBase创建/更改/删除/启动/禁用 一、安装FusionInsight实2.5安装准FusionInsightHD系统支持通用的X86服务器（不限于服务器），可根据自身需节点硬件要14核In处理Bit-6432GB外部与管理平面使用一个10GE电口配置bond。10GEbond。RAIDFusionInsightHDFusionInsightHDHadoop操作系统版本要SuSERedHatCentOSSUSELinuxEnterpriseServer11SP3SuSE操作系统内核版本不能为“3.0.101-0.40.1（版本号可使用#uname-r命令查看1FusionInsightHD推荐：SUSELinuxEnterpriseServer11磁盘分区要操作系统盘：OSFusionInsightHD2OS/ 作为manager的数据 例如OS“/opt”OS≥300GB （如FusionInsightHD软件安装包、操作系统iso文件等）。FusionInsightHD默认安装在300GB。3ManagerManagementNodepg 3 至少3个节点包含此分区 存放HDFS的JournalNode数据。至少3个节点包含此分区 存放StreamingNimbus的元数据。至少2个节点包含此分区 4Hadoop存放DataNode数据以及MR中间数据。至少3个节点包含此分区 6Kafka容量KafkaBroker 7StreamingStreamingSupervisor 8Redis8Redis如果需要创建Redis集群，至少三个节点需 每个节点上RedisRedisRedis5准备本地 获取1SSH登跨平台工具用于在软件安装过程中在Windows系统问各节点，ManagerInternetExplorer9（标准模式）Solr，InternetExplorer10建议使用Chrome浏览器21及以上版MozillaFirefoxOracleJDK17-准备文准备FusionInsightHD软1IP址1该地址用来FusionInsightManager，也IP操作系统的root用户root用户安装：ommFusionInsightHD。admin、“0-9A-Z”“_”IP址保持一系，即个主机IPIP安装过操作场前提条操作步FusionInsightHD使用“WinSCP”工具，以root用户登录将要安装Manager的服务器 使用“PuTTY”工具，以root用户登录将要安装Manager的服务进入 #cdsha256sumsha256#sha256sum-c进入 #cdtar命令，解压软件包文件。例如软件包为#tar-zxvfManager，FusionInsight_HD_V100R002C60SPC200_SLES.tar.gz解压缩，重复执行步骤2～步骤4。使用“WinSCP”工具，以root用户登录主管理节点。将操作系统镜像文件上传至 使用“PuTTY”工具，以root用户登录主管理节点，执行以下命令进行挂载#mount/var/SLES-11-SP3-DVD-x86_64-GM-DVD1.iso/media/-o否，执行步骤8使用“PuTTY”工具，以root用户登录所有节点，更改OS编码格式。以更改SUSEvi/etc/sysconfig/language，将“RC_LANG”的值修改为操作场前提条excel操作步“确定”。如11IP”和“业务IP”。LdapServerHA“LDAP_FLOAT_IPHA请根据实际规划选择Solr索引数据保存在本地磁盘还是保存在HDFS存在本1“11”）。单击“生成配置文件”FusionInsightHD置文件，并弹出输出文件路径的提示，“安装配置文件生成到以下路径：在弹出的框中选择是否将“基础配置>输出配置文件路径”下所有文件上户，单击“确定”开始上传，传输完毕后在传输框中按任意键退出。输入备管理节点的用户名（root），单击“确定”，输入用户，单击“确定”开始上传，传输完毕后在传输框中按任意键退出。否，单击“否”，执行151（举例节点）。例如安装通常，“hotN.ini放置于管理节如果主备理节点，置于主理节点）。例安装 为：1（举例通常“*.cnf”件放于管理节如果主备理节点，置于主理节点）。例安装 为： Managerinstall.iniIPManager0.ini1.ini76FusionInsight错：操作场“preinstall”过程FusionInsightHDFusionInsightHD ManagerManager《FusionInsightHDV100R002C60SPC200S操作命令说明书》“precheck”过程前提条如果管理点的ip_forward打开会成管理点备将外部络包向群发的“/proc/ys/et/ipv4/ipforwar值为（0或“/tc/syscl.con”文件中net.ipv4.ip_forward0（默认为）。操作步执行使用PuTTY工具，以root用户登录主管理节点进入解压，例如“/opt/FusionInsight/software/preinstall”，检查配置规preinstall.ini。如果没有或内容未更新，请参#cd/opt/FusionInsight/software/preinstall#catpreinstall.ini执行安装前配置命令。输入root用户 #cdPleaseenterclusterSSH root的**FusionInsightPreInstallis*****FusionInsight******************************“preinstall”过程结束后，默认会自动继续进行“precheck[INFO]startcheckingeach[INFO]localhost:startparsingtheconfigurationfile.[INFO]localhost:parsetheconfigurationfile[INFO]localhost:startdividetheglobalconfigfiletogetconfigurationsforeachhost.[INFO]localhost:dividetheglobalconfigfileforeachhostsuccess.Prompt:Pleaseinputthepasswordofroot:[INFO]localhost:starttransferringscriptstohost03/root.[INFO]localhost:starttransferringscriptstohost02/root.[INFO]localhost:starttransferringscriptstohost01/root.[INFO]localhost:transfersuccess,startcheckingthehost02[INFO]localhost:transfersuccess,startcheckingthehost03[INFO]localhost:transfersuccess,startcheckingthehost01[INFO]localhost:finishcheckingthehost03.[INFO]localhost:finishcheckingthehost02.[INFO]localhost:finishcheckingthehost==========SummaryOutput============Environmentchecksuccess.说明#cd/opt/FusionInsight/software/precheck#./precheck.shcheckNodes.Config附加信“preinstall”格式化分区执行结果如下例（2，OSsdasdb，运行“preinstall”前sdb未挂载到系统中）：“precheck”检查项列表1RedHatCentOS使用root用户安装集群时检查操作系统中omm用户或ID2000的用包1安装双机前提条 操作步安装主使用“PuTTY”工具，以root用户登录主管理节点 HostIP.ini文件（以“/install_oms/01.ini”为例）是否已上传到 #cd/opt/FusionInsight/software#catinstall_oms/01.inifihost01:/opt/FusionInsight/software#./install.sh- ===STEP1Checkingthe===STEP2Preparingforinstallationcomponents.===STEP3Installingthepackage.===STEP4Waitingforntptostartup.=============================InstallPleasevisittocontinueclusterinstallation.Installationissuccessful.安装备使用“PuTTY”工具，以root用户登录备管理节点（ HostIP.ini文件（以“/install_oms/02.ini”为例）是否已上传到 #cd/opt/FusionInsight/software#catinstall_oms/02.ini#./install.sh-当提示浮动地址已经存在网络当中确认地址后选择“y”，并按回车键确fihost02:/opt/FusionInsight/software#./install.sh- ===STEP1CheckingtheThews_float_ip(10)alreadyexistsonthenetwork.IsitusedontheactiveOMSHA?(y/n):yTheom_float_ip(00)alreadyexistsonthenetwork.IsitusedontheactiveOMSHA?(y/n):y===STEP2Preparingforinstallationcomponents.===STEP3Installingthepackage.===STEP4Waitingforntptostartup.=============================InstallPleasevisittocontinueclusterinstallation.Installationissuccessful.前提条已成功完成安装双机Manager操作步配置浏在InternetExplorer浏览器中单击，选择“Internet选项”，在弹出的“Internet选项”框中，选择“高级”页签。说明Chrome浏览器请单击，选择“设置>显示高级设置>网络>更改 务器设置”，在弹出的“Internet属性”框中，选择“高级”页签。在“设置”区域框中，取消勾选“使用SSL2.0SSL3.0”，勾选“使用TLS1.1”和“使用TLS1.2”，如1。1Internet说明使用InternetExplorer11版本需要设置浏览器兼容模式，请单击，选择容性视图中显示Intranet站点”，单击“关闭”。登录FusionInsightFusionInsightManager地址格式为“Manager系统的WebService浮动IP地例如，在浏览器地址栏中，输入“”。 安装集rootsshroot#vimPermitRootLoginEsc:wq!#servicesshd二、日常实（1集群、服务、实例实操作场操作步当部署“HDFS”时，修改“DataNode”、“NameNode”的路径，否则将会造成磁盘过满影响业务正常运行DataNode路径为“dfs.datanode.data.dir”，NameNode路径为“.dir”。按照1和2配置相关参数。FTPFTPSFTPServerFTP，FTPSPORT，PASSIVE议。FTP22021，FTPS22190。1FTPftp-FTP是否启动FTPFTP22000-2FTPSftps-FTPSssl-FTPS1FTPFTPSPORT模式的数据端。FTPS22000-FTPS 操作场操作步说明单击，在弹出的确认框中，输入当前登录的管理员确认管理员，单击操作场操作步操作场操作步在弹出窗口中输入当前登录的管理员确认管理员，单击“确定”，界面提示操作场对系统的影配置HBase、HDFS、Hive、Spark、Yarn、MapReduce服务属性后，需要重新并安装操作步1在弹出窗口中输入当前登录的管理员确认管理员，单击“确定”。界面提示操作场操作步添加角色实例后，单击“服务状态”页签，选择“操作>重启服务”操作场操作步选择“操作>启动实例”、“停止实例”、“重启实例”或“删除实例”，执行说明单击，在弹出的确认框中，输入当前登录的管理员确认管理员，单操作场操作步单击“” ”单击 ”单击 操作场操作步单击“”在弹出窗口中输入当前登录的管理员确认管理员，单击“确定”，界面提示操作场FusionInsightManager操作步单击“”选择 操作>导出集群配置”操作步单击 操作>导出安装模板”OMS备份恢复实备份Manager数前提条需要准备一个用于备份数据的备集群，请参见《FusionInsightHDFusionInsightManager操作步创建备份任FusionInsightManager设置备份策增量备份”、“每次都全量备份”和“每n次进行一次全量备份”。选择“每nn的值。选择备设置备份参 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS “目的端路径”：填写备份文件在HDFS中保存的 。不支持填写HDFS中 对应的NameService名称。默认值为“RemoteHDFS(DistCp)”：表示将备份文件保存在备集群的HDFS NameNodeIPNameNodeIP“目的端路径”：填写备集群保存备份数据的HDFS 。不支持填写HDFS YARN单击 ”保存执行备份任在备份任务列表中已创建任务的“操作”列，单击，开始执行备份任务，名为备份任务名_任务创建时间号_数据源_任务执行时间.tar.gz。恢复Manager数操作场ManagerManagerOMSLdapServerOMSLdapServerManager前提条FusionInsightManager操作步查看备份数据位FusionInsightManager path：Backuppath是，使用PuTTY，以“root”用户登录主管理节点，切换到path 创建恢复任FusionInsightManager选择恢设置恢复参 _数据源_任务执行时间.tar.gz”“LocalHDFS”：表示备份文件保存在当前集群的HDFS “源端路径”：表示备份文件在HDFS中保存的完整路径。例如“备份路径备份任务名_任务创建时间/版本号_数据源_任务执行时间.tar.gz” 对应的NameService名称。“RemoteHDFS(DistCp)”：表示备份文件保存在备集群的HDFS NameNodeIPNameNodeIP间.tar.gzYARN执行恢复任在恢复任务列表已创建任务的“操作”列，单击重启使恢复数据生在FusionInsightManager，选择“LdapServer>操作>重启服务”，不勾LdapServer切换用户：#su–$sh${BIGDATA_HOME}/om-0.0.1/sbin/restart-startHA$sh${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh，查看管理节点的“HAAllResOK”是否为“Normal”，FusionInsightManagerOMS在FusionInsightManager，选择“KrbServer>操作>同步配置”，不勾选KrbServer选择“服务管理>操作>同步配置”，不勾选“重启配置过期的服务或实选择“服务管理>操作>停止集群”。待停止集群的操作生效后，选择“服务管理>操作>启动集群”，等待集群启动成功。集群健康检操作场服务级别关件是否能够提供正常的服务义的指标，检查结果并不能等同于界面上显示的“健康状态”。前提条获取FusionInsightManager地址获取FusionInsightManager的用户和FusionInsightManager操作步选择“操作>启动集群健康检查”，启动集群健康检查说明FusionInsightManager选择 操作>启动服务健康检查”启动指定服务健康检查选择“操作>启动主机健康检查”启动指定主机健康检查操作场服务级别关件是否能够提供正常的服务义的指标，检查结果并不能等同于界面上显示的“健康状态”。前提条获取FusionInsightManager地址获取FusionInsightManager的用户和FusionInsightManager操作步选择“操作>查看集群健康检查报告”，查看集群健康检查的报告操作场在不同时间、不同使用场景下，FusionInsightHD结果不完全相同。如果需要保存的报告用于比较时，可以在FusionInsightManager前提条FusionInsightManager操作步操作场前提条FusionInsightManager操作步 批量指定的健康检查报 三、业务操作实（1.5创建用户限。然后在FusionInsightManager界面创建角色，并设置角色包含的权限以匹配业务的需管理员在FusionInsightManager界面创建用户时，通过为用户分配指定的角色来达到A包含HDFSfileA的读权dirB的写权限。这样在创建A候分配A，即说明如果角色设置HDFS、HBase、Hive、Yarn或Metadata各组件的权限，仅可以使用组件操作场FusionInsightManager1000前提条FusionInsightManager操作步 任务示创建Manager角1角色操设置查看Manager在“权限”的表格中选择“ManagerManager在“权限”的表格中选择“ManagerManager在“权限”的表格中选择“ManagerManager在“权限”的表格中选择“ManagerManager在“权限”的表格中选择“ManagerManager在“权限”的表格中选择“ManagerManager“management”，在“权限”的表格中选择“ManagerManager“management”，在“权限”的表格中选择“ManagerManager授予“系统设置>任务”操作权限。在“权限”的表格中选择“ManagerManager操作场该任务指导系统管理员通过FusionInsightManager创建新用户组并指定其操作权限，使用FusionInsightManager100前提条FusionInsightManager操作步操作场FusionInsightManager1000。默认情况下，系统只有一个用户“admin”前提条FusionInsightManager操作步user01，FusionInsightManager端操作的场景。选择该值需同时填写“”和“确认”。 安装前提条 对于所有组件客户端的情况HDFS与MapReduce是合一 操作步 “FusionInsight_V100R002C60SPC100_Services_Client.tar”到将要安装客 然后执行步骤5否，单击“确定”指定本地的保存位置，开始完整客户端，等待完成，执行步骤4。要安装客户端的服务器文件，例如“/opt/client”。 务器时，必须能够与服务端的Manager浮动IP互通，并启用NTP服务以保持与服务解压软件包。进入安装包所在，本次使用“/opt/client”。执行如下命令解压安装包到本地。#cd#tar-xvf#cd #./install.shComponentsclientinstallationis修改 权限#od755-R说明 地址。主机名和IP地址请保持一一对应。操作场《FusionInsightHDS操作命令说明书》前提条 户需要keytab导出Keytab文件。“人机”用户第一次登录时需修改。操作步 cdsourcekinit组件业务用根据实际业务需要，执行s命令操作场前提条操作步 cdsourceecho$service_home表示HBase、HiveSpark环境变量，可选值为echo servicename表示客户端安装 中HBase、Hive或Spark服务实例 切换HBase2服务实例的客户端： HBase。echo$HBASE_HOMEHDFS实创建HDFS角操作场该任务指导系统管理员在FusionInsightManager创建并设置HDFS的角色。HDFS角色可设置HDFS 用户在HDFS中对自己创建的 问此HDFS 前提条FusionInsightManager操作步“FileSystem”：HDFS中 HDFS常 如下“flume”：Flume数据“hbase”：HBase数据“mr-history”：MapReduce任务信息“tmp”：临时数据“user”：用户数据1角色操1.在“权限”的表格中选择“HDFSFileSystem2.定位到指 3.在指 4.在“权限”的表格中选择“HDFSFileSystem1角色操 定位到指 在“权限”的表格中选择“HDFSFileSystem的新建或删除子文件、子的权限在“权限”的表格中选择“HDFSFileSystem定位到指 在指 的或文件执行的在“权限”的表格中选择“HDFSFileSystem定位到指 在指 在“权限”的表格中选择“HDFSFileSystem定位到指 在指 使用HDFS客户端实操作场《FusionInsightHDS操作命令说明书》前提条 操作步 #cd#sourceHDFS创 ，source环境变量：source./bigdata_env。a.执行kinithdfs输入完成认证(第一次需要修改默认为Hdfs@123)。b.创建文件夹，执行语句：#hdfsdfsmkdir/tmp/mydirc.查看文件夹，执行语句：#hdfsdfs-ls/tmpd.删除文件夹，执行语句：#hdfsdfsrmr/tmp/mydire.查看文件夹，执行语句：#hdfsdfs-ls/tmp执行语句：hdfsdfsput/tmp/testAccess.txt/tmp/，再执行查看指令检查文件hdfsdfs-ls/tmphdfsdfs-get/tmp/testAccess.txt删除文件,执行语句：hdfsdfsrm/tmp/testAccess.txt，再执行查看指令检查文hdfsdfs–ls/tmpHDFSHDFSHDFS ，source环境变量：source执行kinithdfs输入，完成认证(第一次需要修改)拷贝本地文件到hdfs，执行语句：hdfsdfs-copyFromLocal/tmp/hdfsdfslshdfshdfsdfscopyToLocal/home/，完成后再查看本 HBase实创建HBase角操作场该任务指导系统管理员在FusionInsightManager创建并设置HBase的角色。HBase角色可设置HBase