英特尔hadoop发行版2.2新手指南

简 文档目 产品简 集群结 构造集群的主要步 系统要 硬件要 软件要 网络要 链路聚 规划Hadoop集 对集群中所有节点进行操作系统安 安装操作系 磁盘分 在管理节点安装英特尔®Hadoop 集群配 登录并接受用户协 集群安装配置向 输入 配置节 启动集 手动配置部分组 简用英特尔®Hadoop版。商业套件功能和特点表1.1英特尔®Hadoop版提供商业套件的功能和特集群由管理节点、Hadoop1.11.1HadoopZookeeperHDFSMapReduceHBaseHive等。构造集群的主要步Hadoop集群的规划。第三章介绍 ®ManagerforApache器满足集群节点要(包括硬件使用In®ManagerforApacheHadoop配行介绍点的1.2系统要服务器运行英特尔®Hadoop版至少需要英特尔®至强处理器，推荐使用双路4核英特尔®处理器。服务器角色及服务类型内存要求管理节点Hadoop集群MapReduceJobMapReduceTaskMapReduceSlotsonTask512MB*slotHDFSHDFSSecondaryHDFSHBaseMasterHBaseRegionHive客户表2.1基于服务器角色及服务类型的运行英特尔® 比如一个服务器计划运行如下服务：HDFSDataNodeMapReduceTaskTracker和HBaseRegionServerslot数量（mapslotsreduceslots）为16。这样，对于这个服务器的推荐内存为：2GB+2GB+512MB*16+16GB=例子：IBM服务LSIMegaRaidRAID然后，每个DriveGroup应该被指定为一个 RAID1RAID5本节介绍安装英特尔®Hadoop版所需要的软件环境。RedHatEnterpriseLinuxCentOSRedHatEnterpriseLinux6.1,6.2,OracleEnterpriseLinux6.1,6.2,CentOS6.1,6.2,SUSE*LinuxEnterpriseServer11且须要确保opnssh-server在运行。如果opnssh-server没有运行，请在Hadoop集群中的所有节点中安装openssh-server包被确保该服务运行。当一台机器上有多个网络适配器时，用户可以在安装英特尔®Hadoop版Hadoop集群在安装英特尔®Hadoop版前，必须制定一些相关的规划。具体如下决定将使用哪些Hadoop组件。这些组件包括Zookeeper,HDFS,MapReduce,HBase,Hive,HA等。IPIP（DHCP或/etc/hosts/etc/hosts，管理节点将负责更新集群中每台机器的/etc/hosts间，这有可能导致当Hadoop集群与外部连接时错误的产生。需要MapReduce时)。对于较大的集群，还需要两台机器来分别充当NameNodeJobTracker。此时，如需HA的话，就需要4台机器。Hadoop对集群中所有节点进行操作系统安装在安装英特尔®Hadoop版之前，集群中的所有节点必须满足2.2节所列安装操作系统和PXE安装方式。RedHatEnterpriseLinuxforServers、CentOS64、SUSELinuxEnterpriseServerOracleEnterpriseLinux的安装光盘在每台服务器上独PXE安装方式是使用基于英特尔®服务器解决方案的PrebootExecution镜像进行安装。本文档暂不对PXE安装方式详细步骤进行介绍。root100GB以上空间。推荐此分区使用ext4文件系统。推荐把每个物理磁盘挂载为在/mnt/disknnnn12位的数字上不同的挂载点。DataNodeHDFS的数据。建议使用ext4文件系统。HDFSDataNode的数据不能rootIO竞rootIO竞争。通过#2所描述的方式挂载来作为数据。驱大挂载点类//etc/fstab中对应的条目)。同时，两台机器上的备用分区大小必须一致。当前的内存为48GB，但它有可能变为64GB。所以他们的备用分区应该至少为64GB。请如下对其进行分区:驱大挂载点类/其中，/dev/sda1被作为系统分区，/dev/sda3被作为备用分区，备用分区不需要挂载，将通过DRBD服务来挂载。在管理节点安装英特尔®Hadoop英特尔®Hadoop版需要通过安装光盘在管理节点上进行安装。具体步骤 5.1检查主机名与全称是否相同，如果正确，选择Yes继续，否则请根hostname，请修改/etc/hosts根据IP添加本机hostname条目。5.3 图5.4部署 ®ManagerforApacheIn®ManagerforApacheHadoop将使用的网络接口，All表示绑定所有接口。用户（而不是集群中的服务器）通过这个网络接口In®ManagerforApacheHadoop。一般不需要考虑这个区别。但在内分离，并且图5.5选择 图5.6确认 安装英特尔®Hadoop版和进行集群管理需要配置LinuxOS安装英特尔®Hadoop版和进行集群管理需要一个Linux系统的软件包。您可以选择在本机上创建一个，或使用一个存在的。如果您选择在本机上创建，您则需要一个Linux系统的DVD光盘或ISO源库，须要输入已存在Linux系统的URL。5.95.10图5.11指定ISO文安装英特尔®Hadoop版和进行集群管理需要在本机上配置一个资源图5.13指定本地软件使用的网络接安装程序会自动安装软件包 ®ManagerforApacheHadoop并配5.14图5.16成功安装英特尔®Hadoop集群配登录并接受用户协安装完英特尔®Hadoop版后，管理员可以通过管理界面——In 并使用窗口大小为1024*768以上的浏览器来开启管理界面。通过浏览器英特尔®Hadoop版管理界面地址https://管理节点地图6.1英特尔®软件最终用 集群安装配置向导接受英特尔®软件最终用户协议后，将出现欢迎使用英特尔®Hadoop管群中的所有机器上配置好了/etc/hosts文件。否则请选择不能通过主机名， ®Manager会相应为您配置/etc/hosts文件。始IP地址和结束IP地址栏目里输入需要搜索的IP地址段，并输入root。6.46.5个如下图所示的窗口确认您的选择。点击“确认”继续。1由于NTP服务器所需同步周期一般为5分钟，请您耐心等待直到软件安装 6.136.14HDFSMapReduce组件控制节点的配置界面。这里必须选择一台服务MapReduceHDFS组件控制节点中，您Zookeeper6.22输入英特尔®Hadoop版需要输入证才可进行配置并启动运行完整功能。免费版用户默认拥有免费版的证，可以直接进入6.5章节。如果您拥有试图6.23证管理界 图6.24上传证文 6.26