细细品味Hadoop-Hadoop集群（第5期）-Hadoop安装配置

——Hadoop集群(第5期)精华集锦csAxp虾皮工作室ogscomxiapi河北工业大学——软件工程与理论实验室编辑：虾皮1Hadoop集群(第5期)HadoopMapReduceHadoop系统底层细节透明的统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的rg称IP地址pppter河北工业大学——软件工程与理论实验室编辑：虾皮2用。后续经验积累一定阶段后补上一台备用Master机器。配置Hadoop集群要按照1.2小节表格所示进行配置，我们在“Hadoop集群(第1期)”的CentOS室后来人在安装1)查看当前机器名称hostname2)修改当前机器名称假定我们发现我们的机器的主机名不是我们想要的，通过对“/etc/sysconfig/network”=值nfignetworkNETWORKING是否利用网络HOSTNAME主机名DOMAIN域名用下面命令进行修改当前机器的主机名(备注：修改系统文件一般用root用户)vim/etc/sysconfig/network河北工业大学——软件工程与理论实验室编辑：虾皮33)修改当前机器IPnetworkscripts在这个目录下面，存放的是网络接口(网卡)的制御脚本文件(控制文件)，ifcfg-eth0DEVICE接口名(设备,网卡)ONBOOT系统启动的时候网络接口是否有效(yes/no)TYPE网络类型(通常是Ethemet)NETMASK网络掩码IPV6INITIPV6是否有效(yes/no)河北工业大学——软件工程与理论实验室编辑：虾皮4vim/etc/sysconfig/network-scripts/ifcgf-eth04)配置hosts文件(必须)HostNameIP接时，首先查找该文件，寻找对应主机名(或域名)对应的IP地址。g河北工业大学——软件工程与理论实验室编辑：虾皮5veHadoopHadoop，需要在“/etc/hosts”文件中添加集群中所有机器的IP与pppvim/etc/hostsaveHadoopping河北工业大学——软件工程与理论实验室编辑：虾皮6DK2)Hadoop软件在“Hadoop集群(第3期)”讲了VSFTP的安装及配置，如果没有安装VSFTP可以刚才我们用一般用户(hadoop)通过FlashFXP软件把所需的两个软件上传了跟目下，河北工业大学——软件工程与理论实验室编辑：虾皮7候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥NameNodeSSHDataName，同样原理，2.1安装和启动SSH协议rpm–qarpm–qaopensshrsyncservicesshdrestart动服务2.2配置Master无密码登录所有SalveSHMaster(NameNode|JobTracker)作为客户端，要实现无密码公钥认证，连接到服务器aveMaster河北工业大学——软件工程与理论实验室编辑：虾皮82)Master机器上生成密码对ssh-keygen–trsa–P’’homehadoopssh”文件夹，且“.ssh”文件下是否有两个刚生产catsshidrsa.pub>>~/.ssh/authorized_keys河北工业大学——软件工程与理论实验室编辑：虾皮9置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能)，另一件事儿是g1)修改文件“authorized_keys”chmod/.ssh/authorized_keys2)设置SSH配置AAuthenticationyesbkeyAuthenticationyes#启用RSA认证公钥私钥配对认证方式AuthorizedKeysFile.ssh/authorized_keys#公钥文件路径(和上面生成的文件同)shdrestartost河北工业大学——软件工程与理论实验室编辑：虾皮10MasterHadoopSlave.Hadoop上从上图中我们得知，已经把文件“id_rsa.pub”传过去了，因为并没有建立起无密码连SlaveHadoop户hadoop的密码。为了mehadoop2)在“/home/hadoop/”下创建“.ssh”文件夹mkdir~/.sshchmod~/.ssh河北工业大学——软件工程与理论实验室编辑：虾皮11t录，但是对Slave1.Hadoop进行登录仍然需要输入密码，就是因为“.ssh”文件夹的权限设RSA失3)追加到授权文件“authorized_keys”eyscatidrsapub>>~/.ssh/authorized_keyschmod/.ssh/authorized_keys河北工业大学——软件工程与理论实验室编辑：虾皮124)用root用户修改“/etc/ssh/sshd_config”sterSlavepubrm–r~/id_rsa.puboopSlaveHadoopSSH2.3配置所有Slave无密码登录Master文件夹下的“authorized_keys”中，记得是追加(>>)。现在就以“Slave1.Hadoop”无密码登录“Master.Hadoop”为例，河北工业大学——软件工程与理论实验室编辑：虾皮13ssh-keygen–trsa–P’’catsshid_rsa.pub>>~/.ssh/authorized_keys接着是用命令“scp”复制“Slave1.Hadoop”的公钥“id_rsa.pub”到“Master.Hadoop”ys1)在“Slave1.Hadoop”服务器的操作oop2)在“Master.Hadoop”服务器的操作catidrsapub>>~/.ssh/authorized_keys河北工业大学——软件工程与理论实验室编辑：虾皮14Hadoop按照上面的步骤把剩余的“Slave2.Hadoop”和“Slave3.Hadoop”与“Master.Hadoop”之间ve3.1安装JDKhomehadoopjdkulinuxibinusrjava。mkdir/usr/javacphomehadoop/jdk-6u31-linux-i586.bin/usr/java河北工业大学——软件工程与理论实验室编辑：虾皮15chmod+xjdk-6u31-linux-i586.binkulinuxibin按照上面几步进行操作，最后点击“Enter”键开始安装，安装完会提示你按“Enter”河北工业大学——软件工程与理论实验室编辑：虾皮163.2配置环境变量1)编辑“/etc/profile”文件vim/etc/profile2)添加Java环境变量setjavaenvironmentexportJREHOMEusrjavajdk.0_31/jresetjavaenvironment3)使配置生效etcprofile河北工业大学——软件工程与理论实验室编辑：虾皮173.3验证安装成功java-version3.4安装剩余机器nIP河北工业大学——软件工程与理论实验室编辑：虾皮18omehadooproot了。安装hadoop首先用root用户登录“Master.Hadoop”机器，查看我们之前用FTP上传至homeHadoophadoop0.tar.gz”。cphomehadoophadooptargz/usrz河北工业大学——软件工程与理论实验室编辑：虾皮19dusr/usr”目录tar–zxvfhadoop-1.0.0.tar.gzgzop将“hadoop-1.0.0”文件夹重命名“hadoop”chown–Rhadoop:hadoophadoop#将文件夹“hadoop”读权限分配给hadoop用户rm–rfhadoop-1.0.0.tar.gz#删除“hadoop-1.0.0.tar.gz”安装包河北工业大学——软件工程与理论实验室编辑：虾皮20把“/usr/hadoop”读权限分配给hadoop用户(非常重要)中，修改“/etc/profile”文件(配置java环境变量的文件)，将以下语句添加到末尾，并使sethadooppathportHADOOPHOMEusrhadoop1)在“/usr/hadoop”创建“tmp”文件夹mkdir/usr/hadoop/tmp2)配置“/etc/profile”河北工业大学——软件工程与理论实验室编辑：虾皮21vim/etc/profile3)重启“/etc/profile”source/etc/profile配置hadoop1)配置hadoop-env.shsetjavaenvironment河北工业大学——软件工程与理论实验室编辑：虾皮22ultxml2)配置core-site.xml文件nfigurationropertynamehadooptmpdir</name>valueusr/hadoop/tmp</value>usrhadooptmp夹)criptionAbaseforothertemporarydirectoriesdescriptionproperty>-filesystemproperties--></name>valuehdfs//:9000</value>property>configuration河北工业大学——软件工程与理论实验室编辑：虾皮233)配置hdfs-site.xml文件Snfigurationropertynamedfsreplication/name>value/value>property>nfiguration4)配置mapred-site.xml文件rnfigurationropertynamemapredjob.tracker</name>valuehttp/:9001</value>property>configuration河北工业大学——软件工程与理论实验室编辑：虾皮245)配置masters文件(1)第一种(2)第二种6)配置slaves文件(Master主机特有)(1)第一种下ppp(2)第二种河北工业大学——软件工程与理论实验室编辑：虾皮25下doop另一种方式是将Master上配置好的hadoop所在文件夹“/usr/hadoop”复制到所有的河北工业大学——软件工程与理论实验室编辑：虾皮26扔提示让你输入“Slave1.Hadoop”服务器用户root的密码。以我们现在要给“Slave1.Hadoop”服务器上的用户hadoop添加对“/usr/hadoop”读权限。chown-Rhadoop:hadoop(用户名：用户组)hadoop(文件夹)河北工业大学——软件工程与理论实验室编辑：虾皮27接着在“Slave1.Hadoop”上修改“/etc/profile”文件(配置java环境变量的文件)，将以下语句添加到末尾，并使其有效(source/etc/profile)：sethadoopenvironmentportHADOOPHOMEusrhadoop4.3启动及验证1)格式化HDFS文件系统MasterHadoophadoop注：只需一次，下次启动startall.sh)hadoopnamenode-formatopsethadooppathportHADOOPHOMEusrhadoopbin河北工业大学——软件工程与理论实验室编辑：虾皮28Q2)启动hadooperviceiptablesstoplsh河北工业大学——软件工程与理论实验室编辑：虾皮29p3)验证hadoop(1)验证方法一：用“jps”命令(2)验证方式二：用“hadoopdfsadmin-report”河北工业大学——软件工程与理论实验室编辑：虾皮304.4网页查看集群1)访问“http::50030”河北工业大学——软件工程与理论实验室编辑：虾皮312)访问“http::50070”rningHADOOPHOMEisdeprecatedWarningHADOOPHOMEisdeprecated.河北工业大学——软件工程与理论实验室编辑：虾皮32经查hadoop-1.0.0/bin/hadoop脚本和“hadoop-config.sh”脚本，发现脚本中对ESSrofile1)切换至root用户2)添加内容3)重新生效解决“nodatanodetostop”问题河北工业大学——软件工程与理论实验室编辑：虾皮33attmp种解决方案如下：1)先删除“/usr/hadoop/tmp”rm-rf/usr/hadoop/tmp2)创建“/usr/hadoop/tmp”文件夹mkdir/usr/hadoop/tmp3)删除“/tmp”下以“hadoop”开头文件rm-rf/tmp/hadoop*4)重新格式化hadoophadoopnamenode-format5)启动hadooplsh。D河北工业大学——软件工程与理论实验室编辑：虾皮34Master“VERSION”文件5.3Slave服务器中datanode启动后又自动关闭ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException:Callto...xceptionjavanetNoRouteToHostExceptionNoroutetohost闭防火墙rviceiptablesstop5.4从本地往hdfs文件系统上传文件INFOhdfs.DFSClient:ExceptionincreateBlockOutputStreamjava.io.IOException:BadectackwithfirstBadLinkWARNhdfs.DFSClient:DataStreamerException:java.io.IOException:Unabletocreatelock1)关闭防火墙erviceiptablesstop2)禁用selinux编辑“/etc/selinux/config”文件，设置“SELINUX=disabled”5.5安全模式导致的错误orgapachehadoopdfsSafeModeExceptionCannotdeleteNamenodeisinsafemode河北工业大学——软件工程与理论实验室编辑：虾皮35可。闭安全模式hadoopdfsadmin-safemodeleaveQUEFETCHESMAXFAILEDUNIQUEFETCHESbailingout看到)对于正常使用是够了，但是对于程序来讲，就太少了。1)“/etc/security/limits.conf”vim/etc/security/limits.confoftnofilehardnofile4096002)“/etc/pam.d/login”vim/etc/pam.d/loginsessionrequired/lib/security/pam_limits.so5.7解决“Toomanyfetch-failures”河北工业大学——软件工程与理论实验室编辑：虾皮361)检查“/etc/hosts”2)检查“.ssh/authorized_keys”要求包含所有服务器(包括其自身)的publickey5.8处理速度特别的慢修改“conf/hadoop-env.sh”中的“exportHADOOP_HEAPSIZE=4000”出现这种异常，明显是jvm内存不够得原因。jvmJavaXms1024m-Xmx4096mNamenodeinsafemodebin/hadoopdfsadmin-safemodeleaveinfoPort0075,ipcPort=50020):Gotexceptionwhileservingblkto100.165:.SocketTimeoutException:480000millistimeoutwhilewaitingforchanneltobereadyforwrite.ch:java.nio.channels.SocketChannel[connectedlocal=/remote=/65:50930]ketIOWithTimeoutwaitForIOSocketIOWithTimeoutjavaehadoopnetSocketOutputStreamwaitForWritableSocketOutputStreamjavaItseemstherearemanyreasonsthatitcantimeout,theexamplegiveninHADOOP-3831isaslowreadingclient.河北工业大学——软件工程与理论实验室编辑：虾皮37tusoferrorjavaio.IOException:Taskprocessexitwithnonzerostatusof255.Setervalandmapred.userlog.retain.hourstohighervalue.Bydefault,theirvaluesare24hours.Thesemightbethereasonforfailure,thoughI'mnotsurerestart.bin/hadoop-daemon.shstartdatanodebin/hadoop-daemon.shstartjobtrackerLinuxhmod：所有使用者使用方式：chmod[-cfvR][--help][--version]modefile...Linux/Unix的档案存取权限分为三级:档案拥有者、群组、其他。利用chmod可以c权限确实已经更改，才显示其更改动作f限无法被更改也不要显示错误讯息v限变更的详细资料R录下的所有档案与子目录进行相同的权限变更(即以递回的方式逐个变更)河北工业大学——软件工程与理论实验室编辑：虾皮38help辅助说明version版本filetxt设为所有人皆可读取chmodugorfile1.txtfiletxt设为所有人皆可读取chmodarfile1.txtxthmodugwowfiletxtfiletxtexpy为只有该档案拥有者可以执行chmoduxex1.py所有档案与子目录皆设为任何人可读取chmod-Ra+r*chmodarwxfile和chmod777file效果相同chmodugrwxoxfile和chmod771file效果相同chown限：root使用方式：chown[-cfhvR][--help][--version]user[:group]file...河北工业大学——软件工程与理论实验室编辑：虾皮39拥有者加以改变。一般来说，这个指令只有是由系统管理者(root)所使用，一般使用者没有user:新的档案拥有者的使用者IDgroup新的档案拥有者的使用者群体(group)c拥有者确实已经更改，才显示其更改动作f有者无法被更改也不要显示错误讯息h结(link)进行变更，而非该link真正指向的档案v者变更的详细资料R录下的所有档案与子目录进行相同的拥有者变更(即以递回的方式逐个变更)help助说明version版本filetxt的拥有者设为users群体的使用者jessiechownjessieusersfiletxt的所有档案与子目录的拥有者皆设为users群体的使用者lamportchown-Rlamport:users*wxrxrxwxxxrwrwrwwxrwxrwxdrwxrxrx可读该目录，但只有属主才能改变目录中的内容cp河北工业大学——软件工程与理论实验室编辑：虾皮40scpssh，具有和ssh一。letosshoptionPportSprogramuserhostfile[[user@]host2:]file2-4强制scp命令只使用IPv4寻址-6强制scp命令只使用IPv6寻址-B使用批处理模式(传输过程中不询问传输口令或短语)-q不显示传输进度条。nfigscp的实际应用1)从本地服务器复制到远程服务器复制文件：plocalfileremoteusernameremoteipremotefolderlocalfileremoteusernameremoteipremotefileplocalfileremoteipremotefolderlocalfileremoteipremotefileinuxsoftscpziprootwwwmydomaincomhomelinuxotherssoftlinuxsoftscpziprootwwwmydomaincomhomelinuxotherssoftscpzipnuxsoftscpzipwwwmydomaincomhomelinuxotherssoftmelinuxsoftscpzipwwwmydomaincomhomelinuxotherssoftscpzip复制目录：scprlocalfolderremoteusernameremoteip:remote_foldercprlocalfolderremoteipremotefolderelinuxsoftrootwwwmydomaincomhomelinuxothersmelinuxsoftwwwmydomaincomhomelinuxothershersmelinuxotherssoft2)从远程服务器复制到本地服务器wwwmydoma