hadoop配置中常见问题

1、（一）ssh登录无法登录解决办法：配置ssh无密码登录，然后利用ssh的用户来进行登录，不要使用非ssh用户登录。（二）scp-rid_rsa.pub无法复制解决办法：无法网络复制，主要原因是ssh中的etc/ssh/sshd_config中的PasswordAuthenticationno改为PasswordAuthenticationyes然后用要复制的用户密码登录，就可以。（三）在安装Hadoop软件的时候，要注意：请使用Hadoop用户登录来安装，以防安装完成后配置有问题。（四）修改的hadoop几个文件几个文件分别是：masters、slaves、hadoop-en.sh、core-

2、site.xml、hdfs-site.xml、mapred-site.xml。修改的格式分别是：1. Masters/设置master的机器名或IPmasterSlaves/设置slave的机器名或IPslave1slave2slave3hadoop-en.sh/设置本机的java安装的目录添加一句:exportJAVA_HOME=/usr/java/jdk_2. core-site.xml/设置本机的namenode的端口号和临时文件的目录<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl&qu

3、ot;href="configuration.xsl"?><!-Putsite-specificpropertyoverridesinthisfile.-><configuration><property><name></name><value>hdfs:/42:9000</value></property><property><name>hadoop.tmp.dir</name><

4、value>/home/hadoop/tmp/</value></property></configuration>hdfs-site.xml/设置hadoop数据备份的数量，例如为2。还有namenode的name持久文件和datanode的data持久文件、以及通过的http的地址。<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><!-Putsite-sp

5、ecificpropertyoverridesinthisfile.-><configuration><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>/home/hadoop/name/</value></property><property><name

6、>dfs.data.dir</name><value>/home/hadoop/data/</value></property><property><name>dfs.http.address</name><value>42:50070</value></property></configuration>mapred-site.xml/设置hadoop的jobtracker的运行端口<?xmlversion="1.0&qu

7、ot;?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><!-Putsite-specificpropertyoverridesinthisfile.-><configuration><property><name>mapred.job.tracker</name><value>hdfs:/master:9001/</value></property></configu

8、ration>（五）利用hadoopnamenode-ormat命令格式化namenode时有错误。现象：此错误在执行完命令之后，不易看出，可以在中的日志文件中看到namenode的log日志文件。里面会出现FSnameSysteminitializationfailed和namenodeisnotformated错误解决办法：我们在格式化namenode之前，不要建立的name目录和tmp目录，因为hadoop启动的时候会自动创建，否则会出错。只要将先前有创建的name和tmp目录删除就可以了。（六）利用start-all.sh命令启动hadoop时候出现多种问题（六1）如果是使用ha

9、doop用户执行此命令时，可能会出现的问题是：/logs/权限不够Slave2:mkdir/home/hadoop/hadoop-0.20.2./logs/.权限不够解决办法：卸载hadoop，然后注销，使用hadoop用户登录，再一次安装hadoop,然后再配置hadoop文件。重新执行命令，但是在执行这些命令时候，要保证master和slave各机子都安装了hadoop，也进行了相关的配置。（六2）如果使用root用户来执行此命令，可能会出现的问题：Slave1：permissiondenied（就是权限被拒绝）Slave2：permissiondenied解决办法：由于使用start-a

10、ll.sh命令是要使用ssh的通道，所以不能使用root用户来进行配置，要使用hadoop的有配置ssh的用户来进行执行上述命令（六3）如果执行成功的时候，会显示以下内容常和口购口1»口血|losingto加車时/h剎oopirMall/hMo叩加畋JI呼/hddo附啣细严砧mlpnodoutnlpraodel''wlcowtovfrti5*rernlpnodekTtiepurposeofthenodeistorunthlat'ssystfnisonlarge-scale曲竹.出灯operationsthmreuirdiareiwtlIImI."问吐

11、：starting血Un血I轉何力人0伽袖他炯俪竹11加愉耐讪/呼加冏卿嘶鈕朗(血轴减1皿MpiiodJ;barring皿烦慎硕匝gm/bor"啣皿佝000阳丸11加0附用in.1邨加曲即帼卩咆-域和田呵帧血1眦nlpoodel:startinj宿tin血I疝旳to昭甘叫MMdoopin曲胸喇怖峽庾加呷皿由(血的鹹8誠Tilfmode?:Orting5厲砒町11義110枫1翊ingto/hon"哪ed/h血叩血刼】1什血即/倫/耶加如片邱血-取0(11如¥1附映-讪腕de?,outstardMjobtridcy側的to加嶽/螂rM/hMoopirmll/bado&

12、#174;/biM/l娜/hdMoiHHp泌jobtrac加MpnodM.oitnlpiodel:telcoflieu耻tel即npnodeLThepurposeofthenodeistoruntklab'ssystemsonlarge-scaletatiStlieropefitiw$thanrHeirchartMt训胡”，nlpnodti.:startingtktrachr,loggingto/hoae/iapred/hadtHpinbl1/hutup/hin/./lop/hadoop-iaprFd-tktrackfmipnodel.outjnlpnodd:血仕阪沁讹眦1扁俺te/h

13、Mefiai)red/h血确仍tdl/h血枷"人丿陥血喻即-同皿诚t欣u恤曲.wtnlpnotj配世tingt松比澀跑轡冋to/lw/iaireJ/hainQ|iiiBMll/liiA卿恤人川呼/hajncpwpredtasktrari卧nlpnWout而且使用jps命令查看启动进程可以看到Namenode、datanode、jobtarcker、tasktarcker、jps、secondnamenode六个进程女口果你只看至UNamenode、jobtarcker、jps、secondnamenode这四个进程，而且slave各机子中的datanodelog没有出现错误，也是可以

14、的。然后你可以使用netstat-nl命令来查看端口的运行情况查看9000>9001、50070、50030四个端口是否在运行用然后在浏览器上输入和可以看到namenode和jobtarcker的管理页面，则成功，但是还要进行其他相关的测试。（七）Jps命令找不到解决办法：在安装好后运行jps,报错为bash:jpscommandnotfound,仔细查看才知道，原来jps是jdk中bin目录下的一个可执行的文件，类似于javac,那么这就不难找到错误，既然找不到就说明不认识路，那问题的所在就直指环境变量了。最后果然是一开始配置的环境变量出问题了。如果按上面配置就不会错了。Linux中的环境变量为系统或应用程序调用系统的可执行文件指明了路径，而/etc/profile里的环境变量的配置是