hadoop集群维护手册

1、Hadoop部分启动命令：停止命令：Hadoop运行增加集群的存储量/节点如果只增加集群的存储量，建议增加Hadoop datanode节点。步骤：1、停掉集群包括Hadoop和hbase,当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host,别忘了在host文件里 也要添加新添加的host名。2、执行bin/启动集群3、以下选择一种1）如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平 衡。2）如果手动平衡，则和调用bin/sHadoop balancer命令相似，也可加 参数-threshold 5 （threshold是平衡阈值，默认

2、是10%,值越低各 节点越平衡，但消耗时间也更长）。在使用时，如果在里面没有配置, 那么集群hdfs内部默认使用1M/S的速度移动数据（s。slowly.）,我们可以通过在里面配置来加快balance的速度。最开始我们配置的 是20m/S ,然后结果是导致job运行变得不稳定，出现一些意外的长 map单元，某些reduce时间处理变长（整个集群负载满满的情况下，外 加20m/s的balance）,在前天的中国hadoop年会上听淘宝调整的为 10m/s,需要调整后实验，看看情况如何。另外再修改参数后，需要 在namenode上运行 重启hdfs生效。我们可以通过停掉平衡任务。作 完平衡后，启动

3、hbase,正常。果cluster设置的副本数不为3 （默 认），需要先运行命令 hadoop fs - setrep -R <path> ；进行设置一个文件的副本系数。如果默认为3则不必。如果执行完平 衡以后才改变副本数，会将新加入到新节点上的所有数据删除。设置 的副本系数只在文件系统写入时有效，并不影响在新添加节点时，平 衡时的副本数；另外：由于还有hbase数据库，因此，在运行完平衡以后，将hbase 下的.META.文件删除（防止出错），启动hbase,执行hbase add_table /表名 来进行hbase表恢复；Hadoop 1 升级1 .运行dfsadmin -u

4、pgradeProgress status检查是否存在备份 如果是第 一次升级 就不存在备份（在升级Hadoop前，如果已经存在备份，需要先 结束 finalize 它。）2 .备份下文件，同时要备份下hdfs的文件目录的元数据信息：bin/hadoop fsck / -files -blocks -locations > bin/hadoop dfs -lsr / > bin/hadoop dfsadmin -report > ?3 .停止所有节点bin.4 .在所有节点上重新部署hadoop并替换conf文件夹下所有文件（就是将 原有的更名为然后解压 将中的conf文件替

5、换为中的conf文件夹）并且要对照修改中的路径指定是否正确5 .使用bin/ -upgrade进行升级（DFS从一个版本升级到另外一个版本的 时候，NameNode和DataNode使用的文件格式有可能会改变。当你第一次 使用新版本的时候，你要告诉Hadoop去改变HDFS版本，否则，新版本不 会生效）6 .监控升级情况和升级问题处理开始升级，你可以通过bin/hadoop dfsadmin -upgradeProgress命令来查看版本升级的情况。当然你可以使用bin/hadoop dfsadmin -upgradeProgress details来查看更多的详细信息。当升级过程被阻塞的时候

6、，你可以使用bin/hadoop dfsadmin -upgradeProgress force来强制升级继续执行（当你使用这个命令的时候，一定要慎重考虑）O 当HDFS升级完毕后，Hadoop依旧保留着旧版本的有关信息，以便你可以方便的对HDFS进行降级操作。可以使用bin/ -rollback来执行降级操作。7 .对比现有hdfs的文件目录的元数据信息和升级的差异。8 .升级完成,Hadoop 一次只保存一个版本的备份，当新版本运行几天以后 还是没有出现什么问题，你就可以使用运行一段时间后 没有问题再执行 升级终结操作bin/hadoop dfsadmin -finalizeUpgrade

7、命令把旧版本的备份从系统中删掉了。删除以后rollback命令就失效了。HdfsMapreduceHbase部分启动命令：如果一个regionserver死掉了，可以执行该命令启动，也可以启动整 个 hbase；停止命令：停止hbase运行的命令.日常维护1 .基本命令建表：create ' testtable' , ' coulmnl, , 5 coulmn2，也可以建表时加coulmn的属性如：create ' testtable', NAME => 'coulmnl', BLOOMFILTER => 'NONE&

8、#39;, REPLICATION_SCOPE => 'O', VERSIONS => ' 10', COMPRESSION => ' LZO', TTL => ' 30000', INJfEMORY => 'false* , BLOCKCACHE => ' false*, NAME => 'coulmn', BLOOMFILTER => 'NONE*, REPLICATION_SCOPE => 'O', VERSIONS

9、 => '30', COMPRESSION => 'LZO', TTL => '30000', INJ1EM0RY => 'true'（其中的属性有 versions：设置历史版本数，TTL：过期时间，COMPRESSION：压缩方式， 当配置Izo的情况）删除表：drop ' testtable，（删除表之前先要禁用表，命令disable 'testtable'）启用和禁用表:enable ' testtable'和 disable ' testtable，

10、其它的基本命令:describe 'testtable'（查看表结构），alert修 改表结构，list列出所有表。2 .维护命令1 » major_compact ' testtable） ,通常生产环境会关闭自动 majojcompact （配置文件中设 为0）,选择一个晚上用户少的时间窗口手 I. major_compact,如果hbase更新不是太频繁，可以一个星期对所有表 做一次major_compact,这个可以在做完一次major_compact后，观看所 有的storefile数量，如果storefile数量增加到major_compact后的

11、 storefile的近二倍时，可以对所有表做一次major_compact,时间比较 长，操作尽量避免高锋期。2, flush ' testtable',将所有memstore刷新到hdfs,通常如果发 现 regionserver的内存使用过大，造成该机的regionserver很多线程 block,可以执行一下flush操作，这个操作会造成hbase的storefile 数量剧增，应尽量避免这个操作，还有一种情况，在hbase进行迁移的 时候，如果选择拷贝文件方式，可以先停写入，然后flush所有表，拷贝 文件。3, balance_switch true 或者 bala

12、nce_switch flase, 配置 master 是否执行平衡各个regionserver的region数量，当我们需要维护或者重 启一个regionserver时，会关闭balancer,这样就使得region在 regionserver上的分布不均，这个时候需要手工的开启balanceo3 . 重启一个 regionserverbin/ -restart -reload -debug nodename这个操作是平滑的重启regionserver进程，对服务不会有影响，他 会先将需要重启的regionserver上面的所有region迁移到其它的服务 器，然后重启，最后又会将之前的re

13、gion迁移回来，但我们修改一个配 置时，可以用这种方式重启每一台机子，这个命令会关 闭balancer,所 以最后我们要在hbase shell里面执行一下balance_switch true,对于 hbase regionserver重启，不要直接kill进程，这样会造成在这个时间 长的中断，也不要通过bin/ stop regionserver去重启，如果运气不太 好，-ROOT-或者.META.表在上面的话，所有的请求会全部失败。4 .关闭下线一台regionserverbin/ -stop nodename和上面一样，系统会在关闭之前迁移所有region,然后stop进程，同 样最

14、后我们要手工balance_switch true,开启master的region均衡。5 .检查region是否正常以及修复bin/hbase hbck （检查）bin/hbase hbck -fix（修复）会返回所有的region是否正常挂载，如没有正常挂载可以使用下一 条命令修复，如果还是不能修复，那需要看口志为什么失败，手工处理。6 . hbase的迁移copy table 方式bin/hbase =zookeeperl, zookeeper2, zookeeper3：/hbase 'testtable'目前之前的版本的不支持多版本的复制，已经支持多个版本 的复制。当然

15、这个操作需要添加hbase目录里的conf/,可以复制 hadoop的过来。Export/Importbin/hbase testtable/user/testtableversionsstarttime stoptime.bin/hbase testtable /user/testtable跨版本的迁移，我觉得是一个不错的选择，而且copytable不 支持多版本，而export支持多版本，比copytable更实用一些。直接拷贝hdfs对应的文件首先拷贝hdfs文件，如bin/hadoop distcp 然后在目的hbase执行 bin/hbase bin/ /hbase/testtabl

16、e生成meta信息后，重启hbase这个操作是简单的方式，操作之前可以关闭hbase的写入，执行 flush所有表（上面有介绍），再distcp拷贝,如果hadoop版本不 一致，可以用hftp接口的方式，我推荐使用这种方式，成本低。HBase升级在版本，提供了升级命令，当然需要预先将低版本的升级到或者更高 版本时，需要使用升级命令；Hbase命令提供了如下的选项；echo "Usage： hbase options <command> <args>echo "Options:echo 一config DIRConfiguration directi

17、on to use.Default: . /confz，echo -hosts HOSTSOverride the list in 'regionservers'file"echo echo,'Commands ： echo“Some commands takearguments. Pass no args or -h for usage. echo shellRun the HBase shell”echo“hbckRun the hbase 'fsck' tool"echo hlogWrite-ahead-log analyzer

18、”echo“hfileStore file analyzer”echo zkcliRun the ZooKeeper shell”echoupgradeUpgrade hbase”echomasterRun an HBase HMaster node”echoregionserverRun an HBase HRegionServer node”echozookeeperRun a Zookeeper server”echorestRun an HBase REST server”echo thriftRun the HBase Thrift server”echo thrift2Run the HBase Thrift2 server”echocleanRun the HBase clean u