hadoop运维经验分享

Hadoop运维经验分享赵云炯@ebay2012华东运维技术大会2008年加入阿里巴巴云梯管理员2011年加入SDO负责搭建并维护hadoop集群2012年加入ebay自我介绍2012华东运维技术大会hadoop集群搭建监控集群性能调优Hadoop如何被搞垮的概要2012华东运维技术大会Mastermemory

磁盘sas+raid10active-backupbondingIPaliasHadoop集群搭建2012华东运维技术大会Editlog本地一份，NFS一份NameQuota&SpaceQuota权限控制/tmpTrashRackawarenessNamenode2012华东运维技术大会控制内存mapred.jobtracker.maxtasks.per.jobervalpleteuserjobs.maximummapreduce.job.counters.limitJobTracker2012华东运维技术大会内存不能少于Namenode控制做checkpoint的次数及时间fs.checkpoint.periodfs.checkpoint.sizeSecondaryNamenode2012华东运维技术大会Disk2T*12ext4noatime定期更换坏磁盘，一次一台网络如果条件允许，做汇聚绑定（mode4bonding)内存24Gslave2012华东运维技术大会内存：map+reduce+tasktracker+datanode网络磁盘注意wio确定map&reduce数2012华东运维技术大会Endtoend检测hdfs是否可用，是否能跑map/reduce10分钟一次fsckGCFullGC监控2012华东运维技术大会Tasktracker&Datanode数量异常作业监控大作业读写数据特别多运行时间特别长监控2012华东运维技术大会GC策略Editlog锁调度性能调优2012华东运维技术大会推荐使用CMS停顿时间短/technetwork/java/javase/gc-tuning-6-140523.html#cms指定heap内存的初始值和最大值相等-Xms-XmxGC策略2012华东运维技术大会2012华东运维技术大会所有更改FSNamesystem的RPCCall都需要等待Editlogsync到磁盘才能返回Editlog2012华东运维技术大会减少持有锁的时间减少锁频率blockReport减少锁粒度使用读写锁锁2012华东运维技术大会调度效率运行效率Maplocality小作业重要的作业调度2012华东运维技术大会创建大堆小文件创建大堆文件名非常长的文件DDOSHadoopkiller2012华东运维技术大会大量的job&tasks使用大量的counter往标准输出和标准错误输出大量的信息Hadoopkiller2012华东运维技术大会HadoopbugLinux内核bugJVMbug交换机故障爬虫通过jobtrackerweb端抓取jobhistory文件Session30分钟过期，导致内存暴涨，频繁fullgcbugs2012华东运维技术大会误删除数据误停止masterIPalias被抢分发不完整的hadoop-site.xml到slave，导致作业失败拔错硬盘，格错系统人为错误2012华东运维技术大会承办单位：ChinaUnix社区、ITPUB社区

协办单位：mysqlops中文网、TopGeek场地支持：创智天地赞助商：又拍云存储、韩国派凌科技有限公司北京基调网络系统有限公司北京蓝汛通信技术有限责任公司联想集团ThinkServer全球研发中心出版社支持：水利水电出版社、图灵教育2