
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、WARN util.NativeCoader: Unable to load native-hadoop library for your platform. using builtin-java classes where applicable主从机构主:jobtracker从:tasktracker四个阶段:1、 Split2、 Mapper:key-value(对象) 3、 Shufflea)分区(partition,HashPartition:根据 key 的 hashcode 值 和 Reduce 的数量 模运算),可以自定义分区,运算速度要快。一定要解决数据倾斜和 reduce 的
2、负载均衡。b)排序:默认按照字典排序。partor(比较)合并:减少当前 mapper 输出数据,根据 key 相同(比较),把分组(key 相同(比较),value 组成一个集合)(merge)4、 Reducea)输入数据:key + 迭代器value 进行合并。Hadoop2.5 HA 搭建四台机器:hadoop1,hadoop2,hadoop3,hadoop41.core-site.xmlfs.defaultFShdfs:/bjsxtha.zookeeper.quorumhadoop1:2181,hadoop2:2181,hadoop3:2181NNDNZKZKFCJNRMNM(任务管
3、理)Hadoop1YYYHadoop2YYYYYYYHadoop3YYYYHadoop4YYYhadoop.tmp.dir/op hdfs-site.xmldoop2.dameservibjsxtnodes.bjsxtnn1,nn2damenodc-address.bjsxt.nn1hadoop1:8020damenodc-address.bjsxt.nn2hadoop2:8020damenode.http-address.bjsxt.nn1hadoop1:50070damenode.http-address.bjsxt.nn2hadoop2:50070damenode.shared.edit
4、s.dirqjournal:/hadoop2:8485;hadoop3:8485;hadoop4:8485/t.failovvider.bjsxte.node.ha.ConfiguredFailovroxyProvider/valudfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsadfs.journalnode.edits.dir/opdoop/datadfs.ha.automatic-failover.enabledtrue准备 zookeeper三台 zookeeper:ha
5、doop1,hadoop2,hadoop3编辑 zoo.cfg 配置文件3.修改 dataDir=/opt/zookeeper server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888server.3=hadoop3:2888:3888i.ii.c)在 dataDir 目录中创建一个 myid 的文件,文件内容为 1,2,3配置 hadoop 中的 slaves启动三个 zookeeper:./zkServer.sh start启动三个 JournalNode:./hadoop-daemon.sh start journalnode.8.在其中一个 namenode 上格式化:hdamenode -format把刚刚格式化之后的元数据拷贝到另外一个 namenode 上a)启动刚刚格式化的 namenode :hadoop-daemone.sh start namenode在没有格式化的 namenode 上执行:hd启动第二个 namenode在其中一个 namenode 上初始化 zkfc
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 二年级数学上册学科教学优化计划
- BIM协作流程制定职责
- 2025年小学三年级班队学习竞赛计划
- 湘教版八年级数学同步辅导教学计划
- 校外教育机构健康促进计划
- 六年级下册英语单元复习计划
- 新闻与VR结合的现场直播创新创业项目商业计划书
- 乐器线缆管理器创新创业项目商业计划书
- 大型展馆空调运行检查总结范文
- 软技能培训教学改革心得体会
- 2022年泰安市文化和旅游系统事业单位招聘笔试试题及答案
- 2023年上海英语高考卷及答案完整版
- ISO9001新产品研发控制程序
- 操场塑胶面层施工方案及工艺方法
- 防台风、暴雨应急预案
- 西班牙文化概况
- 《长方形和正方形》 完整版课件
- 建筑施工现场建筑垃圾处置方案
- 布草洗涤服务方案完整版
- 第七次全国人口普查事后质量抽查方案
- 市政工程类建筑施工项目危险源辨识及风险管控清单
评论
0/150
提交评论