2023学年完整公开课版hdfs配置文件_第1页
2023学年完整公开课版hdfs配置文件_第2页
2023学年完整公开课版hdfs配置文件_第3页
2023学年完整公开课版hdfs配置文件_第4页
2023学年完整公开课版hdfs配置文件_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

hdfs的配置文件2一、hdfs的配置文件（hdfs-site.xml）3hdfs的配置文件（hdfs-site.xml）–.dir–NameNode元数据存放位置–默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name–dfs.block.size–对于新文件切分的大小，单位byte。默认是64M,建议是128M。每一个节点都要指定，包括客户端。–默认值：671088644–dfs.data.dir–DataNode在本地磁盘存放block的位置，可以是以逗号分隔的目录列表，DataNode循环向磁盘中写入数据，每个DataNode可单独指定与其它DataNode不一样–默认值：${hadoop.tmp.dir}/dfs/datahdfs的配置文件（hdfs-site.xml）5–node.handler.count–NameNode用来处理来自DataNode的RPC请求的线程数量–建议设置为DataNode数量的10%，一般在10~200个之间–如设置太小，DataNode在传输数据的时候日志中会报告“connectonrefused"信息–在NameNode上设定–默认值：10hdfs的配置文件（hdfs-site.xml）6–dfs.datanode.handler.count–DataNode用来连接NameNode的RPC请求的线程数量–取决于系统的繁忙程度–设置太小会导致性能下降甚至报错–在DataNode上设定–默认值：3hdfs的配置文件（hdfs-site.xml）7–dfs.datanode.max.xcievers–DataNode可以同时处理的数据传输连接数–默认值：256–建议值：4096hdfs的配置文件（hdfs-site.xml）8–dfs.permissions–如果是true则检查权限，否则不检查（每一个人都可以存取文件）–于NameNode上设定–默认值：truehdfs的配置文件（hdfs-site.xml）9–dfs.datanode.du.reserved–在每个卷上面HDFS不能使用的空间大小–在每个DataNode上面设定–默认值：0–建议为10737418240，即10G。需要结合MapReduce场景设置。hdfs的配置文件（hdfs-site.xml）10–dfs.datanode.failed.volumes.tolerated–DataNode可以容忍损块的磁盘数量，超过这个数量DataNode将会离线，所有在这个节点上面的block将会被重新复制–默认是0，但是在有多块磁盘的时候一般会增大这个值hdfs的配置文件（hdfs-site.xml）11–dfs.replication–在文件被写入的时候，每一块将要被复制多少份–默认是3份

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论