>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 20103 个阅读者 刷新本主题
 * 贴子主题:  Hadoop配置项整理(hdfs-site.xml) 回复文章 点赞(0)  收藏  
作者:mary    发表时间:2020-03-11 15:48:44     消息  查看  搜索  好友  邮件  复制  引用

整理一下hdfs相关的配置项

                                            
  name  value Description
dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。
dfs.datanode.du.reserved 1073741824 每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节
dfs.name.dir /opt/data1/hdfs/name,

                /opt/data2/hdfs/name,

                /nfs/data/hdfs/name
NN所使用的元数据保存,一般建议在nfs上保留一份,作为1.0的HA方案使用,也可以在一台服务器的多块硬盘上使用
dfs.web.ugi nobody,nobody NN,JT等所使用的web tracker页面服务器所使用的用户和组
dfs.permissions true | false dfs权限是否打开,我一般设置false,通过开发工具培训别人界面操作避免误操作,设置为true有时候会遇到数据因为权限访问不了。
dfs.permissions.supergroup supergroup 设置hdfs超级权限的组,默认是supergroup,启动hadoop所使用的用户通常是superuser。
dfs.data.dir /opt/data1/hdfs/data,

                /opt/data2/hdfs/data,

                /opt/data3/hdfs/data,

                ...
真正的datanode数据保存路径,可以写多块硬盘,逗号分隔
dfs.datanode.data.dir.perm 755 datanode所使用的本地文件夹的路径权限,默认755
dfs.replication 3 hdfs数据块的复制份数,默认3,理论上份数越多跑数速度越快,但是需要的存储空间也更多。有钱人可以调5或者6
dfs.replication.max 512 有时dn临时故障恢复后会导致数据超过默认备份数。复制份数的最多数,通常没什么用,不用写配置文件里。
dfs.replication.min 1 最小份数,作用同上。
dfs.block.size 134217728 每个文件块的大小,我们用128M,默认是64M。这个计算需要128*1024^2,我碰上过有人直接写128000000,十分浪漫。
dfs.df.interval 60000 磁盘用量统计自动刷新时间,单位是毫秒。
dfs.client.block.write.retries 3 数据块写入的最多重试次数,在此次数之前不会捕获失败。
dfs.heartbeat.interval 3 DN的心跳检测时间间隔。秒
dfs.namenode.handler.count 10 NN启动后展开的线程数。
dfs.balance.bandwidthPerSec 1048576 做balance时所使用的每秒最大带宽,使用字节作为单位,而不是bit
dfs.hosts /opt/hadoop/conf/hosts.allow 一个主机名列表文件,这里的主机是允许连接NN的,必须写绝对路径,文件内容为空则认为全都可以。
dfs.hosts.exclude /opt/hadoop/conf/hosts.deny 基本原理同上,只不过这里放的是禁止访问NN的主机名称列表。这在从集群中摘除DN会比较有用。
dfs.max.objects 0 dfs最大并发对象数,HDFS中的文件,目录块都会被认为是一个对象。0表示不限制
dfs.replication.interval 3 NN计算复制块的内部间隔时间,通常不需写入配置文件。默认就好
dfs.support.append true | false 新的hadoop支持了文件的APPEND操作,这个就是控制是否允许文件APPEND的,但是默认是false,理由是追加还有bug。
dfs.datanode.failed.volumes.tolerated 0 能够导致DN挂掉的坏硬盘最大数,默认0就是只要有1个硬盘坏了,DN就会shutdown。
dfs.secondary.http.address 0.0.0.0:50090 SNN的tracker页面监听地址和端口
dfs.datanode.address 0.0.0.0:50010 DN的服务监听端口,端口为0的话会随机监听端口,通过心跳通知NN
dfs.datanode.http.address 0.0.0.0:50075 DN的tracker页面监听地址和端口
dfs.datanode.ipc.address 0.0.0.0:50020 DN的IPC监听端口,写0的话监听在随机端口通过心跳传输给NN
dfs.datanode.handler.count 3 DN启动的服务线程数
dfs.http.address 0.0.0.0:50070 NN的tracker页面监听地址和端口
dfs.https.enable true | false NN的tracker是否监听在HTTPS协议,默认false
dfs.datanode.https.address 0.0.0.0:50475 DN的HTTPS的tracker页面监听地址和端口
dfs.https.address 0.0.0.0:50470 NN的HTTPS的tracker页面监听地址和端口
dfs.datanode.max.xcievers 2048 相当于linux下的打开文件最大数量,文档中无此参数,当出现DataXceiver报错的时候,需要调大。默认256


                       主要配置里会用到的大概就是这些了,还有一些https certfile和一些internal时间配置的,不常用的就不写了。



----------------------------
原文链接:https://blog.51cto.com/slaytanic/1101111

程序猿的技术大观园:www.javathinker.net



[这个贴子最后由 flybird 在 2020-03-12 12:59:06 重新编辑]
  Java面向对象编程-->Swing组件(上)
  JavaWeb开发-->使用Session(Ⅱ)
  JSP与Hibernate开发-->立即检索和延迟检索策略
  Java网络编程-->基于MVC和RMI的分布式应用
  精通Spring-->计算属性和数据监听
  Vue3开发-->组合(Composition)API
  数据治理到底能治什么,怎么治
  害阿里程序员差点被当场开除的P0事故
  flume+spark streaming+redis完整篇
  spark读取kafka后写入redis
  基于spark-streaming实时推荐系统
  kubernetes之Ingress部署
  Kubernetes(K8S)集群管理Docker容器(部署篇)
  SparkStreaming的实战案例-WordCount范例
  基于Spark MLlib平台的协同过滤算法---电影推荐系统
  大数据虚拟混算平台Moonbox配置指南
  Spark Thrift JDBCServer应用场景解析与实战案例
  大数据的学习方向
  数据科学最终迁移到云端的5个原因
  Hadoop起源及其四大特性详解
  Hadoop的安装和基本操作命令
  更多...
 IPIP: 已设置保密
树形列表:   
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。