NameNode内存生产配置

Hadoop2.x 系列，配置 NameNode 内存

NameNode 内存默认 2000m ，如果服务器内存 4G ， NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。

HADOOP_NAMENODE_OPTS=-Xmx3072m

Hadoop3.x 系列，配置 NameNode 内存

经验分享：

namenode最小值1G，每增加100万个block，增加1G内存。
datanode最小值4G，block或者副本数升高，都应该调大datanode的值。
一个datanode上的副本总数低于400万时调为4G，超过400万后，每增加100万，增加1G。

具体修改： hadoop-env.sh

export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"

namenode大约在280行。

datanode大约在310行。