本文主要是介绍hadoop2.x安装文件配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
配置hadoop-env.sh
配置yarn-env.sh
配置core-site.xml
配置hdfs-site.xml
配置mapred-site.xml
配置yarn-site.xml
配置slaves文件
配置hadoop-env.sh
打开配置文件hadoop-env.sh
cd etc/hadoop
vi hadoop-env.sh
加入配置内容,设置了hadoop中jdk和hadoop/bin路径
export JAVA_HOME=/usr/lib/java/jdk1.7.0_55
export PATH=$PATH:/usr/local/hadoop-2.2.0/bin
编译配置文件hadoop-env.sh,并确认生效
source hadoop-env.sh
hadoop version
配置yarn-env.sh
在/usr/local/hadoop-2.2.0/etc/hadoop打开配置文件yarn-env.sh
cd /usr/local/hadoop-2.2.0/etc/hadoop
vi yarn-env.sh
加入配置内容,设置了hadoop中jdk和hadoop/bin路径
export JAVA_HOME=/usr/lib/java/jdk1.7.0_55
编译配置文件yarn-env.sh,并确认生效
source yarn-env.sh
配置core-site.xml
使用如下命令打开core-site.xml配置文件
vi core-site.xml
在配置文件中,按照如下内容进行配置
<configuration><property><name>fs.default.name</name><value>hdfs://hadoop1:9000</value></property><property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop-2.2.0/tmp</value><description>Abase for other temporary directories.</description></property><property><name>hadoop.proxyuser.hduser.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hduser.groups</name><value>*</value></property>
</configuration>
配置hdfs-site.xml
使用如下命令打开hdfs-site.xml配置文件
sudo vi hdfs-site.xml
在配置文件中,按照如下内容进行配置
<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop1:9001</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop-2.2.0/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-2.2.0/data</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>
</configuration>
配置mapred-site.xml
默认情况下不存在mapred-site.xml文件,可以从模板拷贝一份
cp mapred-site.xml.template mapred-site.xml
使用如下命令打开mapred-site.xml配置文件
vi mapred-site.xml
在配置文件中,按照如下内容进行配置
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property>
</configuration>
配置yarn-site.xml
使用如下命令打开yarn-site.xml配置文件
vi yarn-site.xml
在配置文件中,按照如下内容进行配置
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop1:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop1:8088</value></property>
</configuration>
配置slaves文件
设置从节点
vi slaves
hadoop2
haddop3
这篇关于hadoop2.x安装文件配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!