本文主要是介绍linux下搭建单机版hdfs和yarn框架,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在本地搭建hadoop环境时,如果搭建集群模式下的hdfs和yarn则占用资源较多,会影响到自己电脑的性能。
下面介绍如何搭建单机版hdfs和yarn。
虚拟机采用cenos6镜像,准备三台虚拟机:
spark1,spark2,spark3,其中 spark1 作为 namenode、secondary namenode、
datanode 和 resouremanager,spark2和 spark3 作为 datanode 和 nodemanager。
一、配置单机版hdfs
1)将hadoop-2.6.4_x64.tar.gz拷贝至linux下home目录下
tar -zxvf hadoop-2.6.4_x64.tar.gz
2)修改配置文件
A)vi /home/hadoop-2.6.4/etc/hadoop/hadoop-env.sh
修改为export JAVA_HOME=/usr/java/jdk1.7.0_79(jdk地址)
B)vi /home/hadoop-2.6.4/etc/hadoop/core-site.xml
<configuration>
<property>
//配置namenode主机和端口
<
这篇关于linux下搭建单机版hdfs和yarn框架的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!