hadoop实战(二)ubuntu18.04搭建hadoop集群

本文主要是介绍hadoop实战(二)ubuntu18.04搭建hadoop集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、 安装JDK

   官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下：

export JAVA_HOME=/home/hadoop/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   然后是Source /etc/proflie 或者Source ~/.bashrc ，查看java是否配置成功使用java -version

二、配置ssh免密登录

   因为需要涉及到启动hadoop集群，其实是用ssh来实现，如果每次手动去输入密码，一旦节点过多就会很麻烦，可以配置免密登录来解决。

cd ~/.ssh
ssh-keygen -R IP 删除旧的秘钥
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost（目标主机地址）

三、修改hosts

    为了方便使用，这里手动添加两个域名解析，

vi /etc/hosts
192.168.206.131 mini1
192.168.206.132 mini2
192.168.206.130 mini3
192.168.206.134 mini4

四、配置hadoop

   首先应该下载压缩包 http://archive.apache.org/dist/hadoop/core/ ，下载需要的版本然后解压，注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop，进入到目录中    1、hadoop-env.sh，知道jdk路径

	vim hadoop-env.sh#第27行export JAVA_HOME=/home/hadoop/jdk1.8.0_161

   2、core-site.xml

	<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://mini1:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.9.1/hadoopdata</value></property>

   3、hdfs-site.xml

	<property><name>dfs.replication</name><value>3</value></property><property><name>dfs.secondary.http.address</name><value>mini1:50090</value></property>

   4、mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

    mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>

   5、yarn-site.xml

	<property><name>yarn.resourcemanager.hostname</name><value>mini1</value></property><!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

   完成之后需要先格式化hdfs文件系统

hdfs namenode -format (hadoop namenode -format)

   启动hadoop

	先启动HDFSsbin/start-dfs.sh再启动YARNsbin/start-yarn.sh

   验证是否启动成功

	使用jps命令验证27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.206.101:50070 （HDFS管理界面）http://192.168.206.101:8088 （MR管理界面）

           

这篇关于hadoop实战(二)ubuntu18.04搭建hadoop集群的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---