从零手把手教你搭建Hadoop集群

2024-08-27 19:36
文章标签 集群 手把手 搭建 hadoop

本文主要是介绍从零手把手教你搭建Hadoop集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1、简介

        Hadoop作为大数据鼻祖，后续衍生出 spark、flink等大数据框架都是在此基础上进行优化和创新，因此虽然目前Hadoop逐渐在大数据领域淡出视野，但是要想更深入掌握其他大数据组件，学习Hadoop还是必要的。

2、jdk&Hadoop下载
2.1、jdk下载安装

        本次集群搭建使用jdk8进行搭建，下载地址为：Java™ SE Development Kit 8, Update 301 Release Notes

2.2、Hadoop下载安装

        Hadoop目前最新版本为 3.4.0，本文使用3.2.4版本进行搭建，下载地址为：Index of /dist/hadoop/core/hadoop-3.4.0

3、集群规划

        本次使用完全分布式部署，使用VMWare搭建三台虚拟机，集群部署规划如下：

机器ip主机名
192.168.0.66node-1
192.168.0.67node-2
192.168.0.68node-3

Hadoop集群规划：

组件名

node-1

node-2

node-3

HDFS

NameNode

DataNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

NodeManager

3.1、创建虚拟机集群
3.1.1、创建虚拟机修改网络（其他节点只用修改ip即可）
vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"  # 注意这个要是static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="1b5d9f8e-0e82-452c-bd41-d41ea4de929e"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.0.66   # 修改为指定的ip
GATEWAY=192.168.0.2   # 修改为指定的网关
NETMASK=255.255.255.0
DNS1=192.168.0.2      # 修改为指定的dns

修改完成之后重启网络

systemctl restart network
3.1.2、修改主机名
vim /etc/hostname
node-1  # 其他节点为 node-2、node-3
3.1.3、修改hosts文件
vim /etc/hosts
192.168.0.66 node-1
192.168.0.67 node-2
192.168.0.68 node-3

注：完成以上几个步骤，就可以将虚拟机关闭克隆出另外两台，另外两台只用修改ip和主机名即可。

3.1.4、集群免密登录

         每个节点都需要进行以下几个步骤，在这个过程中需要输入密码。

# 1、生成key
ssh-keygen -t rsa
# 2、将生成的key拷贝到其他节点
ssh-copy-id node-1
ssh-copy-id node-2
ssh-copy-id node-3
4、安装jdk和Hadoop
4.1、安装
# 1、安装jdk，将下载jdk包上传到指定路径并解压
tar -zxvf jdk8-*.tar.gz
# 2、安装Hadoop 将下载Hadoop包上传到指定路径并解压
tar -zxvf hadoop-*.tar.gz
# 3、将包传递到其他节点（使用scp 命令，示例如下）
scp -r jdk8 node-2:/opt/
scp -r hadoop node-2:/opt/

注：解压后用户和用户组可能不是指定的用户和用户组，需要变更。 

chown root:root -R 解压文件夹
4.2、配置环境变量
# 1、配置环境变量
vim /etc/profile.d/my_env.sh
export JAVA_HOME=/opt/jdk8
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin# 2、激活环境变量
source /etc/profile
# 3、验证
java -version
hadoop version
4.3、分发配置环境变量文件
# 1、发送配置环境变量文件
scp /etc/profile.d/my_env.sh node-2:/etc/profile.d/my_env.sh
scp /etc/profile.d/my_env.sh node-3:/etc/profile.d/my_env.sh
# 2、激活环境变量（每个节点）
source /etc/profile
4.4、Hadoop集群配置

        配置文件在 $HADOOP_HOME/etc/hadoop 目录下。

4.4.1、core-site.xml
<configuration>
<!-- 指定NameNode的地址 --><property><name>fs.defaultFS</name><value>hdfs://node-1:8020</value></property><!-- 指定hadoop数据的存储目录，提前创建好 --><property><name>hadoop.tmp.dir</name><value>/opt/hadoop/hadoop-3.2.4/data</value></property><!-- 配置HDFS网页登录使用的静态用户为test--><property><name>hadoop.http.staticuser.user</name><value>test</value></property>
</configuration>
4.4.2、hdfs-site.xml
<configuration>
<!-- nn web端访问地址--><property><name>dfs.namenode.http-address</name><value>node-1:9870</value></property><!-- 2nn web端访问地址--><property><name>dfs.namenode.secondary.http-address</name><value>node-3:9868</value></property>
</configuration>
4.4.3、yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>node-2</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name>    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property>
<!-- 开启日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property><name>yarn.log.server.url</name><value>http://node-1:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>
</configuration>
4.4.4、mapred-site.xml
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property><!-- 历史服务器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>node-1:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>node-1:19888</value>
</property>
</configuration>
5、初始化以及启动
5.1、hdfs初始化
hdfs namenode -format

        如果集群是第一次启动，需要在指定为namenode节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

5.2、启动/停止操作

        Hadoop配置完之后，只需要启动三个脚本即可，启动脚本在 $HADOOP_HOME/sbin 目录下。

5.2.1、全局变量配置

配置 /etc/profile，在  /etc/profile 文件后面添加下面内容，指定运行用户名（每个节点都要配置）。

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER

 注：配置完成后要进行 source /etc/profile。

5.2.2、启动/停止
# 1、启动/停止hdfs（在namenode节点）
cd $HADOOP_HOME/sbin
./start-dfs.sh
./stop-dfs.sh
# 2、启动/停止yarn，在配置了ResourceManager的节点（node-2）启动/停止yarn
cd $HADOOP_HOME/sbin
./start-yarn.sh
./stop-yarn.sh
# 3、启动/停止历史节点（在配置历史服务节点操作）
mapred --daemon start/stop historyserver

hdfs和yarn单个节点启动、停止按照节点类型进行操作，例如：

hdfs --daemon start/stop namenode/datanode/secondarynamenode
yarn --daemon start/stop  resourcemanager/nodemanager
6、集群启动脚本
6.1、Hadoop集群启动脚本

        编辑一个启动脚本 start_hadoop 启动整个集群。

# 1、vim /usr/local/bin/start_hadoop
#!/bin/bash
if [ $# -lt 1 ]
thenecho "please input [start | stop]"exit ;
fi
case $1 in
"start")echo " =================== 启动 hadoop集群 ==================="echo " --------------- 启动 hdfs ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/sbin/start-dfs.sh"echo " --------------- 启动 yarn ---------------"ssh node-2 "/opt/hadoop/hadoop-3.2.4/sbin/start-yarn.sh"echo " --------------- 启动 historyserver ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/bin/mapred --daemon start historyserver"
;;
"stop")echo " =================== 关闭 hadoop集群 ==================="echo " --------------- 关闭 historyserver ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/bin/mapred --daemon stop historyserver"echo " --------------- 关闭 yarn ---------------"ssh node-2 "/opt/hadoop/hadoop-3.2.4/sbin/stop-yarn.sh"echo " --------------- 关闭 hdfs ---------------"ssh node-1 "/opt/hadoop/hadoop-3.2.4/sbin/stop-dfs.sh"
;;
*)echo "please input [start or stop]"
;;
esac
# 2、添加执行权限
chmod +x /usr/local/bin/start_hadoop

注：使用脚本启动读取不到环境变量，会报错，还需要配置 ~/.bashrc，添加以下内容（不生效记得source）：

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root
export HDFS_NAMENODE_USER HDFS_DATANODE_USER HDFS_SECONDARYNAMENODE_USER YARN_RESOURCEMANAGER_USER YARN_NODEMANAGER_USER
6.2、集群文件增量分发脚本

        当一个节点修改文件后其他节点要进行同步增量的修改内容，可以将修改同步到集群每一个节点。

# vim /usr/local/bin/sync_file
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho "请添加待同步文件!"exit;
fi
#2. 遍历集群所有机器
for host in node-1 node-2 node-3
doecho ====================  $host  ====================#3. 遍历所有目录，挨个发送for file in $@do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done
# 添加执行权限
chmod +x /usr/local/bin/sync_file
6.3、查看集群中各个节点java相关进程，使用jps命令
# vim /usr/local/bin/jpsall
#!/bin/bash
for host in node-1 node-2 node-3
doecho =============== $host ===============ssh $host jps
done
# 添加执行权限
chmod +x /usr/local/bin/jpsall
7、总结

        按照本文教程步骤，就可以搭建一个三个节点的Hadoop集群，更多关于Hadoop相关技术分享，将在后续的博客中。

这篇关于从零手把手教你搭建Hadoop集群的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1112586。

相关文章

服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
hadoop开启回收站配置

hadoop开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。 开启回收站功能参数说明 （1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...
【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站，手机流量可以访问IPV6网络的服务，为什么不在电脑搭建Home Assistant（hass），来控制你的设备呢？@智能家居 @万物互联
阅读更多...
pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu 安装编译工具链下载sdk 和example编译example 安装编译工具链 sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi libstdc++-arm-none-eabi-newlib 注意cmake的版本，需要在3.17 以上 下载sdk 和ex
阅读更多...
一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自： 一种改进的red5集群方案的应用： http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2