hadoop生态圈集群搭建(持续更新240512)

2024-05-12 15:04
文章标签 集群 更新 搭建 hadoop 持续 生态圈 240512

本文主要是介绍hadoop生态圈集群搭建(持续更新240512)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Hadoop生态圈

  • Linux
    • 1.修改ip地址
    • 2.重启network服务
    • 3.安装插件
    • 4.关闭防火墙
    • 5.创建用户
    • 6.创建目录
    • 7.修改目录的所属主和所属组为lxy
    • 8.修改主机名:hadoop102 (注意名字后面不要加空格)
    • 9.修改hosts文件
    • 10.等插件都装完后再重启Linux
    • 11.把xshell的登录用户换成lxy （注意：不要用root切到lxy 而是直接使用lxy登录）
  • JDK安装（建议和Hadoop一起安装，改的文件都一样，一起改！）
    • 1.将jdk的压缩包上传到linux的/opt/software目录中
    • 2.解压
    • 3.配置环境变量
      • 3.1 在/etc/profile.d中创建xxx.sh(在这我们统一叫 my_env.sh)
      • 3.2 让环境变量生效
    • 4.测试
  • Hadoop安装
    • 1.将Hadoop的压缩包上传到linux的/opt/software
    • 2.解压压缩包
    • 3.配置环境变量
    • 4.让环境变量生效
    • 5.测试
  • 单机模式
    • 一 准备数据
    • 二 运行程序
    • 三 查看结果
  • 分布式集群搭建
    • 1.scp的使用
    • 2.rsync的使用
    • 3.ssh配置
      • 生成私钥和公钥
    • 4.xsync脚本的使用
    • 5.集群部署规划
    • 6.修改配置文件
      • 配置core-site.xml
      • 配置hdfs-site.xml
      • 配置yarn-site.xml
      • 配置mapred-site.xml
      • 配置workers
    • 7.格式化
    • 8.启动集群
      • 启动集群脚本
    • 9.常见错误：
    • 10.写jpsall脚本
    • 11.查看页面
      • ①浏览器中输入：http://hadoop102:9870
      • ①浏览器中输入：http://hadoop103:8088
    • 12.集群测试
  • 集群时间同步

Linux

在刚安装好的Linux上克隆一个hadoop102

在hadoop102上打快照 ----因为晚上需要恢复快照再做一遍

1.修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33修改BOOTPROTO=staticONBOOT=yes
添加如下内容IPADDR=192.168.10.102GATEWAY=192.168.10.2DNS1=114.114.114.114DNS2=8.8.8.8

2.重启network服务

	systemctl restart network	
测试ping www.baidu.com(xshell连接Linux)

3.安装插件

yum install -y epel-release net-tools vim
yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git
（可以在安装的过程中，再打开一个窗口继续下面的操作）

4.关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

5.创建用户

#创建用户
useradd lxy
#设置密码123321
passwd lxy 回车再输入密码 123321
#给lxy设置可以使用root权限
visudo
#在root    ALL=(ALL)       ALL下面添加如下内容
lxy ALL=(ALL)       NOPASSWD:ALL

6.创建目录

mkdir /opt/module
mkdir /opt/software

7.修改目录的所属主和所属组为lxy

chown lxy:lxy module software

8.修改主机名:hadoop102 (注意名字后面不要加空格)

vi /etc/hostname

9.修改hosts文件

#修改linux的hosts文件vi /etc/hosts添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
192.168.10.112 hadoop112
192.168.10.113 hadoop113
192.168.10.114 hadoop114
192.168.10.115 hadoop115
192.168.10.116 hadoop116
192.168.10.117 hadoop117
192.168.10.118 hadoop118

#修改windows的hosts文件（如果修改保存时显示没有权限。可以将hosts文件复制到桌面修改桌面上的hosts文件再把桌面的hosts文件复制回去即可。查看是否成功）
C:\Windows\System32\drivers\etc

添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
192.168.10.112 hadoop112
192.168.10.113 hadoop113
192.168.10.114 hadoop114
192.168.10.115 hadoop115
192.168.10.116 hadoop116
192.168.10.117 hadoop117
192.168.10.118 hadoop118

10.等插件都装完后再重启Linux

11.把xshell的登录用户换成lxy （注意：不要用root切到lxy 而是直接使用lxy登录）

JDK安装（建议和Hadoop一起安装，改的文件都一样，一起改！）

1.将jdk的压缩包上传到linux的/opt/software目录中

2.解压

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/

3.配置环境变量

3.1 在/etc/profile.d中创建xxx.sh(在这我们统一叫 my_env.sh)

cd /etc/profile.d
sudo vim my_env.sh

添加如下内容

#声明JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
#声明HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.4
#将JAVA_HOME添加到path中
export PATH=$PATH:$JAVA_HOME/bin
#将HADOOP_HOME添加到path中
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.2 让环境变量生效

第一种方式 ：将xshell的窗口断开重新连接 (重新加载环境变量)

第二种方式 ：source /etc/profile.d/my_env.sh
注意：source就是执行my_env.sh脚本程序 如果第一次环境变量错误 修改后 再次source
会发现原来错误的环境变量还在。那就重启Linuxsudo reboot

4.测试

java -version
hadoop version

Hadoop安装

1.将Hadoop的压缩包上传到linux的/opt/software

2.解压压缩包

cd /opt/software
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/

3.配置环境变量

cd /etc/profile.d
sudo vim my_env.sh

添加如下内容

#声明HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.4
#将HADOOP_HOME添加到path中
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.让环境变量生效

第一种方式 ：将xshell的窗口断开重新连接 (重新加载环境变量)

第二种方式 ：source /etc/profile.d/my_env.sh
注意：source就是执行my_env.sh脚本程序 如果第一次环境变量错误 修改后 再次source
会发现原来错误的环境变量还在。那就重启sudo reboot

5.测试

hadoop version

单机模式

一 准备数据

1.创建目录

mkdir /opt/module/hadoop-3.3.4/wcinput

2.创建文件

cd /opt/module/hadoop-3.3.4/wcinput
vim a.txt

3.文件中写点数据

hello hello
longge
canglaoshi
longge

二 运行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount wcinput wcoutput

说明：
hadoop: bin目录中的命令
jar : 参数表示运行一个jar包
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar : jar包路径
wordcount ：案例名称-不能随便写
wcinput ：数据所在的目录
wcoutput ：运算的结果输出的目录—该目录必须不存在

三 查看结果

cd wcoutput
cat part-r-00000

分布式集群搭建

1.scp的使用

进行文件或目录的拷贝

scp -r $pdir/$fname $user@$host:$pdir/$fname

2.rsync的使用

rsync -av $pdir/$fname $user@$host:$pdir/$fname

3.ssh配置

生成私钥和公钥

每个节点执行一次

ssh-keygen -t rsa

每个节点的root和lxy各执行一次

### 拷贝公钥
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

4.xsync脚本的使用

vim /home/lxy/bin/xsync

#!/bin/bash#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho ====================  $host  ====================#3. 遍历所有目录，挨个发送for file in $@do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir=$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname=$(basename $file)ssh $host "mkdir -p $pdir"rsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done

5.集群部署规划

  • NameNode和SecondaryNameNode不要安装在同一台服务器。
  • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
hadoop102hadoop103hadoop104
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager		NodeManager

6.修改配置文件

cd /opt/module/hadoop-3.3.4/etc/hadoop

修改了下面的5个配置文件
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers

配置core-site.xml

vim core-site.xml

<!-- 指定NameNode的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://hadoop102:8020</value>
</property><!-- 指定hadoop数据的存储目录 -->
<property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-3.3.4/data</value>
</property><!-- 配置HDFS网页登录使用的静态用户为lxy -->
<property><name>hadoop.http.staticuser.user</name><value>lxy</value>
</property>

配置hdfs-site.xml

vim hdfs-site.xml

<!-- nn web端访问地址-->
<property><name>dfs.namenode.http-address</name><value>hadoop102:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:9868</value>
</property>

配置yarn-site.xml

vim yarn-site.xml

    <!-- 指定MR走shuffle --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property><!-- 环境变量的继承 --><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property><!-- 开启日志聚集功能 -->
<property><name>yarn.log-aggregation-enable</name><value>true</value>
</property><!-- 设置日志聚集服务器地址 -->
<property>  <name>yarn.log.server.url</name>  <value>http://hadoop102:19888/jobhistory/logs</value>
</property><!-- 设置日志保留时间为7天 -->
<property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value>
</property>

配置mapred-site.xml

vim mapred-site.xml

<!-- 指定MapReduce程序运行在Yarn上 -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value>
</property>

配置workers

vim /opt/module/hadoop-3.3.4/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件。

一定要分发

cd /opt/module/hadoop-3.3.4/etc/hadoop
xsync ./
xsync /opt/module/hadoop-3.3.4/etc

7.格式化

在hadoop102（因为namenode在这个节点上-格式化后产生的文件是给namenode使用的）上格式化。
注意：不要重复格式化。如果是格式化失败（格式化的时候有错误）修改错误后重新格式化
命令:hdfs namenode -format

8.启动集群

启动HDFS:start-dfs.sh
关闭HDFSstop-dfs.sh启动YARN(必须在resourcemanager所在的节点-hadoop103)：start-yarn.sh
关闭YARN(必须在resourcemanager所在的节点-hadoop103)：stop-yarn.sh

启动集群脚本

vim /home/lxy/bin/myhadoop

#!/bin/bash
#参数的个数校验
if [ $# -ne 1 ];thenecho 参数的个数不对exit
fi#参数的内容校验
case $1 in
"start")#启动HDFSssh hadoop102 $HADOOP_HOME/sbin/start-dfs.sh#启动YARNssh hadoop103 start-yarn.sh;;
"stop")#关闭HDFSssh hadoop102 stop-dfs.sh#关闭YARNssh hadoop103 stop-yarn.sh;;
*)echo 输入的内容不对!!!;;
esac;

9.常见错误：

错误一：配置文件错误
错误二：重复格式化

10.写jpsall脚本

11.查看页面

Web端查看HDFS的NameNode

①浏览器中输入：http://hadoop102:9870

	②查看HDFS上存储的数据信息
Web端查看YARN的ResourceManager

①浏览器中输入：http://hadoop103:8088

	②查看YARN上运行的Job信息如果看不到解决方案：1.查看集群是否正启动（HDFS YARN都要启动）2.将hadoop102的名字替换成IP地址（如果能解决说明windows的hosts的文件有问题）3.查看防火墙是否关闭systemctl status firewalld如果没有关闭 ：systemctl stop firewalld  systemctl disable firewalld

12.集群测试

①在HDFS的页面上创建input目录 并在input目录中上传a.txt
②在任意一台节点上执行jobhadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output注意:输入和输出路径是HDFS的路径
③在运行时观察两个页面http://hadoop103:8088 观察Job执行的进度http://hadoop102:9870 观察输出结果

13.历史服务器
作用：查看之前执行过的job信息
配置：vim /opt/module/hadoop-3.3.4/etc/hadoop/mapred-site.xml
添加如下内容

		<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop102:10020</value></property><!-- 历史服务器web端地址 --><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop102:19888</value></property>

注意：一定要分发   

cd /opt/module/hadoop-3.3.4/etc/hadoop/
xsync mapred-site.xml

启动历史服务器：

mapred --daemon start historyserver

历史服务器地址http://hadoop102:19888

14.日志的聚集
作用：在历史服务器中通过logs就可以查看job的执行的详细信息
配置：vim /opt/module/hadoop-3.3.4/etc/hadoop/yarn-site.xml
添加如下内容

		<!-- 开启日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置日志聚集服务器地址 --><property>  <name>yarn.log.server.url</name>  <value>http://hadoop102:19888/jobhistory/logs</value></property><!-- 设置日志保留时间为7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>

注意：①一定要分发 cd /opt/module/hadoop-3.3.4/etc/hadoop/xsync yarn-site.xml②重启HDFS YARN 历史服务器③重新执行job④再查看logs

15.集群启动方式
方式一 ：整个模块的启或停止
start-dfs.sh stop-dfs.sh
start-yarn.sh stop-yarn.sh
方式二： 单个角色的启动或停止
（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
（2）启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager

集群时间同步

将hadoop102配置成时间服务器
1.将ntpd服务关闭
sudo systemctl stop ntpd

2.修改配置文件sudo vim /etc/ntp.confsudo vim /etc/sysconfig/ntpd3.启动ntpd服务sudo systemctl start ntpd=======时间服务器的时间不对===================sudo systemctl stop ntpd
sudo ntpdate 时间服务器地址
sudo systemctl start ntpd

配置hadoop103和hadoop104去hadoop102同步时间
1.启动定时任务的服务
sudo systemctl start crond

2.编辑定时任务sudo crontab -e添加如下内容0 2 * * * sudo ntpdate hadoop102

这篇关于hadoop生态圈集群搭建(持续更新240512)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/982953。

相关文章

服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
hadoop开启回收站配置

hadoop开启回收站配置

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。 开启回收站功能参数说明 （1）默认值fs.trash.interval = 0，0表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为0，则该值设置和fs.trash.interval的参数值相等。
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
poj3468(线段树成段更新模板题)

poj3468(线段树成段更新模板题)

题意：包括两个操作：1、将[a.b]上的数字加上v；2、查询区间[a,b]上的和 下面的介绍是下解题思路： 首先介绍  lazy－tag思想：用一个变量记录每一个线段树节点的变化值，当这部分线段的一致性被破坏我们就将这个变化值传递给子区间，大大增加了线段树的效率。 比如现在需要对[a,b]区间值进行加c操作，那么就从根节点[1,n]开始调用update函数进行操作，如果刚好执行到一个子节点，
阅读更多...
hdu1394(线段树点更新的应用)

hdu1394(线段树点更新的应用)

题意：求一个序列经过一定的操作得到的序列的最小逆序数 这题会用到逆序数的一个性质，在0到n-1这些数字组成的乱序排列，将第一个数字A移到最后一位，得到的逆序数为res-a+(n-a-1) 知道上面的知识点后，可以用暴力来解 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#in
阅读更多...
hdu1689(线段树成段更新)

hdu1689(线段树成段更新)

两种操作：1、set区间[a,b]上数字为v；2、查询[ 1 , n ]上的sum 代码如下： #include<iostream>#include<algorithm>#include<cstring>#include<stack>#include<queue>#include<set>#include<map>#include<stdio.h>#include<stdl
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2