Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz

2024-05-26 04:48
文章标签 搭建 环境 分布式 hadoop tar 3.0 gz

本文主要是介绍Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 使用3台CentOS7虚拟机

关闭防火墙

# systemctl stop firewalld
# systemctl disable firewalld

主机名和IP地址

node4111：172.16.18.59
node4113：172.16.18.62
node4114：172.16.18.63

每个主机修改hosts
vim /etc/hosts

172.16.18.59 node4111
172.16.18.62 node4113
172.16.18.63 node4114
1.1 hadoop 角色分布
node4111：NameNode/DataNode  ResourceManager/NodeManager
node4113：DataNode   NodeManager
node4114：DataNode   NodeManager
2.设置SSH免密钥

在每台主机上执行，一直回车
/root/目录下会生产一个隐藏目录.ssh

ssh-keygen -t rsa

在node4111主机上执行，

ssh-copy-id  -i /root/.ssh/id_rsa.pub node4111
ssh-copy-id  -i /root/.ssh/id_rsa.pub node4113
ssh-copy-id  -i /root/.ssh/id_rsa.pub node4114

查看每个主机文件

cat /root/.ssh/authorized_keys
3. 下载JDK 和 Hadoop

JDK下载页面

Hadoop下载页面

安装软件版本为

hadoop-3.0.0.tar.gz
jdk-10_linux-x64_bin.tar.gz

/root/目录下新建目录had，解压软件

tar -zxvf hadoop-3.0.0.tar.gz -C had
tar -zxvf jdk-10_linux-x64_bin.tar.gz -C had

配置环境变量

export JAVA_HOME=/root/had/jdk-10
export PATH=$JAVA_HOME/bin:$PATHexport HADOOP_HOME=/root/had/hadoop-3.0.0
export PATH=$HADOOP_HOME:/bin:$PATH

export HADOOP_HOME=/root/had/hadoop-3.0.0
export HADOOP_HDFS_HOME=/root/had/hadoop-3.0.0
export HADOOP_CONF_DIR=/root/had/hadoop-3.0.0/etc/hadoop
source .bash_profile
测试 
# java 有输出
4. hadoop 配置和分发

hadoop 集群安装
hadoop添加到环境变量

export HADOOP_HOME=/root/had/hadoop-3.0.0
export PATH=$HADOOP_HOME:/bin:$PATH
source .bash_profile
路径
/root/had/hadoop-3.0.0/etc/hadoop

1) vim hadoop-env.sh

修改
export JAVA_HOME=/root/had/jdk-1

2) vim core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://node4111:9000</value></property>
</configuration>

3) vim hdfs-site.xml
/root/had 目录下新建目录tmp

<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>/root/had/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/root/had/tmp/dfs/data</value></property>
</configuration>

4) vim yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>node4111</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
<property><name>yarn.nodemanager.resource.memory-mb</name><value>49152</value>
</property>
<property><name>yarn.scheduler.maximum-allocation-mb</name><value>49152</value>
</property></configuration>

5) vim mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property>  <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value>  
</property>  
<property>  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
</property> </configuration>

6: vim workers 

node4111
node4113
node4114
5. 分发安装包到其它2个节点
scp -r /root/had root@node4113:/root/
scp -r /root/had root@node4114:/root/
scp -r /root/.bash_profile root@node4113:/root/  
scp -r /root/.bash_profile root@node4114:/root/

在2个节点上执行

source .bash_profile
6. HFS NameNode 格式化

只在node4111上执行

/root/had/tmp
目录为空

/root/had/hadoop-3.0.0/bin
路径下执行   
./hdfs namenode -format
打印信息
Storage directory /root/had/tmp/dfs/name has been successfully formatted
7. 启动 hadoop
/root/had/hadoop-3.0.0/etc/hadoop

vim hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=rootexport YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=rootexport HDFS_SECONDARYNAMENODE_USER=root
路径
/root/had/hadoop-3.0.0/sbin
./start-all.sh
8. 验证

在各个节点上执行JPS 查看角色服务

# jps8065 DataNode
7908 NameNode
17101 Jps
16159 SecondaryNameNode
9. hadoop web登陆
浏览NameNode的Web界面; 默认情况
http://172.16.18.64:9870
# pwd
/root/had/hadoop-3.0.0/bin# ./hdfs dfs -mkdir /user# ./hdfs dfs -mkdir /input
# ./hdfs dfs -put /root/had/hadoop-3.0.0/etc/hadoop/*.xml /input# ./hdfs dfs -ls /input
hdfs dfs –cat 
hdfs dfs –text

参考：
a.hadoop-3.0.0集群环境搭建、配置
b.linux 下安装hadoop hadoop-3.0.0-alpha4.tar.gz
c.Hadoop：设置单个节点群集
1.在 CentOS 7.2 下安装 Hadoop 2.7.5 并搭建伪分布式环境的方法
2.linux添加用户，用户组（centos7）

这篇关于Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1003549。

相关文章

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整
阅读更多...
使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
MySQL双主搭建+keepalived高可用的实现

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制，确认复制是否成功4.同
阅读更多...
redis+lua实现分布式限流的示例

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流，为什么选择lua的方式实现
阅读更多...
Centos环境下Tomcat虚拟主机配置详细教程

Centos环境下Tomcat虚拟主机配置详细教程

《Centos环境下Tomcat虚拟主机配置详细教程》这篇文章主要讲的是在CentOS系统上,如何一步步配置Tomcat的虚拟主机,内容很简单,从目录准备到配置文件修改,再到重启和测试,手把手带你搞定... 目录1. 准备虚拟主机的目录和内容创建目录添加测试文件2. 修改 Tomcat 的 server.X
阅读更多...
VSCode配置Anaconda Python环境的实现

VSCode配置Anaconda Python环境的实现

《VSCode配置AnacondaPython环境的实现》VisualStudioCode中可以使用Anaconda环境进行Python开发,本文主要介绍了VSCode配置AnacondaPytho... 目录前言一、安装 Visual Studio Code 和 Anaconda二、创建或激活 conda
阅读更多...
pytorch+torchvision+python版本对应及环境安装

pytorch+torchvision+python版本对应及环境安装

《pytorch+torchvision+python版本对应及环境安装》本文主要介绍了pytorch+torchvision+python版本对应及环境安装,安装过程中需要注意Numpy版本的降级,... 目录一、版本对应二、安装命令（pip）1. 版本2. 安装全过程3. 命令相关解释参考文章一、版本对
阅读更多...
使用DeepSeek搭建个人知识库(在笔记本电脑上)

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总
阅读更多...
Seata之分布式事务问题及解决方案

Seata之分布式事务问题及解决方案

《Seata之分布式事务问题及解决方案》：本文主要介绍Seata之分布式事务问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Seata–分布式事务解决方案简介同类产品对比环境搭建1.微服务2.SQL3.seata-server4.微服务配置事务模式1
阅读更多...
Linux搭建Mysql主从同步的教程

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》：本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2