Hadoop的HA高可靠性集群搭建(Hadoop+High availability+Zookeeper)

2024-01-24 15:38

本文主要是介绍Hadoop的HA高可靠性集群搭建(Hadoop+High availability+Zookeeper),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一.概述
部分转载自:http://eksliang.iteye.com/blog/2226986

  • 1.1 hadoop1.0的单点问题
    Hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现。如下图所示,便是hadoop1.0的架构图;
    enter description here

  • 1.2 hadoop2.0对hadoop1.0单点问题的解决
    为了解决hadoop1中的单点问题,在hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,通过手工或者自动切换,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。这就是高可靠。

  • 1.3 使用JournalNode实现NameNode(Active和Standby)数据的共享
    Hadoop2.0中,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwork File System(NFS)进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享(这也是主流的做法)。如下图所示,便是JournalNode的架构图。
    enter description here

    两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了

  • 1.4 NameNode之间的故障切换
    对于HA集群而言,确保同一时刻只有一个NameNode处于active状态是至关重要的。否则,两个NameNode的数据状态就会产生分歧,可能丢失数据,或者产生错误的结果。为了保证这点,这就需要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。

二.Hadoop(HDFS式 HA)集群的搭建参考文档
* 架构图
架构图
* 2.1 配置详细
四台机器:ndoe1,ndoe2,ndoe3,node4
配置
node1:192.168.116.3
node2:192.168.116.4
node3:192.168.116.5
node4:192.168.116.6

  • 搭建zookeeper集群,参考链接

  • HDFS High Availability
    参考文档路径:hadoop-2.5.2/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html

  • 配置详解

1、 修改hadoop文件hdfs-site.xml

<configuration><property><name>dfs.nameservices</name><value>bjsxt</value></property><property><name>dfs.ha.namenodes.bjsxt</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.bjsxt.nn1</name><value>node1:8020</value></property><property><name>dfs.namenode.rpc-address.bjsxt.nn2</name><value>node2:8020</value></property><property><name>dfs.namenode.http-address.bjsxt.nn1</name><value>node1:50070</value></property><property><name>dfs.namenode.http-address.bjsxt.nn2</name><value>node2:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://node2:8485;node3:8485;node4:8485/bjsxt</value></property><property><name>dfs.client.failover.proxy.provider.bjsxt</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property>
<property><name>dfs.ha.fencing.methods</name><value>sshfence</value>
</property>
<property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_dsa</value>
</property>
<property><name>dfs.journalnode.edits.dir</name><value>/opt/hadoop-2.5/data</value>
</property>
<property><name>dfs.ha.automatic-failover.enabled</name><value>true</value>
</property>
</configuration>

2、core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://bjsxt</value></property><property><name>ha.zookeeper.quorum</name><value>node1:2181,node2:2181,node3:2181</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.5</value></property>
</configuration>

3、将当前node下配置好的hadoop复制到其他node2\3\4

scp /home/hadoop-2.5.1/etc/hadoop/ root@node2:/home/hadoop-2.5.1/etc/
scp /home/hadoop-2.5.1/etc/hadoop/ root@node3:/home/hadoop-2.5.1/etc/
scp /home/hadoop-2.5.1/etc/hadoop/ root@node4:/home/hadoop-2.5.1/etc/

4、启动journalnode,即234(单节点启动)
在node2、3、4中分别输入以下命令

hadoop-daemon.sh start journalnode

5、检查:
为了防止出错,在每一步修改完后需要通过查看日志logs来进行检查,如果没有异常,则正确,继续进行
journalnode和namenode的检查:

tail -100 /home/hadoop-2.5.1/logs/hadoop-root-journalnode-node3.log
tail -100 /home/hadoop-2.5.1/logs/hadoop-root-namenode-node3.log 

6、同步两个namenode的数据,即node1和node2,
为了同步数据,首先需要选择一个namenode进行数据格式化

hdfs namenode -format

7、初始化zookeeper中的HA状态Initializing HA state in ZooKeeper
选择一个namenode输入如下命令:

hdfs zkfc -formatZK

输入start-dfs.sh启动集群

8、验证
访问是否正常
验证是否正常切换(如果无法正常切换,查看日志,可能是node节点之间无法免密码登录)

  • 添加ResourceManager用于资源管理
    1、官方架构
    架构
    2、配置ResourceManager节点
    node1和node2作为ResourceManager节点
    3、修改yarn-default.xml
<property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.cluster-id</name><value>cluster1</value></property><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><property><name>yarn.resourcemanager.hostname.rm1</name><value>node1</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>node2</value></property><property><name>yarn.resourcemanager.zk-address</name><value>node2:2181,node3:2181,node4:2181</value></property>

4、单节点配置

etc/hadoop/core-site.xml:<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
etc/hadoop/hdfs-site.xml:<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

将配置文件复制到其他节点上

scp /home/hadoop-2.5.1/etc/hadoop/ root@node2:/home/hadoop-2.5.1/etc/
scp /home/hadoop-2.5.1/etc/hadoop/ root@node2:/home/hadoop-2.5.1/etc/
scp /home/hadoop-2.5.1/etc/hadoop/ root@node2:/home/hadoop-2.5.1/etc/

5、启动yarn

1、主节点node1启动:
start-yarn.sh
2、启动备用yarn(node2上):
yarn-daemon.sh start resourcemanager 

6、验证resourcemanager
cluster

错误记录
1、防火墙关闭
2、node之间的免密码登录
3、配置文件的单词错误以及单词一致性
4、查日志

可能更好的博客连接:
https://blog.csdn.net/q361239731/article/details/53559681
https://blog.csdn.net/q361239731/article/details/53559866

这篇关于Hadoop的HA高可靠性集群搭建(Hadoop+High availability+Zookeeper)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/640154

相关文章

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量2. 第3步 “在cmd中

本地搭建DeepSeek-R1、WebUI的完整过程及访问

《本地搭建DeepSeek-R1、WebUI的完整过程及访问》:本文主要介绍本地搭建DeepSeek-R1、WebUI的完整过程及访问的相关资料,DeepSeek-R1是一个开源的人工智能平台,主... 目录背景       搭建准备基础概念搭建过程访问对话测试总结背景       最近几年,人工智能技术

5分钟获取deepseek api并搭建简易问答应用

《5分钟获取deepseekapi并搭建简易问答应用》本文主要介绍了5分钟获取deepseekapi并搭建简易问答应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1、获取api2、获取base_url和chat_model3、配置模型参数方法一:终端中临时将加

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

Mycat搭建分库分表方式

《Mycat搭建分库分表方式》文章介绍了如何使用分库分表架构来解决单表数据量过大带来的性能和存储容量限制的问题,通过在一对主从复制节点上配置数据源,并使用分片算法将数据分配到不同的数据库表中,可以有效... 目录分库分表解决的问题分库分表架构添加数据验证结果 总结分库分表解决的问题单表数据量过大带来的性能