本文主要是介绍Hadoop2.x HDFS HA架构部署配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、HA简介
在Hadoop2.x之前,HDFS集群中只有一个NameNode,若NameNode出现了故障,则整个集群将无法使用,直到NameNode重新启动。
Hadoop2.x开始支持HA和Federation。HDFS HA功能通过配置Active/Standby两个NameNode实现集群中对NameNode的热备。如果Active出现故障,则Standby可快速替代Active,使得集群能够正常使用。
NameNode影响HDFS集群的原因:
1.NameNode机器发生意外。如宕机,集群无法正常使用,直到管理员重启;
2.NameNode机器升级。包括软件、硬件升级,此时集群也无法使用。
二、安装zookeeper
Zookeeper的安装有三种模式,参照https://www.cnblogs.com/lsdb/p/7297731.html。
这里采用集群模式,启动时所有配置机器都要启动。
三、免密码登录
参照https://blog.csdn.net/u013168084/article/details/86476691
例如主机node02对node01免密钥:
1.安装ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2.cat id_dsa.pub >> authorized_keys
3.scp id_dsa.pub node02:~/.ssh/node01.pub
4.在node02上执行cat node01.pub >> authorized_keys
四、HA规划集群,配置HDFS
1.HA规划集群(
这篇关于Hadoop2.x HDFS HA架构部署配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!