本文主要是介绍Hadoop的HA配置与实现(ZooKeeper),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
- 一、Hadoop的HA架构
- 二、配置实现Hadoop的HA
- 三、效果
一、Hadoop的HA架构
集群规划
112:NameNode1 ResourceManager1 JournalNode1
113:NameNode2 ResourceManager2 JournalNode2
114:DataNode1 NodeManager1
115:DataNode2 NodeManager2
二、配置实现Hadoop的HA
- 主机配置
bigdata112,bigdata113配置好Hadoop环境变量(作为NameNode) - 配置bigdata112的hadoop
core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://ns1</value></property><property><name>hadoop.tmp.dir</name><value>/root/training/hadoop-2.7.3/tmp</value></property><property><name>ha.zookeeper.quorum</name><value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value></property>
- fs.defaultFS:
这个属性设置了Hadoop文件系统的默认URI。在这个例子中,它被设置为hdfs://ns1,这意味着Hadoop客户端将默认使用HDFS协议与逻辑名称(namespace)为ns1的HDFS集群进行交互。这通常用于配置了HDFS高可用性(HA)的集群,其中ns1是在hdfs-site.xml中通过dfs.nameservices属性定义的HDFS集群的逻辑名称。- hadoop.tmp.dir:
这个属性指定了Hadoop临时文件的存储位置。在这个例子中,它被设置为/root/training/hadoop-2.7.3/tmp。Hadoop会在这个目录下创建一些临时文件,这些文件通常用于MapReduce作业的执行、HDFS的元数据检查点等。将hadoop.tmp.dir设置在一个有足够磁盘空间的位置是很重要的。- ha.zookeeper.quorum:
这个属性指定了ZooKeeper集群的地址列表,用于HDFS高可用性(HA)配置中的故障转移和状态管理。在这个例子中,它包含了三个ZooKeeper节点的地址:bigdata112:2181,bigdata113:2181,bigdata114:2181。每个ZooKeeper节点的端口都是默认的2181。ZooKeeper集群用于协调HDFS NameNode之间的状态,确保在Active NameNode发生故障时,能够平滑地切换到Standby NameNode。
hdfs-site.xml
<property><name>dfs.nameservices</name><value>ns1</value></property><property><name>dfs.ha.namenodes.ns1</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.ns1.nn1</name><value>bigdata112:9000</value></property><property><name>dfs.namenode.http-address.ns1.nn1</name><value>bigdata112:50070</value></property><property><name>dfs.namenode.rpc-address.ns1.nn2</name><value>bigdata113:9000</value></property><property><name>dfs.namenode.http-address.ns1.nn2</name><value>bigdata113:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://bigdata112:8485;bigdata113:8485;/ns1</value></property>
<property><name>dfs.journalnode.edits.dir</name><value>/root/training/hadoop-2.7.3/journal</value></property>
<property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property>
<property><name>dfs.client.failover.proxy.provider.ns1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.ha.fencing.methods</name><value>
sshfence
shell(/bin/true)
</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property>
- HDFS逻辑名称和NameNode配置:
dfs.nameservices:定义了HDFS集群的逻辑名称,这里是ns1。
dfs.ha.namenodes.ns1:指定了ns1集群中所有的NameNode名称,即nn1和nn2。
dfs.namenode.rpc-address.和dfs.namenode.http-address.:分别配置了nn1和nn2的RPC地址和HTTP地址。RPC地址用于NameNode之间的通信,HTTP地址用于通过浏览器访问NameNode的Web界面。
JournalNode配置:
dfs.namenode.shared.edits.dir:配置了NameNode之间共享的edits日志目录,这里使用了Quorum Journal Manager(QJM),并指定了JournalNode的地址和集群ID(/ns1)。
dfs.journalnode.edits.dir:指定了JournalNode存储edits日志的本地目录。- 高可用性配置:
dfs.ha.automatic-failover.enabled:启用了自动故障转移功能。
dfs.client.failover.proxy.provider.ns1:指定了客户端使用的故障转移代理提供者,这里是Hadoop自带的ConfiguredFailoverProxyProvider。- 故障隔离(Fencing)配置:
dfs.ha.fencing.methods:定义了故障转移时的隔离方法,这里使用了sshfence(通过SSH杀死NameNode进程)和shell(/bin/true)(一个总是返回成功的命令,通常用于测试)。
dfs.ha.fencing.ssh.private-key-files:指定了SSH隔离方法所使用的私钥文件路径。
dfs.ha.fencing.ssh.connect-timeout:设置了SSH连接的超时时间,单位是毫秒。
mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value></property>
yarn-site.xml
<property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property>
<property><name>yarn.resourcemanager.cluster-id</name><value>yrc</value></property>
<property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property>
<property><name>yarn.resourcemanager.hostname.rm1</name><value>bigdata112</value></property>
<property><name>yarn.resourcemanager.hostname.rm2</name><value>bigdata113</value></property>
<property><name>yarn.resourcemanager.zk-address</name><value>bigdata112:2181,bigdata113:2181,bigdata114:2181</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
- 启用YARN ResourceManager的HA:通过设置yarn.resourcemanager.ha.enabled为true,启用了YARN ResourceManager的高可用性模式。这意味着集群中有多个ResourceManager实例在运行,其中一个是Active状态,其余是Standby状态。
- 集群ID:yarn.resourcemanager.cluster-id被设置为yrc,这是YARN集群的唯一标识符,用于区分不同的YARN集群。
- ResourceManager实例ID:yarn.resourcemanager.ha.rm-ids列出了所有ResourceManager实例的ID,这里是rm1和rm2。这些ID用于在配置中引用特定的ResourceManager实例。
- ResourceManager主机名:通过yarn.resourcemanager.hostname.rm1和yarn.resourcemanager.hostname.rm2,分别指定了rm1和rm2实例运行的主机名,即bigdata112和bigdata113。
- ZooKeeper地址:yarn.resourcemanager.zk-address配置了ZooKeeper集群的地址,ResourceManager使用ZooKeeper来协调状态信息,确保在高可用性模式下的正确故障转移。这里的ZooKeeper集群由bigdata112、bigdata113和bigdata114组成,每个节点的端口都是默认的2181。
- NodeManager辅助服务:yarn.nodemanager.aux-services配置了NodeManager提供的辅助服务,这里设置为mapreduce_shuffle,这是MapReduce作业执行期间所必需的,用于shuffle阶段的数据传输。
- 修改slaves
在bigdata112的slaves文件中,增加从节点(114,115) - 设置Java环境
hadoop-env.sh中设置本地的Javahome路径 - 创建目录tmp和journal
在上述配置中已经体现 - 将hadoop目录复制给113,114,115
- 在112和113上启动journalnode
hadoop-daemon.sh start journalnode
- 在112上格式化HDFS
hdfs namenode -format
将112的tmp目录复制到113上(113为备用的主节点)
- 在112上格式化zookeeper
hdfs zkfc -formatZK
- 在112上启动Hadoop集群
start-dfs.sh
start-yarn.sh
- 113上手动启动resourcemanager
yarn-daemon.sh start resourcemanager
三、效果
这篇关于Hadoop的HA配置与实现(ZooKeeper)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!