实现 Java 读取高可用（HA）HDFS失败时自动切换主备节点配置

本文主要是介绍实现 Java 读取高可用（HA）HDFS失败时自动切换主备节点配置，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

问题描述

  由于异常、手动设置等因素，HDFS 主备节点可能发生改变，读取 HDFS 上的文件时，导致从配置的节点读取文件失败。
  若每次都手动调整节点地址，涉及到的代码较分散，容易遗漏；实现读取失败时主备节点自动切换，即可适应此场景，减少频繁修改 HDFS 工具类。

解决方法

1、配置多个 HDFS 地址，使用 try-catch 捕获异常，判断出可用的 HDFS 地址。

• 注：不建议使用此种捕获异常切换的方法。

2、 配置 HDFS 的 Configuration 对象实现自动切换主备节点。

• 将所有关于 namenode 的参数写入 Configuration 对象中，在原有配置的基础上，将 “fs.defaultFS” 配置代码更改为如下：

// 获取配置对象，此行代码用于定义conf，便于理解下面的配置，这个对象在你的代码中应该已存在
Configuration conf = new Configuration();
// 默认文件系统的名称
conf.set("fs.defaultFS", "hdfs://ns1");
// namenode 集群的名字
conf.set("dfs.nameservices", "ns1");
// ns1 下有两个 NameNode，逻辑地址分别是 nn1，nn2
conf.set("dfs.ha.namenodes.ns1", "nn1,nn2");
// nn1 的 http 通信地址
conf.set("dfs.namenode.rpc-address.ns1.nn1", "HDFS地址1");
// nn2 的 http 通信地址
conf.set("dfs.namenode.rpc-address.ns1.nn2", "HDFS地址2");
// 配置读取失败自动切换的实现方式
conf.set("dfs.client.failover.proxy.provider.ns1",
"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

• 此代码片中仅需修改其中的 “HDFS地址1”，“HDFS地址2” 即可，其它部分无需更改。
• 备注：HDFS地址可以为多种格式，样例如下：
  • IP地址:端口号
  • hdfs://xxxxx.xxxxx:端口号

这篇关于实现 Java 读取高可用（HA）HDFS失败时自动切换主备节点配置的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---