HDFS 使用 RBF 注意事项

本文主要是介绍HDFS 使用 RBF 注意事项，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一 NameNode

NN 启用 RPC context 特性，在审计日志中打印真实的客户端 IP.

默认情况下，NN 的审计日志记录的所有请求的源 IP 都是 Router，如果要看到真正的 client IP，需要在 NameNode 侧，hdfs-site.xml 中，使能 callerContext，之后在 NN 审计日志中，将在 CallerContext 字段记录此次 RPC 请求的真实 IP：

在 NameNode 侧，hdfs-site.xml 中，做如下配置：

<property><name>hadoop.caller.context.enabled</name><value>true</value>
</property>

二 客户端

客户端随机选择 router，而不是总选择第一个.

默认情况下，在客户端配置了多个 router 时，客户端总是优先使用第一个 router，如果所有客户端都是这种行为的话，很可能会造成第一个 router 累死，而其它 router 饿死，为了防止这种情况出现，需要让客户端随机选取 router。

在 Client 侧，hdfs-site.xml 中，做如下配置：

<property><name>dfs.client.failover.random.order</name><value>true</value>
</property>

三 Router

1. 配置 ganglia 监控

   Router 的监控信息，也需要输出到 ganglia 上

   在 Router 侧，hadoop-metrics2.properties 中，增加下面配置：

   *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GanglisSink31
   *.sink.ganglia.period=60
   router.sink.ganglia.servers=ganglia机器ip:8649
   

2. 增大 Router RPC server 的 reader count 和 handler count.

   默认情况下，router 的 handler count 为10，reader count 为1，这些值都太小，需要加大.

   在 Router 侧，hdfs-rbf-site.xml 中，将 RPC handler count 配置为 4096：

   <property><name>dfs.federation.router.handler.count</name><value>4096</value>
   </property>
   

   将RPC reader count配置为16：

   <property><name>dfs.federation.router.reader.count</name><value>16</value>
   </property>
   

3. 开启各个 Router 之间的 mount table 即时更新功能.

   默认情况下，如果一个 router 修改了 mount table，那么其他 router 不能立即更新，需要等待一段时间才能达到同步状态。开启即时更新功能后, 修改了 mount table 的 router 会主动通知其他 router 更新 cache，从而使其他 router 立即达到同步状态.

   在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

   <proterty><name>dfs.federation.router.mount-table.cache.update</name><value>true</value>
   </proterty>
   

4. 开启 Router 的超载拒绝服务特性.

   默认情况下，如果一个 router 接收到的 RPC 请求太多，则会严重排队。开启该特性后，一个 router 在满载之后，会立即拒绝新的 RPC 请求，之后客户端会继续尝试其他的 router:

   在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

   <proterty><name>dfs.federation.router.client.reject.overload</name><value>true</value>
   </proterty>
   

5. 禁用 Router 的 “部分 list/count” 特性.

   如果 router 启用了 multi destination 挂载功能，且一个挂载目录的某些 sub cluster 不可用时，可能出现不能完整 list/count 一个目录的情况，此时只能 list/count 到一部分目录内容。这种结果不可接受，需要禁用该特性，此时应直接返回失败。

   在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

   <proterty><name>dfs.federation.router.client.allow-partial-listing</name><value>true</value>
   </proterty>
   

6. 禁止 Router 缓存客户端 RPC 请求的路径解析结果.

   默认情况下，Router 会缓存客户端 RPC 请求的路径解析结果，最多缓存1W条，但如果客户端的操作路径非常多变（典型情况：集群业务量超大，Router 收到的 RPC 请求路径频繁变化），则这种缓存意义不大，且额外的缓存操作还会增加 Router 时耗，此时应该禁用缓存。

   在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

   <proterty><name>dfs.federation.router.mount-table.cache.enable</name><value>true</value>
   </proterty>
   

7. 禁止 Router 自动监听本地 NameNode.

   默认情况下，Router 仅自动监听本地 NameNode，实际使用中，我们会手动配置 Router 需要监听的所有 NN.

   在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

   <property><name>dfs.federation.router.monitor.localnamenode.enable</name><value>false</value>
   </property>
   

四 几个问题需要确认

• Router 性能损耗

  在 Client 和 NameNode 直接插入 Router 之后，对业务的 RPC 时耗影响大概有多大？

• Router MountTable 性能问题

  在 Router 的 MountTable Entry 过多时（例如 10W 条），是否会对 Router 性能产生影响？

• token 性能问题

  各个 Router 的 token 都存在一个 zk 里面，并且使用 zk 的 CallBack 更新机制，以现网目前的 token 量，zk 是否撑得住？

---

这篇关于HDFS 使用 RBF 注意事项的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---