本文主要是介绍大数据中服役新数据节点和退役旧节点步骤(hive,hadoop),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1- 节点上线操作
当要新上线数据节点的时候 ,需要把数据节点的名字追加在 dfs.hosts
(1)关闭新增节点的防火墙
(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname
(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname
(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作
(5)在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,
(6)在其他节点上执行刷新操作 :hdfs dfsadmin -refreshNodes
(7)在 NameNode 节点上,更改 slaves 文件,将要上线的数据节点 hostname 追加到 slaves 文件 中
(8)启动 DataNode 节点
(9)查看 NameNode 的监控页面看是否有新增加的节点
2-节点下线操作
(1)修改/conf/hdfs-site.xml 文件
(2)确定需要下线的机器 ,dfs.osts.exclude 文件中配置好需要下架的机器 ,这个是阻止下架的机器去 连接 NameNode。
(3)配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后 台进行 block 块的移动。
(4)当执行三的命令完成之后,需要下架的机器就可以关闭了,可以查看现在集群上连接的节点,正在 执 行 Decommission ,会显示:Decommission Status : Decommission in progress 执行完毕后 ,会显示: Decommission Status : Decommissioned
(5)机器下线完毕 ,将他们从excludes文件中移除。
这篇关于大数据中服役新数据节点和退役旧节点步骤(hive,hadoop)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!