本文主要是介绍Hadoop集群动态添加datanode节点步骤,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
总结一下在Hadoop集群动态添加datanode节点相关步骤。
1. 在新节点安装好hadoop,并把namenode的有关配置文件复制到该节点
2. 修改namenode节点的masters和slaves文件,增加该节点
3. 设置各节点ssh免密码进出该节点,设置IP映射
4. 单独启动该节点上的Datanode和Nodemanager
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
5. 运行start-balancer.sh进行数据负载均衡,作用:当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布
这篇关于Hadoop集群动态添加datanode节点步骤的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!