Hadoop分布式时远程Datanode无法启动的解决

2024-01-04 16:32

本文主要是介绍Hadoop分布式时远程Datanode无法启动的解决,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

blog迁移至 :http://www.micmiu.com

[color=blue][size=medium]问题的基本现象:[/size][/color]
在测试Hadoop的分布式环境搭建时,在namenode启动时信息如下:
[quote][michael@shnap hadoop]$ [color=blue]bin/start-all.sh [/color]
starting namenode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-namenode-shnap.out
192.168.8.148: starting datanode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-datanode-michael-VirtualBox.out
192.168.8.150: starting secondarynamenode, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-secondarynamenode-shnap.out
starting jobtracker, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-jobtracker-shnap.out
192.168.8.148: starting tasktracker, logging to /home/michael/hadoop/bin/../logs/hadoop-michael-tasktracker-michael-VirtualBox.out
[michael@shnap hadoop]$ [color=blue]jps[/color]
[color=red]30045 JobTracker
29973 SecondaryNameNode
29813 NameNode
30136 Jps[/color][/quote]
从上述信息可见namenode中的进程信息正常

在datanode查看的信息如下:
[quote]michael@michael-VirtualBox:~/hadoop$ jps
[color=red]15934 TaskTracker
15978 Jps[/color][/quote]
[color=red]从上述信息可见datanode中的进程就不正常了,明显少了DataNode[/color]

[size=medium][color=blue]解决办法如下:[/color][/size]
[color=red]先检查conf/masters 和conf/slaves文件,确保配置没错。
然后把所有节点的hadoop.tmp.dir指定的文件夹下的内容全部删掉[/color]
重新在master设备上执行启动程序:

$ bin/hadoop namenode -format
$ bin/start-all.sh



再在datanode查看的信息就正常了如下:
[quote]
michael@michael-VirtualBox:~/hadoop$ jps
16467 Jps
[color=red]16289 DataNode[/color]
16429 TaskTracker
[/quote]


转载请注明来自:Michael's blog @ [url=http://sjsky.iteye.com]http://sjsky.iteye.com[/url]

----------------------------- 分 ------------------------------ 隔 ------------------------------ 线 ------------------------------

这篇关于Hadoop分布式时远程Datanode无法启动的解决的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/569923

相关文章

检查 Nginx 是否启动的几种方法

《检查Nginx是否启动的几种方法》本文主要介绍了检查Nginx是否启动的几种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1. 使用 systemctl 命令(推荐)2. 使用 service 命令3. 检查进程是否存在4

解决idea启动项目报错java: OutOfMemoryError: insufficient memory

《解决idea启动项目报错java:OutOfMemoryError:insufficientmemory》:本文主要介绍解决idea启动项目报错java:OutOfMemoryError... 目录原因:解决:总结 原因:在Java中遇到OutOfMemoryError: insufficient me

maven异常Invalid bound statement(not found)的问题解决

《maven异常Invalidboundstatement(notfound)的问题解决》本文详细介绍了Maven项目中常见的Invalidboundstatement异常及其解决方案,文中通过... 目录Maven异常:Invalid bound statement (not found) 详解问题描述可

SpringBoot项目整合Netty启动失败的常见错误总结

《SpringBoot项目整合Netty启动失败的常见错误总结》本文总结了SpringBoot集成Netty时常见的8类问题及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一、端口冲突问题1. Tomcat与Netty端口冲突二、主线程被阻塞问题1. Netty启动阻

SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)

《SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)》本文总结了SpringBoot项目整合Kafka启动失败的常见错误,包括Kafka服务器连接问题、序列化配置错误、依赖配置问题、... 目录一、Kafka服务器连接问题1. Kafka服务器无法连接2. 开发环境与生产环境网络不通二、序

nacos服务无法注册到nacos服务中心问题及解决

《nacos服务无法注册到nacos服务中心问题及解决》本文详细描述了在Linux服务器上使用Tomcat启动Java程序时,服务无法注册到Nacos的排查过程,通过一系列排查步骤,发现问题出在Tom... 目录简介依赖异常情况排查断点调试原因解决NacosRegisterOnWar结果总结简介1、程序在

解决java.util.RandomAccessSubList cannot be cast to java.util.ArrayList错误的问题

《解决java.util.RandomAccessSubListcannotbecasttojava.util.ArrayList错误的问题》当你尝试将RandomAccessSubList... 目录Java.util.RandomAccessSubList cannot be cast to java.

java反序列化serialVersionUID不一致问题及解决

《java反序列化serialVersionUID不一致问题及解决》文章主要讨论了在Java中序列化和反序列化过程中遇到的问题,特别是当实体类的`serialVersionUID`发生变化或未设置时,... 目录前言一、序列化、反序列化二、解决方法总结前言serialVersionUID变化后,反序列化失

Java JAR 启动内存参数配置指南(从基础设置到性能优化)

《JavaJAR启动内存参数配置指南(从基础设置到性能优化)》在启动Java可执行JAR文件时,合理配置JVM内存参数是保障应用稳定性和性能的关键,本文将系统讲解如何通过命令行参数、环境变量等方式... 目录一、核心内存参数详解1.1 堆内存配置1.2 元空间配置(MetASPace)1.3 线程栈配置1.

MySQL 5.7彻底卸载与重新安装保姆级教程(附常见问题解决)

《MySQL5.7彻底卸载与重新安装保姆级教程(附常见问题解决)》:本文主要介绍MySQL5.7彻底卸载与重新安装保姆级教程的相关资料,步骤包括停止服务、卸载程序、删除文件和注册表项、清理环境... 目录一、彻底卸载旧版本mysql(核心步骤)二、MySQL 5.7重新安装与配置三、常见问题解决总结废话不多