本文主要是介绍Hadoop运行中NameNode闪退和运行mapreducer时卡在Running job.....,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
开始安装Hadoop时 第一次成功启动 包括MapReducer程序也能成功运行。后来不知道什么原因 进入了Safe mode
即使退出了安全模式照样不能对HDFS进行任何修改操作,索性hdfs namenode -format格式化一下,连启动都无法启动了,修改NameNode和DataNode的clusterID一致后 虽然修改HDFS问题解决了,但是运行任务时总是卡在了Running job ......
我按照网上的很多方法几乎都试遍了 比如 删除大文件 加大内存 关闭防火墙 等等 还是卡在Running job....
查看日志 打印的错误 在网上都搜不到好的解决方案 没辙了 只好重新安装Linux 然后安装Hadoop
再次运行还是卡住了 我靠把老子差点整哭了 没办法又得重新安装
我想是不是因为修改域名后 没有重启生效就启动Hadoop的原因 所以就改变了方式 在配置完成后reboot重启
然后启动Hadoop 发现成功启动 但是没有过一会 再次查看进程 发现NameNode闪退了
错误日志大概如下:
org.apache.hadoop.yarn.server.nodemanager.NodeMana
ger: Error starting NodeManager
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.e
xceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,R
egistration of NodeManager failed, Message from ResourceManager: NodeManager fro
m hadoop1 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the...
然后再网上查找了解决方法
http://f.dataguru.cn/thread-530444-1-1.html
在yarn-site.xml中又添加了如下内容:
<property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>1</val
这篇关于Hadoop运行中NameNode闪退和运行mapreducer时卡在Running job.....的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!