MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.

本文主要是介绍MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我在搭建集群后,所有服务均可正常启动,但是在测试mapreduce任务的时候,总是提示错误,我在修改了各项配置,可是还是提示错误

以下是报错信息

Number of Maps  = 1
Samples per Map = 1
Wrote input for Map #0
Starting Job
2021-11-21 19:58:02,262 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/xiaoman/.staging/job_1637495728045_0002
2021-11-21 19:58:02,417 INFO input.FileInputFormat: Total input files to process : 1
2021-11-21 19:58:02,534 INFO mapreduce.JobSubmitter: number of splits:1
2021-11-21 19:58:02,784 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1637495728045_0002
2021-11-21 19:58:02,785 INFO mapreduce.JobSubmitter: Executing with tokens: []
2021-11-21 19:58:02,950 INFO conf.Configuration: resource-types.xml not found
2021-11-21 19:58:02,950 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2021-11-21 19:58:03,027 INFO impl.YarnClientImpl: Submitted application application_1637495728045_0002
2021-11-21 19:58:03,072 INFO mapreduce.Job: The url to track the job: http://hadoop-168-0-112:8088/proxy/application_1637495728045_0002/
2021-11-21 19:58:03,073 INFO mapreduce.Job: Running job: job_1637495728045_0002
2021-11-21 19:58:17,299 INFO mapreduce.Job: Job job_1637495728045_0002 running in uber mode : false
2021-11-21 19:58:17,300 INFO mapreduce.Job:  map 0% reduce 0%
2021-11-21 19:58:17,325 INFO mapreduce.Job: Job job_1637495728045_0002 failed with state FAILED due to: Application application_1637495728045_0002 failed 2 times due to AM Container for appattempt_1637495728045_0002_000002 exited with  exitCode: 1
Failing this attempt.Diagnostics: [2021-11-21 19:58:16.237]Exception from container-launch.
Container id: container_e05_1637495728045_0002_02_000001
Exit code: 1
​
[2021-11-21 19:58:16.298]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
​
​
[2021-11-21 19:58:16.299]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
log4j:WARN No appenders could be found for logger (org.apache.hadoop.mapreduce.v2.app.MRAppMaster).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
​
​
For more detailed output, check the application tracking page: http://hadoop-168-0-112:8088/cluster/app/application_1637495728045_0002 Then click on links to logs of each attempt.
. Failing the application.
2021-11-21 19:58:17,391 INFO mapreduce.Job: Counters: 0
Job job_1637495728045_0002 failed!

我在确定不启动集群,只是在一个节点运行mapreduce任务的时候,是没有问题的,但是启动集群后,反而不能运行成功,怀疑可能是集群配置有问题,在集群启动后ResourceManager这边出现了问题(没有启动集群的时候,是没有运行ResourceManager服务的,所以不需要用到ResourceManager调度,这时执行任务没有出现问题,而启动后ResourceManager会对整个集群的资源进行调度,这时跑任务反而出现了问题,所以ResourceManager嫌疑最大),查了几天资料都没找到相关信息,结果一个偶然找到了下面博主的一篇文章Mapreduce运行异常Container exited with a non-zero exit code 1

终其原因还是配置的问题,在hadoop3.0需要加上ResourceManager的webapp地址参数配置,yarn.resourcemanager.webapp.address.rm1, yarn.resourcemanager.scheduler.address.rm2,加上这两个配置后任务就可以成功运行了。

下面是博主的原文,有兴趣的可以去看看。

Mapreduce运行异常Container exited with a non-zero exit code 1_danielchan2518的专栏-CSDN博客用idea编写mapreduce读写hbase,并打包jar放到集群服务器上运行时出现下面错误:[2019-01-05 04:03:01.278]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes ...https://blog.csdn.net/danielchan2518/article/details/85887597

这篇关于MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err.的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/337707

相关文章

关于MongoDB图片URL存储异常问题以及解决

《关于MongoDB图片URL存储异常问题以及解决》:本文主要介绍关于MongoDB图片URL存储异常问题以及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录MongoDB图片URL存储异常问题项目场景问题描述原因分析解决方案预防措施js总结MongoDB图

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

usb接口驱动异常问题常用解决方案

《usb接口驱动异常问题常用解决方案》当遇到USB接口驱动异常时,可以通过多种方法来解决,其中主要就包括重装USB控制器、禁用USB选择性暂停设置、更新或安装新的主板驱动等... usb接口驱动异常怎么办,USB接口驱动异常是常见问题,通常由驱动损坏、系统更新冲突、硬件故障或电源管理设置导致。以下是常用解决

Java Optional避免空指针异常的实现

《JavaOptional避免空指针异常的实现》空指针异常一直是困扰开发者的常见问题之一,本文主要介绍了JavaOptional避免空指针异常的实现,帮助开发者编写更健壮、可读性更高的代码,减少因... 目录一、Optional 概述二、Optional 的创建三、Optional 的常用方法四、Optio

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

Java报NoClassDefFoundError异常的原因及解决

《Java报NoClassDefFoundError异常的原因及解决》在Java开发过程中,java.lang.NoClassDefFoundError是一个令人头疼的运行时错误,本文将深入探讨这一问... 目录一、问题分析二、报错原因三、解决思路四、常见场景及原因五、深入解决思路六、预http://www

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例