本文主要是介绍举例说明 如何通过SparkUI和日志定位任务莫名失败?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
有一个Task OOM:
-
通过概览信息,发现Stage 10的Task 36失败了4次导致Job失败。概览信息中显示最后一次失败的退出代码(exit code)是143,意味着发生了内存溢出(OOM,即Out of Memory)。
可以点击Stage链接,查看为什么导致了Executor OOM(Out of Memory)。 -
通过上述图片发现,大部分Task都成功了,只有一个失败了,这高度怀疑是数据倾斜问题。
- 如果是Driver逻辑失败导致App失败(例如输入路径不存在、Driver OOM等),应直接查看Driver日志。
- 如果Driver OOM,可能需要查看Yarn UI。
-
通过Task日志进一步确认,发现日志中打印的这个Task拉取远程的Shuffle数据远超过上述成功的Task的最大值。明确失败原因为数据倾斜。
Driver fail
-
Driver逻辑导致失败的可能原因包括:
- 路径没有权限
- 读取路径为空
- SparkContext初始化失败
- 作业代码自己抛出异常等
-
首先,Spark UI上没有显示失败的Job。
转而查看Driver log:
可以从Driver日志中看到访问目录没有权限:
这篇关于举例说明 如何通过SparkUI和日志定位任务莫名失败?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!