首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
fetcher专题
“ error in shuffle in fetcher”的解决方案
问题场景 使用hive进行数据的统计,发现数据进行到一半,就异常退出。查看了报错,是栈溢出,导致了异常。 问题分析 通过查找资料和查看资料,才发现,在shuffle阶段,会将map的output数据给取下来,然后根据设定的参数决定是放进内存中,还是存储到磁盘里面进行操作。而mapreduce.reduce.shuffle.memory.limit.percent这个参数默认值是0.25,代表
阅读更多...