首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
离堆专题
Spark---JVM调优之调节executor离堆内存与连接等待时长
1、executor堆外内存 有时候,如果你的spark作业处理的数据量特别特别大,几亿数据量;然后spark作业一运行,时不时的报错,shuffle file cannot find,executor、task lost,out of memory(内存溢出); 可能是说executor的堆外内存不太够用,导致executor在运行的过程中,可能会内存溢出;然后可能导致后续的stage的tas
阅读更多...