首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
dataskew专题
Spark AQE DataSkew 处理过程中考虑的一些Case
Spark AQE 在 DataSkew 处理过程中,需要考虑一些边界条件,否则可能会引入一些额外的Shuffle。 EnsureRequirements 在开始今天的Topic之前,需要先回顾一下 EnsureRequirements, 熟悉的同学请跳过。 EnsureRequirements 是为了保证Spark 算子的数据输入要求,在算子之间引入Shuffle的核心工具。 outpu
阅读更多...