背景 本文基于Spark 3.5.0 目前公司在做小文件合并的时候用到了 Spark Rebalance 这个算子，这个算子的主要作用是在AQE阶段的最后写文件的阶段进行小文件的合并，使得最后落盘的文件不会太大也不会太小，从而达到小文件合并的作用，这其中的主要原理是在于三个规则:OptimizeSkewInRebalancePartitions,CoalesceShufflePartitions