在用idea执行scala的类，报以下错误 Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 28499 这个查找资料后，是由于我们没有引用paranamer，我们只要在pom文件中加上引用就可以解决了 <dependency><groupId>com.thoughtworks.paranamer</gr

背景介绍 Spark2.2引入在RDBMS 世界中广泛使用多年基于成本的优化(CBO)。然而，在分布式系统中使用 CBO 是一个“极其复杂的问题”，在Spark中收集和维护一组准确和最新的统计数据是昂贵的。 Spark 3.0 在Cost基础之上增加了AQE，AQE可以收集任务在运行期间的统计信息，实现动态优化任务的执行计划。 AQE原理 AQE 是 Spark SQL 的一种动态