并行度：之前说过，并行度是自己可以调节，或者说是设置的。 1、spark.default.parallelism 2、textFile()，传入第二个参数，指定partition数量（比较少用） 咱们的项目代码中，没有设置并行度，实际上，在生产环境中，是最好自己设置一下的。官网有推荐的设置方式，你的spark-submit脚本中，会指定你的application总共要启动多少个executo

一.spark 分区 partition的理解： spark中是以vcore级别调度task的。 如果读取的是hdfs，那么有多少个block，就有多少个partition举例来说：sparksql 要读表T, 如果表T有1w个小文件，那么就有1w个partition这时候读取效率会较低。假设设置资源为 --executor-memory 2g --executor-cores 2 --n

数据：用户，时间，地点 样例： 10001,20190401 14:20:06,2000000001000001000000000004879310002,20190612 00:36:24,0000000100000005000000000018136210002,20190612 01:49:05,00000001000000050000000000181362 需求统计：用户在每个地

目录 并行度 问题解析 解决方法 设置前 ​ 设置后 本篇文章记录算子调优之使用repartition解决Spark SQL低并行度的性能问题。 并行度 之前说过，并行度是自己可以调节，或者说是设置的。 1、spark.default.parallelism 2、textFile()，传入第二个参数，指定partition数量（比较少用） 在项目代码中，没有设置并行度，实