Spark DAGScheduler中stage转换成TaskSet的过程 更多资源分享 github: https://github.com/opensourceteams/spark-scala-mavencsdn(汇总视频在线看): https://blog.csdn.net/thinktothings/article/details/84726769 Youtube视频分析 Spa

工作流程： Driver 创建 SparkSession 并将应用程序转化为执行计划，将作业划分为多个 Stage，并创建相应的 TaskSet。Driver 将 TaskSet 发送给 TaskScheduler 进行调度和执行。TaskScheduler 根据资源情况将任务分发给可用的 Executor 进程执行。Executor 加载数据并执行任务的操作，将计算结果保存在内存中。Exe

Spark数据本地化是在哪个阶段计算首选位置的？ 先看一下DAGScheduler的注释，可以看到DAGScheduler除了Stage和Task的划分外，还做了缓存的跟踪和首选运行位置的计算。 DAGScheduler注释：  The high-level scheduling layer that implements stage-oriented scheduling. It com

一、Spark 运行架构   Spark 运行架构如下图： 各个RDD之间存在着依赖关系，这些依赖关系形成有向无环图DAG，DAGScheduler对这些依赖关系形成的DAG，进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，遇见宽依赖进行Stage切分。完成了Stage的划分,DAGScheduler基于每个Stage生成TaskSet,并将TaskSe