本文主要是介绍Spark的Stage划分和task最佳位置算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、Stage的划分原理
1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。
2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致宽依赖的产生。
3.由Action（例如collect）导致了SparkContext.runJob的执行，最终导致了DAGScheduler中的submitJob的执行，其核心是通过发送一个case class JobSubmitted对象给eventProcessLoop。
eventProcessLoop是DAGSchedulerEventProcessLoop的具体实例，而DAGSchedulerEventProcessLoop是eventLoop的子类，具体实现EventLoop的onReceive方法，onReceive方法转过来回调doOnReceive
4.在doOnReceive中通过模式匹配的方法把执行路由到
5.在handleJobSubmitted中首先创建finalStage，创建finalStage时候会建立父Stage的依赖链条
说明：
1.所谓的missing就是说要进行当前的计算了。
二、task任务本地性算法实现
1.在submitMissingTasks中会通过调用来获得任务的本地性
2.具体一个Partition中的数据本地性的，在具体算法实现的时候首先查询DAGScheduler的内存数据结构是否存在当前的Partition的数据本地性的信息，如果有的话，则直接返回，如果没有首先会调用rdd.getPreferedLocations
例如：
向让Spark运行在HBase上或者一种现在还没直接支持的数据库上，此时开发者需要自定义RDD，为了保证Task任务数据的本地性，就必须实现RDD的getPreferedLocations
3.DAGScheduler计算数据本地性的时候，巧妙的借助了RDD自身的getPreferedLocations中的数据，最大化的优化了效率，因为getPreferedLocations中表明了每个Partition的数据本地性，虽然当前Partition可能被persist或者checkpoint，但是persist或者checkpoint默认情况下肯定是和getPeredLocations中的Partition的数据本地性是一致的，所以这就极大的简化了Task数据本地性算法的实现和效率的优化。
这篇关于Spark的Stage划分和task最佳位置算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
