Spark学习笔记整理 --- 2018-06-15 【Spark架构设计】

本文主要是介绍Spark学习笔记整理 --- 2018-06-15 【Spark架构设计】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

基本概念：
在具体讲解Spark运行架构之前，需要先了解几个重要的概念：
*  RDD：是弹性分布式数据集（Resilient Distributed Dataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；
*  DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系；
*  Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据；
*  Application应用：用户编写的Spark应用程序；
*  Task任务：运行在Executor上的工作单元；
*  Job作业：一个作业包含多个RDD及作用于相应RDD上的各种操作；
*  Stage阶段：是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为“阶段”，或者也被称为“任务集”。




架构设计：
如图9-5所示，Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Meso

这篇关于Spark学习笔记整理 --- 2018-06-15 【Spark架构设计】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---