本文主要是介绍spark的组件组成部分介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1.Driver
它会运行客户端写好的main方法，并且它会创建sparkcontext对象，该对象是所有spark程序的执行入口。
2.Application
它就是一个应用程序，它包括了Driver端的代码逻辑和任务在执行的时候需要的资源信息。
3.clusterManager ：它既是给当前任务提供计算资源的外部服务
standAlone
它是spark自带的集群模式，整个任务的资源分配由master负责
Yarn
Spark程序可以提交到yarn中去运行，整个任务的资源分配由ResourceManager负责。
Mesos
就是一个apache开源的类似于yarn的资源调度平台
4.Master
它是整个spark集群的老大，它负责资源的分配。
5.Worker
它是整个spark集群的小弟，它负责任务的计算节点
6.Excutor
它是一个进程，它会在worker节点上启动对应的executor进程
7.task
它就是一个线程，它是以线程的方式运行在worker节点的executor进程中。
二.程序的执行方式
Bin/spark-submit \
--class org.apache.spark.examples.sparkpi \
--master spark://node:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
Examples/jars/spark-examples_2.11-2.1.3.jar \
10
说明：
--class:指定程序的主类
--master：指定master地址
--executor-memory：指定每一个executor需要的内存大小
--total-executor-cores:执行总的cpu核数
这篇关于spark的组件组成部分介绍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
