Spark Standalone 集群配置

本文主要是介绍Spark Standalone 集群配置，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。

集群管理类型

Spark 支持三种集群管理类型：

• Standalone - Spark附带的一个简单的集群管理器，可以轻松地设置集群。
• Apache Mesos - 一个通用的集群管理器，也可以运行HadoopMapReduce和服务应用程序。（已弃用）
• Hadoop YARN - Hadoop 3中的资源管理器。
• Kubernetes - 一个用于自动化容器化应用程序的部署、扩展和管理的开源系统。
  官方文档：https://spark.apache.org/docs/latest/cluster-overview.html

官方文档

https://spark.apache.org/docs/latest/spark-standalone.html

安装包

因为TPC不支持 Spark3 ,所以用的 Spark2.4.8

这篇关于Spark Standalone 集群配置的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---