本文主要是介绍Spark standalone模式安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Spark standalone模式安装
1、下载软件(http://www.apache.org/dyn/closer.lua/spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.4.tgz)
2、准备机器我这里5台机器
192.168.80.20(cloud1)
192.168.80.21(cloud2)
192.168.80.22(cloud3)
192.168.80.23(cloud4)
192.168.80.24(cloud5)
3、解压缩软件
tar -zxvf spark-1.4.1-bin-hadoop2.4.tgz
4、分别在每一台机器上面操作
cd ./spark-1.4.1-bin-hadoop2.4/conf
vim slaves
修改配置文件为:
cloud1
cloud2
cloud3
cloud4
cloud5同时也修改
vim conf/spark-env.sh
内容为:
SPARK_MASTER_IP=192.168.80.20 #这里192.168.80.20为master节点
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1export SCALA_HOME=/opt/scala #这里设置scala安装路径
export JAVA_HOME=/usr/java/jdk1.7.0_75 #这里设置Java_home安装路径
export HADOOP_HOME=/opt/hadoop/ #这里不用设置！！！！！！！！！！！！！！！！！！！！！！！！
export SPARK_LOCAL_DIR=/opt/spark-1.4.1-bin-hadoop2.4 #这里设置spark安装路径5、修改环境变量
vim /etc/profile
export SCALA_HOME=/opt/scala #这里设置scala环境变量
export PATH=$SCALA_HOME/bin:$PATHexport SPARK_HOME=/opt/spark-1.4.1-bin-hadoop2.4 #这里设置Java_home环境变量的
export PATH=$PATH:$SPARK_HOME/bin
6、分别在每一台机器执行环境变量生效
source /etc/profile
7、在cloud1启动
cd $SPARK_HOME/sbin
start-all.sh
8、分别在每一台机器执行命令
jps -m
可以看到进程
3980 Worker
3789 Master9、cd $SPARK_HOME/bin执行命令
spark-shell
可以看到
Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 1.4.1/_/Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_75)
Type in expressions to have them evaluated.
10、搞定了 没什么难度！哈哈
这篇关于Spark standalone模式安装的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
