本文主要是介绍CDH 安装spark2,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一.安装准备
csd包:http://archive.cloudera.com/spark2/csd/
parcel包:http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/
二.开始安装
1.安装前可以停掉集群和Cloudera Management Service
2.下面的操作,只需要在安装spark2的机器上面进行,我只选择CM server机器。(仓库机子)。
3.上传CSD包到机器的/opt/cloudera/csd目录,并且修改文件的用户和组。注意如果本目录下有其他的jar包,把删掉或者移到其他目录
chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera3.jar
4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。
5.如果刚刚没有停掉CM和集群,现在将他们停掉。然后运行命令
我启动了server,没有启动agent,网上有说法是server和agent全部启动(server要重启)
6.把CM和集群启动起来。然后点击主机->Parcel页面,看是否多了个spark2的选项。如下图,你这里此时应该是分配按钮,点击,等待操作完成后,点击激活按钮
7.激活后,点击你的群集-》添加服务,添加spark2服务。注意,如果你这里看不到spark2服务,就请检查你的CSD包和parcel包是否对应,上面的步骤是否有漏掉。正常情况下,应该是能用了。
在集群中安装jdk1.8,修改CDH的JAVA_HOME方法
vi /etc/default/cloudera-scm-server
export JAVA_HOME=/usr/java/jdk1.8.0_181
在CM中每个主机的上配置JAVA_HOME
在CM中的点 -> 主机 -> 选择一host
在高级页添加新的JAVA_HOME目录
这篇关于CDH 安装spark2的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!