jupyter中使用pyspark连接spark集群

本文主要是介绍jupyter中使用pyspark连接spark集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目标:此文在jupyter中配置pyspark,并非配置pyspark的内核,而是希望在python3的内核下,使用pyspark连接spark集群.
准备:spark单机版 , jupyter notebook ,且两者不在同一机子上

1.安装

在默认的jupyter notebook中是没有pyspark包的,所以需要下载依赖包才行.
网上现在有2个包,支持python 去连接 spark . 一个是findspark,经过测试,在创建sparkcontext的时候,它会读取jupyter的机子上的spark环境,因为这两者不是在同一机子上,所以不行. 另外一个是pyspark包,此包同时依赖了 pypandoc 和 py4j 两个包,需要先安装.
ps:jupyter机子需要jdk环境

2.测试

安装之后,可以在jupyter 中导入pyspark包了

import pyspark
from pyspark import SparkConf, SparkContext
----
#driver意思为连接spark集群的机子,所以配置host要配置当前编写代码的机子host
conf = SparkConf().setMaster('spark_host').set('spark.driver.host','连接sp

这篇关于jupyter中使用pyspark连接spark集群的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---