Pyspark spark-submit 集群提交任务以及引入虚拟环境依赖包攻略

本文主要是介绍Pyspark spark-submit 集群提交任务以及引入虚拟环境依赖包攻略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

 网上提交 scala spark 任务的攻略非常多,官方文档其实也非常详细仔细的介绍了 spark-submit 的用法。但是对于 python 的提交提及得非常少,能查阅到的资料非常少导致是有非常多的坑需要踩。

官方文档对于任务提交有这么一段介绍,但是初次使用者依然会非常疑惑:

Bundling Your Application’s Dependencies

If your code depends on other projects, you will need to package them alongside your application in order to distribute the code to a Spark cluster. To do this, create an assembly jar (or “uber” jar) containing your code and its dependencies. Both sbt and Maven have assembly plugins. When creating assembly jars, list Spark and Hadoop as provided dependencies; these need not be bundled since they are provided by the cluster manager at runtime. Once you have an assembled jar you can call the bin/spark-submit script as shown here while passing your jar.

For Python, you can use the --py-files argument of spark-submit to add .py.zip or .egg files to be distributed with your application. If you depend on multiple Python files we recommend packaging them into a .zip or .egg.

可以看到如果我们使用 java 系语言,例如 java scala 我们可以轻松的将相关的依赖环境打包成 .jar,然后在提交的时候使用官方建议使用在的姿势进行集群提交。例如使用:

复制代码

sudo -u hdfs spark-submit \--class "Excellent" \--master yarn \--deploy-mode cluster \--driver-memory 2g \--executor-memory 2g \--executor-cores 1 \/home/zhizhizhi/sparktry_2.11-0.1.jar

复制代码

主要程序是 Excellent, 使用 yarn 进行调度,使用集群模式运行。需要分配的执行和 driver 的内存,以及执行的时候指定的核数。

 

其实对 python 的 submit 使用 yarn 也和这个命令差不多,我们可以使用

复制代码

/etc/alternatives/spark-submit \
--master yarn \
--deploy-mode cluster \
--name md_day_dump_user \
--conf "spark.pyspark.driver.python=/home/uther/miniconda2/envs/uther/bin/python2.7" \
--conf "spark.pyspark.python=/home/uther/miniconda2/envs/uther/bin/python2.7" \
--py-files /home/uther/uther/uther.zip \
/home/uther/uther/spark_run/md_day_dump_users.py

复制代码

好了让我们来谈下这里面的坑。

首先注意一下我这里显示申明了使用 /etc/alternatives/spark-submit 如果我们不使用这个申明我们会默认使用安装 pyspark 的时候给我们带的 spark-submit。

这一点非常重要,因为我们的集群使用的 CDH 部署的,所以其实很多环境变量依赖什么的 CDH 都已经给我们配置好了,使用自己的 spark-submit 就需要自己配置这些东西,可能会导致很多问题,比如你无法直接连接到目标 hive  等等等。

默认会使用 

(uther) [uther@zed-2 ~]$ which spark-submit
~/miniconda2/envs/uther/bin/spark-submit

这一点要非常难发现。。。。。。得非常小心。

 

使用集群进行运行这一点感觉也有坑,按照我查阅的一些资料来看,如果使用集群调度,很有可能在分配 application master 的时候被分配到别的机器上去,这就需要别的机器也有这一套环境,否则可能会导致失败。可能会报出类似下面的问题,但是也不太确定,因为最近跑似乎每次都分配给了提交任务的节点进行执行的,之后再观察一下。

thread "main" java.io.FileNotFoundException: File

经过一段时间的观察,如果使用 yarrn 进行任务调度,的确需要在每个可以分配的节点上同样的路径下有相同的运行环境才可以保证程序的正常运行这一点要 注意。

我使用的是 miniconda 的环境,所以直接将 miniconda 的包拷贝到相同的路径下然后将权限设置成 777 就可以了。 

 

另外最关键的一步指定虚拟环境可以使用类似命令:

--conf "spark.pyspark.driver.python=/home/uther/miniconda2/envs/uther/bin/python2.7" \
--conf "spark.pyspark.python=/home/uther/miniconda2/envs/uther/bin/python2.7" \

这个两条命令指定了集群使用哪里的环境来运行你的程序。明显我们可能会关联非常多的依赖包,使用这种方法会比较优雅。

另外 spark 提供了另外一条命令给我们引入包

--py-files /home/uther/uther/uther.zip

这条命令的意思类似于我的程序里有 import uther.xxxx.xxx  or from uther.xx.xx import xxx 类似语句,我需要将 uther 当错一个 egg or zip 包来 import 。像第三方包的行为一样。

指定之后 spark 就能在执行你的代码的时候找到对应的环境了。这对在使用 pyspark 的代码结构有一定的要求,尽量将你的逻辑打包成一个 python 包来方便引用。

 

另外还值得一提的是,当我们操作提交代码的时候还会报出各种奇奇怪怪的错误,但是基本上分为 权限问题 | 和环境变量问题。

例如没有在 hdfs 上操作读写的权限,就需要你耐心的去 hdfs 上面把相关权限加上,这里列举一个我遇到的比较典型的问题,由于我们需要将环境部署到每一台可能生成 application master 的机器上去,所以我们所有的机器都需要部署相关的 python_env 环境。

我们可以把 miniconda 包打包好然后分别传到各个服务器上的目标路径去。

我在一切都弄好了之后还是收到如下报错:

19/03/06 21:23:36 INFO yarn.ApplicationMaster: Unregistering ApplicationMaster with FAILED (diag message: User class threw exception: java.io.IOException: 
Cannot run program "/home/uther/miniconda2/envs/uther/bin/python2.7": error=13, Permission denied)

这毫无疑问是一个权限问题,但是我当时检查了我的目标文件夹包括整个 miniconda 包都已经全部 777 了究竟为啥还是没有权限?

最后我发现原来是 /home/uther 这个我的 /home 目录下的用户目录还没有设置权限,当设置完毕之后 it works! 

ps:spark-6358 的一个同学和我遇到了相同的问题。

要用 yarn 调用相关的程序也记得把 yarn 加入被调用方的组,然后仔细检查相关的权限。

 

Trouble Shooting:

在新创建用户提交的时候还可能遇到的问题可能有,在某个机器上新创建账号并赋予权限之后,可能 hdfs 上还并没有该用户的账号。

所以我们需要在 hdfs 上也创建该用户,这里为了方便我直接通过 HUE 在 hdfs 上创建了跟新机器上一样名称的用户,就未再报出过没有权限访问 /user 权限不足的问题。

另外有一点也值得注意,我尝试在我经常使用的 zed-2 上试图访问集群上的执行日志

yarn logs -applicationId application_1572242315020_51855

 

却一直得到如下输出

复制代码

19/12/06 14:56:36 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
19/12/06 14:56:38 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
19/12/06 14:56:39 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
19/12/06 14:56:40 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
19/12/06 14:56:41 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleep

复制代码

起初我一直怀疑是连接问题或者配置问题,但是检查了一圈发现都没有。并且以前可以正常访问现在却突然不可以了。

于是去逐一查找问题,最后发现是因为我们提交 submit 任务的机器目前已经资源问题已经被踢出了 NodeManager 所以无法再和 ResourceManager 通信了。

所以可以换台机器看,或者重新将其加入即可。

 

 

Reference:

https://zhuanlan.zhihu.com/p/43434216  spark-python版本依赖与三方模块方案

https://spark.apache.org/docs/2.2.0/submitting-applications.html  官方 Submitting Applications 文档

https://issues.apache.org/jira/browse/SPARK-6358

这篇关于Pyspark spark-submit 集群提交任务以及引入虚拟环境依赖包攻略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024425

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

作业提交过程之HDFSMapReduce

作业提交全过程详解 (1)作业提交 第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。 第2步:Client向RM申请一个作业id。 第3步:RM给Client返回该job资源的提交路径和作业id。 第4步:Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步:Client提交完资源后,向RM申请运行MrAp

每天认识几个maven依赖(ActiveMQ+activemq-jaxb+activesoap+activespace+adarwin)

八、ActiveMQ 1、是什么? ActiveMQ 是一个开源的消息中间件(Message Broker),由 Apache 软件基金会开发和维护。它实现了 Java 消息服务(Java Message Service, JMS)规范,并支持多种消息传递协议,包括 AMQP、MQTT 和 OpenWire 等。 2、有什么用? 可靠性:ActiveMQ 提供了消息持久性和事务支持,确保消

电脑桌面文件删除了怎么找回来?别急,快速恢复攻略在此

在日常使用电脑的过程中,我们经常会遇到这样的情况:一不小心,桌面上的某个重要文件被删除了。这时,大多数人可能会感到惊慌失措,不知所措。 其实,不必过于担心,因为有很多方法可以帮助我们找回被删除的桌面文件。下面,就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件,并且还没有进行其他操作,那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip