Spark开发错误锦集（持续更新）

本文主要是介绍Spark开发错误锦集（持续更新），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

错误一 Failed to locate the winutils binary in the hadoop binary path

1. 下载

hadoop-common-2.7.1-bin
https://download.csdn.net/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase

2. 下载（可选）

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

3. 解压

tar解压报错没关系
我注释了 hadoop-config.cmd（可选）
@rem if not exist %JAVA_HOME%\bin\java.exe (
@rem echo Error: JAVA_HOME is incorrectly set.
@rem echo Please update %HADOOP_HOME%\conf\hadoop-env.cmd
@rem goto :eof
@rem )

hadoop-common-2.7.1-bin更新到bin目录 （外面也放了 一直找不到）

4. 配置环境变量

HADOOP_HOME
PATH

5. cmd 输hadoop成功

6. 重启IDEA再试

7. 不行 重启电脑再试

---

错误二 A master URL must be set in your configuration

方案一

点击edit configuration，在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”，指示本程序本地单线程运行，再次运行即可。
配置如图：

这篇关于Spark开发错误锦集（持续更新）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---