本文主要是介绍在IDEA编写MapReduce程序加载数据出现错误:(null) entry in command string: null chmod 0644,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在IDEA编写MapReduce程序,使用BulkLoad加载数据到hbase上时
报错:(null) entry in command string: null chmod 0644
原因:hadoop集群是搭载在Linux环境上,而开发环境是在windows系统上,没有hadoop的环境,IDEA会报错,需要安装一些工具
解决方法:
① hadoop版本3.3.0
② 创建文件夹C:\software\hadoop-3.3.0\bin,把相应版本的文件放进去
③ 配置环境变量:配置HADOOP_HOME环境变量,再到Path中添加bin目录:%HADOOP_HOME%\bin
如果能在黑窗口输入命令【winutils】成功运行,则表明配置成功。
参考:
https://stackoverflow.com/questions/48010634/why-does-spark-application-fail-with-ioexception-null-entry-in-command-strin
https://stackoverflow.com/questions/40764807/null-entry-in-command-string-exception-in-saveastextfile-on-pyspark
https://www.jianshu.com/p/9e8cc794f7e6
另外:
有时候报错会显示某个依赖的包丢失:NoClassDefFoundError......
有可能是IDEA识别不出来,在设置那里让IDEA重新识别一下即可,(这个问题被坑得好惨。)
这篇关于在IDEA编写MapReduce程序加载数据出现错误:(null) entry in command string: null chmod 0644的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!