解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java

本文主要是介绍解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、问题

在启动hadoop和spark-shell的时候会有警告：

start-dfs.sh
2018-10-03 09:43:31,795 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

spark-shell
2018-10-03 09:49:05 WARN  NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

 虽然这两个警告不会对任务产生影响，但是看到WARN就会感到不安，所以就解决一下

二、解决方案

（问题详细描述可以参考：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...问题详解）

针对启动hadoop的警告，需要将hadoop安装目录下的lib/native引入到环境变量中

   export JAVA_LIBRAY_PATH=/usr/local/hadoop/lib/native

针对spark-shell的警告，需要在Spark安装目录下的conf/spark-env.sh引入JAVA_LIBRAY_PATH

  export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

重启生效后就不会有警告了

 

 

 

这篇关于解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---