本文主要是介绍在Linux(CentOS6.2)服务器上配置hadoop时遇到的一些问题以及一些解决办法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
配置Hadoop时,注意,修改了配置文件后要先停止(stop-all.sh)后再开始运行(start-all.sh),如果不这样,当你在master时就会出现找不到某些datanode的情况,执行hadoop dfsadmin -report时datanode节点的信息状态就不会被发现(记住每个都要启动包括master和slave),这些命令在/usr/hadoop/bin下面,可以通过cd /usr/hadoop/bin进入此目录后,用ll命令或者ls命令就可以看到许多Hadoop的命令,如下图:
这样后,再用hadoop dfsadmin -report命令就可以看到Hadoop集群的状态了,有多少个datanode就会显示出来。
Hadoop安装配置完以后,可以通过它自带的一个例子进行测试,但要先进入hadoop目录,进入此目录的命令cd /usr/hadoop,再用ll命令就可以看 hadoop-examples-1.2.1.jar包
测试PI的值用以下命令:
(PI程序使用了两个整形参数。Map作业数量和每个Map作业中的抽样数量。计算中的总共的抽样数量是Map作业的数量乘以每个Map作业中的抽样数量。)
如果报告错误,再次运行此测试程序时就会说什么什么已存在,这时你就要先
删除(hadoop fs -rmr hdfs://210.41.166.61:9000/user/root/PiEstimator_TMP_3_141592654)已存在的文件后再执行(hadoop jar hadoop-examples-1.2.1.jar pi 10 100)
hadoop fs –rmr [skipTrash] <src>:递归删掉所有的文件和目录,等价于unix下的rm –rf <src>。
如下图,当我们再次执行计算PI时,出现报错,说什么已存在,叫你先移除(中间最长的部分)
这篇关于在Linux(CentOS6.2)服务器上配置hadoop时遇到的一些问题以及一些解决办法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!