本文主要是介绍MapReduce-------------Win7下使用Eclipse玩转Linux端的MapReduce,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
重要参考网址:http://www.powerxing.com/hadoop-build-project-using-eclipse/
配置过程中需要注意以下几点:
1、Eclipse需要下载:hadoop-common-2.7.3.jar 和 hadoop-eclipse-plugin-2.7.0.jar 到 Win7的目录:E:\Eclipse64\eclipse\plugins(一定要注意版本) 下。
2、WIN7下需要配置与Linux系统配套的 hadoop.dll和winutils.exe文件到 Win7目录:E:\hadoop\hadoop-2.7.3\bin 内(一定要注意版本对应)。
3、Eclipse里需要设置的Define Hadoop location->Map/Reduce(V2)Master的port端口为Linux端mapred-site.xml内的“mapreduce.jobtracker.address”属性端口。
4、一定要把Linux端的core-site.xml、hdfs-site.xml和log4j.properties三个文件复制到工程的src文件目录下。
5、出现Permission denied错误时是没有配置:HADOOP_HOME 系统变量。或者在JAVA程序中添加:System.setProperty("hadoop.home.dir", "E:\\hadoop\\hadoop-2.7.3");
6、注意将Eclipse需要操作的HDFS中的工作目录设置成对所有用户可读可写: hadoop fs -chmod -R 777 /user/hadoop/hw2/
这篇关于MapReduce-------------Win7下使用Eclipse玩转Linux端的MapReduce的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!