Hadoop环境搭建亲身体验详细解说

本文主要是介绍Hadoop环境搭建亲身体验详细解说，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Hadoop0.20单节点配置 (Ubuntu 10.04)

1.配置java1.6环境

设置/etc/apt/sources.list,在末尾添加deb http://archive.canonical.com/ lucid partner

sudo apt-get udpate ；更新源

sudo apt-get install sun-java6-jdk ；安装java1.6，并替换现有java环境

sudo update-java-alternatives -s java-6-sun ；运行这行出错，但是没有影响后面的配置

2.配置ssh，并设置RSA通信密钥

su - hadoop 换至hadoop用户

ssh-keygen -t rsa -P ""

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

3.下载配置hadoop

下载hadoop0.20 http://labs.renren.com/apache-mirror/hadoop/core/

并解压为hadoop，放在/home/panbook/workspace/下

sudo chown -R panbook:panbook hadoop ;为hadoop文件夹设置用户组(用户panbook下的panbook组）

将hadoop/conf/hadoop-env.sh中的

export JAVA_HOME=/usr/lib/j2sdk1.5-sun

设置为本地JAVA目录，

export JAVA_HOME=/usr/lib/jvm/java-6-sun

在 hadoop/conf/core-site.xml中添加:

 <name>hadoop.tmp.dir</name>

 <value>/home/panbook/workspace/hadoop/hadoop-datastore/hadoop-hadoop</value>



<description>/home/panbook/workspace/hadoop/hadoop-datastore/为我创建的hadoop临时目录,hadoop-hadoop为hadoop-使用者的用户名</description>



</property>

<property>

<name>fs.default.name</name>



<value>hdfs://localhost:54310</value>



<description>默认文件系统</description>



</property>

在 hadoop/conf/mapred-site.xml中添加:

<name>mapred.job.tracker</name>

<value>localhost:54311</value>

</property>

在 hadoop/conf/hdfs-site.xml中添加:

<name>dfs.replication</name>

</property>

5.测试

可以参考文件File:Hadoop-eclipse.pdf 对hadoop的安装进行测试

这篇关于Hadoop环境搭建亲身体验详细解说的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！