本文主要是介绍ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
各种纠结 期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm 还是悲剧,稍加修改搞定之
一、安装JDK
1、下载并安装
sudo apt-get install openjdk-7-jdk
要求输入当前用户密码时输入密码,回车;
要求输入YES/NO时,输入YES,回车,一路向下安装完成;
2、在命令行输入JAVA -VERSION查看是否安装成功
3、配置环境变量
编辑文件/etc/profile,
sudo gedit /etc/profile
在文件最下面加入以下三行
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
二、配置SSH免密码登录
1、安装所需软件
sudo apt-get install install ssh
2、配置ssh免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器,
下载地址 archive.apache.org/dist/hadoop/common/hadoop-1.0.4/
其实是下载到home的下载那个文件夹了,需要移动到/home下,然后才可以进行下一步解压
2、解压
tar -xvf hadoop-1.0.4.tar
3、配置Hadoop
此处作一说明:很多安装教程会把hadoop放在/usr/local/下 这样的话 作下面几个文件的修改 就需要通过终端而且是用管理员权限去做,但本教程是/home下,所以可以直接gedit打开 在里面修改 根本不需要通过终端打开
以下四个配置文件均在Hadoop解压文件夹的conf/目录下
(1)、配置hadoop-env.sh
修改JAVA_HOME:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
(2)、配置core-site.xml
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(3)、配置hdfs-site.xml
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4)、配置mapred-site.xml
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4、初始化HDFS
在执行下面的命令之前 一定要做这一步 就是把解压出来的那个hadoop-1.0.4文件夹的内容直接放到/home下
bin/hadoop namenode -format
5、启动所有Hadoop服务
bin/start-all.sh
6、验证是否安装成功
如果终端输入jps 出来6个
打开浏览器,分别输入以下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
如果能成功访问,则说明Hadoop安装成功
这篇关于ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!