本文主要是介绍Ubuntu12 部署 Hadoop 全流程总结，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
环境：VMware® Workstation 8.0.4 build-744019
ubuntu-12.04-desktop-i386.iso
jdk-7u7-linux-i586.gz
hadoop-0.20.203.0rc1.tar.gz
第一步：搭建虚拟机基础环境
至少需要3台虚拟机才能模拟hadoop的真实运行场景：一台作为master节点，跑namenode和jobtracker进程；两台作为slave节点，跑datanode和tasktracker。
具体过程：
1.安装 VMware® Workstation 8.0.4 build-744019
2.使用 ubuntu-12.04-desktop-i386.iso装一台虚拟机
3.安装 jdk-7u7-linux-i586.gz，具体步骤参见： http://user.qzone.qq.com/26896185/blog/1346764350
4.设置虚拟机的网络连接为bridged模式，这样的话虚拟机就可以和宿主机器在同一个网段；
5.复制两台虚拟机，在 VMware 中修改机器名以方便识别，具体步骤参见： http://user.qzone.qq.com/26896185/blog/1346553654
6.用 VMware加载复制出来的虚拟机，分别修改hostname文件（我将三台机器修改为masternode、slavenode1、slavenode2）： 当使用VMware加载复制的虚拟机文件时，会提示“是否拷贝过”，选择“拷贝过”，vmware会自动帮修改mac地址等基本信息，但是hostname不会改动，所以复制后的虚拟机hostname和原来的虚拟机一致，千万别忘记手工修改 /etc/hostname 文件，主机名最好与 /etc/hosts 中的地址映射主机名保持一致！！！
7. 为三台虚拟机配置固定IP ；
8. 为三台虚拟机配 置 /etc/hosts ；
9.为每台虚拟机创建专门用来管理Hadoop的用户账号（可以三台都相同，或者在复制之前就创建好,我建的用户是grid）；
10.配置SSH免登陆，具体步骤参见 http://user.qzone.qq.com/26896185/blog/1346862626
第二步：安装Hadoop
具体过程：
1.在目标目录解压hadoop安装包（我解压到/home/grid/hadoop）；
2.修改hadoop/conf/下的配置文件： hadoop-env.sh ， core-site.xml ，hdfs-site.xml ，mapred-site.xml ， masters ， slaves
hadoop-env.sh 文件主要修改如下语句， 用于指明JDK位置：
# The java implementation to use. Required.
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_07
core-site.xml 文件主要编辑如下语句， 用于指明namenode的域名/ip和端口：
<property>
<name>fs.default.name</name>
<value>hdfs://masternode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
hdfs-site.xml 文件主要编辑如下语句， 用于指明namenode、datanode的数据存放位置，及数据副本的个数：
<property>
<name>dfs.name.dir</name>
<value>/home/grid/hadoop/namedata</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/grid/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
mapred-site.xml 主要编辑如下语句， 用于指明jobtracker进程所在节点的域名/ip和端口：
<property>
<name>mapred.job.tracker</name>
<value>masternode:9001</value>
</property>
masters文件添加master节点的域名或ip地址，我添加的是
masternode
slaves文件添加slave节点的域名或ip地址，我添加的是
slavenode1
slavenode2
3.向各节点复制hadoop文件夹；
4.在master节点上执行命令格式化namenode: hadoop/bin/hadoop namenode -format
5.启动hadoop: hadoop/bin/ start-all.sh (相反的关闭hadoop：hadoop/bin/stop-all.sh)
6.用jps检验各后台进程是否成功启动:进入到jdk安装目录，执行 bin/jps，在master节点应该能看到namenode、jobtracker、secondarynamenode 三个进程，在slave节点应该能看到datanode、tasktracker两个进程。
各种报错的解决办法请参见：
和
这篇关于Ubuntu12 部署 Hadoop 全流程总结的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
