hadoop学习笔记(六)——hadoop2.5.2全分布模式实现的部署

本文主要是介绍hadoop学习笔记(六)——hadoop2.5.2全分布模式实现的部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

环境：centos7 + hadoop2.5.2 + jdk1.7

已经在前两篇博客中出现的步骤具体细节一笔带过，不再展示，具体可以参考ssh免密码登陆，伪分布

1) SSH免密码登陆

2) 主节点安装jdk和hadoop，并配置环境变量

3) 配置主节点hadoop配置文件

除了需要额外配置slave，其他的跟伪分布一致。

yarn-site.xml配置文件需要额为一下信息

<span style="font-size:14px;"><configuration>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.resourcemanager.address</name><value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value>
</property>
</configuration></span>

4) 复制拷贝上述2.3中jdk，hadoop及其配置至所有从节点

如：scp /usr/local/hadoop2.5/etc/hadoop/*root@192.168.2.12:/usr/local/hadoop2.5/etc/hadoop

5) 初始化hadoop

初始化和运行hadoop只需要在主节点进行，系统会自动登陆到从节点进行相关的操作

hdfs namenode –format 格式化HDFS文件系统

INFO common.Storage: Storage directory/usr/local/hadoop2.5/hdfs/name has been successfully formatted.

6) 运行hadoop

start-dfs.sh,start-yarn.sh 启动hadoop

7) 测试程序

hadoop jar../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount inputoutput #运行wordcount

hadoop fs -ls output 查看运行之后产生的文件

hadoop fs -cat output/part-r-00000 查看运行结果

8) 同步文件脚本

a) vi scp.sh

b) #!/sbin/bash

<span style="font-size:14px;">#slave1
scp/usr/local/hadoop2.5/etc/hadoop/core-site.xmlroot@slave1:/usr/local/hadoop2.5/etc/hadoop
scp /usr/local/hadoop2.5/etc/hadoop/hdfs-site.xmlroot@slave1:/usr/local/hadoop2.5/etc/hadoop
scp/usr/local/hadoop2.5/etc/hadoop/mapred-site.xmlroot@slave1:/usr/local/hadoop2.5/etc/hadoop
scp/usr/local/hadoop2.5/etc/hadoop/yarn-site.xml root@slave1:/usr/local/hadoop2.5/etc/hadoop               
#slave2
scp/usr/local/hadoop2.5/etc/hadoop/core-site.xmlroot@slave2:/usr/local/hadoop2.5/etc/hadoop
scp/usr/local/hadoop2.5/etc/hadoop/hdfs-site.xmlroot@slave2:/usr/local/hadoop2.5/etc/hadoop
scp /usr/local/hadoop2.5/etc/hadoop/mapred-site.xmlroot@slave2:/usr/local/hadoop2.5/etc/hadoop
scp/usr/local/hadoop2.5/etc/hadoop/yarn-site.xmlroot@slave2:/usr/local/hadoop2.5/etc/hadoop   </span>

c) 保存scp.sh

d) bash scp.sh

9) 总结

a) hadoop初始化前的所有操作，master和slave都一样。

b) 初始化hadoop和运行程序只在master上进行。

c) hadoop全分布部署中尽量不要出现localhost或者127.0.0.1，否则就是给自己挖坑。

d) 尽量用hostname，直接使用ip地址容易出错，也不利于维护，有些人说的用hostname会导致异常，纯粹是自己hostname和ip地址映射出现问题，与hostname无关。

e) 全分布与伪分布，在最简单配置的情况下，配置文件的差别一般发生在yarn-site.xml中，比伪分布需要的配置信息要更全面一些。另外，全分布需要配置slave文件。

10）异常信息及解决方案

1. Q；WARN hdfs.DFSClient:DataStreamer Exception

org.apache.hadoop.ipc.RemoteException(java.io.IOException):File /user/root/input/hello.txt._COPYING_ could only be replicated to 0 nodesinstead of minReplication (=1). Thereare 0 datanode(s) running and no node(s) are excluded in this operation.

A：关闭master的防火墙

2. Q：INFO hdfs.DFSClient:Exception in createBlockOutputStreamjava.net.NoRouteToHostException: No routeto host

WARN hdfs.DFSClient: DataStreamer Exception

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/root/input/hello.txt._COPYING_ could only be replicated to 0 nodesinstead of minReplication (=1). Thereare 2 datanode(s) running and 2 node(s) are excluded in this operation.

A：关闭所有slave的防火墙

3. Q：INFO ipc.Client: Retryingconnect to server: 0.0.0.0/0.0.0.0:8032.

A：yarn.xml中添加如下：

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>