本文主要是介绍hadoop之伪分布安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
hadoop 是大数据分布式存储与计算平台。采用HDFS体系结构(Distributed File system分布式)。
为了方便学习hadoop的伟大功能。
本人采取在VMware中安装Linux虚拟机的方式。通过配置Linux的各种环境，为hadoop学习做准备!
首先在VMware中安装Linux(本人采用centOS以下都称做centOS)操作系统。本人不做具体详解。
安装完成后，就可进行伪分布的安装:
一:设置虚拟机操作系统静态ip地址
在centos桌面右上角的图标上，右键点击电脑图片。
点击Edit Connections。出现wired列表
选择单击edit。
配置ipv4
method方法为静态方式。选择Manual。
address为ip地址。
gateway为网关。(一定与本机及宿主机的一致)。点击保存
打开命令行：service network restart重启网卡。直到 ok指示。
验证:执行命令ifconfig
二:修改主机名:
命令hostname查看当前主机名:
vi /ect/sysconfig/network 修改主机名
保存退出vi
三:主机名与ip地址绑定
vi /etc/hosts在文件末尾添加一行 192.168.80.100(虚拟机ip) hadoop(主机名)
验证:ping 主机名
四:关闭防火墙:
service iptables status 查看防火墙信息
service iptables stop 关闭防火墙
五：关闭防火墙自动运行
chkconfig --list 查看服务列表
chkconfig --list | grep iptables 查看防火墙
chkconfig iptables off 关闭防火墙自启动
验证: chkconfig --list |grep iptables
六：SSH(secure shell...)
SSH的免密码登陆:方便连接到其他主机
1)执行命令ssh-keygen -t rsa 产生密钥位于~/.ssh文件夹中(-t rsa之名算法)
2)在当前目录将产生两个文件夹。执行命令 cp id_rsa.pub authorized_keys 将公钥传递给authorized_keys文件夹中
3)验证:ssh localhost 确立连接 (通过自己连接到自己)
七:安装jdk
1)getconf LONG_BIT 查看当前Linux系统多少位。下载对应的jdk版本。建议去Oracle的官网下载! 顺便下载hadoop.tar.gz版本
2)使用工具winscp(一种使用SSH的开源的图形化SFTP客户端)主要功能:在本地与远程计算机之间安全地复制文件。将jdk.bin 与hadoop.tar.gz复制到/root/Downloads/下
3)cd /usr/local/ 目录下。 rm -rf * (递归强制删除该目录下所有文件:目录下的文件基本无用)
4)cp /root/Downloads/* . 将jdk.bin 与hadoop.tar.gz移动到当前目录下 (!!!!不要忘了cp 最后的点。代表当前目录)
5)给jdk.bin文件授权: chmod u+x jdk.bin 给当前用户授予jdk可操作的权限
6)./jdk.bin 解压安装jdk
7) 安装完成后 多出一个jdk1.6（当前笔者按照jdk1.6）的文件。执行命令mv jdk1.6 jdk 给文件重命名
8)配置jdk的环境变量 vi /etc/profile
在空白处配置（笔者推荐百度具体方式）
9)环境配置完成后 source /etc/profile 更改的配置立即生效
验证: java -version查看当前java的版本信息
(可能错误:1.环境配置不正确。2:未将jdk/jre/lib 下的rt.pack解压成 rt.jar 或者jdk目录下的带.pack 的文件未解压成.jar的文件 eg: unpack200 rt.pack rt.jar命令转换)
八：安装hadoop
1)tar -zxvf hadoop.tar.gz 解压hadoop
2)解压后当前目录多出一个hadoop1.2（笔者安装的hadoop1.2）文件夹 mv hadoop1.2 hadoop 改名
3)配置环境变量 source /etc/profile 立即执行更改
4)修改hadoop的配置文件(一共4个) 位于hadoop(安装好后)的conf目录下
1.hadoop-env.sh
exportJAVA_HOME=/usr/local/jdk/ <!--笔者安装的jdk的路径-->
2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value> <!--hadoop代表的是当前主机名-->
<description>change your ownhostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value> <!--hadoop代表的是当前主机名-->
<description>change your ownhostname</description>
</property>
</configuration>
5)对hadoop进行格式化 hadoop namenode -format
6)启动: start-all.sh
7)验证:命令 jps 查看当前java进程
可以看到6个java进程
至此。hadoop的伪分布式的体系结构全部完成
。
九:先归纳总结大家在安装过程中可能错误:
1)NameNode进程没有启动成功?
1 没有格式化
2 4个配置文件没有改对
3 hostname没有与ip绑定(详见第三步)
4 SSH的免密码登陆没有配置成功
2)多次格式化hadoop也是错误的
方法：删除hadoop/tmp文件夹。重新格式化
这篇关于hadoop之伪分布安装的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
