自搭建Hadoop环境全记录 单机+伪分布 (ubuntu-16.04 64-bit , Hadoop2.8.2)

本文主要是介绍自搭建Hadoop环境全记录 单机+伪分布 (ubuntu-16.04 64-bit , Hadoop2.8.2),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

搭建Hadoop环境,网上详细的教程很多,但还是缺少交代关键的步骤(因为机器环境、版本差异;有些环境变量作者的机器之前就设置好了,故新手往往会被卡住)。我也是同时对照看几份教程,还是遇到了很多问题,所以自己也整理了一下,适合新手参考。

Linux安装

硬件环境:Macbook Pro

CPU:Intel Core i7

RAM:16GB 2133 MHzLPDDR3

虚拟机:Parallels Desktop 12.2.0

Linux版本:ubuntu-16.04 64-bit

 

关于Linux需要提前知道的

●Shell(命令解析器)

●sudo命令(管理员可以授权给一些普通用户去执行一些需要root权限执行的操作。需要密码)

●输入法切换:shift切换中英;Ubuntu自带中文输入法Sunpinyin

●复制ctrl+shift+c 粘贴ctrl+shift+v 

★Hadoop安装方式有:单机模式、伪分布式模式、分布式模式

Hadoop安装配置大致步骤:

1、创建Hadoop用户

2、SSH登录权限设置

3、安装Java环境

4、单机安装配置

5、伪分布式安装配置

Hadoop安装配置具体步骤:

一、创建hadoop用户(密码:hadoop)


其中:

sudo useradd –m hadoop –s /bin/bash(创建 hadoop 用户,并使用 /bin/bash 作为 shell)

sudo passwd hadoop(设置密码)

sudo adduser hadoop sudo(增加管理员权限)

创建后请将系统切换至hadoop用户。

二、SSH登录权限设置

●什么是SSH

SSH(Secure Shell),是建立在应用层和传输层基础上的安全协议。专为远程登录会话和其他网络服务提供安全性。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。由客户端和服务端的软件组成,服务端是一个守护进程(daemon),它在后台运行并响应来自客户端的连接请求,客户端包含ssh程序以及像scp(远程拷贝)、slogin(远程登陆)、sftp(安全文 件传输)等其他的应用程序。

●为什么要配置SSH

Hadoop名称节点(NameNode)需要启动集群中所有机器的Hadoop守护进程,这个过程需要通过SSH登录来实现。Hadoop并没有提供SSH输入密码登录的形式,为了能够顺利登录每台机器,远程管理Hadoop节点以及Hadoop节点间的安全共享访问,需要将所有机器配置为名称节点可以无密码登录它们。

●配置方式

配置方式是创建一个认证文件,然后用public key实现免密码的登录连接。 

*更新apt(后面会用apt安装一些软件)

sudo apt-get update

*安装vim编辑器,方便后面的配置文件修改。

sudo apt-get install vim

校验是否装有SSHClint 和 SSH server

rpm –qa | grep ssh

若未安装,需要安装

sudo apt-get install openssh-server

先用sshlocalhost测试,提示需要密码登陆


退出登陆


cd ~/.ssh/(先执行一次sshlocalhost就会生成该目录)

ssh-keygen -t rsa(之后要敲几次回车)

cat ./id_rsa.pub >> ./authorized_keys(加入授权)

再用sshlocalhost测试,可以无密码登陆了。


三、安装Java环境

1、新建目录/usr/local/java


将jdk1.8文件夹拷至新目录下


(也可以将tar.gz拷过去再解压)

2、配置环境变量:

使用vim编辑器在 ~/.bashrc 中编辑环境变量

vim ~/.bashrc


export JAVA_HOME=/usr/local/java/jdk1.8


保存退出(按ESC,输入:wq)

执行  source ~/.bashrc

验证echo $JAVA_HOME


验证jdk版本 $JAVA_HOMG/bin/java –version 或 java-version


四、安装Hadoop2单机安装配置

1、将解压后的hadoop拷贝至/usr/local下

sudo cp -r ~/hadoop/hadoop /usr/local

2、修改文件权限

sudo chown -R hadoop ./hadoop

3、为Hadoop配置环境变量

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin

4、修改/etc/<hadoop>/<conf>/hadoop-env.sh,更改这里面JAVA_HOME的位置。用cat浏览或用sudo vim hadoop-env.sh命令直接编辑(编辑只读文件一定要加sudo打开)

在这里将默认的JAVA_HOME改为自己的实际地址。

修改后再测试hadoop version

如图,已可以成功查看hadoop版本号。


附:/.bashrc.sh中环境变量的最终版

export JAVA_HOME=/usr/local/java/jdk1.8
export HADOOP_HOME=/usr/local/hadoop
export PATH=/bin:/usr/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH=/usr/local/hadoop/hadoop/etc/hadoop:/opt/hadoop/share/hadoop/common/*:/usr/local/hadoop/hadoop/share/hadoop/hdfs:/usr/local/hadoop/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/hadoop/share/hadoop/yarn/*:/opt/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/contrib/capacity-scheduler/*.jar

export CLASSPATH=$HADOOP_CLASSPATH

(很多教程这里export的时候使用了自引用(如export PATH=$PATH:…………)这样的后果貌似是如果多次执行这句话,就会在PATH中生成很多重复的路径,所以我最终去掉了这种引用,看的舒心用的放心..)

五、伪分布式安装配置

Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。在我的配置中位于/usr/local/hadoop/etc/hadoop/ 


● conf/hadoop-env.sh:Hadoop环境变量设置

●conf/core-site.xml:主要完成NameNode的IP和端口设置

●conf/hdfs-site.xml:主要完成HDFS的数据块副本等参数设置

● conf/mapred-site.xml:主要完成JobTracker IP和端口设置

● conf/masters:完成master节点IP设置

● conf/slaves:完成Slaves节点IP设置

伪分布式安装配置步骤:

1、修改配置文件 core-site.xml 

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase forother temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>


2、修改配置文件hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

</configuration>


3、初始化HDFS文件系统

执行指令(Hadoop/bin下)Hadoop namenode –format


其中看到了Exitingwith status 0,表示初始化已经成功。

4、启动所有进程start-all.sh

使用jps查看所有的java进程


此时,可以再浏览器中输入http://localhost:50070 查看Hadoop信息


这篇关于自搭建Hadoop环境全记录 单机+伪分布 (ubuntu-16.04 64-bit , Hadoop2.8.2)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1000028

相关文章

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后,需要到系统环境变量中添加两个变量2. 第3步 “在cmd中

Windows环境下安装达梦数据库的完整步骤

《Windows环境下安装达梦数据库的完整步骤》达梦数据库的安装大致分为Windows和Linux版本,本文将以dm8企业版Windows_64位环境为例,为大家介绍一下达梦数据库的具体安装步骤吧... 目录环境介绍1 下载解压安装包2 根据安装手册安装2.1 选择语言 时区2.2 安装向导2.3 接受协议

SpringBoot基于沙箱环境实现支付宝支付教程

《SpringBoot基于沙箱环境实现支付宝支付教程》本文介绍了如何使用支付宝沙箱环境进行开发测试,包括沙箱环境的介绍、准备步骤、在SpringBoot项目中结合支付宝沙箱进行支付接口的实现与测试... 目录一、支付宝沙箱环境介绍二、沙箱环境准备2.1 注册入驻支付宝开放平台2.2 配置沙箱环境2.3 沙箱

linux环境openssl、openssh升级流程

《linux环境openssl、openssh升级流程》该文章详细介绍了在Ubuntu22.04系统上升级OpenSSL和OpenSSH的方法,首先,升级OpenSSL的步骤包括下载最新版本、安装编译... 目录一.升级openssl1.官网下载最新版openssl2.安装编译环境3.下载后解压安装4.备份

Ubuntu 22.04 服务器安装部署(nginx+postgresql)

《Ubuntu22.04服务器安装部署(nginx+postgresql)》Ubuntu22.04LTS是迄今为止最好的Ubuntu版本之一,很多linux的应用服务器都是选择的这个版本... 目录是什么让 Ubuntu 22.04 LTS 变得安全?更新了安全包linux 内核改进一、部署环境二、安装系统

Ubuntu固定虚拟机ip地址的方法教程

《Ubuntu固定虚拟机ip地址的方法教程》本文详细介绍了如何在Ubuntu虚拟机中固定IP地址,包括检查和编辑`/etc/apt/sources.list`文件、更新网络配置文件以及使用Networ... 1、由于虚拟机网络是桥接,所以ip地址会不停地变化,接下来我们就讲述ip如何固定 2、如果apt安

本地搭建DeepSeek-R1、WebUI的完整过程及访问

《本地搭建DeepSeek-R1、WebUI的完整过程及访问》:本文主要介绍本地搭建DeepSeek-R1、WebUI的完整过程及访问的相关资料,DeepSeek-R1是一个开源的人工智能平台,主... 目录背景       搭建准备基础概念搭建过程访问对话测试总结背景       最近几年,人工智能技术

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate