linux hadoop 2.7 伪分布式安装简单几步实现

2024-06-09 17:18

本文主要是介绍linux hadoop 2.7 伪分布式安装简单几步实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本机配置

1. ubuntu 64bit

2. hadoop 2.7.1


Contents

1.安装jdk

2.安装ssh

3.安装hadoop


Steps

1.安装jdk

a)下载这个网址中跟自己操作系统相对应的jdk版本:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html   我选择的是jdk-7u79-linux-x64.tar.gz。

b)解压后移动到/opt目录下

sudo tar -zxvf jdk-7u79-linux-x64.tar.gz

mv jdk1.7.0_79 /opt

c)编辑/etc/profile配置jdk环境变量

vim /etc/profile

按i进入插入模式,在文件末尾添加

# set java jdk path
export JAVA_HOME=/opt/jdk1.7.0_79 
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
export JRE_HOME=/opt/jdk1.7.0_79/jre
export PATH=$PATH:$JRE_HOME/bin
保存后,在命令行中输入source /etc/profile回车就能保存jdk的配置

d)检查jdk安装是否成功

运行javac -version查看:

couragek@couragek:~/下载$ javac -version
javac 1.7.0_79

-------------------------------------------------------------分割线---------------------------------------------------------------------------------

2.安装ssh

a)在终端中输入命令: 

sudo apt-get install ssh openssh-server

b)创建ssh-key,采用rsa方式:

ssh-keygen -t rsa -P ""

c)无密码登陆ssh:

ssh localhost

-------------------------------------------------------------分割线---------------------------------------------------------------------------------

3.安装hadoop

a)下载hadoop安装包,可直接采用命令,如下:

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

b)解压缩hadoop安装包,如下:

sudo tar -zxvf hadoop-2.7.1.tar.gz

c)配置hadoop文件夹中的配置文件,所有文件位于hadoop2.7.1/etc/hadoop下:

I) core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>
II) mapred-site.xml.template

<pre name="code" class="html"><configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property>
</configuration>

 
 
III) hdfs-site.xml 

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>
IV) hadoop-env.sh,在该文件中添加下面一行:

export JAVA_HOME=/opt/jdk1.7.0_79

d) 运行hadoop

I) 初始化hdfs系统

在hadoop2.7.1目录下输入如下命令:

bin/hdfs namenode -format 

II) 开启namenode和datanode守护进程:

sbin/start-dfs.sh

III) 查看进程信息,采用命令jps,如下所示:

couragek@couragek:~/hadoop-2.7.1$ jps
2814 NameNode
3298 Jps
3177 SecondaryNameNode
2977 DataNode
IV) 查看web UI,在浏览器中输入网址: http://localhost:50070,如下所示:

4.参考文献

http://www.tuicool.com/articles/bmeUneM

http://www.linuxidc.com/Linux/2015-10/123983.htm

http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html


这篇关于linux hadoop 2.7 伪分布式安装简单几步实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1045802

相关文章

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理,打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time