hadoop学习第二天之伪分布模式安装(下)

2024-05-06 09:58

本文主要是介绍hadoop学习第二天之伪分布模式安装(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

继续伪分布安装

7.   安装JDK

使用winscp将hadoop和jdk复制到linux目录下

a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录

左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中.

b)     解压hadoop-1.1.2.tar.gz

#tar  –xzvf   hadoop-1.1.2.tar.gz

c)      在linux中二进制文件一般是以bin结尾,但仍然需要执行权限才能执行

#chmod  755  jdk-6u24-linux-i586.bin

解压jdk

#./ jdk-6u24-linux-i586.bin

d)     配置环境变量才能使得jdk生效,

#vim  /etc/profile

修改前先备份一份

#cp /etc/profile /etc/profile.bak

在开头的空白行添加

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$PATH

             


就类似于windows下的jdk配置环境变 量

e)     重命名hadoop和jdk的文件夹,使得容易使用

#mv hadoop-1.1.2.tar.gz hadoop

#mv jdk-6u24-linux-i586.bin  jdk

f)       使得环境变量生效

#source  /etc/profile

g)     验证java版本

#java  -version

8.   安装hadoop

a)   因为在在第七步已经解压并且重命名了hadoop,直接切换到hadoop目录

bin下存放的是hadoop的可执行文件

conf下放的是配置文件

lib目录下放的是hadoop依赖的jar包

src目录是存放hadoop源代码的位置

docs存放的是hadoop的文档

b)   为了执行hadoop命令方便,将hadoop的bin目录添加到环境变量文件中

#vim /etc/profile

exportHADOOP_HOME=/usr/local/hadoop

export  PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

c)    使环境变量生效

#source  /etc/profile

d)   修改hadoop的配置文件

进入conf目录

hadoop#cd  conf

主要修改的配置文件有四个

        hadoop-env.sh \core-site.xml\mapred-site.xml\hdfs-site.xml

   hadoop-env.sh中将第九行的#去掉,成为 #export JAVA_HOME=/usr/loal/jdk/   修改core-site.xml配置文件内容如下,hadoop1是我设置的主机名


   修改hdfs-site.xml配置文件内容如下

 

修改mapred-site.xml配置文件内容如下:

hadoop1修改为自己的主机名

e)    启动hadoop前的文件系统格式化

# hadoop  namenode  -format

f)     启动hadoop

#start-all.sh  启动与hadoop有关的所有进程

g)    查看hadoop是否正常启动,使用jps命令可以查看java进程

如何看到这五个java进程代表hadoop启动成功

JobTracker、TaskTracker、DataNode、SecondaryNameNode、NameNode

启动时最有可能造成NameNode启动不成功的可能原因

(1).  没有格式化

(2). 环境变量设置错误

(3).ip和hostname绑定失败

h)   验证hadoop是否正在运行

浏览器地址栏中:http://hadoop1:50070  (hadoop1需要在windows或linux的host文件中绑定)显示正常网页表示NameNode正在运行

http://hadoop1:50030 的链接,显示正常表示mapreduce正在运行

这篇关于hadoop学习第二天之伪分布模式安装(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/964065

相关文章

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》:本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言:详细步骤:一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本,要是

Linux安装MySQL的教程

《Linux安装MySQL的教程》:本文主要介绍Linux安装MySQL的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux安装mysql1.Mysql官网2.我的存放路径3.解压mysql文件到当前目录4.重命名一下5.创建mysql用户组和用户并修

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意:要选择cp(python版本)和你py

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Python解析器安装指南分享(Mac/Windows/Linux)

《Python解析器安装指南分享(Mac/Windows/Linux)》:本文主要介绍Python解析器安装指南(Mac/Windows/Linux),具有很好的参考价值,希望对大家有所帮助,如有... 目NMNkN录1js. 安装包下载1.1 python 下载官网2.核心安装方式3. MACOS 系统安