系统的对单机版hadoop进行配置和安装,调试!!!

2024-08-23 10:32

本文主要是介绍系统的对单机版hadoop进行配置和安装,调试!!!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前置条件:

1、ubuntu12..4安装成功(个人认为不必要花太多时间在系统安装上,我们不是为了装机而装机的)

2、jdk安装成功(jdk1.6.0_23for linux版本,图解安装过程http://freewxy.iteye.com/blog/882784  )

3、下载hhadoop0.21.0.tar.gz(http://apache.etoak.com//hadoop/core/hadoop-0.21.0/ )

 

 

安装hadoop

1、首先将hadoop0.21.0.tar.gz复制到usr下的local文件夹内,(sudo cp hadoop路径 /usr/local)如图1


2、进入到local目录下,解压hadoop0.21.0.tar.gz,如图2


3、为方便管理和hadoop版本升级,将解压后的文件夹改名为hadoop,如图3



 

方便起见,新增hadoop的组和其同名用户:

1、创建一个名字为hadoop的用户组,如图4


2、创建一个用户名为hadoop的用户,归到hadoop组下,如图5(一些信息可以不填写,直接按enter键即可)如图5


3、(1)添加用户权限:打开etc下的sudoers文件,添加如下(2)命令,如图6



 --------------------------------------------------------------------------------------------------------------------------------

  (另一种方法是先切换到root用户下,然后修改sudoers的权限,但这样操作一定要小心谨慎,修改权限后要将文件改回只读,否则悲剧啦啦啦,我们一票人死在这点上好多次)

   (2)在root ALL =(ALL) ALL 下面添加如下文字:

            hadoop ALL = (ALL) ALL

  如图7

-----------------------------------------------------------------------------

 ----------------------------------------------------------------------------------------------

   (/etc/sudoers文件是用于sudo命令执行时审核执行权限用的)

执行命令:$:sudo chown hadoop /usr/local/hadoop(将hadoop文件夹的权限赋给hadoop用户)


安装ssh (需联网):(了解ssh:http://freewxy.iteye.com/blog/910820)

1、安装openssh_server:如图8


2、创建ssh-key,为rsa,如图9


   填写key的保存路径,如图10填写


3、添加ssh-key到受信列表,并启用此ssh-key,如图11


 

4、验证ssh的配置,如图12


 


配置hadoop

0、浏览hadoop文件下都有些什么东西,如图13


 

1、打开conf/hadoop-env.sh,如图14


 

   配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径),如图15

---------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------- 

2、打开conf/core-site.xml

   配置,如下内容:

Java代码   收藏代码
  1. <configuration>  
  2.  <property>  
  3.   <name>fs.default.name</name>  
  4.   <value>hdfs://localhost:9000</value>   
  5.  </property>  
  6.  <property>  
  7.   <name>dfs.replication</name>   
  8.   <value>1</value>   
  9.  </property>  
  10.  <property>  
  11.   <name>hadoop.tmp.dir</name>  
  12.   <value>/home/hadoop/tmp</value>   
  13.  </property>  
  14. </configuration>   

 

 

 

 

3、打开conf目录下的mapred-site.xml

  配置如下内容:

Java代码   收藏代码
  1. <configuration>  
  2.  <property>   
  3.   <name>mapred.job.tracker</name>  
  4.   <value>localhost:9001</value>   
  5.  </property>  
  6. </configuration>  

 

 
  

 

 

 

运行测试 :

1、改变用户,格式化namenode,如图18


 

  可能遇到如下错误(倒腾这个过程次数多了),如图19


 

执行如图20,再次执行如图18


 

2、启动hadoop,如图21


 

3、验证hadoop是否成功启动,如图22


 


运行自带wordcount例 子(jidong啊)

1、准备需要进行wordcount的文件,如图23(在test.txt中随便输入字符串,保存并退出)



-------------------------------------------------------------------------------------------

2、将上一步中的测试文件上传到dfs文件系统中的firstTest目录下,如图24(如果dfs下不包含firstTest目录的话自动创建一个同名目录,使用命令:bin/hadoop dfs -ls查看dfs文件系统中已有的目录)


 

3、执行wordcount,如图25(对firstest下的所有文件执行wordcount,将统计结果输出到result文件夹中,若result文件夹不存在则自动创建)


4、查看结果,如图26


 

 

单机版搞定~~

 

这篇关于系统的对单机版hadoop进行配置和安装,调试!!!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099130

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。