ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者

2024-05-28 04:32

本文主要是介绍ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

各种纠结  期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm  还是悲剧,稍加修改搞定之

一、安装JDK
1、下载并安装
        sudo apt-get install openjdk-7-jdk
        要求输入当前用户密码时输入密码,回车;
        要求输入YES/NO时,输入YES,回车,一路向下安装完成;
2、在命令行输入JAVA -VERSION查看是否安装成功
3、配置环境变量
        编辑文件/etc/profile,

        sudo gedit /etc/profile

        在文件最下面加入以下三行
        export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)
        export PATH=$JAVA_HOME/bin:$PATH
        export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
二、配置SSH免密码登录
1、安装所需软件
        sudo apt-get install install ssh
2、配置ssh免密码登录
        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
        cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
        ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器,

       下载地址   archive.apache.org/dist/hadoop/common/hadoop-1.0.4/

        其实是下载到home的下载那个文件夹了,需要移动到/home下,然后才可以进行下一步解压
2、解压
        tar -xvf hadoop-1.0.4.tar
3、配置Hadoop

此处作一说明:很多安装教程会把hadoop放在/usr/local/下  这样的话 作下面几个文件的修改  就需要通过终端而且是用管理员权限去做,但本教程是/home下,所以可以直接gedit打开  在里面修改 根本不需要通过终端打开
        以下四个配置文件均在Hadoop解压文件夹的conf/目录下
        (1)、配置hadoop-env.sh
        修改JAVA_HOME:
        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
        (2)、配置core-site.xml
        修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
        <configuration>
            <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
        (3)、配置hdfs-site.xml
        修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
        </configuration>
        (4)、配置mapred-site.xml
        修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
        <configuration>
            <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
            </property>
          </configuration>
4、初始化HDFS

       在执行下面的命令之前 一定要做这一步 就是把解压出来的那个hadoop-1.0.4文件夹的内容直接放到/home下
        bin/hadoop namenode -format
5、启动所有Hadoop服务
        bin/start-all.sh
6、验证是否安装成功

       如果终端输入jps  出来6个
        打开浏览器,分别输入以下网址:
        http://localhost:50030 (MapReduce的Web页面)
        http://localhost:50070 (HDfS的web页面)
        如果能成功访问,则说明Hadoop安装成功

这篇关于ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1009542

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于

Centos7安装JDK1.8保姆版

工欲善其事,必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前,我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置,我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写,提升学习效率,减少不必要的困扰和挫折感。因此,在学习Java之初,投入一些时间和精力来配置好开发环境是非常值得的。这将为我