超详Windows系统下eclipse远程hadoop环境搭建

2023-10-18 06:10

本文主要是介绍超详Windows系统下eclipse远程hadoop环境搭建,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一.JAVA环境配置

  • JDK安装(小伙伴们上网找压缩包即可)

  • JDK环境变量配置

 

  • 新建一个系统变量

变量名:JAVA_HOME

变量值:根据自己JDK安装实际路径填写

  • 新建一个系统变量

变量名:CLASSPATH

变量值:%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;.

  • 修改系统变量

变量名:PATH

变量值:%JAVA_HOME%bin;      (该项在前面添加 )

验证是否成功

打开cmd命令窗口输入 java -version 结果如下图则成功

二.下载Eclipse并配置(JavaSE版本、JavaEE版本均可)

找到Eclipse安装路径,在该路径下创建HadoopWorkspace文件夹

 

启动Eclipse,将工作空间设定在刚建立的HadoopWorkspace目录

 

下载并解压下图文件,将解压后文件复制到eclipse的相应目录plugins下

   解压之后=>  

 

三.windows系统中安装Hadoop2.7.3

将Hadoop2.7.3.tar.gz解压(这里需要解压缩两次)到指定位置:D:\hadoop-2.7.3

 经过1次解压缩=>

再次解压=>

配置环境变量:

新建系统变量

变量名:HADOOP_HOME

值为:D:\hadoop-2.7.3

 

修改系统变量

变量名:PATH

变量值:%HADOOP_HOME%bin;      (该项在前面添加 )

 

修改D:\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd

修改set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_144    

注意1:写自己安装的jdk目录

注意2:和作者路径一样的小伙伴 Program Files  由于有空格命令无法执行所以要改成Progra~1

验证hadoop是否安装好

在命令行提示符下输入:hadoop version

重启eclipse后在windows==>preference==>Hadoop Map/Reduce设置hadoop的安装目录

注:安装目录根据自己hadoop实际路径写,作者为D:\hadoop-2.7.3

 

四.下载安装windows系统编译好的Hadoop2.7.1

  • 解压hadoop-2.7.1.tar 到D:\hadoop-2.7.1

  • 打开hadoop-2.7.1

    1.将文件winutil.exe复制到D:\hadoop-2.7.3\bin  注:这里复制到自己hadoop-2.7.3bin目录下
    2.将文件hadoop.dll复制到c:\windows\system32

 五.Eclipse内部配置

  • 重启Eclipse 添加并打开Map/Reduce视图

        windows==>Show View==>选择Map/Reduce Locations

 

  • 点击图中箭头位置,填写弹出新建Hadoop连接窗口

 

  •  填写相应的配置项内容

    location name:Hadoop     //自定义一个名字
    Map/Reduce master        //yarn_site.xml
        Host:192.168.118.129  //填自己虚拟机master的IP
         Port:18040  //固定
     DFS Master        //core_site.xml
        Host:192.168.118.129   //填自己虚拟机master的IP
         Port:9000     //固定

 

  • 到这里我们的所有配置就完成了,我们可以在Eclipse看到虚拟机里HDFS文件系统的文件情况

 

这篇关于超详Windows系统下eclipse远程hadoop环境搭建的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/230708

相关文章

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术(如Docker)、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术(如 docker)1. 创

Windows设置nginx启动端口的方法

《Windows设置nginx启动端口的方法》在服务器配置与开发过程中,nginx作为一款高效的HTTP和反向代理服务器,被广泛应用,而在Windows系统中,合理设置nginx的启动端口,是确保其正... 目录一、为什么要设置 nginx 启动端口二、设置步骤三、常见问题及解决一、为什么要设置 nginx

CentOS系统Maven安装教程分享

《CentOS系统Maven安装教程分享》本文介绍了如何在CentOS系统中安装Maven,并提供了一个简单的实际应用案例,安装Maven需要先安装Java和设置环境变量,Maven可以自动管理项目的... 目录准备工作下载并安装Maven常见问题及解决方法实际应用案例总结Maven是一个流行的项目管理工具

本地搭建DeepSeek-R1、WebUI的完整过程及访问

《本地搭建DeepSeek-R1、WebUI的完整过程及访问》:本文主要介绍本地搭建DeepSeek-R1、WebUI的完整过程及访问的相关资料,DeepSeek-R1是一个开源的人工智能平台,主... 目录背景       搭建准备基础概念搭建过程访问对话测试总结背景       最近几年,人工智能技术

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

在 Windows 上安装 DeepSeek 的完整指南(最新推荐)

《在Windows上安装DeepSeek的完整指南(最新推荐)》在Windows上安装DeepSeek的完整指南,包括下载和安装Ollama、下载DeepSeekRXNUMX模型、运行Deep... 目录在www.chinasem.cn Windows 上安装 DeepSeek 的完整指南步骤 1:下载并安装

5分钟获取deepseek api并搭建简易问答应用

《5分钟获取deepseekapi并搭建简易问答应用》本文主要介绍了5分钟获取deepseekapi并搭建简易问答应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1、获取api2、获取base_url和chat_model3、配置模型参数方法一:终端中临时将加

VScode连接远程Linux服务器环境配置图文教程

《VScode连接远程Linux服务器环境配置图文教程》:本文主要介绍如何安装和配置VSCode,包括安装步骤、环境配置(如汉化包、远程SSH连接)、语言包安装(如C/C++插件)等,文中给出了详... 目录一、安装vscode二、环境配置1.中文汉化包2.安装remote-ssh,用于远程连接2.1安装2

C#实现系统信息监控与获取功能

《C#实现系统信息监控与获取功能》在C#开发的众多应用场景中,获取系统信息以及监控用户操作有着广泛的用途,比如在系统性能优化工具中,需要实时读取CPU、GPU资源信息,本文将详细介绍如何使用C#来实现... 目录前言一、C# 监控键盘1. 原理与实现思路2. 代码实现二、读取 CPU、GPU 资源信息1.

在C#中获取端口号与系统信息的高效实践

《在C#中获取端口号与系统信息的高效实践》在现代软件开发中,尤其是系统管理、运维、监控和性能优化等场景中,了解计算机硬件和网络的状态至关重要,C#作为一种广泛应用的编程语言,提供了丰富的API来帮助开... 目录引言1. 获取端口号信息1.1 获取活动的 TCP 和 UDP 连接说明:应用场景:2. 获取硬