Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop

2024-04-19 12:48

本文主要是介绍Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

系列文章

1:《Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop》
2:《Win10不需要Cygwin搭建大数据测试环境(2)-HBase》
3:《Win10不需要Cygwin搭建大数据测试环境(3)-Java操作HBase》
4:《Win10不需要Cygwin搭建大数据测试环境(4)-Hive》

前言

一直想在windows上装一个hadoop,总是需要cygwin,这个东西一直不是很喜欢,所以一直没有在windows下安装。
今天偶然发现了一篇文章,不需要cygwin,马上尝试一下。
本文是主要参考的文章
http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

准备工作

1:安装JDK1.8。
2:环境变量中添加JAVA_HOME。
3:下载hadoop2.7.3。
4:解压到D盘,路径为D:\hadoop2.7.3。
5:环境变量中添加HADOOP_HOME=D:\hadoop2.7.3\
6:将D:\hadoop2.7.3\bin和D:\hadoop2.7.3\sbin添加到path中。
7:下载一个重要的东西。

hadooponwindows
地址:https://github.com/sardetushar/hadooponwindows
这个是基于hadoop2.7.1的,作者一直没有更新。但是2.7.3是可以运行的,不知道以后会怎么想样! 如果谁有时间可以搞一下这个!

8:删除hadoop下的etc和bin。
9:将hadooponwindows里的etc和bin拷贝到D:\hadoop2.7.1\下。

准备工作完成。

修改配置文件

1:etc/hadoop/core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

2:etc/hadoop/mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

3:etc/hadoop/hdfs-site.xml

需要参一下这个连接,解释地址参数如何写。

http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/hadoop-2.7.3/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:/hadoop-2.7.3/data/datanode</value></property>
</configuration>

4:etc\hadoop\yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>

5:etc/hadoop/hadoop-env.cmd

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

“program files”由于有空格所以会出错,采用上面的形式就OK了。

执行操作

1:格式化namenode

hdfs namenode -format

2:启动Hadoop

sbin目录下执行

start-all
 
启动了4个窗口,namenode,datanode,yarn resourcemanager,yarn nodemanager.

小插曲:其中yarn resourcemanager这个报错,提示8088端口被占用。结果是我本地的一个软件把这个端口给用了,停掉软件,重新启动正常。

3:停止Hadoop

sbin下执行

stop-all
Hadoop都停止了。

结束语

这样hadoop就在windows上正常运行了。

Resourcemanager GUI address - http://localhost:8088

Namenode GUI address – http://localhost:50070

至此windows下Hadoop安装成功!

这篇关于Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/917589

相关文章

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本,包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中,我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试,如何有效地规划和启动测试,如何评估测试是否成功,您应该关注哪些指标,多年来我们发现的常见错误等等。 什么是A/B测试? A/B测试(有时称为“分割测试”)是一种实验类型,其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体,以查看哪一种效果最好。 本质上,A/B测

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站,手机流量可以访问IPV6网络的服务,为什么不在电脑搭建Home Assistant(hass),来控制你的设备呢?@智能家居 @万物互联