Mac M1 安装Hadoop教程(安装包安装)

2024-09-03 22:52

本文主要是介绍Mac M1 安装Hadoop教程(安装包安装),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、引言

 前面一期,我分享了通过homebrew方式安装Hadoop,本期我将通过安装包方式介绍下hadoop如何安装。

二、下载open jdk8

官方下载地址

在这里插入图片描述
注意如果是x86架构的苹果电脑,Architecture选择x86 64-bit或者 x86-32bit。
在这里插入图片描述

在这里插入图片描述
下载后,将得到下面这样一个软件包
在这里插入图片描述

三、安装open jdk8

在这里插入图片描述 双击标红的部分,然后按照提示,一直默认安装即可。

安装后的路径为:
/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

四、开启远程共享

选择电脑左上角的苹果🍎图标,打开系统设置,在搜索框中搜索共享,在共享中,打开远程登录文件共享功能按钮。

五、配置SSH免密登录

1.打开Terminal终端,使用下面命令生成密钥:

ssh-keygen -t rsa

回车、y、回车、回车

2.授权访问

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 授予其访问权限(自己访问自己电脑免密)
chmod 600 ~/.ssh/authorized_keys

3.验证登录(不需要密码)

ssh localhost

出现如下提示,说明安装成功:
在这里插入图片描述

六、配置hosts

open -e /etc/hosts

在文件中添加如下内容:

127.0.0.1    localhost

并保存。

七、下载和解压Hadoop

1.下载方法参考

2.下载好后,进行解压,将解压后的文件夹命名为hadoop-3.4.0,并将解压的hadoop文件夹放到资源库(这里你可以根据自己需要放到指定路径下,如果放到其它地方有些配置你需要做对应修改)。

八、配置Hadoop

使用VSCode打开Hadoop文件夹,对下面指定文件进行修改。

1.修改hadoop-env.sh

去掉 # export JAVA_HOME= 前的 # 注释;
将上面安装open-jdk的安装路径补充上去;
修改后如下图所示:
在这里插入图片描述

2.修改core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/Library/hadoop-3.4.0/data</value></property><property><name>hadoop.proxyuser.mark.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.mark.groups</name><value>*</value></property>
</configuration>

新建存放数据的文件夹

mkdir /Library/hadoop-3.4.0/data

3.修改hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

4.修改mapped-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

5.修改yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

修改后,注意保存。

九.格式磁盘并启动Hadoop

1.打开终端Terminal,进入Hadoop文件夹

cd /Library/hadoop-3.4.0# 格式化磁盘
./bin/hdfs namenode -format

在打印的日志中,没有报错,且有下面提示表示格式化成功!
在这里插入图片描述

如果在执行过程中,发现权限不足,解决办法参考链接

2.启动Hadoop

./sbin/start-all.sh

发现权限不足,解决办法参考链接

3.查看后台进程

jps

出现下面说明启动成功。
在这里插入图片描述

十.浏览器访问HDFS和YARN

1.浏览器输入如下网址,查看HDFS

http://localhost:9870

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.查看YARN,浏览器输入如下网址

http://localhost:8088

出现如下界面说明YARN启动成功,有1个节点可用。

在这里插入图片描述

这篇关于Mac M1 安装Hadoop教程(安装包安装)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1134275

相关文章

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

如何在pycharm安装torch包

《如何在pycharm安装torch包》:本文主要介绍如何在pycharm安装torch包方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录在pycharm安装torch包适http://www.chinasem.cn配于我电脑的指令为适用的torch包为总结在p

在PyCharm中安装PyTorch、torchvision和OpenCV详解

《在PyCharm中安装PyTorch、torchvision和OpenCV详解》:本文主要介绍在PyCharm中安装PyTorch、torchvision和OpenCV方式,具有很好的参考价值,... 目录PyCharm安装PyTorch、torchvision和OpenCV安装python安装PyTor

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi