hadoop的yarn部署

2024-06-03 08:20
文章标签 部署 hadoop yarn

本文主要是介绍hadoop的yarn部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MapReduce配置文件

mapred-env.sh,新增环境变量

[root@hadoop1 hadoop]# vi /export/server/hadoop/etc/hadoop/mapred-env.sh
export JAVA_HOME=/export/server/jdk
export HAPOOD_JOB_HISTORYSERVER_HEAPSIZE=1000
export HAPOOD_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml,新增环境变量

[root@hadoop1 hadoop]# vi /export/server/hadoop/etc/hadoop/mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>运行框架设置</description></property><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value><description>历史服务器通讯端口</description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value><description>历史服务器web地址</description></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/data/mspReduceHistory/temp</value><description>历史信息在hdfs的记录路径</description></property><property><name>yarn.app.mapreduce.am.env</name><value>/data/mspReduceHistory/done</value><description>历史信息在hdfs的记录路径</description></property><property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value><description>MapReduce Home 设置为 HADOOP_HOME</description></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value><description>MapReduce Home 设置为 HADOOP_HOME</description></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value><description>MapReduce Home 设置为 HADOOP_HOME</description></property>
</configuration>

yarn配置文件

yarn-env.sh

[root@hadoop1 hadoop]# mkdir -p /data/hadoopLog
[root@hadoop1 hadoop]# vi /export/server/hadoop/etc/hadoop/yarn-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=/data/hadoopLog

yarn-site.xml

[root@hadoop1 data]# mkdir -p /data/nodeManagerLocal
[root@hadoop1 data]# mkdir -p /data/nodeManagerLog
[root@hadoop1 data]# vi /export/server/hadoop/etc/hadoop/yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop1</value><description>ResourceManager设置节点</description></property><property><name>yarn.nodemanager.local-dirs</name><value>/data/nodeManagerLocal</value><description>ResourceManager中间数据库本地存储路径</description></property><property><name>yarn.nodemanager.log-dirs</name><value>/data/nodeManagerLog</value><description>ResourceManager数据日志本地存储路径</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>为MapReduce程序开启Shuffle服务</description></property><property><name>yarn.log.server.url</name><value>http://hadoop1:19888/jobhistory/log</value><description>历史服务器url</description></property><property><name>yarn.web-proxy.address</name><value>hadoop1:8089</value><description>代理服务器地址</description></property><property><name>yarn.log-aggregation-enable</name><value>true</value><description>开始日志聚合</description></property><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/tmp/logs</value><description>程序日志hdfs的存储路径</description></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value><description>选择公平调度器</description></property>
</configuration>	

同步到hadoop2,hadoop3主机

[root@hadoop1 hadoop]# cd /export/server/hadoop/etc/hadoop
[hadoop@hadoop1 hadoop]$ scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml hadoop2:`pwd`/
[hadoop@hadoop1 hadoop]$ scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml hadoop3:`pwd`/

集群启动命令

chown -R hadoop:hadoop /data
#一键启动yarn集群
start-yarn.sh
#一键停止yarn集群
stop-yarn.sh
#在当前机器,单独启动和停止进程
yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
#历史服务器启动和停止
mapred --deamon start|stop historyserver

这篇关于hadoop的yarn部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1026458

相关文章

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx

ubuntu如何部署Dify以及安装Docker? Dify安装部署指南

《ubuntu如何部署Dify以及安装Docker?Dify安装部署指南》Dify是一个开源的大模型应用开发平台,允许用户快速构建和部署基于大语言模型的应用,ubuntu如何部署Dify呢?详细请... Dify是个不错的开源LLM应用开发平台,提供从 Agent 构建到 AI workflow 编排、RA

ubuntu16.04如何部署dify? 在Linux上安装部署Dify的技巧

《ubuntu16.04如何部署dify?在Linux上安装部署Dify的技巧》随着云计算和容器技术的快速发展,Docker已经成为现代软件开发和部署的重要工具之一,Dify作为一款优秀的云原生应用... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。它

Nginx部署React项目时重定向循环问题的解决方案

《Nginx部署React项目时重定向循环问题的解决方案》Nginx在处理React项目请求时出现重定向循环,通常是由于`try_files`配置错误或`root`路径配置不当导致的,本文给大家详细介... 目录问题原因1. try_files 配置错误2. root 路径错误解决方法1. 检查 try_f

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基