hadoop入门--简述hadoop 2.x Yarn组件协作过程

2024-08-24 02:58

本文主要是介绍hadoop入门--简述hadoop 2.x Yarn组件协作过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

系统结构

hadoop2.x主要包括三个核心部分:

(1) hdfs-分布式存储组件

hadoop用于存储数据的基础组件。分布式的,跨网络交互的hdfs集群。

(2) yarn-资源管理、任务调度组件

hadoop用于资源管理、任务调度的基础组件。yarn使hadoop成为分布式处理数据的通用平台,支持MapReduce v2、Tez、Hoya等多种计算框架。

(3) processing framework-分布式计算框架

有很多针对不同计算模型的计算框架,比如进行批量处理的MapReduce v2,图像处理的Giraph,流数据处理的Storm等。

(4) API-应用编程接口

用户与hadoop交互的并行计算编程接口。


Yarn组件

(1) Resource Manager

Resource Manager资源管理器是yarn的核心组件,它管理hadoop集群所有的数据处理资源。Resource Manager的任务是维护一个全局的hadoop集群的资源视图,处理资源请求,调度请求和分配资源给发起请求的应用程序。Resource Manager本质上是一个给发起请求的应用程序分配资源的专用调度器,但是它依赖执行实际调度逻辑的调度模块。

Resource Manager对应用程序和计算框架是不可知的,yarn的Resource Manager没有map task或reduce task的概念,不跟踪job工作和task任务的进程,也不处理故障。Resource Manager唯一的任务就是调度工作负载。高度的职责分离,使yarn更易扩展,能够对应用程序提供一个更通用的hadoop平台,也使yarn支持多租户hadoop集群。

(2) Node Manager

每个salve节点都有一个Node Manager守护进程,这个守护进程作为Resource Manager的slave。每个slave node都有一个服务,它关联到使hadoop成为分布式系统的处理服务和存储服务。每个Node Manager跟踪本节点可用的数据处理资源的情况,并定期向Resource Manager发送报告。

hadoop集群中处理资源是以container的形式被消费的,一个container是运行一个应用必要资源的集合,包括 CPU cores,内存,网络带宽和磁盘空间。一个已部署的container是作为一个独立的进程运行在hadoop集群一个节点上的。运行在slave节点上的所有container进程在最初被slave节点的Node Manager守护进程配置、监控和跟踪。

提示:hadoop2的container概念和hadoop1的slot概念类似,但是存在很多不同的地方:1)slot是为运行map或reduce任务而定义的;而container是通用的,可以允许任何应用程序逻辑。2)container可以用自定义的资源数量来请求,只要请求的资源数量在一个container包含的资源范围之内皆可;但是,请求slot资源,都是分配一个完全的slot资源。

(3) Application Master

运行在hadoop集群中的每个应用程序都有它自己的专用Application Master实例,事实上这个实例运行在节点的container进程里。在这个Application Master实例整个生命周期,它都给Resource Manager发送心跳信息,告之Resource Manager资源管理器Application Master示例的状态和应用程序对资源需要的情况。基于Resource Manager资源管理器调度的结果,资源管理器会给某个特定slave节点的Application Master实例分配container资源租用权-提前预定资源container的需要。

Application Master监督应用程序的整个生命周期,包括从Resource Manager请求资源container到向Node Manager提交container资源租用请求。

提示:每个应用程计算框架都必须有自己的Application Master实现。比如,MapReduce有一个专门用来执行map和reduce任务的Application Maser实现。


发布一个基于Yarn应用程序,了解Yarn组件协作的过程

  • 1)客户端应用向Resource Manager提交请求。
  • 2)Resource Manager向Node Manager提交Application Master Instance创建请求。
  • 3)Node Manager获取可用container,并启动container进程。
  • 4)Application Master在container进程中进行初始化,并注册到Resource Manager。
  • 5)Application Master向NameNode提交请求,获取文件的名称、位置和应用程序需要处理的数据块,并计算处理完这些数据块需要多少map和reduce任务。
  • 6)Application Master向Resource Manager发送心跳信息(带有请求资源和状态变化的清单),请求获取应用程序运行所必要的资源。
  • 7)Resouce Manager接受资源请求,并把这个请求放在请求待调度的队列里,等待被调度。当请求的资源在slave节点有可用的,Resource Manager授予Application Master实例container资源的租用权。
  • 8)Application Master向Node Manager发送CLC(包含应用程序任务需要的一切:环境变量、授权token、运行时的本地资源、开启实际进程的命令行信息),请求Resource Manager分配的container。然后Node Manager创建container进程,并启动进程。
  • 9)当container进程开启时,应用程序开始执行。Application Master会监督应用程序的进程。
  • 10)当应用的所有任务完成,Application Master发送结果集给客户端,通知Resource Manager应用完成并从Resource Manager撤销,关闭自身实例。

这篇关于hadoop入门--简述hadoop 2.x Yarn组件协作过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1101249

相关文章

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件,方便以后开发的时候查找!!! 函数工具: Lodash 页面固定: stickUp、jQuery.Pin 轮播: unslider、swiper 开关: switch 复选框: icheck 气泡: grumble 隐藏元素: Headroom

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

作业提交过程之HDFSMapReduce

作业提交全过程详解 (1)作业提交 第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。 第2步:Client向RM申请一个作业id。 第3步:RM给Client返回该job资源的提交路径和作业id。 第4步:Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步:Client提交完资源后,向RM申请运行MrAp

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件: 2.调用utility bar api的方式有两种: 方法一,通过lwc调用: import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss