Hadoop2源码分析－YARN 的服务库和事件库

2024-05-27 12:32
文章标签 分析 源码 服务 hadoop2 事件 yarn

本文主要是介绍Hadoop2源码分析－YARN 的服务库和事件库，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.概述

　　在《Hadoop2源码分析－YARN RPC 示例介绍》一文当中，给大家介绍了YARN 的 RPC 机制，以及相关代码的演示，今天我们继续去学习 YARN 的服务库和事件库，分享目录如下所示：

  • 服务库和事件库介绍
  • 使用示例
  • 截图预览

　　下面开始今天的内容分享。

2.服务库和事件库介绍

2.1服务库

　　YARN对于生命周期较长的对象使用服务的对象模型进行管理，主要特点如下：

  • 用于被服务化的对象包含4个状态，他们分别是：被创建、已初始化、已启动和已停止。源代码地址在 org.apache.hadoop.service 的 Service 接口中，内容如下所示：
复制代码 
public enum STATE {/** Constructed but not initialized */NOTINITED(0, "NOTINITED"),/** Initialized but not started or stopped */INITED(1, "INITED"),/** started and not stopped */STARTED(2, "STARTED"),/** stopped. No further state transitions are permitted */STOPPED(3, "STOPPED");/*** An integer value for use in array lookup and JMX interfaces.* Although {@link Enum#ordinal()} could do this, explicitly* identify the numbers gives more stability guarantees over time.*/private final int value;/*** A name of the state that can be used in messages*/private final String statename;private STATE(int value, String name) {this.value = value;this.statename = name;}/*** Get the integer value of a state* @return the numeric value of the state*/public int getValue() {return value;}/*** Get the name of a state* @return the state's name*/@Overridepublic String toString() {return statename;}}
复制代码 
public abstract class AbstractService implements Service {// ......

}

　　通过阅读代码，我们可以看出，服务的对象它实现了接口Service，并定义了最基本的服务状态：创建、初始化、启动以及停止。对于 AbstractService 类来说，它实现了 Service 接口。

  • 任何服务状态的变化都可以触发其他的动作，例如：
复制代码 
public void start() {if (isInState(STATE.STARTED)) {return;}//enter the started statesynchronized (stateChangeLock) {if (stateModel.enterState(STATE.STARTED) != STATE.STARTED) {try {startTime = System.currentTimeMillis();serviceStart();if (isInState(STATE.STARTED)) {//if the service started (and isn't now in a later state), notifyif (LOG.isDebugEnabled()) {LOG.debug("Service " + getName() + " is started");}notifyListeners();}} catch (Exception e) {noteFailure(e);ServiceOperations.stopQuietly(LOG, this);throw ServiceStateException.convert(e);}}}}
复制代码

　　这里，我们会去触发一个监听动作，全局监听状态的改变，异常的捕捉监听等。

  • 可以通过组合的方式进行服务组合，这样做的好处是便于统一去管理：在 YARN 中，如果是非组合服务，可以直接继承 AbstractService 类，否则需继承 CompositeService。

2.2事件库

　　在 YARN 中，核心服务其本质就是一个中央异步调度器，包含有ResourceManager、 NodeManager、MRAppMaster等内容，YARN 事件与事件处理器的关系在 

org.apache.hadoop.yarn.event  中。在使用 YARN 事件库的时候，需要先定义一个中央异步调度器 AsyncDispatcher，它负责事件的处理与转发，然后我们根据实际业务需求定义一系列事件 Event 与事件处理器 EventHandler，并将事件注册到中央异步调度器中用于完成事件统一管理和应用调度。流程如下图所示：

3.使用示例

　　接下来，我们编写示例代码，去代码中理解这部分流程。

  • 首先是 JMRAppMaster 类：
复制代码 
package cn.hadoop.task.exec;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.service.Service;
import org.apache.hadoop.yarn.event.AsyncDispatcher;
import org.apache.hadoop.yarn.event.Dispatcher;
import org.apache.hadoop.yarn.event.EventHandler;import cn.hadoop.task.CompositeService;
import cn.hadoop.task.JobEvent;
import cn.hadoop.task.JobEventType;
import cn.hadoop.task.TaskEvent;
import cn.hadoop.task.TaskEventType;/*** @Date Jul 22, 2015** @Author dengjie** @Note TODO*/
public class JMRAppMaster extends CompositeService {private Dispatcher dispatcher; // AsyncDispatcherprivate String jobID;private int taskNumber; // include numbersprivate String[] taskIDs; // include all taskpublic JMRAppMaster(String name, String jobID, int taskNumber) {super(name);this.jobID = jobID;this.taskNumber = taskNumber;taskIDs = new String[taskNumber];for (int i = 0; i < taskNumber; i++) {taskIDs[i] = new String(this.jobID + "_task_" + i);}}public void serviceInit(Configuration conf) throws Exception {dispatcher = new AsyncDispatcher();// default a AsyncDispatcherdispatcher.register(JobEventType.class, new JobEventDispatcher());// register a jobdispatcher.register(TaskEventType.class, new TaskEventDispatcher());// register a task
        addService((Service) dispatcher);super.serviceInit(conf);}public Dispatcher getDispatcher() {return dispatcher;}private class JobEventDispatcher implements EventHandler<JobEvent> {@SuppressWarnings("unchecked")public void handle(JobEvent event) {if (event.getType() == JobEventType.JOB_KILL) {System.out.println("Receive JOB_KILL event, killing all the tasks");for (int i = 0; i < taskNumber; i++) {dispatcher.getEventHandler().handle(new TaskEvent(taskIDs[i], TaskEventType.T_KILL));}} else if (event.getType() == JobEventType.JOB_INIT) {System.out.println("Receive JOB_INIT event, scheduling tasks");for (int i = 0; i < taskNumber; i++) {dispatcher.getEventHandler().handle(new TaskEvent(taskIDs[i], TaskEventType.T_SCHEDULE));}}}}private class TaskEventDispatcher implements EventHandler<TaskEvent> {public void handle(TaskEvent event) {if (event.getType() == TaskEventType.T_KILL) {System.out.println("Receive T_KILL event of task id " + event.getTaskID());} else if (event.getType() == TaskEventType.T_SCHEDULE) {System.out.println("Receive T_SCHEDULE event of task id " + event.getTaskID());}}}
}
复制代码

　　另外，还需要添加一些其他类，这些类以来可以在 Hadoop 源码工程中找到，这里就不贴代码了，大家可以到 Hadoop 工程的源码中找到对应的类，相关类名如下图所示：

　　接下来是一个测试类，去测试一下我们所编写的示例流程。

  • JMRAppMasterTest类：

复制代码 
package cn.hadoop.rpc.test.yarn.task;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.yarn.conf.YarnConfiguration;import cn.hadoop.task.JobEvent;
import cn.hadoop.task.JobEventType;
import cn.hadoop.task.exec.JMRAppMaster;/*** @Date Jul 22, 2015** @Author dengjie** @Note TODO*/
public class JMRAppMasterTest {@SuppressWarnings({ "unchecked", "resource" })public static void main(String[] args) {String jobID = "job_20150723_11";JMRAppMaster appMaster = new JMRAppMaster("Simple MRAppMaster Test", jobID, 10);YarnConfiguration conf = new YarnConfiguration(new Configuration());try {appMaster.serviceInit(conf);appMaster.serviceStart();} catch (Exception e) {e.printStackTrace();}appMaster.getDispatcher().getEventHandler().handle(new JobEvent(jobID, JobEventType.JOB_KILL));appMaster.getDispatcher().getEventHandler().handle(new JobEvent(jobID, JobEventType.JOB_INIT));}
}
复制代码

4.截图预览

　　在编写完成相关流程代码后，我们运行代码来观察整个流程，截图如下所示：

5.总结

　　在编写这部分流程代码时，可以参考 Hadoop YARN 部分的工程源码，通过运行调试代码，掌握对事件库和服务库的流程，以及它们的工作机制。另外，在编写的过程当中，最好将源码的文件引入到自己的工程，不要单独使用 JAR 包的方式导入，由于我们是独立运行某个模块，需要改动源代码的函数访问权限，若是直接引入 JAR 包地址，会导致函数修饰权限问题而不能运行，这里大家在运行调试的时候注意即可。

这篇关于Hadoop2源码分析－YARN 的服务库和事件库的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1007485。

相关文章

性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
禁止平板,iPad长按弹出默认菜单事件

禁止平板,iPad长按弹出默认菜单事件

通过监控按下抬起时间差来禁止弹出事件，把以下代码写在要禁止的页面的页面加载事件里面即可     var date;document.addEventListener('touchstart', event => {date = new Date().getTime();});document.addEventListener('touchend', event => {if (new
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
Java ArrayList扩容机制 （源码解读）

Java ArrayList扩容机制 （源码解读）

结论：初始长度为10，若所需长度小于1.5倍原长度，则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1：数组默认长度         2:这是一个共享的空数组实例，用于明确创建长度为0时的ArrayList ，比如通过 new ArrayList<>(0)，ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL
阅读更多...
如何在Visual Studio中调试.NET源码

如何在Visual Studio中调试.NET源码

今天偶然在看别人代码时，发现在他的代码里使用了Any判断List<T>是否为空。 我一般的做法是先判断是否为null，再判断Count。 看了一下Count的源码如下： 1 [__DynamicallyInvokable]2 public int Count3 {4 [__DynamicallyInvokable]5 get
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...
MOLE 2.5 分析分子通道和孔隙

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用，例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具，该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明，MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能，MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57
阅读更多...
工厂ERP管理系统实现源码（JAVA）

工厂ERP管理系统实现源码（JAVA）

工厂进销存管理系统是一个集采购管理、仓库管理、生产管理和销售管理于一体的综合解决方案。该系统旨在帮助企业优化流程、提高效率、降低成本，并实时掌握各环节的运营状况。 在采购管理方面，系统能够处理采购订单、供应商管理和采购入库等流程，确保采购过程的透明和高效。仓库管理方面，实现库存的精准管理，包括入库、出库、盘点等操作，确保库存数据的准确性和实时性。 生产管理模块则涵盖了生产计划制定、物料需求计划、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2