Azkaban集群模式部署详细教程

2024-04-07 00:12

本文主要是介绍Azkaban集群模式部署详细教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

序言

    Azkaban是一个用于工作流程调度和任务调度的开源工具,它可以帮助用户轻松地管理和监控复杂的工作流程。Azkaban的架构设计旨在提供高度可扩展性和可靠性,同时保持易用性和灵活性。

    Azkaban的架构可以分为三个主要组件:Executor、Web Server和db数据库。Executor是执行实际工作的节点,WebServer是用于用户交互的接口,数据库用于存储工作流程和任务的元数据信息。

(1)Executor

      Executor是Azkaban的工作节点,负责执行工作流程中定义的任务。每个Executor节点可以同时执行多个任务,通过与Web Server的通信来获取任务的执行信息和结果,Executor节点可以根据需要动态扩展,以满足不同规模和性能需求。同时,Executor节点可以配置不同的资源限制,以确保任务执行的稳定性和可靠性。

 (2)Web Server

    Web Server是Azkaban的用户界面,用户可以通过Web界面来管理和监控工作流程。Web Server提供了创建、编辑、删除工作流程的功能,同时也可以查看任务的执行情况和日志信息。        Web Server与Executor节点之间通过HTTP协议进行通信,通过RESTAPI来传递任务的执行信息和结果。Web Server还可以通过WebSocket实时监控任务的执行进度和状态。

 (3)db数据库

    数据库是Azkaban的元数据存储,用于保存工作流程和任务的定义信息。数据库中包含了工作流程的依赖关系、任务的执行状态和日志信息等。
     Azkaban支持多种数据库,如MySQL、PostgreSQL等,用户可以根据自己的需求选择合适的数据库存储方式。数据库的高可用性和性能也是保证系统稳定性的重要因素。

1. 集群模式设计

 准备4台服务器 hadoop101、hadoop102、hadoop103、hadoop104

 4台服务器的分工:

 hadoop101: Web Server、Executor Server

 hadoop102: Executor Server

 hadoop103:Executor Server

 hadoop104:MySQL数据库

2. Azkaban安装文件的准备

  包含:azkaban-db、azkaban-web-server、azkaban-exec-server 三个模块的安装文件,例如:

 上述对用三个文件的创建方式,请参考如下连接:

Azkaban下载/安装及单机版配置详细教程-CSDN博客

 2.1 在hadoop101服务器上创建/usr/local/software/azkaban 目录,将以上相关的三个文件下载到此目录下:

2.2 解压三个文件并重命名

3. 配置MySQL数据库

3.1  MySQL数据库安装,请参考如下连接:

CentOS7下MySQL-8.1.0 数据库下载及安装_centosxiazaishujvku-CSDN博客

3.2 登录MySQL数据库,创建azkaban数据库

  create database azkaban;

3.3 创建azkaban用户并设置权限

 create user 'azkaban'@'%' identified by '123456';

Grant SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

3.4 切换 azkaban数据库,并在数据库中导入azkaban表(create-all-sql-xxx.sql)

    备注:create-all-sql-xxx.sql 文件 在 azkaban-db 文件夹中,如下: 3.5. 更改MySQL包大小:防止Azkaban连接MySQL阻塞

  修改 /etc/my.cnf 文件,在[mysqld] 下面添加 max_allowed_packet = 1024M

3.6. 重启MySQL数据库

 systemctl restart mysqld

4. 配置Executor Server

 Azkaban Executor Server 处理工作流和作业的实际执行

4.1 修改:/azkaban-executor/conf/azkaban.properties ,修改内容如下:

default.timezone.id=Asia/Shanghai

azkaban.webserver.url=http://hadoop101:8081

executor.port=12321

database.type=mysql
mysql.port=3306
mysql.host=192.168.170.100
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456
mysql.numconnections=100

备注:executor.port 设置 executor server的端口号,因为executor.port不指定的话,每次executor.port 会随机生成,使用时特别不方便

 4.2 将配置好的 azkaban-executor 文件,复制到 hadoop102、hadoop103 服务器上

scp -r azkaban-exec/ root@192.168.170.102:/usr/local/software/azkaban/

scp -r azkaban-exec/ root@192.168.170.103:/usr/local/software/azkaban/

4.3 分别启动三台服务器的 executor server,进入到 azkaban-exector 根目录,进行执行:

  bin/start-exec.sh

 并通过jps 查看进程 

 备注:(1) azkaban-exec 项目中自带的是mysql 5.x 的驱动,如果你使用的mysql版本是8.x 的版本,则需要将 mysql 8.x的驱动包,复制到 azkaban-exec/lib 目录下,并将自带的mysql5.x 版本的驱动包删除掉

           (2)azkaban-exec 启动成功之后,在azkaban-exec目录下生成 executor.port 文件

4.4  激活每台executor服务器

  分别在三台服务器上执行如下命令:

 curl -G "hadoop101:12321/executor?action=activate" && echo

 curl -G "hadoop102:12321/executor?action=activate" && echo

 curl -G "hadoop103:12321/executor?action=activate" && echo

效果如下:

激活之后,可以在azkaban对应的数据库中的executors表中查看到激活的executor节点的信息,active 表示该节点服务器是否被激活,其实只要当你的executor 服务器启动之后,该表就会添加一条对应的信息,只不过active的数据是0,未激活的状态,激活之后active的数据变为1.

 

到此 Azkaban的Executor Server 已经配置与启动成功。

关闭服务使用的是:bin/shutdown-exec.sh

5. 配置 Web Server

 Azkaban Web Server 是处理项目管理、身份验证、计划和执行触发。

 当前案例 Web Server只是在 hadoop101 上进行配置

5.1 配置/修改 azkaban.properties 文件

default.timezone.id=Asia/Shanghai

mysql.port=3306
mysql.host=192.168.170.100
mysql.database=azkaban
mysql.user=azkaban
mysql.password=123456

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

备注:azkaban.executorselector.filters 表示执行选择器的过滤器

          StaticRemainingFlowSize:正在排队的任务数

          CpuStatus:CPU占用情况

          MininumFreeMemory:内存占用情况。测试环境,必须将MininumFreeMemory删除掉,否则它会认为集群资源不够,不执行。

5.2 修改azkaban-users.xml 文件

  添加 laoma 用户 并设置密码为 laoma,角色设置为 admin

5.3  azkaban-web 项目中自带的是mysql 5.x 的驱动,如果你使用的mysql版本是8.x 的版本,则需要将 mysql 8.x的驱动包,复制到 azkaban-web/lib 目录下,并将自带的mysql5.x 版本的驱动包删除掉

5.4 启动 Web Server

 进入到 azkaban-web 的根目录下执行:bin/start-web.sh 并通过 jps 查看进程

5.5 通过浏览器访问azkaban web服务

  http://192.168.170.101:8081

 登录刚才设置的用户,例如我刚才设置的用户名:laoma 密码:laoma

登录成功!

5.6 关闭web Server 命令

 bin/shutdown-web.sh

至此 Web Server 配置成功!

至此,Azkaban集群模式配置完美结束!

这篇关于Azkaban集群模式部署详细教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/881199

相关文章

springboot使用Scheduling实现动态增删启停定时任务教程

《springboot使用Scheduling实现动态增删启停定时任务教程》:本文主要介绍springboot使用Scheduling实现动态增删启停定时任务教程,具有很好的参考价值,希望对大家有... 目录1、配置定时任务需要的线程池2、创建ScheduledFuture的包装类3、注册定时任务,增加、删

IntelliJ IDEA 中配置 Spring MVC 环境的详细步骤及问题解决

《IntelliJIDEA中配置SpringMVC环境的详细步骤及问题解决》:本文主要介绍IntelliJIDEA中配置SpringMVC环境的详细步骤及问题解决,本文分步骤结合实例给大... 目录步骤 1:创建 Maven Web 项目步骤 2:添加 Spring MVC 依赖1、保存后执行2、将新的依赖

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Nginx location匹配模式与规则详解

《Nginxlocation匹配模式与规则详解》:本文主要介绍Nginxlocation匹配模式与规则,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、环境二、匹配模式1. 精准模式2. 前缀模式(不继续匹配正则)3. 前缀模式(继续匹配正则)4. 正则模式(大

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注