【Docker】Airflow Worker 容器部署

2024-03-21 10:20
文章标签 部署 docker 容器 worker airflow

本文主要是介绍【Docker】Airflow Worker 容器部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Airflow Worker环境标准软件基于Bitnami airflow-worker 构建。当前版本为2.4.58

你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，可以从如下环境获取
配置文件地址: https://gitee.com/qingplus/qingcloud-platform

qinghub自动安装部署配置库

What is Apache Airflow Worker?

Apache Airflow Worker是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。Airflow Worker 监听并处理包含工作流任务的队列。

快速启动

docker run --name airflow-worker bitnami/airflow-worker:latest

您可以在环境变量部分找到默认凭据和可用的配置选项。

先决条件

要运行此应用程序，您需要Docker Engine >= 1.10.0。建议使用Docker Compose1.6.0版本或更高版本。

如何使用

Airflow Worker 是使用CeleryExecutor. 因此，您将需要其余的 Airflow 组件才能使该图像正常工作。您将需要一个Airflow Web 服务器、一个Airflow Scheduler、一个PostgreSQL 数据库和一个Redis® 服务器。

使用 Docker 命令行

  1. 创建网络

    docker network create airflow-tier

  2. 创建用于 PostgreSQL 持久化的卷并创建 PostgreSQL 容器

    docker volume create --name postgresql_data
docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume postgresql_data:/bitnami/postgresql \bitnami/postgresql:latest

  3. 创建 Redis® 持久性卷并创建 Redis® 容器

    docker volume create --name redis_data
docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume redis_data:/bitnami \bitnami/redis:latest

  4. 启动 Apache Airflow Worker Web 容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 启动 Apache Airflow Worker 调度程序容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 启动 Apache Airflow Worker 工作容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_QUEUE=new_queue \--net airflow-tier \bitnami/airflow-worker:latest

访问 : http://your-ip:8080

Persisting your application

Bitnami Airflow 容器依赖 PostgreSQL 数据库和 Redis 来保存数据。这意味着 Airflow 不会保留任何东西。为了避免数据丢失，您应该安装卷以持久保存PostgreSQL 数据和Redis® 数据

上面的示例定义了 docker 卷postgresql_data，即 、 和redis_data。只要不删除这些卷，Airflow 应用程序状态就会持续存在。

为了避免无意中删除这些卷，您可以将主机目录安装为数据卷。或者，您可以使用卷插件来托管卷数据。

使用 Docker Compose 将主机目录挂载为数据卷

以下docker-compose.yml模板演示了如何使用主机目录作为数据卷。

version: '2'
services:postgresql:image: 'bitnami/postgresql:latest'environment:- POSTGRESQL_DATABASE=bitnami_airflow- POSTGRESQL_USERNAME=bn_airflow- POSTGRESQL_PASSWORD=bitnami1volumes:- /path/to/postgresql-persistence:/bitnamiredis:image: 'bitnami/redis:latest'environment:- ALLOW_EMPTY_PASSWORD=yesvolumes:- /path/to/redis-persistence:/bitnamiairflow-worker:image: bitnami/airflow-worker:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow-scheduler:image: bitnami/airflow-scheduler:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.comports:- '8080:8080'
使用 Docker 命令行将主机目录挂载为数据卷

  1. 创建网络（如果不存在）

    docker network create airflow-tier

  2. 使用主机卷创建 PostgreSQL 容器

    docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume /path/to/postgresql-persistence:/bitnami \bitnami/postgresql:latest

  3. 使用主机卷创建 Redis® 容器

    docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume /path/to/redis-persistence:/bitnami \bitnami/redis:latest

  4. 创建Airflow容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 创建 Airflow Scheduler 容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 创建 Airflow Worker 容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \--net airflow-tier \bitnami/airflow-worker:latest

配置

安装额外的 python 模块

该容器支持在启动时安装额外的 python 模块。为此，您可以requirements.txt根据您的特定需求在路径下挂载一个文件/bitnami/python/requirements.txt。

环境变量

可定制的环境变量
NameDescriptionDefault Value
AIRFLOW_EXECUTORAirflow executor.SequentialExecutor
AIRFLOW_EXECUTORAirflow executor.CeleryExecutor
AIRFLOW_FORCE_OVERWRITE_CONF_FILEForce the airflow.cfg config file generation.no
AIRFLOW_WEBSERVER_HOSTAirflow webserver host127.0.0.1
AIRFLOW_WEBSERVER_PORT_NUMBERAirflow webserver port.8080
AIRFLOW_HOSTNAME_CALLABLEMethod to obtain the hostname.socket.gethostname
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.postgresql
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.127.0.0.1
AIRFLOW_DATABASE_PORT_NUMBERPort used by PostgreSQL server.5432
AIRFLOW_DATABASE_NAMEDatabase name that Airflow will use to connect with the database.bitnami_airflow
AIRFLOW_DATABASE_USERNAMEDatabase user that Airflow will use to connect with the database.bn_airflow
AIRFLOW_DATABASE_USE_SSLSet to yes if the database is using SSL.no
AIRFLOW_REDIS_USE_SSLSet to yes if Redis® uses SSL.no
REDIS_HOSTHostname for Redis® server.redis
REDIS_HOSTHostname for Redis® server.127.0.0.1
REDIS_PORT_NUMBERPort used by Redis® server.6379
REDIS_DATABASEName of the Redis® database.1
只读环境变量
NameDescriptionValue
AIRFLOW_BASE_DIRAirflow installation directory.${BITNAMI_ROOT_DIR}/airflow
AIRFLOW_HOMEAirflow home directory.${AIRFLOW_BASE_DIR}
AIRFLOW_BIN_DIRAirflow directory for binary executables.${AIRFLOW_BASE_DIR}/venv/bin
AIRFLOW_LOGS_DIRAirflow logs directory.${AIRFLOW_BASE_DIR}/logs
AIRFLOW_LOG_FILEAirflow logs directory.${AIRFLOW_LOGS_DIR}/airflow-worker.log
AIRFLOW_CONF_FILEAirflow configuration file.${AIRFLOW_BASE_DIR}/airflow.cfg
AIRFLOW_TMP_DIRAirflow directory temporary files.${AIRFLOW_BASE_DIR}/tmp
AIRFLOW_PID_FILEPath to the Airflow PID file.${AIRFLOW_TMP_DIR}/airflow-worker.pid
AIRFLOW_DAGS_DIRAirflow data to be persisted.${AIRFLOW_BASE_DIR}/dags
AIRFLOW_DAEMON_USERAirflow system user.airflow
AIRFLOW_DAEMON_GROUPAirflow system group.airflow

除了前面的环境变量之外，配置文件中的所有参数都可以使用以下格式的环境变量覆盖：AIRFLOW__{SECTION}__{KEY}. 注意双下划线。

使用 Docker Compose 指定环境变量
version: '2'services:airflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.com
在 Docker 命令行上指定环境变量
docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \bitnami/airflow:latest

这篇关于【Docker】Airflow Worker 容器部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/832419。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
如何用Docker运行Django项目

如何用Docker运行Django项目

本章教程，介绍如何用Docker创建一个Django，并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口，映射到宿主机的80端口上。 docker run -itd --name python311 -p
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...
Spring框架5 - 容器的扩展功能 (ApplicationContext)

Spring框架5 - 容器的扩展功能 (ApplicationContext)

private static ApplicationContext applicationContext;static {applicationContext = new ClassPathXmlApplicationContext("bean.xml");} BeanFactory的功能扩展类ApplicationContext进行深度的分析。ApplicationConext与 BeanF
阅读更多...
容器编排平台Kubernetes简介

容器编排平台Kubernetes简介

目录 什么是K8s 为什么需要K8s 什么是容器(Contianer) K8s能做什么？ K8s的架构原理  控制平面(Control plane)         kube-apiserver         etcd         kube-scheduler         kube-controller-manager         cloud-controlle
阅读更多...
在 Windows 上部署 gitblit

在 Windows 上部署 gitblit

在 Windows 上部署 gitblit 在 Windows 上部署 gitblit 缘起gitblit 是什么安装JDK部署 gitblit 下载 gitblit 并解压配置登录注册为 windows 服务 修改 installService.cmd 文件运行 installService.cmd运行 gitblitw.exe查看 services.msc 缘起
阅读更多...
Solr部署如何启动

Solr部署如何启动

Solr部署如何启动 Posted on 一月 10, 2013 in:  Solr入门 | 评论关闭 我刚接触solr，我要怎么启动，这是群里的朋友问得比较多的问题， solr最新版本下载地址： http://www.apache.org/dyn/closer.cgi/lucene/solr/ 1、准备环境 建立一个solr目录，把solr压缩包example目录下的内容复制
阅读更多...
禅道Docker安装包发布

禅道Docker安装包发布

禅道Docker安装包发布 大家好， 禅道Docker安装包发布。 一、下载地址 禅道开源版：   /dl/zentao/docker/docker_zentao.zip  备用下载地址：https://download.csdn.net/download/u013490585/16271485 数据库用户名： root,默认密码： 123456。运行时，可以设置 MYSQL_ROOT_P
阅读更多...
Spring Roo 实站（ 一 ）部署安装 第一个示例程序

Spring Roo 实站（ 一 ）部署安装 第一个示例程序

转自：http://blog.csdn.net/jun55xiu/article/details/9380213 一：安装 注：可以参与官网spring-roo： static.springsource.org/spring-roo/reference/html/intro.html#intro-exploring-sampleROO_OPTS http://stati
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2