【Docker】Airflow Worker 容器部署

2024-03-21 10:20
文章标签 部署 docker 容器 worker airflow

本文主要是介绍【Docker】Airflow Worker 容器部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Airflow Worker环境标准软件基于Bitnami airflow-worker 构建。当前版本为2.4.58

你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，可以从如下环境获取
配置文件地址: https://gitee.com/qingplus/qingcloud-platform

qinghub自动安装部署配置库

What is Apache Airflow Worker?

Apache Airflow Worker是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。Airflow Worker 监听并处理包含工作流任务的队列。

快速启动

docker run --name airflow-worker bitnami/airflow-worker:latest

您可以在环境变量部分找到默认凭据和可用的配置选项。

先决条件

要运行此应用程序，您需要Docker Engine >= 1.10.0。建议使用Docker Compose1.6.0版本或更高版本。

如何使用

Airflow Worker 是使用CeleryExecutor. 因此，您将需要其余的 Airflow 组件才能使该图像正常工作。您将需要一个Airflow Web 服务器、一个Airflow Scheduler、一个PostgreSQL 数据库和一个Redis® 服务器。

使用 Docker 命令行

  1. 创建网络

    docker network create airflow-tier

  2. 创建用于 PostgreSQL 持久化的卷并创建 PostgreSQL 容器

    docker volume create --name postgresql_data
docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume postgresql_data:/bitnami/postgresql \bitnami/postgresql:latest

  3. 创建 Redis® 持久性卷并创建 Redis® 容器

    docker volume create --name redis_data
docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume redis_data:/bitnami \bitnami/redis:latest

  4. 启动 Apache Airflow Worker Web 容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 启动 Apache Airflow Worker 调度程序容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 启动 Apache Airflow Worker 工作容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_QUEUE=new_queue \--net airflow-tier \bitnami/airflow-worker:latest

访问 : http://your-ip:8080

Persisting your application

Bitnami Airflow 容器依赖 PostgreSQL 数据库和 Redis 来保存数据。这意味着 Airflow 不会保留任何东西。为了避免数据丢失，您应该安装卷以持久保存PostgreSQL 数据和Redis® 数据

上面的示例定义了 docker 卷postgresql_data，即 、 和redis_data。只要不删除这些卷，Airflow 应用程序状态就会持续存在。

为了避免无意中删除这些卷，您可以将主机目录安装为数据卷。或者，您可以使用卷插件来托管卷数据。

使用 Docker Compose 将主机目录挂载为数据卷

以下docker-compose.yml模板演示了如何使用主机目录作为数据卷。

version: '2'
services:postgresql:image: 'bitnami/postgresql:latest'environment:- POSTGRESQL_DATABASE=bitnami_airflow- POSTGRESQL_USERNAME=bn_airflow- POSTGRESQL_PASSWORD=bitnami1volumes:- /path/to/postgresql-persistence:/bitnamiredis:image: 'bitnami/redis:latest'environment:- ALLOW_EMPTY_PASSWORD=yesvolumes:- /path/to/redis-persistence:/bitnamiairflow-worker:image: bitnami/airflow-worker:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow-scheduler:image: bitnami/airflow-scheduler:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.comports:- '8080:8080'
使用 Docker 命令行将主机目录挂载为数据卷

  1. 创建网络（如果不存在）

    docker network create airflow-tier

  2. 使用主机卷创建 PostgreSQL 容器

    docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume /path/to/postgresql-persistence:/bitnami \bitnami/postgresql:latest

  3. 使用主机卷创建 Redis® 容器

    docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume /path/to/redis-persistence:/bitnami \bitnami/redis:latest

  4. 创建Airflow容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 创建 Airflow Scheduler 容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 创建 Airflow Worker 容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \--net airflow-tier \bitnami/airflow-worker:latest

配置

安装额外的 python 模块

该容器支持在启动时安装额外的 python 模块。为此，您可以requirements.txt根据您的特定需求在路径下挂载一个文件/bitnami/python/requirements.txt。

环境变量

可定制的环境变量
NameDescriptionDefault Value
AIRFLOW_EXECUTORAirflow executor.SequentialExecutor
AIRFLOW_EXECUTORAirflow executor.CeleryExecutor
AIRFLOW_FORCE_OVERWRITE_CONF_FILEForce the airflow.cfg config file generation.no
AIRFLOW_WEBSERVER_HOSTAirflow webserver host127.0.0.1
AIRFLOW_WEBSERVER_PORT_NUMBERAirflow webserver port.8080
AIRFLOW_HOSTNAME_CALLABLEMethod to obtain the hostname.socket.gethostname
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.postgresql
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.127.0.0.1
AIRFLOW_DATABASE_PORT_NUMBERPort used by PostgreSQL server.5432
AIRFLOW_DATABASE_NAMEDatabase name that Airflow will use to connect with the database.bitnami_airflow
AIRFLOW_DATABASE_USERNAMEDatabase user that Airflow will use to connect with the database.bn_airflow
AIRFLOW_DATABASE_USE_SSLSet to yes if the database is using SSL.no
AIRFLOW_REDIS_USE_SSLSet to yes if Redis® uses SSL.no
REDIS_HOSTHostname for Redis® server.redis
REDIS_HOSTHostname for Redis® server.127.0.0.1
REDIS_PORT_NUMBERPort used by Redis® server.6379
REDIS_DATABASEName of the Redis® database.1
只读环境变量
NameDescriptionValue
AIRFLOW_BASE_DIRAirflow installation directory.${BITNAMI_ROOT_DIR}/airflow
AIRFLOW_HOMEAirflow home directory.${AIRFLOW_BASE_DIR}
AIRFLOW_BIN_DIRAirflow directory for binary executables.${AIRFLOW_BASE_DIR}/venv/bin
AIRFLOW_LOGS_DIRAirflow logs directory.${AIRFLOW_BASE_DIR}/logs
AIRFLOW_LOG_FILEAirflow logs directory.${AIRFLOW_LOGS_DIR}/airflow-worker.log
AIRFLOW_CONF_FILEAirflow configuration file.${AIRFLOW_BASE_DIR}/airflow.cfg
AIRFLOW_TMP_DIRAirflow directory temporary files.${AIRFLOW_BASE_DIR}/tmp
AIRFLOW_PID_FILEPath to the Airflow PID file.${AIRFLOW_TMP_DIR}/airflow-worker.pid
AIRFLOW_DAGS_DIRAirflow data to be persisted.${AIRFLOW_BASE_DIR}/dags
AIRFLOW_DAEMON_USERAirflow system user.airflow
AIRFLOW_DAEMON_GROUPAirflow system group.airflow

除了前面的环境变量之外，配置文件中的所有参数都可以使用以下格式的环境变量覆盖：AIRFLOW__{SECTION}__{KEY}. 注意双下划线。

使用 Docker Compose 指定环境变量
version: '2'services:airflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.com
在 Docker 命令行上指定环境变量
docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \bitnami/airflow:latest

这篇关于【Docker】Airflow Worker 容器部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/832419。

相关文章

tomcat多实例部署的项目实践

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录，测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的
阅读更多...
SpringBoot配置Ollama实现本地部署DeepSeek

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技
阅读更多...
Docker镜像pull失败两种解决办法小结

Docker镜像pull失败两种解决办法小结

《Docker镜像pull失败两种解决办法小结》有时候我们在拉取Docker镜像的过程中会遇到一些问题,：本文主要介绍Docker镜像pull失败两种解决办法的相关资料,文中通过代码介绍的非常详细... 目录docker 镜像 pull 失败解决办法1DrQwWCocker 镜像 pull 失败解决方法2总
阅读更多...
如何将Tomcat容器替换为Jetty容器

如何将Tomcat容器替换为Jetty容器

《如何将Tomcat容器替换为Jetty容器》：本文主要介绍如何将Tomcat容器替换为Jetty容器问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Tomcat容器替换为Jetty容器修改Maven依赖配置文件调整（可选）重新构建和运行总结Tomcat容器替
阅读更多...
通过Docker Compose部署MySQL的详细教程

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基
阅读更多...
CentOS 7部署主域名服务器 DNS的方法

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域
阅读更多...
C++从序列容器中删除元素的四种方法

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque
阅读更多...
C++常见容器获取头元素的方法大全

C++常见容器获取头元素的方法大全

《C++常见容器获取头元素的方法大全》在C++编程中,容器是存储和管理数据集合的重要工具,不同的容器提供了不同的接口来访问和操作其中的元素,获取容器的头元素（即第一个元素）是常见的操作之一,本文将详细... 目录一、std::vector二、std::list三、std::deque四、std::forwa
阅读更多...
关于Docker Desktop的WSL报错问题解决办法

关于Docker Desktop的WSL报错问题解决办法

《关于DockerDesktop的WSL报错问题解决办法》：本文主要介绍关于DockerDesktop的WSL报错问题解决办法的相关资料,排查发现是因清理%temp%文件夹误删关键WSL文件,... 目录发现问题排查过程：解决方法其实很简单：重装之后再看就能够查到了：最后分享几个排查这类问题的小www.cp
阅读更多...
Python容器类型之列表/字典/元组/集合方式

Python容器类型之列表/字典/元组/集合方式

《Python容器类型之列表/字典/元组/集合方式》：本文主要介绍Python容器类型之列表/字典/元组/集合方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 列表（List） - 有序可变序列1.1 基本特性1.2 核心操作1.3 应用场景2. 字典（D
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2