【Docker】Airflow Worker 容器部署

2024-03-21 10:20
文章标签 部署 docker 容器 worker airflow

本文主要是介绍【Docker】Airflow Worker 容器部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Airflow Worker环境标准软件基于Bitnami airflow-worker 构建。当前版本为2.4.58

你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，可以从如下环境获取
配置文件地址: https://gitee.com/qingplus/qingcloud-platform

qinghub自动安装部署配置库

What is Apache Airflow Worker?

Apache Airflow Worker是一种以有向无环图 (DAG) 形式表达和执行工作流程的工具。Airflow Worker 监听并处理包含工作流任务的队列。

快速启动

docker run --name airflow-worker bitnami/airflow-worker:latest

您可以在环境变量部分找到默认凭据和可用的配置选项。

先决条件

要运行此应用程序，您需要Docker Engine >= 1.10.0。建议使用Docker Compose1.6.0版本或更高版本。

如何使用

Airflow Worker 是使用CeleryExecutor. 因此，您将需要其余的 Airflow 组件才能使该图像正常工作。您将需要一个Airflow Web 服务器、一个Airflow Scheduler、一个PostgreSQL 数据库和一个Redis® 服务器。

使用 Docker 命令行

  1. 创建网络

    docker network create airflow-tier

  2. 创建用于 PostgreSQL 持久化的卷并创建 PostgreSQL 容器

    docker volume create --name postgresql_data
docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume postgresql_data:/bitnami/postgresql \bitnami/postgresql:latest

  3. 创建 Redis® 持久性卷并创建 Redis® 容器

    docker volume create --name redis_data
docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume redis_data:/bitnami \bitnami/redis:latest

  4. 启动 Apache Airflow Worker Web 容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 启动 Apache Airflow Worker 调度程序容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 启动 Apache Airflow Worker 工作容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_QUEUE=new_queue \--net airflow-tier \bitnami/airflow-worker:latest

访问 : http://your-ip:8080

Persisting your application

Bitnami Airflow 容器依赖 PostgreSQL 数据库和 Redis 来保存数据。这意味着 Airflow 不会保留任何东西。为了避免数据丢失，您应该安装卷以持久保存PostgreSQL 数据和Redis® 数据

上面的示例定义了 docker 卷postgresql_data，即 、 和redis_data。只要不删除这些卷，Airflow 应用程序状态就会持续存在。

为了避免无意中删除这些卷，您可以将主机目录安装为数据卷。或者，您可以使用卷插件来托管卷数据。

使用 Docker Compose 将主机目录挂载为数据卷

以下docker-compose.yml模板演示了如何使用主机目录作为数据卷。

version: '2'
services:postgresql:image: 'bitnami/postgresql:latest'environment:- POSTGRESQL_DATABASE=bitnami_airflow- POSTGRESQL_USERNAME=bn_airflow- POSTGRESQL_PASSWORD=bitnami1volumes:- /path/to/postgresql-persistence:/bitnamiredis:image: 'bitnami/redis:latest'environment:- ALLOW_EMPTY_PASSWORD=yesvolumes:- /path/to/redis-persistence:/bitnamiairflow-worker:image: bitnami/airflow-worker:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow-scheduler:image: bitnami/airflow-scheduler:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_LOAD_EXAMPLES=yesairflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.comports:- '8080:8080'
使用 Docker 命令行将主机目录挂载为数据卷

  1. 创建网络（如果不存在）

    docker network create airflow-tier

  2. 使用主机卷创建 PostgreSQL 容器

    docker run -d --name postgresql \-e POSTGRESQL_USERNAME=bn_airflow \-e POSTGRESQL_PASSWORD=bitnami1 \-e POSTGRESQL_DATABASE=bitnami_airflow \--net airflow-tier \--volume /path/to/postgresql-persistence:/bitnami \bitnami/postgresql:latest

  3. 使用主机卷创建 Redis® 容器

    docker run -d --name redis \-e ALLOW_EMPTY_PASSWORD=yes \--net airflow-tier \--volume /path/to/redis-persistence:/bitnami \bitnami/redis:latest

  4. 创建Airflow容器

    docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \--net airflow-tier \bitnami/airflow:latest

  5. 创建 Airflow Scheduler 容器

    docker run -d --name airflow-scheduler \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_LOAD_EXAMPLES=yes \--net airflow-tier \bitnami/airflow-scheduler:latest

  6. 创建 Airflow Worker 容器

    docker run -d --name airflow-worker \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \--net airflow-tier \bitnami/airflow-worker:latest

配置

安装额外的 python 模块

该容器支持在启动时安装额外的 python 模块。为此，您可以requirements.txt根据您的特定需求在路径下挂载一个文件/bitnami/python/requirements.txt。

环境变量

可定制的环境变量
NameDescriptionDefault Value
AIRFLOW_EXECUTORAirflow executor.SequentialExecutor
AIRFLOW_EXECUTORAirflow executor.CeleryExecutor
AIRFLOW_FORCE_OVERWRITE_CONF_FILEForce the airflow.cfg config file generation.no
AIRFLOW_WEBSERVER_HOSTAirflow webserver host127.0.0.1
AIRFLOW_WEBSERVER_PORT_NUMBERAirflow webserver port.8080
AIRFLOW_HOSTNAME_CALLABLEMethod to obtain the hostname.socket.gethostname
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.postgresql
AIRFLOW_DATABASE_HOSTHostname for PostgreSQL server.127.0.0.1
AIRFLOW_DATABASE_PORT_NUMBERPort used by PostgreSQL server.5432
AIRFLOW_DATABASE_NAMEDatabase name that Airflow will use to connect with the database.bitnami_airflow
AIRFLOW_DATABASE_USERNAMEDatabase user that Airflow will use to connect with the database.bn_airflow
AIRFLOW_DATABASE_USE_SSLSet to yes if the database is using SSL.no
AIRFLOW_REDIS_USE_SSLSet to yes if Redis® uses SSL.no
REDIS_HOSTHostname for Redis® server.redis
REDIS_HOSTHostname for Redis® server.127.0.0.1
REDIS_PORT_NUMBERPort used by Redis® server.6379
REDIS_DATABASEName of the Redis® database.1
只读环境变量
NameDescriptionValue
AIRFLOW_BASE_DIRAirflow installation directory.${BITNAMI_ROOT_DIR}/airflow
AIRFLOW_HOMEAirflow home directory.${AIRFLOW_BASE_DIR}
AIRFLOW_BIN_DIRAirflow directory for binary executables.${AIRFLOW_BASE_DIR}/venv/bin
AIRFLOW_LOGS_DIRAirflow logs directory.${AIRFLOW_BASE_DIR}/logs
AIRFLOW_LOG_FILEAirflow logs directory.${AIRFLOW_LOGS_DIR}/airflow-worker.log
AIRFLOW_CONF_FILEAirflow configuration file.${AIRFLOW_BASE_DIR}/airflow.cfg
AIRFLOW_TMP_DIRAirflow directory temporary files.${AIRFLOW_BASE_DIR}/tmp
AIRFLOW_PID_FILEPath to the Airflow PID file.${AIRFLOW_TMP_DIR}/airflow-worker.pid
AIRFLOW_DAGS_DIRAirflow data to be persisted.${AIRFLOW_BASE_DIR}/dags
AIRFLOW_DAEMON_USERAirflow system user.airflow
AIRFLOW_DAEMON_GROUPAirflow system group.airflow

除了前面的环境变量之外，配置文件中的所有参数都可以使用以下格式的环境变量覆盖：AIRFLOW__{SECTION}__{KEY}. 注意双下划线。

使用 Docker Compose 指定环境变量
version: '2'services:airflow:image: bitnami/airflow:latestenvironment:- AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho=- AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08=- AIRFLOW_EXECUTOR=CeleryExecutor- AIRFLOW_DATABASE_NAME=bitnami_airflow- AIRFLOW_DATABASE_USERNAME=bn_airflow- AIRFLOW_DATABASE_PASSWORD=bitnami1- AIRFLOW_PASSWORD=bitnami123- AIRFLOW_USERNAME=user- AIRFLOW_EMAIL=user@example.com
在 Docker 命令行上指定环境变量
docker run -d --name airflow -p 8080:8080 \-e AIRFLOW_FERNET_KEY=46BKJoQYlPPOexq0OhDZnIlNepKFf87WFwLbfzqDDho= \-e AIRFLOW_SECRET_KEY=a25mQ1FHTUh3MnFRSk5KMEIyVVU2YmN0VGRyYTVXY08= \-e AIRFLOW_EXECUTOR=CeleryExecutor \-e AIRFLOW_DATABASE_NAME=bitnami_airflow \-e AIRFLOW_DATABASE_USERNAME=bn_airflow \-e AIRFLOW_DATABASE_PASSWORD=bitnami1 \-e AIRFLOW_PASSWORD=bitnami123 \-e AIRFLOW_USERNAME=user \-e AIRFLOW_EMAIL=user@example.com \bitnami/airflow:latest

这篇关于【Docker】Airflow Worker 容器部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/832419。

相关文章

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署
阅读更多...
部署Vue项目到服务器后404错误的原因及解决方案

部署Vue项目到服务器后404错误的原因及解决方案

《部署Vue项目到服务器后404错误的原因及解决方案》文章介绍了Vue项目部署步骤以及404错误的解决方案,部署步骤包括构建项目、上传文件、配置Web服务器、重启Nginx和访问域名,404错误通常是... 目录一、vue项目部署步骤二、404错误原因及解决方案错误场景原因分析解决方案一、Vue项目部署步骤
阅读更多...
Linux流媒体服务器部署流程

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装（添加RTMP和openssl模块
阅读更多...
0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型，3步搞定一个应
阅读更多...
redis群集简单部署过程

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.
阅读更多...
Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll
阅读更多...
Go语言中三种容器类型的数据结构详解

Go语言中三种容器类型的数据结构详解

《Go语言中三种容器类型的数据结构详解》在Go语言中,有三种主要的容器类型用于存储和操作集合数据：本文主要介绍三者的使用与区别,感兴趣的小伙伴可以跟随小编一起学习一下... 目录基本概念1. 数组（Array）2. 切片（Slice）3. 映射（Map）对比总结注意事项基本概念在 Go 语言中，有三种主要
阅读更多...
docker如何删除悬空镜像

docker如何删除悬空镜像

《docker如何删除悬空镜像》文章介绍了如何使用Docker命令删除悬空镜像,以提高服务器空间利用率,通过使用dockerimage命令结合filter和awk工具,可以过滤出没有Tag的镜像,并将... 目录docChina编程ker删除悬空镜像前言悬空镜像docker官方提供的方式自定义方式总结docker
阅读更多...
nginx部署https网站的实现步骤(亲测)

nginx部署https网站的实现步骤(亲测)

《nginx部署https网站的实现步骤(亲测)》本文详细介绍了使用Nginx在保持与http服务兼容的情况下部署HTTPS,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录步骤 1：安装 Nginx步骤 2：获取 SSL 证书步骤 3：手动配置 Nginx步骤 4：测
阅读更多...
Tomcat高效部署与性能优化方式

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2