ACK One Argo工作流：实现动态 Fan-out/Fan-in 任务编排

2024-02-07 21:04
文章标签 动态 实现 工作 编排 任务 one fan ack argo

本文主要是介绍ACK One Argo工作流：实现动态 Fan-out/Fan-in 任务编排，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

作者：庄宇

什么是 Fan-out Fan-in

在工作流编排过程中，为了加快大任务处理的效率，可以使用 Fan-out Fan-in 任务编排，将大任务分解成小任务，然后并行运行小任务，最后聚合结果。

图片

由上图，可以使用 DAG（有向无环图）编排 Fan-out Fan-in 任务，子任务的拆分方式分为静态和动态，分别对应静态 DAG 和动态 DAG。动态 DAG Fan-out Fan-in 也可以理解为 MapReduce。每个子任务为 Map，最后聚合结果为 Reduce。

静态 DAG： 拆分的子任务分类是固定的，例如：在数据收集场景中，同时收集数据库 1 和数据库 2 中的数据，最后聚合结果。

动态 DAG： 拆分的子任务分类是动态的，取决于前一个任务的输出结果，例如：在数据处理场景中，任务 A 可以扫描待处理的数据集，为每个子数据集（例如：一个子目录）启动子任务 Bn 处理，当所有子任务 Bn 运行结束后，在子任务 C 中聚合结果，具体启动多少个子任务 B 取决由任务 A 的输出结果。根据实际的业务场景，可以在任务 A 中自定义子任务的拆分规则。

ACK One 分布式工作流 Argo 集群

在实际的业务场景中，为了加快大任务的执行，提升效率，往往需要将一个大任务分解成数千个子任务，为了保证数千个子任务的同时运行，需要调度数万核的 CPU 资源，叠加多任务需要竞争资源，一般 IDC 的离线任务集群难以满足需求。例如：自动驾驶仿真任务，修改算法后的回归测试，需要对所有驾驶场景仿真，每个小驾驶场景的仿真可以由一个子任务运行，开发团队为加快迭代速度，要求所有子场景测试并行执行。

如果您在数据处理，仿真计算和科学计算等场景中，需要使用动态 DAG 的方式编排任务，或者同时需要调度数万核的 CPU 资源加快任务运行，您可以使用阿里云 ACK One 分布式工作流 Argo 集群 [ 1] 。

ACK One 分布式工作流 Argo 集群，产品化托管 Argo Workflow [ 2] ，提供售后支持，支持动态 DAG Fan-out Fan-in 任务编排，支持按需调度云上算力，利用云上弹性，调度数万核 CPU 资源并行运行大规模子任务，减少运行时间，运行完成后及时回收资源节省成本。支持数据处理，机器学习，仿真计算，科学计算，CICD 等业务场景。

Argo Workflow 是开源 CNCF 毕业项目，聚焦云原生领域下的工作流编排，使用 Kubernetes CRD 编排离线任务和 DAG 工作流，并使用 Kubernetes Pod 在集群中调度运行。

本文介绍使用 Argo Workflow 编排动态 DAG Fan-out Fan-in 任务。

Argo Workflow 编排 Fan-out Fan-in 任务

我们将构建一个动态 DAG Fan-out Fan-in 工作流，读取阿里云 OSS 对象存储中的一个大日志文件，并将其拆分为多个小文件（split），启动多个子任务分别计算每个小文件中的关键词数量（count），最后聚合结果（merge）。

  1. 创建分布式工作流 Argo 集群 [ 3] 。

  2. 挂载阿里云 OSS 存储卷，工作流可以像操作本地文件一样，操作阿里云 OSS 上的文件。参考：工作流使用存储卷 [ 4] 。

  3. 使用以下工作流 YAML 创建一个工作流，参考：创建工作流 [ 5] 。具体说明参见注释。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:generateName: dynamic-dag-map-reduce-
spec:entrypoint: main# claim a OSS PVC, workflow can read/write file in OSS through PVC. volumes:- name: workdirpersistentVolumeClaim:claimName: pvc-oss# how many tasks to split, default is 5.arguments:parameters:- name: numPartsvalue: "5"templates:- name: main# DAG definition.dag:tasks:# split log files to several small files, based on numParts.- name: splittemplate: splitarguments:parameters:- name: numPartsvalue: "{{workflow.parameters.numParts}}"# multiple map task to count words in each small file.- name: maptemplate: maparguments:parameters:- name: partIdvalue: '{{item}}'depends: "split"# run as a loop, partId from split task json outputs.withParam: '{{tasks.split.outputs.result}}'- name: reducetemplate: reducearguments:parameters:- name: numPartsvalue: "{{workflow.parameters.numParts}}"depends: "map"# The `split` task split the big log file to several small files. Each file has a unique ID (partId).# Finally, it dumps a list of partId to stdout as output parameters- name: splitinputs:parameters:- name: numPartscontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/python-log-countcommand: [python]args: ["split.py"]env:- name: NUM_PARTSvalue: "{{inputs.parameters.numParts}}"volumeMounts:- name: workdirmountPath: /mnt/vol# One `map` per partID is started. Finds its own "part file" and processes it.- name: mapinputs:parameters:- name: partIdcontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/python-log-countcommand: [python]args: ["count.py"]env:- name: PART_IDvalue: "{{inputs.parameters.partId}}"volumeMounts:- name: workdirmountPath: /mnt/vol# The `reduce` task takes the "results directory" and returns a single result.- name: reduceinputs:parameters:- name: numPartscontainer:image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/python-log-countcommand: [python]args: ["merge.py"]env:- name: NUM_PARTSvalue: "{{inputs.parameters.numParts}}"volumeMounts:- name: workdirmountPath: /mnt/voloutputs:artifacts:- name: resultpath: /mnt/vol/result.json
  1. 动态 DAG 实现

1）split 任务在拆分大文件后，会在标准输出中输出一个 json 字符串，包含：子任务要处理的 partId，例如：

["0", "1", "2", "3", "4"]

2）map 任务使用 withParam 引用 split 任务的输出，并解析 json 字符串获得所有 {{item}}，并使用每个 {{item}} 作为输入参数启动多个 map 任务。

          - name: maptemplate: maparguments:parameters:- name: partIdvalue: '{{item}}'depends: "split"withParam: '{{tasks.split.outputs.result}}'

更多定义方式，请参考开源 Argo Workflow 文档 [ 6] 。

  1. 工作流运行后，通过分布式工作流 Argo 集群控制台 [ 7] 查看任务 DAG 流程与运行结果。

图片

  1. 阿里云 OSS 文件列表，log-count-data.txt 为输入日志文件，split-output，cout-output 中间结果目录，result.json 为最终结果文件。

图片

  1. 示例中的源代码可以参考：AliyunContainerService GitHub argo-workflow-examples [ 8] 。

总结

Argo Workflow 是开源 CNCF 毕业项目，聚焦云原生领域下的工作流编排，使用 Kubernetes CRD 编排离线任务和 DAG 工作流，并使用 Kubernetes Pod 在集群中调度运行。

阿里云 ACK One 分布式工作流 Argo 集群，产品化托管 Argo Workflow，提供售后支持，加固控制面实现数万子任务（Pod）稳定高效调度运行，数据面支持无服务器方式调度云上大规模算力，无需运维集群或者节点，支持按需调度云上算力，利用云上弹性，调度数万核 CPU 资源并行运行大规模子任务，减少运行时间，支持数据处理，机器学习，仿真计算，科学计算，CICD 等业务场景。

欢迎加入 ACK One 客户交流钉钉群与我们进行交流。（钉钉群号：35688562）

相关链接：

[1] 阿里云 ACK One 分布式工作流 Argo 集群

https://help.aliyun.com/zh/ack/overview-12

[2] Argo Workflow

https://argo-workflows.readthedocs.io/en/latest/

[3] 创建分布式工作流 Argo 集群

https://help.aliyun.com/zh/ack/create-a-workflow-cluster

[4] 工作流使用存储卷

https://help.aliyun.com/zh/ack/use-volumes

[5] 创建工作流

https://help.aliyun.com/zh/ack/create-a-workflow

[6] 开源 Argo Workflow 文档

https://argo-workflows.readthedocs.io/en/latest/walk-through/loops/

[7] 分布式工作流 Argo 集群控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcs.console.aliyun.com%2Fone%3Fspm%3Da2c4g.11186623.0.0.7e2f1428OwzMip#/argowf/cluster/detail

[8] AliyunContainerService GitHub argo-workflow-examples

https://github.com/AliyunContainerService/argo-workflow-examples/tree/main/log-count

这篇关于ACK One Argo工作流：实现动态 Fan-out/Fan-in 任务编排的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/688930。

相关文章

C++使用栈实现括号匹配的代码详解

C++使用栈实现括号匹配的代码详解

《C++使用栈实现括号匹配的代码详解》在编程中,括号匹配是一个常见问题,尤其是在处理数学表达式、编译器解析等任务时,栈是一种非常适合处理此类问题的数据结构,能够精确地管理括号的匹配问题,本文将通过C+... 目录引言问题描述代码讲解代码解析栈的状态表示测试总结引言在编程中，括号匹配是一个常见问题，尤其是在
阅读更多...
Java实现检查多个时间段是否有重合

Java实现检查多个时间段是否有重合

《Java实现检查多个时间段是否有重合》这篇文章主要为大家详细介绍了如何使用Java实现检查多个时间段是否有重合,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录流程概述步骤详解China编程步骤1：定义时间段类步骤2：添加时间段步骤3：检查时间段是否有重合步骤4：输出结果示例代码结语作
阅读更多...
使用C++实现链表元素的反转

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定
阅读更多...
Java覆盖第三方jar包中的某一个类的实现方法

Java覆盖第三方jar包中的某一个类的实现方法

《Java覆盖第三方jar包中的某一个类的实现方法》在我们日常的开发中,经常需要使用第三方的jar包,有时候我们会发现第三方的jar包中的某一个类有问题,或者我们需要定制化修改其中的逻辑,那么应该如何... 目录一、需求描述二、示例描述三、操作步骤四、验证结果五、实现原理一、需求描述需求描述如下：需要在
阅读更多...
如何使用Java实现请求deepseek

如何使用Java实现请求deepseek

《如何使用Java实现请求deepseek》这篇文章主要为大家详细介绍了如何使用Java实现请求deepseek功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1.deepseek的api创建2.Java实现请求deepseek2.1 pom文件2.2 json转化文件2.2
阅读更多...
python使用fastapi实现多语言国际化的操作指南

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本
阅读更多...
Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

《Android悬浮窗开发示例((动态权限请求|前台服务和通知|悬浮窗创建)》本文介绍了Android悬浮窗的实现效果,包括动态权限请求、前台服务和通知的使用,悬浮窗权限需要动态申请并引导... 目录一、悬浮窗 动态权限请求1、动态请求权限2、悬浮窗权限说明3、检查动态权限4、申请动态权限5、权限设置完毕后
阅读更多...
如何通过Python实现一个消息队列

如何通过Python实现一个消息队列

《如何通过Python实现一个消息队列》这篇文章主要为大家详细介绍了如何通过Python实现一个简单的消息队列,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录如何通过 python 实现消息队列如何把 http 请求放在队列中执行1. 使用 queue.Queue 和 reque
阅读更多...
Python如何实现PDF隐私信息检测

Python如何实现PDF隐私信息检测

《Python如何实现PDF隐私信息检测》随着越来越多的个人信息以电子形式存储和传输,确保这些信息的安全至关重要,本文将介绍如何使用Python检测PDF文件中的隐私信息,需要的可以参考下... 目录项目背景技术栈代码解析功能说明运行结php果在当今，数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形
阅读更多...
使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置（可选）启动服务应用场景
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2