本文主要是介绍65 Airflow组成部分的概念介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1. DAG
Linux的额crontab和Windows的“任务计划”都可以配置定时任务或间隔任务,但不能配置作业之间的依赖关系。Airflow中的DAG就是管理作业依赖关系的。DAG(Directed Acyclic Graphs)翻译为有向无环图,如下图所示就是一个简单的DAG。
在Airflow中,这种DAG是通过编写Python代码来实现的,DAG的编写非常简单,官方提供了很多例子,在安装完成后,启动webserver即可看到DAG样例的源代码(其实是定义了DAG对象的Python程序),稍做修改即可成为自己的DAG。上图中的DAG依赖关系,通过下图三行代码即可完成,非常简洁明了。
2. 操作符--Operators
DAG定义一个作业流
这篇关于65 Airflow组成部分的概念介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!