Airflow

Airflow

Apache Airflow: DAG 编排:用 Python 代码定义任务依赖,调度器按时触发。

核心功能

DAG 编排:用 Python 代码定义任务依赖,调度器按时触发。

功能亮点

slug

airflow

2.0 声明

---

语言

Python(DAG 即用 Python 编写)。

部署

自托管(容器 / K8s)或云托管。

生态

与 Spark、dbt、Kafka、各大云厂商深度集成。

官网

https://airflow.apache.org

适用场景

• 多步骤自动化
• 研发/运营助理
• 知识库助手

安装配置

本地开发:pip install 'apache-airflow[celery]' 时必须带官方 constraints 约束文件(--constraint https://raw.githubusercontent.com/apache/airflow/constraints-<版本>/constraints-<Python版本>.txt),装好后 airflow db migrate 初始化元数据库,再用 airflow standalone 一键拉起调度器与 Web UI(默认 http://localhost:8080,首次启动自动生成 admin 密码);也可用 uvx apache-airflow standalone / pipx run apache-airflow standalone 免安装试跑;生产部署用官方 apache/airflow Docker 镜像配 docker-compose.yaml,或在 Kubernetes 上装官方 Helm Chart。

使用方法

在 dags/ 目录写 Python 文件定义 DAG:用 @dag/@task 装饰器或 with DAG(...) 上下文声明,任务节点用 BashOperator、PythonOperator、KubernetesPodOperator 或各 Provider 提供的 Transfer Operator,用 >> 串出依赖顺序;schedule 参数填 cron 表达式或 timedelta,scheduler 到点生成 DagRun 并交给 Executor 执行;Web UI 的 Grid / Graph 视图看每次运行状态与任务日志,失败任务可单独 Clear 重跑,retries 与 retry_delay 控制自动重试;跨 DAG 依赖用 Sensor 等待或用 Asset/Dataset 事件触发,变量与连接信息统一存在 Variables / Connections 里。

关键指标

尚未核验对标产品,此处只列本工具自身指标,不做对比结论。

指标Airflow
价格免费
开源
上手难度进阶

相关工具

同类工具

优点

  • 适合复杂任务
  • 可组合
  • 生态增长快

缺点

  • 可靠性/安全难点
  • 需要评测与监控
  • 工程化成本