工程开发
airflow avatar

airflow

使用 af CLI 查询、管理及排查 Apache Airflow 工作流程。支持 DAG 调查、任务日志提取、触发执行、错误诊断及系统健康监控。

简介

airflow 技能为数据工程师与平台运维人员提供了与 Apache Airflow 2.x 及 3.x 环境互动的完整接口。通过利用 af 命令行接口,用户可以直接从 AI 代理环境执行复杂的编排任务。此技能针对复杂数据管道的快速排查与运维管理进行了优化,协助团队缩短管道失败与部署瓶颈的解决时间。

  • 执行精细的 DAG 操作,包括列出清单、探索详细信息、查看源代码以及切换暂停/恢复状态。

  • 执行与管理管道运行:触发特定 DAG、清除任务实例以进行重试,并监控实时执行统计数据。

  • 故障排除与调试:获取任务日志、诊断失败的执行状况,并识别 DAG 文件中的解析或导入错误。

  • 管理实例配置:查看全局 Airflow 设置、列出有效连接、检查变量与资源池,并审核已安装的提供者或插件。

  • 系统监控:执行健康检查、分析 API 可访问性,并顺畅管理多个 Airflow 实例内容(如 prod、staging、local)。

  • 当用户请求中出现“Airflow”、“DAG”、“任务日志 (task log)”、“导入错误 (import error)”或“损坏的 DAG (broken DAG)”等关键字时,请使用此技能。

  • 此技能作为 Airflow REST API 的抽象层,为基于 CLI 的管理提供了 AI 原生工具。

  • 请勿将此技能用于基于 SQL 的元数据分析;此类任务请导向至 analyzing-data 技能。

  • 确保通过环境变量 (AIRFLOW_API_URL 等) 或 ~/.af/config.yaml 文件配置 af,以确保凭据管理安全。

  • 在执行如实例发现等敏感管理操作时,请务必使用 --dry-run 标志,以便在执行变更前确认动作。

仓库统计

Star 数
351
Fork 数
44
Open Issue 数
13
主要语言
Python
默认分支
main
同步状态
空闲
最近同步时间
2026年5月1日 07:47
在 GitHub 查看