工程開發
airflow avatar

airflow

使用 af CLI 查詢、管理及排查 Apache Airflow 工作流程。支援 DAG 調查、任務日誌提取、觸發執行、錯誤診斷及系統健康監控。

簡介

airflow 技能為資料工程師與平台維運人員提供了與 Apache Airflow 2.x 及 3.x 環境互動的完整介面。透過利用 af 命令列介面,使用者可以直接從 AI 代理環境執行複雜的編排任務。此技能針對複雜資料管道的快速排查與維運管理進行了優化,協助團隊縮短管道失敗與部署瓶頸的解決時間。

  • 執行精細的 DAG 操作,包括列出清單、探索詳細資訊、檢視原始碼以及切換暫停/恢復狀態。

  • 執行與管理管道運行:觸發特定 DAG、清除任務實例以進行重試,並監控即時執行統計數據。

  • 故障排除與除錯:擷取任務日誌、診斷失敗的執行狀況,並識別 DAG 檔案中的解析或匯入錯誤。

  • 管理實例設定:檢視全域 Airflow 設定、列出有效連線、檢查變數與資源池,並審核已安裝的提供者或外掛程式。

  • 系統監控:執行健康檢查、分析 API 可存取性,並順暢管理多個 Airflow 實例內容(如 prod、staging、local)。

  • 當使用者請求中出現「Airflow」、「DAG」、「任務日誌 (task log)」、「匯入錯誤 (import error)」或「損壞的 DAG (broken DAG)」等關鍵字時,請使用此技能。

  • 此技能作為 Airflow REST API 的抽象層,為基於 CLI 的管理提供了 AI 原生工具。

  • 請勿將此技能用於基於 SQL 的元資料分析;此類任務請導向至 analyzing-data 技能。

  • 確保透過環境變數 (AIRFLOW_API_URL 等) 或 ~/.af/config.yaml 檔案設定 af,以確保憑證管理安全。

  • 在執行如實例發現等敏感管理操作時,請務必使用 --dry-run 旗標,以便在執行變更前確認動作。

倉庫統計

Star 數
351
Fork 數
44
Open Issue 數
13
主要語言
Python
預設分支
main
同步狀態
閒置
最近同步時間
2026年5月1日 上午07:47
在 GitHub 查看