ml-pipeline-workflow

ML Pipeline Workflow 技能為設計、實作與維護生產級機器學習系統提供了專業框架。它專注於將原始資料轉化為可靠且已部署模型所需的全生命週期協調。透過利用基於 DAG 的協調模式，此技能協助工程師建構可重現、可擴展且模組化的工作流程，確保高品質 ML 模型的交付。對於尋求標準化訓練與部署架構，同時減少複雜 ML 生態系統中技術債的 ML 工程師、資料科學家與 MLOps 從業人員來說，這是一套必備的工具包。

• 端到端 ML 生命週期協調，包含資料擷取、驗證、特徵工程與模型部署。

• 支援業界標準的基於 DAG 的工作流程協調器，例如 Apache Airflow、Dagster、Kubeflow 與 Prefect。

• 內建針對模型版本控制、實驗追蹤與資料血緣追蹤的最佳實務，並可使用 MLflow、Weights & Biases 與 DVC 等工具。

• 全面的驗證策略，包含效能迴歸檢測、A/B 測試基礎設施與自動化模型比較工作流程。

• 部署自動化功能，涵蓋金絲雀發布、藍綠部署策略與生產環境穩定性的回滾機制。

• 針對 AWS SageMaker、Google Vertex AI、Azure ML 與 OCI Data Science 等雲端託管 ML 基礎設施的整合模式。

• 使用者應定義模組化管線階段（擷取、訓練、評估），以確保元件的可重用性與獨立可測試性。

• 利用隨附的 pipeline-dag.yaml.template 與 training-config.yaml 範本，快速建立新的 ML 工作流程架構。

• 在資料準備階段整合 Great Expectations 或 TFX 等驗證函式庫，以確保資料品質。

• 在設計工作流程階段時優先考慮冪等性 (idempotency)，以便在管線失敗或資料漂移後進行安全重新執行。

• 實作針對模型漂移與系統延遲的監控，以便在生產環境中觸發自動重試或回滾機制。

• 遵循參考文件中的漸進式揭露等級，從簡單的線性管線擴展至多模型整合策略。