ml-pipeline-workflow

此技能為機器學習的全生命週期提供了強大的編排框架，從原始數據提取到生產級模型部署。專為數據科學家、機器學習工程師和 MLOps 從業人員設計，旨在協助團隊從實驗性腳本轉向可重現、自動化且可擴展的系統架構。透過標準化管線方法，團隊可確保數據血緣的一致性、實驗追蹤的透明度以及部署過程的可靠性。

• 端到端管線架構，支援使用 Apache Airflow、Dagster 和 Kubeflow 等工具進行 DAG 編排。

• 全面的數據準備功能，包括數據驗證、特徵工程、版本控制與血緣追蹤。

• 自動化訓練作業管理，整合 MLflow 或 Weights & Biases 進行實驗追蹤，並支援分散式訓練模式。

• 嚴謹的模型驗證工作流程，包含效能回歸偵測、A/B 測試基礎設施及標準化指標比較。

• 部署自動化，支援金絲雀發布、藍綠部署策略，以及模型工件的自動回滾機制。

• 模組化設計原則，確保生產級 ML 系統內階段測試的獨立性、冪等性與可觀察性。

• 利用提供的 DAG 範本與訓練配置快速啟動專案，同時保持專業標準。

• 整合 AWS SageMaker、Google Vertex AI、Azure ML 或 Kubernetes/KServe 等雲端平台來管理服務基礎設施。

• 在準備階段整合 Great Expectations 或 TFX 等函式庫，確保數據品質。

• 監控模型效能與漂移，以維持長期的生產穩定性。

• 遵循提供的漸進式揭露層級，從簡單的線性流程開始，隨著基礎設施成熟，逐步演進至多模型集成策略。