ml-pipeline-workflow

ML Pipeline Workflow 技能为设计、实施与维护生产级机器学习系统提供了专业框架。它专注于将原始数据转化为可靠且已部署模型所需的全生命周期编排。通过利用基于 DAG 的编排模式，此技能协助工程师构建可复现、可扩展且模块化的工作流，确保高质量 ML 模型的交付。对于寻求标准化训练与部署架构，同时减少复杂 ML 生态系统中技术债的 ML 工程师、数据科学家与 MLOps 从业人员来说，这是一套必备的工具包。

• 端到端 ML 生命周期编排，包含数据摄取、验证、特征工程与模型部署。

• 支持行业标准的基于 DAG 的工作流编排器，例如 Apache Airflow、Dagster、Kubeflow 与 Prefect。

• 内置针对模型版本控制、实验追踪与数据血缘追踪的最佳实践，并可使用 MLflow、Weights & Biases 与 DVC 等工具。

• 全面的验证策略，包含性能回归检测、A/B 测试基础设施与自动化模型比较工作流。

• 部署自动化功能，涵盖金丝雀发布、蓝绿部署策略与生产环境稳定性的回滚机制。

• 针对 AWS SageMaker、Google Vertex AI、Azure ML 与 OCI Data Science 等云端托管 ML 基础设施的集成模式。

• 用户应定义模块化管线阶段（摄取、训练、评估），以确保组件的可重用性与独立可测试性。

• 利用随附的 pipeline-dag.yaml.template 与 training-config.yaml 模板，快速建立新的 ML 工作流架构。

• 在数据准备阶段集成 Great Expectations 或 TFX 等验证库，以确保数据质量。

• 在设计工作流阶段时优先考虑幂等性 (idempotency)，以便在管线失败或数据漂移后进行安全重试。

• 实施针对模型漂移与系统延迟的监控，以便在生产环境中触发自动重试或回滚机制。

• 遵循参考文档中的渐进式揭露等级，从简单的线性管线扩展至多模型集成策略。