senior-data-engineer

资深数据工程师技能提供设计、部署与维护生产级数据系统及人工智能/机器学习基础设施的高级专业知识。专为资深数据工程师、架构师与 MLOps 专业人员设计，旨在协助管理复杂的高吞吐量环境，同时确保数据质量、安全与可扩展性。此技能支持用户自动化数据工作流并实施强大的架构模式。

• 使用 Airflow 与自定义 Python 脚本进行高级数据管道编排，以确保执行的可靠性。

• 提供 ETL/ELT 工作流的全面性能优化技术，以最小化延迟并节省云端基础设施成本。

• 具备分布式计算框架（如 Spark 与 Kafka）的专业知识，用于实时处理与批次数据摄取。

• 实施数据治理、质量验证框架与 DataOps 最佳实践，以维护数据管道的完整性。

• 支持现代数据堆叠组件，包括用于转换的 dbt 以及 PostgreSQL、BigQuery 与 Snowflake 等数据库。

• 具备 MLOps 整合能力，可用于模型部署、特征商店管理，以及使用 Prometheus 与 MLflow 进行实时推论监控。

• 在启动新的数据架构项目或重构遗留管道以达到性能目标 (P50 < 50ms) 时使用此技能。

• 输入原始数据配置、SQL 架构定义或性能瓶颈，即可获得结构化的管道脚本或优化策略。

• 确保所有部署皆符合安全与合规标准，包含个人识别信息 (PII) 处理与加密协议。

• 在执行基础设施变更时，请遵循测试驱动开发 (TDD) 与 CI/CD 最佳实践，以确保高可用性并将错误率降至最低。

• 利用随附的参考文档，将团队实践与系统设计及可扩展性的行业标准模式对齐。