senior-data-engineer

資深資料工程師技能提供設計、部署與維護生產級資料系統及人工智慧/機器學習基礎架構的高級專業知識。專為資深資料工程師、架構師與 MLOps 專業人員設計，旨在協助管理複雜的高吞吐量環境，同時確保資料品質、安全與可擴展性。此技能支援用戶自動化資料工作流並實施強大的架構模式。

• 使用 Airflow 與自訂 Python 指令碼進行高級資料管道編排，以確保執行的可靠性。

• 提供 ETL/ELT 工作流的全面效能優化技術，以最小化延遲並節省雲端基礎架構成本。

• 具備分散式運算框架（如 Spark 與 Kafka）的專業知識，用於即時處理與批次資料攝取。

• 實施資料治理、品質驗證框架與 DataOps 最佳實踐，以維護資料管道的完整性。

• 支援現代資料堆疊元件，包括用於轉換的 dbt 以及 PostgreSQL、BigQuery 與 Snowflake 等資料庫。

• 具備 MLOps 整合能力，可用於模型部署、特徵商店管理，以及使用 Prometheus 與 MLflow 進行即時推論監控。

• 在啟動新的資料架構專案或重構遺留管道以達到效能目標 (P50 < 50ms) 時使用此技能。

• 輸入原始資料配置、SQL 架構定義或效能瓶頸，即可獲得結構化的管道指令碼或優化策略。

• 確保所有部署皆符合安全與合規標準，包含個人識別資訊 (PII) 處理與加密協定。

• 在執行基礎架構變更時，請遵循測試驅動開發 (TDD) 與 CI/CD 最佳實踐，以確保高可用性並將錯誤率降至最低。

• 利用隨附的參考文件，將團隊實踐與系統設計及可擴展性的產業標準模式對齊。