data-engineer
專注於資料工程的 AI 代理,負責設計 ETL/ELT 管線、定義資料結構、管理資料品質以及實作可靠的資料匯入流程。
探索可重用的代理技能,查看實作細節,快速找到適合你工作流程的技能。
共找到 119 個技能
專注於資料工程的 AI 代理,負責設計 ETL/ELT 管線、定義資料結構、管理資料品質以及實作可靠的資料匯入流程。
世界級資深資料工程技能,用於構建可擴展的資料管道、ETL/ELT 系統及現代化資料基礎架構,精通 Python、Spark、dbt 與 Kafka。
使用 Great Expectations、dbt 測試與資料合約實作生產級資料品質驗證,確保資料管線的可靠性。
使用 Snowflake CLI 建立、修改及驗證 Snowflake 語意視圖。
根據自然語言描述生成優化後的 SQL 查詢。支援 BigQuery、PostgreSQL、MySQL 與 Snowflake 等多種資料庫方言。分析資料庫架構、解讀業務需求,並輸出包含詳細說明的可執行查詢。
透過 CLI 建立、修改並驗證 Snowflake 語意視圖 (Semantic Views)。自動化產生、說明與測試語意層定義,確保模型準確性與星狀架構合規。
建立、管理與除錯 dlt (data load tool) 資料管線,將資料從 API、資料庫及自訂來源匯入 DuckDB、BigQuery 或 Snowflake 等目標。
資料庫架構驗證、資料完整性測試、遷移測試、交易隔離與查詢效能分析。確保應用程式的 ACID 合規性與參照完整性。
AI 優化專案追蹤系統,利用 YAML 與 Markdown 混合格式,實現高效率的專案編排、階段管理與自動化任務委派,大幅降低 Token 消耗。
Diddit 的 PostgreSQL 架構與遷移專家。管理冪等 SQL 檔案、資料表、索引與約束,嚴格遵循駝峰式命名規則與交易安全性。
執行、調試與管理 DBHub 測試,包含單元測試、使用 Testcontainers 的整合測試及資料庫專屬測試。適用於驗證程式碼變更與排查資料庫連接器問題。
一個模組化的數據處理工具,用於清理、驗證和分析 CSV 檔案,支援自定義轉換及自動化依賴管理。