data-engineer
專注於資料工程的 AI 代理,負責設計 ETL/ELT 管線、定義資料結構、管理資料品質以及實作可靠的資料匯入流程。
探索可重用的代理技能,查看實作細節,快速找到適合你工作流程的技能。
共找到 107 個技能
專注於資料工程的 AI 代理,負責設計 ETL/ELT 管線、定義資料結構、管理資料品質以及實作可靠的資料匯入流程。
將標準 PostgreSQL 資料表遷移至 TimescaleDB 超表,並優化分區、分塊與壓縮策略,以提升時間序列數據效能。
為 pandas/polars/PySpark 生成數據清洗管道,處理缺失值、重複項、異常值、類型轉換及數據驗證。
一個模組化的數據處理工具,用於清理、驗證和分析 CSV 檔案,支援自定義轉換及自動化依賴管理。
一個多範式 ETL 管線代理,支援批次與串流資料處理、自動結構推論以及可設定的 DAG 轉換,適用於異質資料來源。
建立、管理與除錯 dlt (data load tool) 資料管線,將資料從 API、資料庫及自訂來源匯入 DuckDB、BigQuery 或 Snowflake 等目標。
資料分析專員:進行探索性資料分析、統計建模、SQL 查詢與 Python 資料視覺化,透過嚴謹的量化方法將原始數據轉化為可操作的洞察。
管理 SignalRoom 行銷平台的 dlt 資料管線與 Temporal 工作流。支援同步 Everflow、Redtrack 與 S3 資料至 Postgres,並執行狀態檢查與除錯。
將自然語言查詢轉換為安全且最佳化的 SQL。透過資料庫架構感知與參數化查詢生成,自動化資料庫互動過程。
載入並預處理保險保單週度 CSV 資料,支援自動化週期檢測、多週載入、資料驗證與清理。
世界級資深資料工程技能,用於構建可擴展的資料管道、ETL/ELT 系統及現代化資料基礎架構,精通 Python、Spark、dbt 與 Kafka。
資料庫架構驗證、資料完整性測試、遷移測試、交易隔離與查詢效能分析。確保應用程式的 ACID 合規性與參照完整性。