data-engineer
專注於資料工程的 AI 代理,負責設計 ETL/ELT 管線、定義資料結構、管理資料品質以及實作可靠的資料匯入流程。
探索可重用的代理技能,查看實作細節,快速找到適合你工作流程的技能。
共找到 124 個技能
專注於資料工程的 AI 代理,負責設計 ETL/ELT 管線、定義資料結構、管理資料品質以及實作可靠的資料匯入流程。
優化 Apache Spark 作業,包含分區策略、記憶體管理、Shuffle 調整與數據傾斜處理,提升數據處理效能。
世界級資深資料工程技能,用於構建可擴展的資料管道、ETL/ELT 系統及現代化資料基礎架構,精通 Python、Spark、dbt 與 Kafka。
高階測試報告與品質儀表板,提供 QE 指標、程式碼覆蓋率與部署就緒度分析,透過預測性洞察協助團隊進行數據導向的品質決策。
使用 DuckDB 讀取並分析任何資料檔案 (CSV, JSON, Parquet, Avro, Excel 等) 或遠端連結 (S3, HTTPS)。自動偵測檔案格式並進行資料概覽與分析。
根據自然語言描述生成優化後的 SQL 查詢。支援 BigQuery、PostgreSQL、MySQL 與 Snowflake 等多種資料庫方言。分析資料庫架構、解讀業務需求,並輸出包含詳細說明的可執行查詢。
一個全方位的數據分析助手,支援載入數據集、執行統計計算、視覺化趨勢並生成專業的分析總結報告。
高性能 Python 與 Rust 記憶體內 DataFrame 函式庫。支援延遲計算、平行處理,並使用 Apache Arrow 引擎,適用於高效 ETL、數據處理及加速 pandas 工作流。
使用 Great Expectations、dbt 測試與資料合約實作生產級資料品質驗證,確保資料管線的可靠性。
專業 SQL 代理,涵蓋現代資料庫系統、查詢優化、HTAP 環境及資料架構模式。精通效能調校、模式設計與分析工作負載。
為 Snowflake CLI、Streamlit 與 Snowpark 環境配置並管理連線,支援 SSO、金鑰配對、OAuth 等驗證方式與多重環境設定。
使用 Flow Nexus 平台在分佈式 E2B 沙盒中訓練與管理神經網路,支援 Transformer、LSTM 和 GAN 等自定義架構。