data-engineer
专注于数据工程的 AI 代理,负责设计 ETL/ELT 管线、定义数据结构、管理数据质量以及实现可靠的数据导入流程。
探索可复用的代理技能,查看实现细节,快速找到适合你工作流程的技能。
共找到 107 个技能
专注于数据工程的 AI 代理,负责设计 ETL/ELT 管线、定义数据结构、管理数据质量以及实现可靠的数据导入流程。
将标准 PostgreSQL 数据表迁移至 TimescaleDB 超表,并优化分区、分块与压缩策略,以提升时间序列数据效能。
为 pandas/polars/PySpark 生成数据清洗管道,处理缺失值、重复项、异常值、类型转换及数据验证。
一个模块化的数据处理工具,用于清理、验证和分析 CSV 文件,支持自定义转换及自动化依赖管理。
一个多范式 ETL 流水线代理,支持批处理和流式数据处理、自动模式推断及基于 DAG 的可配置转换,适用于异构数据源。
建立、管理与调试 dlt (data load tool) 数据管道,将数据从 API、数据库及自定义来源导入 DuckDB、BigQuery 或 Snowflake 等目标。
数据分析专家:进行探索性数据分析、统计建模、SQL 查询与 Python 数据可视化,通过严谨的量化方法将原始数据转化为可操作的洞察。
管理 SignalRoom 营销平台的 dlt 数据管道与 Temporal 工作流。支持同步 Everflow、Redtrack 与 S3 数据至 Postgres,并执行状态检查与调试。
将自然语言查询转换为安全且经过优化的 SQL。通过数据库架构感知与参数化查询生成,实现数据库交互的自动化。
加载并预处理保险保单周度 CSV 数据,支持智能周期检测、多周数据加载、数据验证和清洗。
世界级资深数据工程技能,用于构建可扩展的数据管道、ETL/ELT 系统及现代化数据基础设施,精通 Python、Spark、dbt 与 Kafka。
数据库架构验证、数据完整性测试、迁移测试、事务隔离与查询性能分析。确保应用程序的 ACID 合规性与参照完整性。