data-engineer
专注于数据工程的 AI 代理,负责设计 ETL/ELT 管线、定义数据结构、管理数据质量以及实现可靠的数据导入流程。
探索可复用的代理技能,查看实现细节,快速找到适合你工作流程的技能。
共找到 119 个技能
专注于数据工程的 AI 代理,负责设计 ETL/ELT 管线、定义数据结构、管理数据质量以及实现可靠的数据导入流程。
世界级资深数据工程技能,用于构建可扩展的数据管道、ETL/ELT 系统及现代化数据基础设施,精通 Python、Spark、dbt 与 Kafka。
使用 Great Expectations、dbt 测试与数据契约实现生产级数据质量验证,确保数据管道的可靠性。
使用 Snowflake CLI 创建、修改及验证 Snowflake 语义视图。
根据自然语言描述生成优化后的 SQL 查询。支持 BigQuery、PostgreSQL、MySQL 与 Snowflake 等多种数据库方言。分析数据库架构、解读业务需求,并输出包含详细说明的可执行查询。
通过 CLI 创建、修改并验证 Snowflake 语义视图 (Semantic Views)。自动化生成、说明与测试语义层定义,确保模型准确性与星型架构合规。
建立、管理与调试 dlt (data load tool) 数据管道,将数据从 API、数据库及自定义来源导入 DuckDB、BigQuery 或 Snowflake 等目标。
数据库架构验证、数据完整性测试、迁移测试、事务隔离与查询性能分析。确保应用程序的 ACID 合规性与参照完整性。
AI 优化项目追踪系统,利用 YAML 与 Markdown 混合格式,实现高效率的项目编排、阶段管理与自动化任务委派,大幅降低 Token 消耗。
Diddit 的 PostgreSQL 架构与迁移专家。管理幂等 SQL 文件、数据表、索引与约束,严格遵循驼峰式命名规则与事务安全性。
执行、调试与管理 DBHub 测试,包含单元测试、使用 Testcontainers 的集成测试及数据库专属测试。适用于验证代码变更与排查数据库连接器问题。
一个模块化的数据处理工具,用于清理、验证和分析 CSV 文件,支持自定义转换及自动化依赖管理。