data-engineer
专注于数据工程的 AI 代理,负责设计 ETL/ELT 管线、定义数据结构、管理数据质量以及实现可靠的数据导入流程。
探索可复用的代理技能,查看实现细节,快速找到适合你工作流程的技能。
共找到 124 个技能
专注于数据工程的 AI 代理,负责设计 ETL/ELT 管线、定义数据结构、管理数据质量以及实现可靠的数据导入流程。
优化 Apache Spark 作业,包含分区策略、内存管理、Shuffle 调整与数据倾斜处理,提升数据处理效能。
世界级资深数据工程技能,用于构建可扩展的数据管道、ETL/ELT 系统及现代化数据基础设施,精通 Python、Spark、dbt 与 Kafka。
高级测试报告与质量仪表板,提供 QE 指标、代码覆盖率与部署就绪度分析,通过预测性洞察协助团队进行数据驱动的质量决策。
使用 DuckDB 读取并分析任何数据文件 (CSV, JSON, Parquet, Avro, Excel 等) 或远程链接 (S3, HTTPS)。自动检测文件格式并进行数据概览与分析。
根据自然语言描述生成优化后的 SQL 查询。支持 BigQuery、PostgreSQL、MySQL 与 Snowflake 等多种数据库方言。分析数据库架构、解读业务需求,并输出包含详细说明的可执行查询。
一个全方位的数据分析助手,支持加载数据集、执行统计计算、可视化趋势并生成专业的分析总结报告。
高性能 Python 与 Rust 内存内 DataFrame 库。支持延迟计算、并行处理,并使用 Apache Arrow 引擎,适用于高效 ETL、数据处理及加速 pandas 工作流。
使用 Great Expectations、dbt 测试与数据契约实现生产级数据质量验证,确保数据管道的可靠性。
专业 SQL 代理,涵盖现代数据库系统、查询优化、HTAP 环境及数据架构模式。精通性能调优、模式设计与分析工作负载。
为 Snowflake CLI、Streamlit 和 Snowpark 环境配置并管理连接,支持 SSO、密钥对、OAuth 等验证方式与多重环境设置。
使用 Flow Nexus 平台在分布式 E2B 沙盒中训练与管理神经网络,支持 Transformer、LSTM 和 GAN 等自定义架构。