工程开发
django-celery-expert avatar

django-celery-expert

Django Celery 异步任务处理专家指南。提供任务设计、工作节点配置、错误处理、定期任务与生产环境监控的最佳实践。

简介

django-celery-expert 技能为在 Django 框架中构建强大后台任务系统的开发人员提供专业的工程支持。此插件专为管理异步工作流程的后端工程师设计,封装了 Vinta Software 在任务编排、消息代理管理和可观测性方面的生产级最佳实践。它通过强制执行幂等性、可序列化的任务参数和安全的数据库事务处理,缩短了从基础实现到生产环境稳定性之间的差距。

  • 任务设计模式:提供关于实现任务签名、使用链 (chains)、组 (groups) 和协程 (chords) 的复杂工作流,以及在长运行任务中维护状态的专业建议。

  • 代理与工作节点配置:关于优化 Redis、RabbitMQ 或 SQS 后端、调整工作节点并发数以及管理队列路由的详细指南。

  • 错误处理与韧性:针对重试逻辑、指数退避、断路器模式、处理死信队列,以及使用 transaction.on_commit 确保数据库事务原子性的进阶策略。

  • 定期任务:简化 Celery Beat 的实现,包括 crontab 调度、动态任务生成以及针对调度事件的强大时区处理。

  • 监控与可观测性:实现 Flower、Prometheus 指标、结构化日志记录以及在分布式系统中调试卡住或失败任务的最佳实践。

  • 专为使用 Celery 的 Django 应用程序开发人员设计;不适用于 Django Q、Huey、RQ 或如 Airflow 等 ML 编排工具。

  • 输入:关于任务实现、配置调试或架构审查的自然语言请求。

  • 输出:遵循 Vinta 最佳实践的代码片段、配置指南与架构模式建议。

  • 实际限制:务必使用 ID 而非模型实例进行序列化;确保任务具备幂等性以支持安全重试;对所有长运行进程实现超时限制,以防止工作节点资源耗尽。

  • 与更广泛的 Django 智能代理生态系统直接集成,提供一致的后端开发指导。

仓库统计

Star 数
58
Fork 数
4
Open Issue 数
1
主要语言
未提供
默认分支
main
同步状态
空闲
最近同步时间
2026年5月3日 19:05
在 GitHub 查看