test-delete-skill

LiteLLM 是一个强大且开源的 AI 网关，旨在标准化与超过 100 种不同大型语言模型（LLM）提供商（包括 OpenAI、Anthropic、Google Vertex AI、AWS Bedrock 和 Azure）的交互。通过提供一个将请求转换为一致的 OpenAI 兼容格式的统一接口，它消除了管理特定提供商 SDK、不同验证模式和多变响应架构的需求。此工具非常适合构建生产级 AI 应用程序的开发人员和工程团队，他们需要可靠性、可扩展性和简化的模型管理。无论您是在实现复杂的智能体工作流、优化延迟，还是强制执行护栏机制，LiteLLM 都提供了有效管理这些任务的基础设施。

• 统一的 API 接口：使用单一标准化格式与 100 多种模型交互，让您无需重写应用程序代码即可轻松切换提供商。

• 生产级网关：内置负载均衡、虚拟 API 密钥管理、支出追踪和使用分析，可在大规模环境下监控性能。

• 弹性恢复机制：通过模型回退（Fallbacks）和重试（Retries）实现高级错误处理，确保即使特定提供商发生宕机，服务仍能维持高可用性。

• 多平台兼容性：与各种智能体框架（如 Anthropic Agent SDK 和 Gollem Go Agent Framework）无缝集成，并支持与 PromptLayer 等监控工具的集成。

• 性能优化：专为高吞吐量环境设计，提供低延迟路由并强力支持流式响应。

• 开始使用时，您可以通过 Docker 在本地运行代理服务器，或使用 uv 或 pip 作为轻量级 Python 服务运行。

• 系统支持灵活的配置文件（YAML 格式）来定义模型列表、指定 API 密钥，并设置回退链或特定的护栏机制。

• 预期输入包括通过 OpenAI 聊天完成协议的标准 HTTP 请求，输出则是符合 OpenAI API 规范的一致格式化 JSON 数据。

• 实施限制：请确保 API 密钥的环境变量管理正确；如果您需要持久的 Token 追踪或速率限制功能，请考虑使用数据库或缓存（如 Redis）。

• 非常适合用于构建跨模型 AI 后端、为企业应用程序部署 LLM 中间件，以及针对不同提供商进行延迟与成本对比的性能基准测试。