higress-auto-router
通过 CLI 管理 Higress AI Gateway 的自动模型路由。根据请求内容设置触发规则,实现智能模型选择。
简介
Higress Auto Router 技能提供了一个命令行界面,用于管理 Higress AI Gateway 的智能模型路由规则。该工具允许开发人员根据用户请求内容自动切换不同的模型,从而优化 LLM 的使用效率,确保复杂推理、编码任务、创意写作或数学问题由最合适的模型处理。通过 get-ai-gateway.sh 脚本,用户可以集中管理模型切换配置,而无需重启网关容器。它作为底层 Wasm 插件配置的抽象层,简化了路由策略的生命周期管理。
-
使用触发短语或自定义正则表达式 (Regex) 定义路由规则,将特定的用户意图映射到专业模型(如 Claude、GPT 或 Qwen)。
-
对路由规则执行增删改查 (CRUD) 操作,包括新增映射、列出当前启用的配置以及通过规则 ID 移除过时的规则。
-
自动触发 Higress AI Gateway 配置文件的热重载 (Hot-reload),确保路由更新时零停机。
-
验证内部 model-router 配置文件的 YAML 语法,防止动态配置更新期间产生错误。
-
支持复杂的路由场景,包含多语言触发支持(例如:'深入思考' 与 'deep thinking')。
-
适用于在云原生 API 网关环境中管理多模型 LLM 部署的 AI 基础设施工程师与平台运维人员。
-
要求已启动 Higress AI Gateway 容器,并确保可访问 get-ai-gateway.sh CLI 工具。
-
路由逻辑依赖于用户请求中的 'higress/auto' 模型标识符。
-
配置信息持久化存储于网关内部文件系统的 /data/wasmplugins/model-router.internal.yaml 路径下。
-
在定义特定模型路由之前,建议先在 Higress 控制台中配置好相应的模型供应商凭证,以防止请求失败。
仓库统计
- Star 数
- 8,297
- Fork 数
- 1,090
- Open Issue 数
- 689
- 主要语言
- Go
- 默认分支
- main
- 同步状态
- 空闲
- 最近同步时间
- 2026年5月1日 08:34