higress-auto-router

Higress Auto Router 技能提供了一個指令行介面，用於管理 Higress AI Gateway 的智慧模型路由規則。該工具允許開發人員根據用戶請求內容自動切換不同的模型，從而優化 LLM 的使用效率，確保複雜推理、編碼任務、創意寫作或數學問題由最合適的模型處理。透過 get-ai-gateway.sh 指令碼，用戶可以集中管理模型切換配置，而無需重啟網關容器。它作為底層 Wasm 外掛程式配置的抽象層，簡化了路由策略的生命週期管理。

• 使用觸發短語或自訂正規表示式 (Regex) 定義路由規則，將特定的用戶意圖映射到專業模型（如 Claude、GPT 或 Qwen）。

• 對路由規則執行增刪改查 (CRUD) 操作，包括新增映射、列出當前啟用的配置以及透過規則 ID 移除過時的規則。

• 自動觸發 Higress AI Gateway 配置檔的熱重載 (Hot-reload)，確保路由更新時零停機。

• 驗證內部 model-router 配置檔的 YAML 語法，防止動態配置更新期間產生錯誤。

• 支援複雜的路由場景，包含多語言觸發支援（例如：'深入思考' 與 'deep thinking'）。

• 適用於在雲端原生 API 閘道環境中管理多模型 LLM 部署的 AI 基礎架構工程師與平台維運人員。

• 要求已啟動 Higress AI Gateway 容器，並確保可存取 get-ai-gateway.sh CLI 工具。

• 路由邏輯依賴於用戶請求中的 'higress/auto' 模型識別碼。

• 配置資訊持久化儲存於閘道內部檔案系統的 /data/wasmplugins/model-router.internal.yaml 路徑下。

• 在定義特定模型路由之前，建議先在 Higress 控制台中配置好相應的模型供應商憑證，以防止請求失敗。